大数据工程师

工作职责：
1、数据平台建设与维护：负责大数据平台的设计、搭建和优化，包括数据采集、存储、计算和可视化；使用 Kubernetes（K8S）部署和管理大数据组件（如 Hadoop、Spark、Flink），确保平台的高可用性和可扩展性；设计和实现高效的数据管道（Data Pipeline），确保数据的高效流转和处理；
2、数据开发与处理：负责大规模数据的清洗、转换和加载（ETL）工作，确保数据质量和一致性；开发和优化分布式计算任务，提升数据处理效率；设计和实现实时数据处理系统，支持实时分析和监控需求；
3、数据仓库与建模：设计和开发数据仓库（Data Warehouse），构建多维数据模型；优化数据存储和查询性能，支持高效的数据分析和报表生成；负责数据分层（ODS、DWD、DWS、ADS）的设计和实现。
4、数据分析与支持：为数据分析师、数据科学家和业务部门提供数据支持，解决数据使用中的问题；参与数据分析和挖掘工作，提供技术支持和工具开发；设计和实现数据可视化方案，支持业务决策；
5、平台运维与监控：独立完成大数据平台的部署、配置和运维，确保平台的稳定性和性能；设计和实现平台监控和告警系统，及时发现和解决潜在问题；负责平台的容量规划、性能调优和故障排查；
6、技术研究与创新：跟踪大数据领域的最新技术和工具，推动技术落地和团队能力提升；探索和引入新的数据处理框架和算法，提升数据处理效率和质量；参与技术难题攻关，解决大数据平台中的性能瓶颈和稳定性问题。

任职资格：
1、教育背景：本科及以上学历，计算机科学、软件工程、数学、统计学等相关专业优先；985、211本科学历优先；
2、工作经验：3年以上大数据开发经验，熟悉大数据生态系统的常用工具和框架；有大规模数据处理和分布式系统开发经验者优先。有数据仓库建设、实时计算或数据治理经验者优先；
3、技术技能：
ü 熟练掌握 Hadoop 生态系统（HDFS、YARN、Hive、HBase 等）和 Spark、Flink 等计算框架；
ü 熟悉 Kubernetes（K8S），具备独立部署和运维大数据平台的能力；熟悉 SQL 和至少一种编程语言（如 Java、Scala、Python）；
ü 熟悉数据仓库设计（如 Kimball 模型、Inmon 模型）和 ETL 工具（如 Airflow、Kettle）；了解实时计算技术（如 Kafka、Storm、Flink）和数据湖（Data Lake）架构；
ü 熟悉至少一种云平台（如 AWS、Azure、阿里云）的大数据服务；
4、核心能力：具备扎实的计算机基础，熟悉数据结构、算法和分布式系统原理；具备良好的问题分析和解决能力，能够快速定位和解决技术问题；具备较强的沟通能力和团队协作精神，能够与业务部门和技术团队高效合作；具备较强的学习能力，能够快速掌握新技术并应用到实际工作中；
5、加分项：有机器学习或数据挖掘经验，熟悉常用算法和工具（如 TensorFlow、PyTorch）；有数据治理、数据安全或数据质量管理经验；有开源项目贡献或技术博客撰写经验。
工资地址：广州市海珠区琶洲大道51号信息大厦；
薪酬：面谈。