Job Description

Data Solution Architect（数据解决方案架构师）

作为SGS CN 数据领域专家和负责数据交付落地的PM独立工作。

负责公司大数据平台的整体架构设计、优化及升级迭代，确保其高可用性、高性能和可扩展性；主导大数据项目的开发与交付，理解及推动业务需求的技术转化与落地，确保数据价值转化和体现；主导数据研发流程设计、落地和优化，确保数据流程效率以及透明化，推动数据及质量管理的自动化，推动数据与AI融合和应用；优化数据处理流程和存储系统，提升数据处理效率和查询性能；同时，作为技术骨干为团队提供技术指导和培训，保障代码质量和技术规范的统一性。

汇报给DCI总监以及数据领域负责人，职位地点在 深圳 / 上海 / 杭州

需要资深的候选人：Senior级别

1. 负责公司大数据平台的整体架构设计，包括数据存储、计算、调度等核心模块的规划与优化，确保平台的高可用性、高性能和可扩展性。

2. 深入研究前沿大数据技术，结合公司业务需求，提出创新性的架构解决方案，推动大数据平台的持续升级。

3. 承担复杂数据处理任务的开发工作，包括数据清洗、转换、聚合等ETL流程的优化与实施，提升数据处理效率和质量。

4. 基于Hadoop、Flink、Spark等大数据技术栈，运用数据挖掘、机器学习等技术手段，深入挖掘数据价值，为业务决策提供有力支持。

5. 主导大数据相关项目的开发工作，负责需求分析、技术选型、开发计划制定与执行，确保项目按时高质量交付。

6. 与业务团队紧密合作，深入理解业务需求，将业务需求转化为技术解决方案，推动大数据技术在公司业务中的落地应用。

7. 负责Hudi、ClickHouse等数据存储系统的优化与管理，提升数据存储效率和查询性能。

8. 优化SQL语句，提升数据查询和处理的性能，确保大数据平台的高效运行。

1． 计算机相关专业研究生及以上学历，具备5年以上大数据开发经验，至少主导过2个以上大型大数据项目的开发与实施，熟悉大数据项目的全流程管理，包括需求分析、架构设计、开发、测试与上线运维。

2． 精通Hadoop生态系统，包括HDFS、MapReduce、YARN等核心组件的原理与应用，能够熟练进行集群的部署、配置与优化。

3． 熟练掌握Flink、Spark框架，具备丰富的流处理和批处理开发经验，能够基于Flink和Spark进行大规模数据处理任务的开发与优化。

4． 熟悉Hudi数据湖框架，了解其在数据存储和管理中的优势，能够进行Hudi表的创建、优化和维护。

5． 熟练使用ClickHouse数据库，掌握其数据模型设计、查询优化和集群管理能力。熟悉Neo4j图数据库优先。

6． 熟练掌握Kettle等ETL工具，能够高效地进行数据抽取、转换和加载任务的开发与优化。

7． 精通Java/Scala编程语言，具备良好的编程习惯和代码规范，能够熟练运用面向对象编程思想进行复杂系统的设计与开发。

8． 具备出色的分析问题和解决问题的能力，面对复杂的技术难题和业务挑战，能够迅速定位问题根源，并提出有效的解决方案。

9． 具备良好的系统性能优化经验，能够从代码层面、系统架构层面和底层硬件层面进行全方位的性能优化，确保大数据平台的高效运行。

10． 具有数据研发流程工具使用及实施经验，具有AI项目经验优先。

11． 具备较强的学习能力，能快速学习和掌握新知识；有自我驱动的意愿，良好的沟通能力，较强的分析和解决问题的能力。

12． 具备良好的职业素养和责任心，具有高度的团队合作精神，积极主动，工作严谨。

13． 英语读写熟练，能够作为工作语言，能用口语交流优先。