岗位职责:
1、负责大数据平台的架构设计和优化,确保数据的高效存储、处理和访问,确保系统的稳定性和可靠性。
2、负责根据业务设计和构建企业级数据仓库,包括数据模型设计、ETL流程开发等。不断优化模型和产品,建立线上监控、评估和报表。
3、负责大数据平台的数据存储、处理和计算任务,保障数据的高效提取和分析。
4、开发、优化和维护与Flink、Hadoop、Hive、Spark相关的数据处理程序和作业。
技能要求:
1.精通Flink、Hadoop,精通SQL语言及调优方法;具备丰富的Flink、Spark、MapReduce、HDFS、Hive等大数据框架的实际设计与开发经验。
2.能够独立设计和开发大规模数据处理和分析系统,具备良好的编程能力和调试能力。
3.具备扎实的Java编程基础,熟悉常用的数据结构和算法。
4.熟练掌握Java、Python等编程语言,熟悉Spring框架,包括Spring Boot、Spring MVC等,有相关项目开发经验者优先。
5.具备良好的沟通能力和团队协作能力,能够与产品、运维、测试等部门有效配合,完成项目开发任务。
6.熟悉PostgreSQL、Clickhouse、Doris、Neo4j等数据库中的一个或多个,并有过实际项目的开发经验的优先。
经验要求:
5-8年大数据开发经验,有大规模数据处理项目实施经验者优先考虑。
项目工作地:河西区