资格要求:
1.具备3年以上大数据和数据仓库相关工作经验;
2.熟练掌握Java、python、scala等至少一种大数据开发语语言;
3.熟悉Hadoop生态圈技术栈,HBase、Hive、Sqoop等及数据库、消息队列、搜索引擎、调度引擎工具使用, 拥有海量数据处理经验者优先;
4.精通flume、kafka、redis、spark、presto、elasticsearch等实时系统处理中间件一种或者几种,有至少一个以上相关项目;
5.精通数据仓库建模、元数据管理、数据治理、数据质量、特征平台管理等理论及建设,有实际开发经验优先;
6.团队合作、沟通表达能力强,积极主动,对新技术保持热情和好奇心。
工作内容:
1. 参与大数据项目的需求分析、系统架构设计、并完成需求设计相应文档的编写 ;
2. 参与数仓日常的数据运维、治理工作,包括技术运营、数据答疑、数据运维工作
3. 参与大数据采集、处理、转换、分析、业务需求等相关开发;
4. 参与大数据离线和实时开发,尤其是大数据实时计算相关开发;