更新于 1月1日

大数据架构工程师

8千-1万
  • 天津河西区
  • 1-3年
  • 本科
  • 全职
  • 招1人

职位描述

大数据开发数据库开发数据仓库

1.2年以上的大数据处理、数据挖掘等相关领域的科研/开发经验;熟悉分布式OLAP,有实际使用经验以及平台集群搭建,有实际项目经验优先;

2. 掌握分布式缓存、消息队列,对高并发、大流量系统性能优化有一定的经验;

3. 熟练运用MapReduce/Spark/Flink等其中一种大数据计算工具的编程;

4. 掌握java及WEB应用软件开发,了解软件开发流程,熟悉Linux平台,熟练运用Shell或Python脚本;

5. 了解常用算法,有推荐系统/知识图谱/反欺诈等算法工程应用的研发经验,熟练掌握大规模数据挖掘、机器学习者优先;

6. 熟练掌握Hadoop、Spark、Flink等大数据计算技术,并在中大型项目中有相关实际经验;

7. 熟练掌握presto、Spark
SQL、Drill等大数据即时查询技术,并有Trouble Shooting的实际经验;

8. 精通SQL,有较好的SQL性能调优经验,熟悉常用的SQL分析函数,有Postgres SQL数据库项目经验优先;


岗位职责:

1. 参与大数据应用相关产品的架构设计,从事大数据平台上数据挖掘产品的规划及研发;

2. 参与业务数据的结构化和存储架构设计,从事数据勘探、加工,主题库和数据提炼;

3. 从事大数据平台性能分析与系统优化,不断提高系统运行效率;

4. 参与数据仓库和大数据平台的环境搭建、架构设计、监控和优化;

5. 负责离线和在线数据的采集、清洗和加载;

6. 负责分布式批量数据处理、分布式内存计算、数据仓库OLAP类查询统计等离线计算;

7. 参与实时数据流的数据处理、查询统计和分析预测等在线计算;


职位福利: 五险一金、周末双休、带薪年假、节日福利

工作地点

天津市河西区友谊北路广银大厦五层

职位发布者

杨振娜/人事经理

昨日活跃
立即沟通
天津开明管理技术咨询有限公司
天津开明管理技术咨询有限公司天津开明管理技术咨询有限公司成立于1999年。主要从事信息化咨询、软件开发、网络工程、数字媒体策划与制作等经营项目。公司自成立以来,凭借敏锐的市场洞察力与强劲的技术实力在新技术开发项目、计算机软件技术等领域取得了卓越成绩。公司长期致力于建筑行业的平台级应用解决方案,并且依托技术优势,采用XML的结构来标记企业的信息数据,采用Webservice的方式传输存取数据,同时支持SOA架构,支持跨系统数据存取,将异地、不同平台的数据信息实现实时互联互通,使繁杂海量的信息轻松跨平台共享发布。同时整合行业资源,为客户提供从需求分析到系统集成,从售前咨询到售后服务的专业化IT综合服务。经过近几年的努力,公司目前已拥有了行业内众多长期合作客户,同时已经积累了丰富的同类产品开发与应用经验,并得到了广泛的运用和发展。同时,公司还获得了多项软件著作权证书并且通过了ISO90001质量管理体系认证。现公司因业务增加,规模扩大,诚聘英才,愿我们一同成长,共创明天。
公司主页