更新于 3月26日

大数据工程师(国企+平台稳定 )

8000-10000元

雇员点评标签

  • 工作环境好
  • 同事很nice
  • 氛围活跃

职位描述

数据治理数据开发数据运维
岗位要求:
1.使用Linux常用命令,书写Shell启动分发等基础脚本,熟悉主流操作系统,数据库。
2.搭建Hadoop3.x集群,熟悉Hdfs读写流程,MR的Shuffle机制,Yarn的提交作业流程,进行MR的参数优化,解决常见的Hadoop小文件问题,数据倾斜问题 。
3.熟悉Hive的组件构成,进行Hive的优化,数据倾斜问题解决。
4.使用Flume组件,根据业务场景对Source,Channel,Sink进行选型,自定义拦截器,进行数据采集。
5.了解Kafka底层架构,了解分区策略,实现精准一次性消费,以及高效读写,生产中计算部署Kafka集群,解决一些kafka挂掉,数据重复。
6.Zookeeper的CAP机制,Zookeeper的选举机制,使用Zookeeper进行客户端编程。
7.使用Datax,能够利用它从业务数据库向HDFS导数据。
8.了解Maxwell的工作原理以及在实际场景中的应用。
9.Hbase的基本架构,读写流程
10.OLAP即席查询数据库Clickhouse,能够将数仓聚合数据导入其中。
11.了解可视化工具Superset,Sugar,能够进行生产中使用。
12.能够使用cdh部署,云服务器运维,使用阿里云进行大数据开发。了解阿里云服务器大数据处理平台。
13.熟悉网络部署,产品安装,软件调试
14.搭建过硬件集群
15.会做ETL,使用kettle
16.编写项目方案,推进项目实时
17.运维数据库以及维护生产系统
工作地点:呼和浩特市赛罕区腾飞南路40号

工作地点

内蒙古地矿大厦呼和浩特市赛罕区腾飞南路40号

入职公司信息

  • 入职公司: 中国电信股份有限公司合肥分公司
  • 公司地址: 合肥蜀山区长江西路225号(三里庵地铁站5号口步行160米)电信办公大楼电信办公大楼
  • 公司人数: 1000-9999人

认证资质

  • 人力资源服务许可认证

    人力资源服务许可证是由国家人力资源与社会保障相关部门颁发,代表人才经纪人所在企业可以合法开展人力资源相关业务的资质证件。展示该标签代表该企业发布此职位时已上传《人力资源服务许可证》或《人力资源服务备案证书》并经由平台审验通过。

以担保或任何理由索要财物,扣押证照,均涉嫌违法。一经发现,
我要招人

职位发布者

王女士/经理

三日内活跃
立即沟通
安徽皖信人力资源管理有限公司
安徽皖信人力资源管理有限公司是安徽省人力资源服务骨干企业,是安徽省较早开展人力资源外包服务企业和人力资源外包行业龙头企业,注册资本为壹亿圆整,先后通过ISO9001质量管理体系认证、ISO27001信息安全管理体系认证、ISO14001环境管理体系认证以及ISO18001职业健康与安全管理体系认证。公司凭借专业的服务团队,深化服务内容、扩大服务区域,致力于向客户提供高品质的人事外包、劳务派遣、业务外包及猎头等服务。皖信凭借优质的管理和业界信誉,荣获“合肥市劳动保障诚信示范单位”、“安徽省劳动保障诚信示范单位”,并在2013年、2015年、2017、2019年连续四次获得安徽省人社厅授予的“AAA信用等级人力资源服务机构”称号。公司成立至今,安徽皖信已构建了丰富完整的服务产品体系;培养出一支高素质的专业服务团队;为国有企业、上市公司、外资企业、行政事业单位等1400多家企业提供专业的人力资源外包服务;并率先在业内开发应用人力资源管理信息系统和技术平台;经历十二年的探索和努力,先后在安徽省内16个地市、江苏省6个地市、上海市、山东省、云南省成立了分支机构。公司拥有多种专业领域的行业服务资质,为客户提供人力资源外包、业务流程外包、劳务派遣、灵活用工、企业管理咨询、劳动法律事务咨询、人才招聘、人才培训等全方位一站式服务。服务行业涉及通信、电力、邮政、金融、电子商务、酒店管理、物业管理等。公司将致力于成为人力资源外包服务领域的专注者与耕耘者,立足合肥、辐射华东、面向全国,成为能够与客户同步发展的合作伙伴。
公司主页