更新于 3月11日

高级大数据工程师

2-4万·14薪
  • 廊坊广阳区
  • 3-5年
  • 硕士
  • 全职
  • 招1人

雇员点评标签

  • 工作环境好
  • 同事很nice
  • 氛围活跃
  • 团队执行强
  • 人际关系好
  • 五险一金
  • 吃住环境好
  • 交通便利

职位描述

Sql
工作职责:

1、数据平台设计与开发:

· 负责核聚变实验数据平台的架构设计与实现,包括数据采集、存储、处理、分析和可视化全链路。

· 设计并实现高效的实验数据存储方案,支持 PB 级别数据的高效写入与查询。

2、 数据管道构建:

· 开发可靠的数据 ETL 流程,支持实验数据从采集到分析的全程自动化。

· 构建支持实时和离线计算的数据管道,满足不同实验场景的分析需求。

3、 数据计算与优化:

· 使用分布式计算框架(如 Flink、Spark 等)处理和分析海量实验数据。

· 优化数据存储与计算性能,提升查询速度和系统稳定性。

4、系统监控与维护:

· 搭建监控和告警系统,确保数据平台的高可用性和稳定性。

· 定期对系统进行性能评估和优化,支持扩展性和容灾能力。

5、团队协作与支持:

· 与科研团队紧密合作,理解核聚变实验数据的特性和需求,设计针对性的解决方案。

· 为团队提供技术支持与指导,推动数据开发团队的技术能力提升。


必备条件:

1、计算机科学、数学、物理或相关专业硕士及以上学历,具备 3 年以上数据开发或大数据处理相关工作经验。

2、熟悉以下技术栈中的至少一种:

l 分布式计算框架:Flink、Spark、Hadoop 等。

l 数据库与存储:ClickHouse、PostgreSQL、HBase 或其他分布式数据库。

l 消息队列:Kafka、RabbitMQ 等。

3、熟练掌握数据建模、ETL 流程开发,能够在复杂场景下设计高效的数据管道。

4、深入理解分布式系统原理,具备大规模数据处理与性能优化的经验。

5、熟悉 Linux 操作系统,熟练使用 Shell 脚本、Python 或 Java 进行开发。

6、较强的沟通能力,能够与科研人员、产品团队和开发团队高效协作。

7、与科研团队紧密合作,理解核聚变实验数据的特性和需求,设计针对性的解决方案。

8、为团队提供技术支持与指导,推动数据开发团队的技术能力提升。


工作地点

新奥智能大厦
以担保或任何理由索要财物,扣押证照,均涉嫌违法。一经发现,

职位发布者

尹女士/人事经理

三日内活跃
立即沟通
新奥集团公司标签
新奥集团以“创建现代能源体系,提高人民生活品质”为使命,形成了贯穿下游分销、中游贸易储运和上游生产开采的清洁能源产业链和覆盖健康、文化、旅游、置业等领域的幸福生活产品链。拥抱数字时代,新奥集团依托互联网+人工智能技术,正在着力打造泛能网络平台引领数字能源发展、着力打造“来康”家庭健康管理服务平台构建中国式品质生活方式。Company ProfileENN Group has built a clean energy value chain across distribution in the downstream, storage and transportation in the midstream and production and exploration in the upstream as well as a happy-life offerings chain spanning health, culture, tourism and estate, with a commitment to the mission of‘Creating the Modern Energy System, Improving the Quality of People’s Lives’. Embracing the digital age, ENN Group is working hard to create the‘Ubiquitous Energy Network’ platform to lead digital energy development and the‘Laikang’ family health management services platform to reinvent the Chinese way of quality lifestyles, with the backing of the Internet+ artificial intelligence technologies.新奥集团业务覆盖中国27个省、市、自治区的209座城市及东南亚、南亚、非洲、北美洲、大洋洲等地区。在全球有雇员近5万名,年经营收入1611亿元人民币,旗下有新奥能源(02688.HK)、新奥股份(600803.SH)、新智认知(603869.SH)、西藏旅游(600749.SH)四家上市公司。ENN Group’s business covers in 209 cities in 27 provinces, municipalities and autonomous regions in China as well as in Southeast Asia,South Asia, Africa, North America, Oceania, etc. It has a global workforce of nearly 50,000 employees, annual operating revenue in excess of 161.1 billion RMB and four publicly traded companies, including ENN Energy(02688.HK), ENN Ecological(600803.SH), ENC Data(603869.SH) and Tibet Tourism(600749.SH).
公司主页

上智联,你更值3.74亿+ 职场人的选择 780万+ 高新职位精准推荐