岗位内容:
1. 数据仓库搭建与管理,设计和实施数据仓库,制定ETL(提取、转换、加载)相关的设计方案和开发计划;评估数据源的格式、访问方式和数据质量,制定相应的数据抽取策略
2. 数据管道设计与维护,构建和维护数据管道,确保数据能够高效地从源头传输到目标存储系统;使用自动化工具和持续监控来优化数据流和处理流程
3.数据迁移与转换,负责将现有SQL Server数据库中的OA和ERP系统数据迁移至PostgreSQL数据库,并确保数据的完整性和一致性。
4. 数据采集与清洗,从各种数据源(如数据库、数据仓库、实时数据流等)收集数据;数据清洗与预处理,并制作为视图或者表单
5.技术与工具应用,掌握多种编程语言(如Python、Java、SQL等),熟悉主流数据库(如MySQL、Oracle等);使用Hadoop、Apache Spark等大数据处理工具进行数据分析和处理
6.合作与沟通,根椐需求设计和实施数据解决方案;参与制定数据分析相关制度流及标准规范,推动完状况并落实实施。
任职要求:
1. 熟练掌握常见的数据库类型、数据库原理及其调优方法,具有深入的数据库技术功底。
2. 计算机科学、软件工程、数据挖掘、机器学习等相关专业
3. 熟悉SQL和python,并掌握数据采集、清洗和预处理的能力;具备设计数据架构、开发算法和构建机器学习模型的能力
4. 技术能力(编程语言、数据库管理、大数据技术、ETL工具、数据仓库、数据可视化、机器学习与AI)与软技能(沟通、协作能力,解决问题能力)