岗位职责
1.负责从多种数据源中收集数据，并对数据进行清洗、预处理，确保数据的准确性和完整性。
2.对数据进行规范化处理，包括缺失值填充、异常值处理、数据转换等。
3.开发和维护用于数据收集和处理的自动化脚本，与数据分析团队协作，将抽取的数据集成到数据库和仪表板中。
4.了解数据爬取方面的最新工具和技术，并监控和排除自动化脚本有关的问题，解决错误并适应网站的更改，保证采集程序的正常运行。
5.编写并整理数据提取任务的文档流程、工作流和方法。
任职要求
1.统招本科及以上学历，计算机、数学、统计学等相关专业。
2.精通Python语言，熟练使用Requests、Scrapy、Selenium，xpath等爬虫常用库。
3.熟练使用数据库工具（如sql sever，mysql等），用于数据查询和管理。
4.了解HTML、CSS和JavaScript等前端技术，用于分析网页结构。
5.了解并熟悉各个电商平台的数据反爬，比如：京东，天猫，抖音。
6.拥有较强的数据处理能力，对于数据清洗（处理缺失值、异常值等）和数据转换（如归一化、标准化、编码等）等过程熟练掌握。
7.良好的逻辑分析能力和独立思考能力，能够关注细节，致力于数据质量。