1、对指定的多个网站进行网页分析、数据爬取和提取、破解反爬策略;
2、负责数据清洗、入库、服务化等研发和优化工作;
3、分析目标站网页结构，并选取最优爬取方式，监控目标数据变化，定时更新，保证数据时效性;
4、参与开发和设计分布式网络爬虫系统，进行信息的抓取和分析工作;
5、研究爬虫策略和防屏蔽规则，解决身份、验证码、IP限制、页面跳转、动态标签等难点，提升网页抓取的效率和质量;
6、沟通和理解相关部门的爬取需求，并给出专业的建议和解决方案；

职位要求：
本科及以上学历，计算机相关专业，具备3年以上爬虫开发相关经验;
精通Python语言、开源爬虫框架、数据抽取技术;熟悉HTTP/HTTPS协议、爬虫相关前端技术;
熟悉常见的反爬虫机制，并能使用相应的技术手段进行应对，如IP 代理、用户代理、验证码识别等;
熟悉数据库技术，如 MySQL、MongoDB等，能够进行数据的存储和查询;
具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题/解决问题;
有爬虫结合AI经验优先。