【岗位职责】:
1、负责设计和开发网络爬虫系统，完成关键信息的数据抽取、清洗、去重、分析等:
2、负责爬虫相关技术的研究和实现工作，比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等:
3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略:
4、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量:
5、实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性；
6、有良好的编码能力，逻辑思维缜密，能独立分析解决问题。
【任职要求】
1、本科及以上学历，计算机相关专业:
2、至少3年及以上爬虫经验:
3、精通Python语言，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力;
4、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先;
5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究:
6、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术;
7、熟悉常用网络协议、数据存储和数据处理技术。
8、熟悉linux系统环境、命令，shell、python脚本编写;
9、熟悉常见爬虫框架(如Scrapy)，有大规模爬虫系统开发经验;
10、有机票行业从业经验优先。