职位介绍
岗位职责:
1、负责爬虫、逆向相关技术的研究和实现工作,如小程序破解、分布式爬虫、验证码破解、反爬机制的研究等;
2、设计爬虫策略和防屏蔽规则,提升抓取的效率和质量;
3、负责公司爬虫的核心算法以及策略优化,熟悉采集系统的调度策略;
4、负责现有部分爬虫的完善、维护工作,实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性;
5、能独立解决实际开发过程碰到的各类问题。
任职资格:
1、本科及以上学历,计算机相关专业,4年及以上爬虫逆向经验;
2、熟练使用Git、Devops等平台工具,熟悉JS逆向、验证码破解、图像识别等技术;
3、精通Python语言,具有扎实的计算机基础和编程能力,熟悉常见的算法与数据结构,具有优秀的逻辑思维能力;
4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究;
5、熟悉Mysql,redis,有过数据库调优和海量数据存储经验优先;
6、熟悉常用网络协议、数据存储和数据处理技术;
7、熟悉linux系统环境、命令,shell、python脚本编写;
8、对爬虫技术有钻研精神。
上海 - 宝山
上海 - 长宁
上海 - 浦东
上海问道云人工智能科技有限公司上海 - 浦东
上海 - 静安
上海财联社金融科技有限公司上海 - 浦东
上智联,你更值3.74亿+ 职场人的选择 780万+ 高新职位精准推荐