岗位职责:
1、负责爬虫核心技术的设计和开发;
2、设计爬取、调度和抽取算法,优化系统;
3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
4、对指定网站、移动端App进行数据抓取工作;
5、及时解决爬虫抓取过程中出现的问题并不断维护、优化程序。
任职要求:
1、本科及以上学历,计算机相关专业;
2、5年以上爬虫开发经验;熟悉MySQL数据库,能协助检查数据入库环节;有多线程开发经验;会处理电商或其他网站反爬问题者优先;
3、熟悉整个爬虫的设计及实现流程,精通网页抓取原理及技术,精通正则表达式、HTML,JS,AJAX等网页信息抽取技术,从结构化的和非结构化的数据中获取信息;
4、有海量数据爬取经验者优先,有大数据量、大并发项目经验者优先,有互联网、电商平台、移动端数据爬取技术经验者优先;
5、有良好的代码编写习惯、沟通、协作能力,有责任心。