400-885-9898
职位描述
PythonJavaScript数据采集爬虫开发反爬虫分布式爬虫Scrapy
一、职位描述：
1、负责设计和开发分布式的网络爬虫应用，包括调度、抓取、入库等内容，进行互联网相关信息的抓取和分析
1、负责设计和开发分布式的网络爬虫应用，包括调度、抓取、入库等内容，进行互联网相关信息的抓取和分析
2、负责实现大规模数据的抓取、抽取，去重、分类，垃圾过滤，质量识别、解析入库等工作
3、负责对指定的多个网站进行网页抓取、数据提取、破解反爬策略
3、负责对指定的多个网站进行网页抓取、数据提取、破解反爬策略
4、承接开发任务，需求分析，确保按时按质按量完成任务
5、有良好的沟通和学习能力.有较强的团队协作能力以及快速解决问题的能力。
二、岗位要求：
1、计算机或相关专业、具备3年以上项目开发经验；
二、岗位要求：
1、计算机或相关专业、具备3年以上项目开发经验；
2、具有scrapy, scrapy-redis开发经验；
3、具有web逆向经验, 如滑块验证码, 瑞数5代6代
4、熟悉多线程、网络编程，精通网页抓取原理及技术，精通正则表达式；
5、熟悉并熟练应用各种常见加密算法；
6、熟悉至少一种关系型数据库(MySQL等); 熟悉NoSQL redis mongodb；至少熟悉一种mq, 有过数据库调优和海量数据存储经验优先；
7、具有工商数据、金融数据、案件数据抓取经验者优先;
8、有移动平台（iOS，安卓）开发经验优先；
工作地点
中国人寿金融中心
以担保或任何理由索要财物，扣押证照，均涉嫌违法。一经发现，
相似职位
- 爬虫工程师1.2-2万
上海 - 宝山
上海能良电子科技有限公司 - python爬虫工程师1.2-1.8万
上海 - 浦东
软通动力信息技术(集团)股份有限公司 - 高级爬虫工程师2.5-3万·15薪
上海 - 浦东
上海腾道信息技术有限公司 - Python爬虫开发工程师1.3-2万
上海 - 静安
上海财联社金融科技有限公司 - 爬虫工程师1-1.5万
上海 - 浦东
上海问道云人工智能科技有限公司 - 爬虫开发工程师 / 爬虫数据采集工程师（第三方形式半年期项目）1.7-2.1万
上海 - 杨浦
外企德科数字技术有限公司
热门公司推荐
- 霸王茶姬招聘
- 肯德基招聘
- 顺丰招聘
- 美团招聘
- 京东招聘
- 饿了么招聘
- 比亚迪招聘
- 中国一汽招聘
- 北京汽车招聘
- 蔚来招聘
- 东风汽车招聘
- 长城汽车招聘
- 奇瑞汽车招聘
- 理想汽车招聘
- 长鑫存储招聘
- 天江药业招聘
- 蓝月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 联想招聘
- 海康威视招聘
- 宁德时代招聘
- 中兴招聘
- 新松招聘
- 京东方招聘
- 申通招聘
- 圆通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麦当劳招聘
- 星巴克招聘
- 海底捞招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 腾讯招聘
- 百度招聘
- 快手招聘
- 字节跳动招聘
- 新华网招聘
- 小米招聘
- 招商银行招聘
- 中信银行招聘
- 北京银行招聘
- 兴业银行招聘
- 交通银行招聘
- 建发集团招聘
- 中国移动招聘
- 中国联通招聘
- 中国电信招聘
- 中粮集团招聘
- 国药控股招聘
- 中广核招聘
- 中国船舶招聘
- 强生中国招聘
- 汇丰中国招聘
- 宜家招聘
- 立邦中国招聘
- 伊利招聘
- 青岛啤酒招聘
- 京港地铁招聘
- 宝马招聘
- 小鹏汽车招聘
- 华为招聘
- 特斯拉招聘
- 吉利招聘
- 奔驰招聘
- 海尔招聘
- 美的招聘
- 京东方招聘
- 施耐德电气招聘
- 德邦物流招聘
职位发布者
郭女士/人事经理
今日活跃立即沟通
上海问道云人工智能科技有限公司
上海问道云人工智能科技有限公司成立于2017年，从事人工智能创新研究，致力于将先进的人工智能技术与行业应用相结合。用坚实的技术力量参与人工智能领域的基础性科学研究，致力服务于金融、法律、零售等多个行业。
公司主页