更新于 7月8日

Python爬虫工程师

1-1.6万
  • 北京西城区
  • 1-3年
  • 本科
  • 全职
  • 招1人

职位描述

1、负责分布式网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)、技术选型;
2、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点攻克,提升网页抓取的效率和质量;
3、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求;
4、把握网络爬虫核心技术研究方向,研究优化算法,提升爬虫系统的稳定性、可扩展性;
职位要求:
1、熟悉scrapy框架,分布式系统,python爬虫。
2、熟悉http协议,kafka,linux基本命令,金融基础知识。
3、熟悉javascript .熟悉css.xpath.正则提取,mysql增删改差,sql优化,js逆向,redis,mongodb。
4、精通爬虫和反爬技术,精通http底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术;
5、有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力,善于跨团队合作。

职位福利:定期体检、员工旅游、节日福利、带薪年假、五险一金、弹性工作、定期团建

工作地点

车公庄大街乙5号鸿儒大厦

职位发布者

海峰科技/招聘专员

立即沟通
公司Logo海峰科技
北京海峰科技有限责任公司,注册成立于2014年底,是国内独立的第三方私募基金外包业务服务机构,主要发起人来自高盛、瑞银、Bridgewater Associates和工行等专业金融机构有平均15年以上的经验,获得美国风险投资公司IDG投资,是中国证券基金业协会公示的第二批私募基金外包服务机构公司发展:成立于2014年,同年获得美国风险投资控制公司IDG的投资,并于2015年6月8日正式完成中国基金协会登记备案,2019年7月3日正式拿到份额登记业务牌照。业务覆盖基金外包服务的基金估值核算及风险控制等。2017年获得国家高新技术企业证书和中关村高新技术企业证书。行业地位:国内独立第三方私募基金外包服务机构。公司现状:总部北京,沪深分部,员工80+人,500+付费客户。我们在整个私募合规生命周期中,提供一站式合规服务。合规专业的人做专业合规的事,最终成为私募合规领域的风向标。
公司主页