工作职责:
* 负责Web/APP/小程序多端爬虫的开发,解决算法还原,加密,风控等难点攻克,提升抓取的效率和质量
* 负责分布式采集系统的开发,参与采集系统存储,传输,调度,监控的设计与研发
* 根据产品和项目特点,设计、开发采集系统平台的架构设计,提出合理的优化方案,并负责设计和实现,提高数据抓取效率
* 负责爬虫数据的清洗、处理、分析,以及部分运维工作
职位要求:
* 大专以上学历,计算机相关专业,2年以上数据采集、逆向经验
* 拥有良好的编码经验,至少熟练掌握Python/Go/Java/JS等其中至少一种编程语言
* 掌握基础的js逆向知识,熟悉ast,能够独立完成经ob,vmp混淆后的加密逻辑
* 熟悉风控策略对抗相关技术,了解设备指纹、帐号资源、行为特征等风控对抗机制,能够对抗常见的人机识别或验证码
* 熟悉Android/iOS端安全对抗技术,掌握常见的静态分析、动态调试、协议抓包、HOOK等技术原理和框架应用者优先
* 有大型分布式抓取系统的开发、架构经验优先
* 熟悉linux,熟练使用shell
* 热爱互联网并有着高度的工作热情
*要有APP逆向、小程序逆向、广告采集、直播采集 之一 背景的,擅长jsvmp逆向。