职位内容：
1.负责业务所涉及(社交媒体APP及WEB等)数据的爬取，清洗，结构化，入库，并持续运营维护。 2.设计、开发、维护、重构单独及分布式网络爬虫； 3.对采集到的数据进行清洗和管理。 4.能够独立部署爬虫程序，维护爬虫服务器； 5.负责爬虫的性能优化和稳定性优化； 6.对常见的反爬、屏蔽、风控规则对抗研究。 7.模拟触控，实现对某个app的自动化控制 8.编写开发文档，可供其他开发同事进行后续开发支持;
任职要求：
1.熟练掌握C#、python、java、golang其中至少一门语言 精通动态网页抓取、浏览器模拟抓取、APP抓取等技术
2熟悉使用各类抓包工具 精通页面信息抽取的方法，如：正则表达式、CSS选择器、XPATH
3. 熟悉javascript,对常见的javascript混淆加密对抗有一定经验，熟悉常见的浏览器指纹追踪和对抗方法 熟悉常见数据库的操作、基本的数据结构、使用和优化
4.熟悉Linux操作系统的基本操作和维护 了解常见的网络协议格式，如protobuf、https等协议 有开发爬虫框架经验
5.熟悉反爬虫、验证码识别技术 具备良好的沟通能力和团队协作能力
备注：
有小红书APP、抖音APP、快手APP、微信、微博、********、知乎采集经验的优先 有移动端app数据采集经验，掌握xposed、frida等工具框架优先 有selenium、puppeteer、appium等自动化测试工具使用经验，能够快速编写uiautomation等RPA脚本优先
6.985 211优先 计算机专业