岗位职责:
1.了解midjourney、stable Diffusion、recraft.ai基础原理并熟练使用
2.参与公司AI项目开发和实施包括AI画图、知识库搭建、构建agent;
3.有LLM部署和开发能力,熟练使用dify;
4.专注于独立站的数据爬取,参与知识库的搭建与维护;
5.参与爬虫系统架构的设计和开发,构建高效的爬虫系统;
6.优化爬虫系统算法、代码,提高爬虫系统的稳定性和扩展性;
7.研究网站、app的反爬策略,并制定反反爬措施,独立解决项目中的日常问题;
8.根据公司业务需求进行数据分析可视化。
岗位要求:
1.本科及以上学历,计算机、统计专业优先;
2.精通常用的统计方法,具有3年以上数据抓取相关工作经验;
3.熟练运用SQL,熟练使用数据库,熟练使用Excel;
4.熟练使用Python,熟练使用python常用库如pandas等;
5.有langchain等LLM工具使用经验者优先。