岗位职责:
1、从事大语言模型(LLM)预训练数据优化、算法研究及模型训练工作,持续迭代优化模型效果。
2、积极追踪LLM前沿技术,进行前沿技术落地探索。
岗位要求:
1、硕士及以上学历,计算机、数学或统计学等相关专业,三年及以上NLP相关经验,熟练使用pytorch、tensorflow深度学习框架,熟练掌握Transformer;
2、熟悉分布式3D并行训练技术,掌握megatron-lm,Deepspeed等常用并行训练框架;
3、熟练掌握常见的NLP任务,如文本分类、文本匹配、机器翻译、NER等;
4、对 LLM 有深入理解和实践,有从0-1预训练大模型经验者优先;
5、有NLP顶会论文发表经验优先;
6、具备良好的逻辑思维能力、沟通协作能力、自我学习能力,求上进,自驱力强;