腾讯云小微曾嘉莉研究员:“神农”预训练语言模型的训练与应用第七期叙述咱们请到了腾讯云小微的曾嘉莉讨论员,为专家做《“神农”预熬炼说话模子的熬炼与行使》核心叙述。
近年来,以BERT、 T5、GPT等为代外的大周围预熬炼说话模子为自然说话范畴带来了新的冲破。并以其宏大的解析、推理和杰出的转移才智,掀起了业内对预熬炼讨论的海潮。本次叙述要紧先容云小微和AI Lab协同研发的基于常识的中文预熬炼模子“神农”的熬炼形式和下逛使命行使的讨论和探究。
曾嘉莉,腾讯CSIG智能平台产物部算法讨论员,要紧负担腾讯云小微“神农”预熬炼模子的熬炼及下逛使命行使的算法讨论。讨论倾向为呆板翻译和自然说话管理,宣告NLP顶会论文十余篇。