近日,OpenAI 研究科学家 Hyung Won Chung 在首尔国立大学做了题为「Large Language Models (in 2023)」的演讲。在这次演讲中,他谈到了大型语言模型的涌现现象以及大模型的训练和学习过程,其中包括预训练和后训练阶段,最后他还展望了一下未来,认为下一次范式转变是实现可学习的损失函数。
Hyung Won Chung 是一位专攻大型语言模型的研究者,博士毕业于麻省理工学院,之后曾在谷歌大脑工作过三年多时间,于今年二月份加入 OpenAI。他曾参与过一些重要项目的研究工作,比如 5400 亿参数的大型语言模型 PaLM 和 1760 亿参数的开放式多语言语言模型 BLOOM(arXiv:2211.05100)。
原视频地址:kzitem.info/news/bejne/xZilmZ-EhIKSiHY
#人工智能 #openai #llm
Негізгі бет 【人工智能】OpenAI科学家Hyung Won Chung演讲精华版 | 2023年的大模型 | 涌现 | Transformer | 并行训练 | 后训练阶段 | 奖励模型 | 目标函数学习
Пікірлер: 35