中国科学院大学ChatGPT系列讲座-CHATGPT实验室

第一期

时间地点

2023年2月17日（星期五）晚18:30

新园区1号楼1B-316会议室

腾讯会议：894-4221-2359

分享嘉宾

张岚雪 2020级博士研究生

交流内容

GPTs & ChatGPT

从2018年至今，OpenAl致力于GPT系列模型的研究，每一次GPT模型的发布都会引发热烈的关注。ChatGPT的发布更是风靡全网，它以强大的语言处理能力、海量的数据积累等特点让用户感到惊讶甚至震撼。本次讨论班从GPT系列模型的发展过程来剖析其功能的进化，走近神探揭开ChatGPT的面纱，让我们一起讨论ChatGPT究竟会让大家失业，还是机遇与挑战并存。

第二期

时间地点

2023年2月24日（星期五）晚18:30

新园区1号楼1B-316会议室

腾讯会议：894-4221-2359

分享嘉宾

张琬悦 2023级博士研究生、2019级本科生

交流内容

Instruct Learning

ChatGPT和InstructGPT在模型结构及训练方式上都完全一致，即都使用了指示学习和人工反馈的强化学习来指导模型的训练。指示学习(Instruct Learning)期望通过prompt来提升模型效果，激发语言模型在大数据上训练获得语言补全能力;提示学习(Prompt Learning)被称为NLP领域的第四范式，在少样本和零样本中能够带来超越微调的能力。本次讨论班将介绍指示学习和提示学习的异同点以及相关拓展概念，并探讨ChatGPT和InstructGPT是如何进行指示学习的。

第三期

时间地点

2023年3月3日（星期五）晚18:30

新园区1号楼1B-316会议室

腾讯会议：894-4221-2359

分享嘉宾

毕冠群 2019级博士研究生

交流内容

基于人类反馈的强化学习

在过去的几年里，语言模型通过从人类输入提示生成多样化和引人注目的文本，展示了令人印象深刻的能力。然而，“好”文本在本质上很难定义，因为它依赖于是主观和上下文的信息。基于人类反馈的强化学习(RLHF)是ChatGPT的核心技术之一，是使其具有“人味”的关键。使用强化学习的方法直接优化带有人类反馈的语言模型，使语言模型能够开始将训练在一般文本数据语料库上的模型与复杂的人类价值观模型对齐。本次讨论班，我们将从强化学习的相关背景、具体算法以及与人工反馈结合这几方面介绍RLHF方法。

第四期

时间地点

2023年3月10日（星期五）晚18:30

新园区1号楼1B-316会议室

腾讯会议：894-4221-2359

分享嘉宾

王青悦 2018级博士研究生

交流内容

ChatGPT的风潮和未来

据统计，ChatGPT的日用户增速远超现有的互联网产品，国内外非常重视ChatGPT引发的科学浪潮。一方面，chatgpt市场反应强烈，商业化序幕俨然拉开，另一方面，chatgpt在短期发展也存在一定阻力，有待解决。在本期讨论班，我们探究“chatgpt”们的应用价值、存在缺陷和未来方向。