生成式大语言模型技术分享-第二期《Transformer 进阶技术》

报告背景

本系列直播已于4月27日正式启动。在第一期的直播中，李北博士带领大家系统的学习了Transformer基础结构和关键技术。但是，对于初学者来说，在高效训练和使用Transformer模型等方面仍具挑战。例如，当模型参数量增加到一定规模时，模型训练将会面临风险；此外，仅依赖上下文理解，以自回归方式生成的答案也未必理想。

在5月11日的直播中，我们将针对上述问题进行探讨，从训练和推断两个角度讲解Transformer进阶技术，带领大家全面地了解大模型时代的Transformer方法。

报告内容

本次报告将引导您系统学习Transformer训练与推断技巧。我们将深入剖析模型训练机制，深入浅出地探讨大型模型训练稳定性话题。同时，我们将详细解析推断过程内部逻辑，并结合大型模型处理复杂语义理解任务时常用的思维链技术。主要内容包括：Transformer模型训练技术、推断方法及细节、大型模型稳定训练技巧和思维链技术。

生成式大语言模型技术分享系列

近几年，以Transformer架构为基础的大语言模型（LLM）在NLP各类任务上都展现出了巨大的潜力。比如，在2022年底引起轰动的ChatGPT，几乎可以高质量地完成NLP中的大多数任务。自ChatGPT发布后，生成式AI逐渐成为新的技术范式，引起一场巨大的科技史变革。考虑到大语言模型技术的快速发展与裂变，为了使从业者紧跟技术发展的步伐，本系列讲座将对大语言模型的相关技术进行讲解。

本系列讲座主要包括基础技术和关键技术两个模块

本系列讲座由东北大学自然语言处理实验室、小牛雅智、小牛翻译联合推出，将在视频号、微博、哔哩哔哩、抖音、知乎、机器翻译学堂开启同步直播，欢迎每一位关注自然语言处理的伙伴届时观看。此外，登录小牛翻译云平台官方网站获取最新直播地址和回放，关注小牛翻译云平台各大平台官方账号了解系列直播的相关信息。

"生成式大语言模型技术分享"系列直播计划

直播地址

视频号（ID:小牛翻译云平台）
微博（ID:小牛翻译）
哔哩哔哩（ID:小牛翻译NiuTrans）
抖音（ID:小牛翻译）
知乎（ID:小牛翻译云平台））
机器翻译学堂（school.niutrans.com/live）