澜舟孟子开源社区

本文回顾了过去 12 个月以来，国内外大模型的发展趋势，包括百花齐放的国产大模型、新秀不断涌现的多模态模型、萌芽中的通用能力模型等等，并对大模型新应用、预训练框架等方面的进展进行了总结。

本文介绍了大模型轻量化技术背景，并分享了澜舟轻量化技术实践的 5 种路径，包括语言学知识增强、训练优化技术、模型压缩（蒸馏、剪枝和量化）、检索增强、多任务。

随着多语言预训练技术的进一步发展，多语言预训练为跨语言生成任务提供了优良的参数初始化，当多语言预训练之风吹向机器翻译领域，又将发生怎样有趣的化学反应？

拼写纠错在诸多 NLP 任务和应用中都有重要作用，如 OCR、语音识别和搜索引擎等。在 NLP 任务和日常工作生活场景中，中文文本中的 typo 主要是拼音和字形相似导致的。

重复生成是长文本生成中很常见的现象，论文中提出一种 SimCTG 方法，通过抑制模型生成不自然且包含不必要重复的文本，从而缓解文本生成模型的退化问题。

意图识别（intent detection）是面向任务对话系统的核心模块，其标注数据较少，所以研究怎样用少量数据训练出一个优秀的意图分类器（few-shot intent detection

人工构建高质量平行数据是一件成本巨大的事情，且几乎不可能满足目前神经机器翻译对数据量的需求。因此人们尝试通过自动构建平行数据的技术。该论文利用合成数据，对挖掘得到的平行数据中不完全对齐的数据进行替换。

如果你想训练一个文本检索模型，但是缺少有标注的数据集，那不妨来看看这篇论文,LaPraDoR 是一个无监督的文本检索模型，不依赖人工标注的数据集，可以在通用领域的大型数据集上进行训练。