【2023签约计划】掘金AI签约作者专栏

📕当 LLM 出现生成的文本在语法、结构或上下文连贯性方面可能存在的不准确或不符合预期的问题时，我们就称 LLM 出现了幻觉。

📕RankVicuna，能够在zero-shot情况下执行高质量的列表Reranking，通过使用LLM进行Reranking可以利用其强大的语言理解和生成能力，对搜索结果进行更准确和个性化的排序。

📕3.6万亿token！目前地表开源LLM的最大训练数据量，本文介绍了百川2系列多语言LLM，包括百川2-7B和百川2-13B，拥有大规模的参数和训练数据。

📕本文研究了三种LLM：GPT-3.5、GPT-4和LLaMa-2在博弈论框架下的战略决策能力。作者利用四个经典的双人博弈游戏——囚徒困境、狩猎野鹿、雪堆和囚徒的喜悦。

📕本篇论文的研究提出了一种新的，基于几何的视角，解释了LLM上的通用对抗攻击。并通过实验，即攻击GPT-2模型找到了支持这一假设的证据。并基于此采取相应的缓解和避免模型乱说话的措施。

📕SoT是一项以数据为中心的优化工作，展示了推动语言模型更像人类思考以提高答案质量的潜力。SoT旨在减少大型语言模型的生成延迟。通过引入思维骨架的概念来实现。

📕AudioCraft是一个用于音频生成的PyTorch库，包含三种最先进的人工智能生成模型的推理和训练代码，可以产生高质量的音频，通过文本输入进行生成。

📕本文提出了SELF-DEBUGGING，一种能够使LLM自我调试生成的代码的方法。实验结果表明，SELF-DEBUGGING能够显著提高模型在代码生成任务中的性能，并且能够提高样本效率。

📕语言模型学习语言现象的顺序竟然与儿童如此相似？这表明它们在语言技能习得方面存在相似性。这种情况可能受到两个因素的影响：语言现象在自然语言中的频率和它们的内在复杂性...

📕Q：2023年了，我是人工智能小白，该如何入门学习呢？ A：不妨从一些经典的论文开始看起吧？本篇介绍NLP领域的划时代之作——BERT，简单易懂，生动有趣！

📕Q：既然上次我们知道了ELMo、BERT都是芝麻街的东西，那还有什么吗？我觉得这样的命名好有趣！ A：当然！不妨来看看2020年的一篇大鸟，呃不对，是论文——BigBird吧！

📕Transformer模型的提出，不仅仅是一种新的神经网络模型，更是一种全新的思路和范式，它开创了自注意力机制的新时代，成为NLP领域的一股强劲推动力量，就如几年前的CNN之于CV一样。

📕我们重点关注大型模型，同时排除早期预训练语言模型的内容，特别是，我们的调查讨论了LLM的四个重要方面，即预训练、适应调整、利用和评估。

📕在本文中，我们重新审视了Local Attention机制，并通过提出一种仅使用常规卷积操作的新型Slide Attention模块来解决其效率开销问题。