自然语言处理

导语 Decoder-only的模型只能从左向右看，无法利用双向信息完成填空等操作，本文是OpenAI最早提出使用Fill-in-the-model到Autoregressive形式的模型中的文章，启

导语 Llama 2 是之前广受欢迎的开源大型语言模型 LLaMA 的新版本，该模型已公开发布，可用于研究和商业用途。本文记录了阅读该论文的一些关键笔记。 链接：https://arxiv.org/a

我正在参加「掘金·启航计划」 导语 本文是RLPG（ICML 2023）论文的后续工作，本文通过结合不同的存储库上下文来提升基本的代码模型的补全能力，实验显示，作者通过基于CodeT5-base（22

我正在参加「掘金·启航计划」 导语 本文介绍了一种名为 RepoCoder 的仓库级代码完成框架，它通过利用仓库级信息，结合相似度检索器和预训练的代码语言模型，提高了代码完成的准确性和效率。同时，该文

我正在参加「掘金·启航计划」 导语 随着像ChatGPT之类的大语言模型的迅速发展，NLP中许多的研究领域受到冲击，之前的一篇博客看看ChatGPT对Text-to-SQL任务的冲击介绍了清华大学团队

导语 会议：Arxiv 2023 链接：https://arxiv.org/pdf/2210.11416.pdf 1 简介 人工智能的一个重要目标是开发具有好的泛化性能的模型。在自然语言处理(NLP)

导语 会议：AAAI 2021 链接：https://arxiv.org/pdf/2109.09475.pdf 1 简介 知识图问答(KGQA)适用于各种现实生活和实际业务应用。该任务要求系统利用给定

导语 本文是上一篇论文CompanyDepot系统的后续工作，作者考虑了机构之间的聚类情形。 会议：KDD 2017 链接：https://dl.acm.org/doi/10.1145/3097983

导语 本文是sCool后续的一篇工作，发表在KDD 2016上，当时更多的使用的是特征工程，即手动寻找各类特征提供给机器学习模型。 会议：KDD 2016 链接：https://www.kdd.org

导语 本文介绍了Text-to-SPARQL的反向任务，SPARQL-to-Text的一些最近进展。 会议：AACL 2022 链接：https://aclanthology.org/2022.aac

导语 会议：ICONIP 2021 链接：https://arxiv.org/abs/2106.09997 1 简介 预训练语言模型在自然语言处理中发挥着重要作用，特别是对于问答系统。大型预训练模型（

导语 会议：ICASSP 2023 链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10096172 1 简介 Text-to-

导语 本部分内容来自于Huggingface的Accelerate库的官方文档，并添加了一些个人的笔记。 简介 🤗Accelerate是一个库，只需添加四行代码，就可以在任何分布式配置中运行相同的Py

导语 这是目前使用GPT-4在Text-to-SQL任务上达到SOTA性能的一篇论文。 会议：Arxiv 2023 链接：https://arxiv.org/abs/2304.11015 1 简介 数

导语 ChatGPT无疑是最近最火爆的话题之一，对NLP的学术研究产生了深刻的影响，本文主要评估了现有的ChatGPT系统在Text-to-SQL这个领域中的一些影响。 会议：Arxiv 2023 链

导语 本文提出了一个新颖的合成框架，提高生成的自然语言问题的质量。实验证明SOTA模型在这些高质量合成数据上微调后性能有显著的提升。 会议：Arxiv 2022 链接：https://arxiv.or

导语 本文通过在自注意力学习的过程中显式地引入句法解析器生成地高质量句法结构，解耦Transformer在底层对输入结构的学习，改善了下游任务性能。 会议：EMNLP 2022 Findings 链接

导语 本文介绍了一种使用两次dropout作为对比学习正样例的句子向量的方法，这种方法简单有效。 会议：EMNLP 2021 链接：https://aclanthology.org/2021.emnl

导语 这篇工作是BigCode社区继SantaCoder后的最新工作，作者发布了具有15.5B参数及8K上下文长度的代码大模型StarCoder，StarCoder模型优于支持多种编程语言的每个开放的

导语 本文介绍了一个大型学术机构命名文本分类数据集，主要特点在于这是一个巨大的长尾分布的单文本分类数据集。 会议：ICASSP 2023 链接：https://arxiv.org/abs/2302.0