自然语言处理

导语 之前的几篇博客介绍了Meta开源的大模型LLaMA（https://juejin.cn/post/7224369270141354043 ）以及斯坦福研究团队在LLaMA-7B基础上训练得到的堪

导语 Toolformer这篇论文尝试让LLM也可以使用工具，调用各种API来完成相应的任务。 会议：Arxiv 2023 链接：https://arxiv.org/abs/2302.04761 1

导语 本文是ColBERT的后续工作，通过将一些单向量模型采用的优化策略融入到原始的ColBERT模型中，得到了本文提出的ColBERTv2模型，并取得了更加先进的表现。 会议：NAACL 2022

导语 本文介绍了学术界在资源不富裕的情况下能够玩得起大模型的一种方式：LoRA，该技术可以大大优化大模型Fine-tune所需的算力资源，最近颇受关注。 会议：ICLR 2022 链接：https:/

导语 本文介绍了如何使用LLM来大规模自动生成instruction。实验结果表明，这种数据增强方式非常有效，接下来就让我们看看具体是怎么做的吧。 会议：Arxiv 链接：https://arxiv.

本文正在参加「金石计划」 导语 上篇博客介绍了Meta AI发布的开源大型语言模型LLaMA，本文介绍斯坦福的研究人员在LLaMA基础上基于指令微调（Instruction-tuning），仅使用约

导语 随着ChatGPT的爆火，大语言模型逐渐成为了研究热点，然而过去的大部分工作中的大语言模型LLM都是闭源的，仅提供API有偿调用，本文介绍了最近MetaAI开源的大语言模型LLaMA。 会议：A

导语 会议：Arxiv 2023 链接：https://arxiv.org/pdf/2302.13007.pdf 1 简介 训练数据的数量和质量是NLP中的核心点之一，然而在Few-shot Lear

导语 会议：ICLR 2023在投 链接：https://openreview.net/pdf?id=VPCi3STZcaO 1 简介 尽管预训练语言模型在代码领域取得了不错的表现，但现有的模型仍具有

导语 会议：ACL 2022 链接：https://arxiv.org/abs/2203.03850 1 简介 已有的三种类型的Code LLM（Encoder-only、Decoder-only、E

导语 会议：ICLR 2023 链接：https://arxiv.org/abs/2207.05987 1 简介 现存的代码生成模型要么直接从作为训练数据提供的输入-输出对中学习，或从交织在一起的自然

导语 会议：EMNLP 2022 链接：https://arxiv.org/abs/2201.10866 1 简介 代码搜索（Code search）旨在检索给定自然语言查询该功能的相关代码，现有的C

本文正在参加人工智能创作者扶持计划 导语 本篇工作是Salesforce亚洲研究院在EMNLP上发表的一篇论文，主要介绍了如何利用多任务学习的方式借助CodeT5进行代码Bug的检测和修复，并发布了两

本文正在参加 人工智能创作者扶持计划 导语 会议：Arxiv 2023 链接：https://arxiv.org/pdf/2211.10435.pdf 1 简介 最近，大型语言模型LLM在广泛的任务上

本文正在参加「金石计划」 导语 会议：ICLR 2021 链接：https://arxiv.org/abs/2009.08366 1 简介 NLP的飞速发展促进了Code LLM的广泛研究，然而，以前

导语 DS-1000是专注于数据科学领域的NL2Code数据集，也是最近发布的新文章，这里简要记录。 会议：Arxiv 2022 链接：https://arxiv.org/abs/2211.11501

导语 最近调研到一篇NL2Code领域比较全面的综述文章，是上个月挂到Arxiv的，总结了很多最新的内容，这篇论文涉及的方面还算是比较广，然而文章稍有冗余，给人感觉像是在凑字数撑篇幅，很多关键的地方又

导语 会议：Arxiv 2020 链接：https://arxiv.org/abs/2101.00027 1 简介 随着NLP领域不断扩大语言模型训练规模，对高质量海量文本数据的需求将持续增长。大多数

导语 本文介绍了Text-to-Code领域最近的一篇数据集文章，这是由Huggingface发布的一个拥有30种编程语言的3.1TB数据规模的代码预训练语料。 会议：Arxiv 2022 链接：ht

导语 本文记录了GitHub 团队在2019年发布的CodeSearchNet 语料库论文的学习笔记，该语料库旨在为代码搜索领域提供基准数据集，提升代码搜索结果的质量。 会议：Arxiv 2019 链