人工智能

导语 这篇工作是BigCode社区继SantaCoder后的最新工作，作者发布了具有15.5B参数及8K上下文长度的代码大模型StarCoder，StarCoder模型优于支持多种编程语言的每个开放的

导语 本文介绍了一个大型学术机构命名文本分类数据集，主要特点在于这是一个巨大的长尾分布的单文本分类数据集。 会议：ICASSP 2023 链接：https://arxiv.org/abs/2302.0

导语 之前的几篇博客介绍了Meta开源的大模型LLaMA（https://juejin.cn/post/7224369270141354043 ）以及斯坦福研究团队在LLaMA-7B基础上训练得到的堪

导语 Toolformer这篇论文尝试让LLM也可以使用工具，调用各种API来完成相应的任务。 会议：Arxiv 2023 链接：https://arxiv.org/abs/2302.04761 1

导语 本文是ColBERT的后续工作，通过将一些单向量模型采用的优化策略融入到原始的ColBERT模型中，得到了本文提出的ColBERTv2模型，并取得了更加先进的表现。 会议：NAACL 2022

导语 会议：SIGIR 2020 链接：https://arxiv.org/abs/2004.12832 1 简介 近年来，深度检索模型的发展极大促进了IR社区的发展。相比于传统的统计特征（BM25、

导语 本文介绍了学术界在资源不富裕的情况下能够玩得起大模型的一种方式：LoRA，该技术可以大大优化大模型Fine-tune所需的算力资源，最近颇受关注。 会议：ICLR 2022 链接：https:/

导语 本文介绍了如何使用LLM来大规模自动生成instruction。实验结果表明，这种数据增强方式非常有效，接下来就让我们看看具体是怎么做的吧。 会议：Arxiv 链接：https://arxiv.

本文正在参加「金石计划」 导语 上篇博客介绍了Meta AI发布的开源大型语言模型LLaMA，本文介绍斯坦福的研究人员在LLaMA基础上基于指令微调（Instruction-tuning），仅使用约

导语 随着ChatGPT的爆火，大语言模型逐渐成为了研究热点，然而过去的大部分工作中的大语言模型LLM都是闭源的，仅提供API有偿调用，本文介绍了最近MetaAI开源的大语言模型LLaMA。 会议：A

导语 会议：Arxiv 2023 链接：https://arxiv.org/pdf/2302.13007.pdf 1 简介 训练数据的数量和质量是NLP中的核心点之一，然而在Few-shot Lear

导语 会议：ICLR 2023在投 链接：https://openreview.net/pdf?id=VPCi3STZcaO 1 简介 尽管预训练语言模型在代码领域取得了不错的表现，但现有的模型仍具有

导语 会议：ACL 2022 链接：https://arxiv.org/abs/2203.03850 1 简介 已有的三种类型的Code LLM（Encoder-only、Decoder-only、E

导语 会议：ICLR 2023 链接：https://arxiv.org/abs/2207.05987 1 简介 现存的代码生成模型要么直接从作为训练数据提供的输入-输出对中学习，或从交织在一起的自然

导语 会议：EMNLP 2022 链接：https://arxiv.org/abs/2201.10866 1 简介 代码搜索（Code search）旨在检索给定自然语言查询该功能的相关代码，现有的C

本文正在参加人工智能创作者扶持计划 导语 本篇工作是Salesforce亚洲研究院在EMNLP上发表的一篇论文，主要介绍了如何利用多任务学习的方式借助CodeT5进行代码Bug的检测和修复，并发布了两

本文正在参加 人工智能创作者扶持计划 导语 会议：Arxiv 2023 链接：https://arxiv.org/pdf/2211.10435.pdf 1 简介 最近，大型语言模型LLM在广泛的任务上

本文正在参加「金石计划」 导语 本系列笔记为b站Shusen Wang老师的强化学习课程笔记，整体按照老师讲课的思路来记录。本节课主要介绍AC算法。 Actor-Critic方法 Actor是策略网络

本文正在参加「金石计划」 导语 会议：ICLR 2021 链接：https://arxiv.org/abs/2009.08366 1 简介 NLP的飞速发展促进了Code LLM的广泛研究，然而，以前

本文正在参加「金石计划」 导语 本系列笔记为b站Shusen Wang老师的强化学习课程笔记，整体按照老师讲课的思路来记录。本节课主要介绍Policy-gradient算法。 Policy Funct