猫咪老师

太长不看版 现存的聊天模型使用的训练数据格式各各不同，我们需要用这些格式将对话转换为单个字符串并传给分词器。如果我们在微调或推理时使用的格式与模型训练时使用的格式不同，通常...

📕3.6万亿token！目前地表开源LLM的最大训练数据量，本文介绍了百川2系列多语言LLM，包括百川2-7B和百川2-13B，拥有大规模的参数和训练数据。...

📕RankVicuna，能够在zero-shot情况下执行高质量的列表Reranking，通过使用LLM进行Reranking可以利用其强大的语言理解和生成能力，对搜索结...

【力扣刷题记录】将c++中的vector/链表/哈希表/树/集合的常见操作做一个汇总，都是很有用滴~...

📕本文研究了三种LLM：GPT-3.5、GPT-4和LLaMa-2在博弈论框架下的战略决策能力。作者利用四个经典的双人博弈游戏——囚徒困境、狩猎野鹿、雪堆和囚徒的喜悦。...

📕SoT是一项以数据为中心的优化工作，展示了推动语言模型更像人类思考以提高答案质量的潜力。SoT旨在减少大型语言模型的生成延迟。通过引入思维骨架的概念来实现。...

📕AudioCraft是一个用于音频生成的PyTorch库，包含三种最先进的人工智能生成模型的推理和训练代码，可以产生高质量的音频，通过文本输入进行生成。...

🍀今天我们来介绍一下常用的文本提取，文本分类以及语言筛选的好用的工具。所谓文本提取，目的就更有效地提取网页中的有用的内容，重点关注有意义的、结构化的文本，有助于模型更好地...

📕本文提出了SELF-DEBUGGING，一种能够使LLM自我调试生成的代码的方法。实验结果表明，SELF-DEBUGGING能够显著提高模型在代码生成任务中的性能，并且...

📕我们重点关注大型模型，同时排除早期预训练语言模型的内容，特别是，我们的调查讨论了LLM的四个重要方面，即预训练、适应调整、利用和评估。...

📕语言模型学习语言现象的顺序竟然与儿童如此相似？这表明它们在语言技能习得方面存在相似性。这种情况可能受到两个因素的影响：语言现象在自然语言中的频率和它们的内在复杂性......

📕在本文中，我们重新审视了Local Attention机制，并通过提出一种仅使用常规卷积操作的新型Slide Attention模块来解决其效率开销问题。...