大鲸鱼crush

在大型语言模型（LLM）的时代，基于大型语言模型的智能Agen在过去一年中取得了显著进展。 本文主要介绍基于大型语言模型的智能Agent，包括起源、发展历程、架构、应用、并...

由于最近需要进行知识分享，我借此机会整理了关于大型语言模型（LLMs）理解并受情感刺激影响的一些基本知识。...

很多人在基于RAG架构构建大型语言模型（LLM）应用程序时经常会遇到一些高级概念。本文对于基于RAG架构的应用开发时，所可能遇到的一些高级概念进行讲解，从而减少读者的搜索/...

引言 模型微调和检索增强生成是两种不同的技术，它们都用于提升语言模型的性能，但各自采用的方法和侧重点有所不同。本文基于微软的论文结果，对其进行了比较。...

引言 T-RAG方法基于将检索增强生成（简称RAG）架构与开源经过微调的大型语言模型（简称LLM）以及实体树向量数据库相结合。这种方法的重点在于上下文检索。...

本篇文章主要介绍思维链（Chain-of-Thought，CoT）的基础知识和基础的使用方法。首先讲明了CoT的基础概念与适用范围，然后讲了CoT的分类与区别，最后分析了C...

在深度学习领域，数据一直是模型性能的关键。然而，获取大量高质量的训练数据往往昂贵且耗时。为了克服这一问题，论文提出了OPeN方法，通过在训练集中引入纯噪声图像来提升模型对少...

本文探讨了构建高效提示以优化大型语言模型（LLM）交互的策略。文章说明了四种技巧：迭代设计过程、指令的清晰性、提示的具体与简洁性，以及避免模糊性的重要性。...

上一篇博客已经讲解了zero-shot和few-shot提示，在few-shot提示中，需要给模型一些与所问问题相关的示例，那么什么样的示例能够最大化的激发模型的能力呢？...

提升你的AI模型性能！最新研究揭示，通过巧妙的少次提示和校准技术，即使是大型语言模型也能实现惊人准确度。掌握这些技巧，让你的计算机模型在情感分析等任务上的表现从平庸跃升至顶...

本文从0基础的角度，详细讲解了混合精度训练的概念、流程、关键技术点，并给出了Pytorch代码样例。...

本文详解了在使用LLM的API时，所需要输入的各个超参数的意义，如温度（Temperature）、顶部概率（Top P），频率惩罚、存在惩罚等...

探索AI的新境界！Meta的FAIR团队最新研究Branch-Train-MiX (BTX) 突破了大型语言模型的训练限制，打造出能在编程、数学等领域精专的AI。...

ReLoRA，一种突破性的神经网络训练技术，它通过低秩更新精妙地训练高秩模型。这项创新大幅降低了内存需求，加速了训练过程，同时保持了与全秩训练相媲美的性能。ReLoRA的高...

在本研究中，我们评估了Llama2模型在机器翻译中的多语言能力，特别强调了模型在训练过程中已经见过和未见过的语言。我们通过分析语言特征距离来深入了解训练数据中哪些特征和语言...

本文介绍了JetBrains开发的专用于机器学习实验的最新工具——JetTrain。文中分析了已有工具的缺陷，以及新工具的特性...

本文所介绍的论文中利用最近发布的开源模型Mixtral，构建了一个名为OpenMathInstruct-1的数学推理数据集，该数据集包含了180万对问题-解答，并在数学推理...

该论提出了一种新的方法——V-STaR，传统的模型只采用正确答案训练生成器，而V-STaR利用在训练过程中生成的正确和错误答案来训练一个验证器，该验证器使用DPO加强生成器...

Allen AI发布了OLMo的报告, 开源一整套大模型构建的代码, 包括：完整的训练代码、模型权重、中间检查点、训练数据、评估代码。下面, 让我们仔细分析一下这篇报告了。...

论文提出了一种新的针对于大语言模型的越狱攻击算法，通过利用小模型的输出诱导大模型产生带毒输出。相对于已有的策略减小了计算代价，使得可以快速攻击更加巨大的模型。...