PaperAgent

RAG是指在LLM回答问题之前，从外部知识库中检索相关信息。本文概述了RAG的开发范式，包括朴素RAG、高级RAG和模块化RAG。讨论了RAG的三个主要组件:检索器、生成器和增强方法，以及每个组件中的

文章讨论了在加速器内存有限的消费者硬件上运行大型混合专家(MoE)语言模型的问题。作者提出了一种新的策略，通过利用MoE语言模型如何在令牌之间访问其专家的规律来加速模型参数的卸载。

TinyGPT-V是一种新型的多模态大型语言模型，采用small backbones和Phi-2模型结构，仅需24G GPU训练，8G GPU或CPU推理。

本文通过在三个真实世界数据集上的实验，验证了RecRanker框架（LLM）在推荐系统中的性能，结果表明该框架在多项指标上优于基准模型，证明了其有效性。

本文介绍了T-Eval Benchmark，用于评估大型语言模型工具利用能力的基准测试，涵盖了INSTRUCT、PLAN、REASON、RETRIVE、UNDERSTAND和REVIEW六个能力维度。

本文提出了KnowledgeNavigator框架，通过问题分析、知识检索和推理三个阶段，提高知识图谱中语言模型（LLM）的推理和问答能力。

本文介绍了用于评估大型语言模型的统一库PROMPTBENCH，包含多个基准数据集，涵盖广泛的语言任务。此外，本文还介绍了多种评价协议和提示工程方法，以提高模型在各种任务中的表现。

本文简化了传统Transformer解码器块的前向传播过程，采用MoE结构解决专家平衡问题。通过将线性层替换为MoE结构，实现专家在训练过程中的协作与权重更新。

本研究提出了一种基于大型语言模型的多Agents协作文本至 SQL 框架 MAC-SQL，包含 Selector、Decomposer 和 Refiner 三个代理。