大模型技术前沿动态

研究团队构建了一系列多样化的测试样本，包括从不同来源获取的图像和手工制作的提示，以评估GPT-4V在海洋分析方面的性能。他们从感知、统计、领域特定问答、海洋文化理解、高级功能和提示工程等方面进行评估

研究者提出了一种名为“块扩展”（Block Expansion）的方法，通过在预训练的LLM中添加新的Transformer块，并仅使用新语料库来调整这些扩展块，从而有效地改善模型的知识库。

DocLLM是一个轻量级的扩展，基于大型语言模型（LLM），用于处理视觉文档，同时考虑文本语义和空间布局。与传统的多模态LLM不同，DocLLM避免了昂贵的图像编码器，专注于使用文本标记的边界框信息

提出了一个基于多层蒸馏的密集检索模型MD2PR,通过句子级别和词语级别的知识蒸馏来提高双编码器模型的性能。通过多层知识蒸馏和负样本过滤，有效提高了密集检索的性能。

论文提出了PDFTriage方法，该方法允许模型基于文档的结构或内容检索上下文，PDFTriage在多个类别的问题上表现出色，特别是在需要跨页面或多步骤推理的问题上

介绍了一个能够实 现GitHub工具自主扩展的GitAgent。它遵循一个四阶段的过程来合并存储库，它可以通过诉诸GitHub问题/PRs来解决过程中遇到的问题来学习人类的经验。

最近几年现有的 LLM（大小超过 100 亿）的时间轴。时间轴主要是根据模型技术论文的发布日期（例如提交到 arXiv 的日期）建立的。包括mT5、盘古-α、T0、gpt-neo-20b、CodeGe

RAG是指在LLM回答问题之前，从外部知识库中检索相关信息。本文概述了RAG的开发范式，包括朴素RAG、高级RAG和模块化RAG。讨论了RAG的三个主要组件:检索器、生成器和增强方法，以及每个组件中的

文章讨论了在加速器内存有限的消费者硬件上运行大型混合专家(MoE)语言模型的问题。作者提出了一种新的策略，通过利用MoE语言模型如何在令牌之间访问其专家的规律来加速模型参数的卸载。

TinyGPT-V是一种新型的多模态大型语言模型，采用small backbones和Phi-2模型结构，仅需24G GPU训练，8G GPU或CPU推理。

本文通过在三个真实世界数据集上的实验，验证了RecRanker框架（LLM）在推荐系统中的性能，结果表明该框架在多项指标上优于基准模型，证明了其有效性。

本文介绍了T-Eval Benchmark，用于评估大型语言模型工具利用能力的基准测试，涵盖了INSTRUCT、PLAN、REASON、RETRIVE、UNDERSTAND和REVIEW六个能力维度。

本文提出了KnowledgeNavigator框架，通过问题分析、知识检索和推理三个阶段，提高知识图谱中语言模型（LLM）的推理和问答能力。

本文介绍了用于评估大型语言模型的统一库PROMPTBENCH，包含多个基准数据集，涵盖广泛的语言任务。此外，本文还介绍了多种评价协议和提示工程方法，以提高模型在各种任务中的表现。

本文简化了传统Transformer解码器块的前向传播过程，采用MoE结构解决专家平衡问题。通过将线性层替换为MoE结构，实现专家在训练过程中的协作与权重更新。

本研究提出了一种基于大型语言模型的多Agents协作文本至 SQL 框架 MAC-SQL，包含 Selector、Decomposer 和 Refiner 三个代理。

本研究提出了一种基于大型语言模型的多模态手机用户代理框架，可模拟人类在智能手机上的操作。该框架通过简化动作空间和模仿人类互动，使代理能够通过低级操作与智能手机应用程序进行交互。

本研究对比了微调和检索增强生成两种知识注入方法，发现RAG在处理新问题和新知识方面表现更优。微调的LLMs难以学习新事实知识，而通过训练多种事实变体可能有助于解决这个问题。

本文探讨了Google开发的多模态大型语言模型(MLLM) Gemini的功能，将其与OpenAI的GPT-4V进行了比较。四个领域对Gemini的视觉理解能力进行了初步探索:基本感知、高级认知等。

一种结合知识检索与大型语言模型的多步骤推理LLM代理，通过迭代微调和强化学习实现自我改进和自我蒸馏，有效提高代理性能，无需大量人工标注数据