AI_Echoes

一、vLLM 用于大模型并行推理加速 存在什么问题？ vLLM 用于大模型并行推理加速，其中核心改进是PagedAttention算法，在 vLLM 中，我们发现 LLM ...

一、SFT数据集如何生成？ SFT数据集构建通常有两种方法：人工标注和使用LLM（比如GPT-4）来生成的，人工标注对于构 建垂直领域比较合适，可以减少有偏数据，但是成本略...

huggingface 下载不了模型问题？ from modelscope.hub.snapshot_download import snapshot_download m...

GPT 经验篇 一、gpt源码past_key_value是干啥的？ 二、gpt onebyone 每一层怎么输入输出？ 三、bert和gpt有什么区别 四、文本生成的几大...

一、什么是生成式大模型？ 二、大模型是怎么让生成的文本丰富而不单调的呢？三、LLMs 复读机问题 什么是 LLMs 复读机问题？ 为什么会出现 LLMs 复读机问题？ 如何...

一、为什么需要 accelerate 分布式训练？ PyTorch Accelerate 是一个 PyTorch 的加速工具包，旨在简化 PyTorch 训练和推断的开发过...

微调方法是啥？如何微调？ fine-tune，也叫全参微调，bert微调模型一直用的这种方法，全部参数权重参与更新以适配领域数据，效果好。 prompt-tune, 包括p...

大模型（ LLMs ） agent 一、什么是 大模型（LLMs）agent？ 二、大模型（LLMs）agent 有哪些部分组成？ 介绍一下 规划（planning）？ 拆...

大模型（ LLMs ）强化学习——RLHF及其变种面 一、介绍一下 LLM的经典预训练Pipeline？二、预训练（Pre-training）篇 具体介绍一下 预训练（Pr...

文本分类常见面试 一、文本分类任务有哪些应用场景？ 二、文本分类的具体流程？ 三、fastText的分类过程？fastText的优点？ 四、TextCNN进行文本分类的过程...

目录 大模型 LLM 最全八股和答案1 1、目前 主流的开源模型体系 有哪些？4 2、prefix LM 和 causal LM 区别是什么？4 3、涌现能力是啥原因？5 ...

微调方法是啥？如何微调？ fine-tune，也叫全参微调，bert微调模型一直用的这种方法，全部参数权重参与更新以适配领域数据，效果好。 prompt-tune, 包括p...

大模型（ LLMs ） agent 一、什么是 大模型（LLMs）agent？ 二、大模型（LLMs）agent 有哪些部分组成？ 介绍一下 规划（planning）？ 拆...

为什么大模型推理时显存涨的那么多还一直占着？ 大模型在gpu和cpu上推理速度如何？ 推理速度上，int8和fp16比起来怎么样？ 大模型有推理能力吗？ 大模型生成时的参数...

LLMs 训练数据 和 数据量 对比如何？LLMs 训练数据 和 数据量 对比如何？LLMs 训练数据 和 数据量 对比如何？LLMs 训练数据 和 数据量 对比如何？...

大模型（LLMs）强化学习—— PPO 面 一、大语言模型RLHF中的PPO主要分哪些步骤？ 二、举例描述一下 大语言模型的RLHF？ 三、大语言模型RLHF 采样篇 3....

什么是 LoRA？ LoRA 的思路是什么？ LoRA 的特点是什么？ 简单描述一下 LoRA? 二、QLoRA篇 QLoRA 的思路是怎么样的？ QLoRA 的特点是什么...

向量检索常见面试篇 一、向量检索库总结 1.1 Annoy 1.1.1 Annoy 介绍 1.1.2 Annoy 使用 1.2 Faiss 1.2.1 Faiss 介绍 1...

大模型（LLMs）RAG 版面分析——文本分块面 一、为什么需要对文本分块？ 二、能不能介绍一下常见的文本分块方法？ 2.1 一般的文本分块方法 2.2 正则拆分的文本分块...

LLMs 测试集 中 数据泄露 问题篇 一、什么是 LLMs 测试集数据泄露 问题？ 二、如何解决 LLMs 测试集数据泄露 问题？ 三、是否可以 避开训练集来处理 LLM...