AI_Echoes

一、vLLM 用于大模型并行推理加速 存在什么问题？ vLLM 用于大模型并行推理加速，其中核心改进是PagedAttention算法，在 vLLM 中，我们发现 LLM 服务的性能受到内存的瓶颈。在

一、SFT数据集如何生成？ SFT数据集构建通常有两种方法：人工标注和使用LLM（比如GPT-4）来生成的，人工标注对于构 建垂直领域比较合适，可以减少有偏数据，但是成本略高；使用LLM生成，可以在短

huggingface 下载不了模型问题？ from modelscope.hub.snapshot_download import snapshot_download model_dir = sna

GPT 经验篇 一、gpt源码past_key_value是干啥的？ 二、gpt onebyone 每一层怎么输入输出？ 三、bert和gpt有什么区别 四、文本生成的几大预训练任务？ 五、讲讲T5和

一、什么是生成式大模型？ 二、大模型是怎么让生成的文本丰富而不单调的呢？三、LLMs 复读机问题 什么是 LLMs 复读机问题？ 为什么会出现 LLMs 复读机问题？ 如何缓解 LLMs 复读机问题？

一、为什么需要 accelerate 分布式训练？ PyTorch Accelerate 是一个 PyTorch 的加速工具包，旨在简化 PyTorch 训练和推断的开发过程，并提高性能。它是由 Hu

微调方法是啥？如何微调？ fine-tune，也叫全参微调，bert微调模型一直用的这种方法，全部参数权重参与更新以适配领域数据，效果好。 prompt-tune, 包括p-tuning、lora、p

大模型（ LLMs ） agent 一、什么是 大模型（LLMs）agent？ 二、大模型（LLMs）agent 有哪些部分组成？ 介绍一下 规划（planning）？ 拆解子目标和任务分解 如何进行

大模型（ LLMs ）强化学习——RLHF及其变种面 一、介绍一下 LLM的经典预训练Pipeline？二、预训练（Pre-training）篇 具体介绍一下 预训练（Pre-training）？三、