LLM相关问题

1. 为什么大模型推理时显存涨的那么多还一直占着？ 模型参数占用显存：大语言模型本身具有大量参数量，这些参数需要存储在显存中以供推理使用。不量化的情况下这部分显存占用和大模型所占存储空间相同。 输入数

1. 什么是 LoRA？ LoRA（low-rank adaptation of large language models）是一种针对大型语言模型进行低秩适应的技术。大型语言模型通常具有数十亿个参数

1. 为什么需要提示学习（Prompting）？ 解决模糊性：在某些任务中，输入可能存在歧义或模糊性，通过提供明确的提示，可以帮助模型更好地理解任务的要求，避免产生错误或不确定的输出。 控制生成：在生

1. 为什么需要适配器微调（Adapter-tuning）？ 避免灾难性遗忘：在全参微调方法中，微调过程可能会导致预训练模型在原任务上的性能下降，即灾难性遗忘。适配器微调通过只微调适配器层，可以避免对

1. PEFT 是啥？如何实现？ PEFT 是一种迁移学习的技术，指在完成预训练的模型基础上，通过进一步微调来适应特定的下游任务。微调可以在具有相似特征的任务之间有较好的泛化能力，同时由于预训练模型有

1. pdf 解析存在的什么问题？ pdf 解析的条件非常苛刻，如果使用传统的方法会遇到很多问题，难以对其进行解析并且解析出来的结果可能会杂乱无章，以下是常见的一些问题： 字体无法兼容 一个页面存在表

1. 基于LLM+向量库的文档对话基础面 1. LLMs 存在模型幻觉问题，请问如何处理？ 大语言模型的模型幻觉问题是指其可能生成看似合理但实际上不准确或不符合事实的内容。处理大语言模型的模型幻觉问题

1. 什么是 LangChain? LangChain 是围绕 LLMs（大语言模型）建立的一个框架，其自身并不开发 LLMs，它的核心理念是为各种 LLMs 实现通用的接口，把 LLMs 相关的组件

大语言模型（LLMs）微调 1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？ 这个问题首先需要了解 BF16 和 FP16 ， BF16 是对 FP32 单精度浮点数截断数据，即用 8b

大语言模型（LLMs）进阶 1. 什么是 LLMs 复读机问题？ LLMs复读机问题指的是模型倾向于不适当地复制用户输入的文本或者在回复中重复使用相同的句式和短语。这种倾向可能源自模型在处理输入时的一

大语言模型（LLMs）基础面 1. 目前主流的开源模型体系有哪些？ 目前公认最强大语言模型仍然是GPT4 ，但由于OpenAI没有将其开源，商业部署成本较高，且难以进行微调，因此众多开源模型进入了大众