千里足下

deep seek与其他模型的区别 大模型多卡训练 vllm多卡推理 多头注意力 ---> 多头潜在注意力 DeepSeekMoE. 提出了一种负载均衡的辅助无损策略。 预训练的成本会很高，需要服务器

自然语义大模型 多模态大模型 模态与多模态的概念 多模态的典型任务 本地私有部署图文描述模型 本地私有部署文生图模型 大模型感知层 NLP大模型（大脑）--> 对数据理解与分析起到决定性因素 逻辑层A

大模型本质就是一个很大的深度学习模型。 Agent来源于强化学习（AI的分支） 图像 语音 自然语义 强化学习 前3个感知问题，让计算机理解人类社会中的真实数据。 幻觉问题。当用户的提问包含较复杂逻辑

幻觉，我们的大模型，是特征提取器，具备感知的能力，本身并不具备判断力。要和人一样，需要做一层逻辑。 Agent，有一定的逻辑层。 想象成现实中工作的员工。 幻觉问题是不能杜绝，但是可以减少。 环境的本

llama-index 把数据和模型整合在一起。 sententence 如何选择enbeding 模型。 词 向量。只要保持相对正确的就可以了。起到查询和匹配的就可以。对RAG的影响不是很大。只要是

大模型应用 微调 功能： 能够让现有的开源大模型理解我们自己的（私有化）数据。 特点：需要做模型的二次训练（成本，风险） 应用场景：当需要去改变大模型自身特性时，就得用微调（风格），微调本身调整的是大

量化 量化的逻辑，搞个函数，除以一个数，加一个数。 数据范围比较大，控制到一个范围内。 低精度处理。 量化和量化之后的结果，之间的误差不能过大。 每层的量化，都会引入量化误差，如果多层之后，误差太大，

XTunnel，训练速度快一些。命令行比较方便。 LMDeploy ，高效且友好的LLMs部署框架。 高效的推理。动态拆分和融合张量并行。 可靠的量化 便捷的服务 有状态推理 卓越的兼容性 量化工具比

xTuner微调大模型 书生 浦语 大模型开源工具链 xTunner,对cuda貌似没啥要求。 验证的数据集需要自己粘贴进去。 xTunner侧重主观评估。 验证的主观评估，提几个关键问题。一般是甲方