千里足下

原文 提示词公式 提示词用来描述视频中所包含的内容和运动过程，它是控制视频画面内容与效果的关键因素。提示词描述越完整，精确，丰富，生成视频的品质越高，且越贴近期望生成的内容...

AI客服 AI聊天伴侣 注重语气，风格，特色。 题库： 数学，历史，英语 考试系统。 试题讲解 学院内部的AI试题 AI项目开发流程 数据（需求） 方案 模型 训练，评测 ...

新开一个栏目，记录每天看AI资讯的内容。快速浏览内容。 即梦也有多维表格 使用controlnet可以控制视频生成。技术又发展了。...

deep seek与其他模型的区别 大模型多卡训练 vllm多卡推理 多头注意力 ---> 多头潜在注意力 DeepSeekMoE. 提出了一种负载均衡的辅助无损策略。 预...

自然语义大模型 多模态大模型 模态与多模态的概念 多模态的典型任务 本地私有部署图文描述模型 本地私有部署文生图模型 大模型感知层 NLP大模型（大脑）--> 对数据理解与...

大模型本质就是一个很大的深度学习模型。 Agent来源于强化学习（AI的分支） 图像 语音 自然语义 强化学习 前3个感知问题，让计算机理解人类社会中的真实数据。 幻觉问题...

幻觉，我们的大模型，是特征提取器，具备感知的能力，本身并不具备判断力。要和人一样，需要做一层逻辑。 Agent，有一定的逻辑层。 想象成现实中工作的员工。 幻觉问题是不能杜...

llama-index 把数据和模型整合在一起。 sententence 如何选择enbeding 模型。 词 向量。只要保持相对正确的就可以了。起到查询和匹配的就可以。对...

大模型应用 微调 功能： 能够让现有的开源大模型理解我们自己的（私有化）数据。 特点：需要做模型的二次训练（成本，风险） 应用场景：当需要去改变大模型自身特性时，就得用微调...

量化 量化的逻辑，搞个函数，除以一个数，加一个数。 数据范围比较大，控制到一个范围内。 低精度处理。 量化和量化之后的结果，之间的误差不能过大。 每层的量化，都会引入量化误...

XTunnel，训练速度快一些。命令行比较方便。 LMDeploy ，高效且友好的LLMs部署框架。 高效的推理。动态拆分和融合张量并行。 可靠的量化 便捷的服务 有状态推...

xTuner微调大模型 书生 浦语 大模型开源工具链 xTunner,对cuda貌似没啥要求。 验证的数据集需要自己粘贴进去。 xTunner侧重主观评估。 验证的主观评估...

一些报错的环境经验： 跟量化相关（训练，导出），一般会跟cuda版本相关 推理加速（vLLM） 最通用的cuda版本，cuda 11.8, 12.1 vLLM对 cuda,...

LoRA模型合并 什么是GGUF LLama Factory量化微调训练 如何使用llama.cpp将模型转换为GGUF open-webui部署 训练过程中，会去做验证，...

LoRA与QLoRA 什么事GGUF LLama Factory量化微调训练 如何使用llama.cpp将模型转换为GGUF AI技术路线 微小模型 小模型 大模型 LLa...

LLama Factory模型量化环境配置 LLama factory模型评估 LLama Factory模型导出量化与效果对比 如何用LLama factory基于之前训...

LLaMa3 文本生成模型评估方法： 客观评估 主观评估 OpenCompass: 采用客观评测与主观评估结合的方法。 分类任务中，有客观标准。但生成式任务重，客观标准没有...

Ollama 主要是对个人用户。 Ollama上的所有大模型，都是量化版本，精度没有原始的高。 对分布式推理比较弱 企业一般用VLLM 只做大模型推理 直接安装 推理框架，...

上次回顾 数据可视化：tensorboard 模型训练时候的加速方法：混合精度运算 Hugging Face 模型微调训练 GPT2-中文生成模型定制化内容输出 model...

Model Scope在线训练平台介绍 微调模式 全量微调 对所有参数进行微调 对算力和显存要求高 效果最佳 局部微调 只调整模型部分参数，例如输出层，输入层或某些特殊层 ...