千里足下

XTunnel，训练速度快一些。命令行比较方便。 LMDeploy ，高效且友好的LLMs部署框架。 高效的推理。动态拆分和融合张量并行。 可靠的量化 便捷的服务 有状态推理 卓越的兼容性 量化工具比

xTuner微调大模型 书生 浦语 大模型开源工具链 xTunner,对cuda貌似没啥要求。 验证的数据集需要自己粘贴进去。 xTunner侧重主观评估。 验证的主观评估，提几个关键问题。一般是甲方

一些报错的环境经验： 跟量化相关（训练，导出），一般会跟cuda版本相关 推理加速（vLLM） 最通用的cuda版本，cuda 11.8, 12.1 vLLM对 cuda, torch, transf

LoRA模型合并 什么是GGUF LLama Factory量化微调训练 如何使用llama.cpp将模型转换为GGUF open-webui部署 训练过程中，会去做验证，需要调到验证也能过的阈值，才

LoRA与QLoRA 什么事GGUF LLama Factory量化微调训练 如何使用llama.cpp将模型转换为GGUF AI技术路线 微小模型 小模型 大模型 LLama Factory 怎么做

LLama Factory模型量化环境配置 LLama factory模型评估 LLama Factory模型导出量化与效果对比 如何用LLama factory基于之前训练的权重继续训练 每一个大模

LLaMa3 文本生成模型评估方法： 客观评估 主观评估 OpenCompass: 采用客观评测与主观评估结合的方法。 分类任务中，有客观标准。但生成式任务重，客观标准没有。需要客观加主观综合一起。

Ollama 主要是对个人用户。 Ollama上的所有大模型，都是量化版本，精度没有原始的高。 对分布式推理比较弱 企业一般用VLLM 只做大模型推理 直接安装 推理框架，调用大模型用的 transf

上次回顾 数据可视化：tensorboard 模型训练时候的加速方法：混合精度运算 Hugging Face 模型微调训练 GPT2-中文生成模型定制化内容输出 model.eval() 测试的时候，