小刘的大模型笔记

一、引言 大模型微调过程中，显存不足是最常见的问题之一，很多开发者因显存限制，无法训练大模型、只能选择小参数量模型，甚至导致训练中断，严重影响微调效率。其实大模型微调的显存消耗并非固定不变，通过合理的

一、引言 大模型微调的效果，不仅取决于高质量的数据集，更取决于合理的参数设置—— 很多初学者用相同的数据集微调，效果却天差地别，核心原因就是参数设置不当，要么过拟合，要么欠拟合，要么训练效率极低。其实

一、引言 很多开发者在大模型微调时，容易陷入“盲目训练”的误区——只关注“是否完成微调”，却忽略“微调效果好不好”，导致微调后的模型无法满足业务需求，浪费时间和资源。其实，微调效果评估是大模型微调的“

一、引言 多任务微调（Multi-Task Fine-Tuning）是让通用大模型同时掌握多种技能的核心方法，通过在多个相关任务的数据集上联合训练，提升模型的泛化能力和通用性能。相比单任务微调，多任务

一、引言 向量数据库作为处理非结构化数据的核心工具，已广泛应用于 RAG、智能推荐、图像检索等场景，但并非 “万能工具”—— 不同类型的向量数据库在性能、成本、易用性上差异显著，且存在自身的局限性。

一、引言 在大模型落地过程中，“知识时效性” 与 “事实准确性” 是两大核心痛点 —— 预训练模型的知识停留在训练数据截止日期，无法获取实时信息；同时，模型可能产生 “幻觉”，输出与事实不符的内容。检

一、引言 在大模型微调实践中，“显存不足” 是初学者最常遇到的问题 —— 动辄几十 GB 显存需求的大模型，让多数人手中的消费级 GPU（如 RTX 3080、RTX 4090）望而却步。显存不足不仅

引言 随着开源大模型生态的蓬勃发展，市面上涌现出了大量优秀的开源模型，比如 Llama 系列、Qwen 系列、Baichuan 系列、Mistral 系列等。这些模型各有特色，适用于不同的微调场景和任

引言 在检索增强生成（RAG）系统中，有一个看似基础却能决定系统成败的关键环节——文档切分。很多开发者搭建的RAG系统，检索结果不准确、生成内容驴唇不对马嘴，究其原因，往往是文档切分做得不到位。想象一