小刘的大模型笔记

一、引言 在大模型微调的全流程中，数据集是决定模型效果的核心要素，如同汽车的燃料 —— 优质燃料能让汽车高效运行，高质量数据集能让模型精准适配任务；反之，劣质燃料会导致汽车故障，低质量数据集会让模型性

引言 在大模型微调技术中，LoRA（Low-Rank Adaptation，低秩适配）  是目前最受欢迎的参数高效微调方法。它解决了全参数微调算力成本高、容易导致灾难性遗忘的问题，让普通开发者也能借助

引言 在大模型微调的实践中，很多开发者都会遇到这样的问题：为每个任务单独训练一个模型，不仅耗时耗力，而且模型的泛化能力很差——换一个类似的任务，模型就“失灵”了。有没有一种方法，能让一个模型同时掌握多

作为AI博主，经常有读者问我：“懂了PPO原理，怎么落地到实际微调中？” 其实大模型微调的核心价值，从来都不在“纸上谈兵”的理论理解，而在亲手操盘的实战落地。PPO（近端策略优化）作为RLHF（人类反

引言 检索增强生成，也就是大家常说的RAG，早已不是停留在论文里的技术概念，而是实实在在走进了各行各业的AI应用核心。它最核心的价值，就是解决通用大模型的两大痛点：[知识滞后](https://zhi

作为一名专注AI领域的博主，我经常收到新手的私信求助：想入门大模型微调，到底该选什么样的GPU？是选消费级显卡还是专业卡？显存多大才够用？其实，GPU选型没有统一答案，核心是匹配自己的微调需求、预算和

**引言：微调选型决定定制化效果** 随着开源大模型生态的蓬勃发展，越来越多的个人开发者和中小企业开始投身模型定制化的浪潮。而微调作为将通用大模型改造为场景化模型的核心手段，其最终效果不仅取决于数据质

一、引言 大模型微调框架是连接模型、数据与硬件资源的核心载体，直接决定微调的效率、稳定性与可扩展性。随着大模型技术的普及，市面上涌现出众多微调框架，如 LLaMA-Factory、Transforme

引言 大语言模型的出现，让机器理解和生成人类语言的能力达到了新高度。但通用大模型就像一把 “万能钥匙”，虽然能打开很多门，却在面对特定场景时显得力不从心。比如让通用模型写一份医疗诊断报告，它可能会出现