前言
随着人工智能技术的快速发展,大语言模型正逐步在各行各业落地生根,但市面上的通用模型往往在特定任务上的表现不如人意,所以针对具体领域甚至具体任务场景微调自己的私有模型就成了唯一可行的路径,微调技术正变得越来越重要。
为了帮助更多初学者从零开始掌握这一关键技能,本文介绍一个作者本人在实际工作中完整跑通的微调实战系列教程。该教程是以一个反经济欺诈的文本检测为项目背景,通过不断的微调、评测,并反复试验各种微调参数和方法,最终将欺诈文本检测的准确率由45%提高并稳定在了94%以上的水平,对于想要通过实战操作掌握微调技术的初学者,有极高的学习和实践价值。
专栏介绍
本教程将带您深入探索整个微调的过程,包括但不限于以下几个关键环节:
- 基座模型选型:介绍如何选择合适的模型来作为微调的基座。
- 数据集构造:指导如何构建适合微调的数据集,包括数据清理和预处理。
- 模型评测:学习如何评估模型性能,确保其在实际应用中的有效性。
- 模型微调:涵盖从基本配置到复杂调优的各种技术和方法。
- 量化与部署:将经过微调的模型部署到生产环境中的策略。
教程具有清晰的章节结构,完整目录如下:
- 欺诈文本分类微调(一):基座模型选型
- 欺诈文本分类微调(二):生成正向数据集
- 欺诈文本分类微调(三):生成反向数据集
- 欺诈文本分类微调(四):构造训练/测试集
- 欺诈文本分类微调(五):模型评测
- 欺诈文本分类微调(六):Lora单卡训练
- 欺诈文本分类微调(七):lora单卡二次调优
- 欺诈文本分类微调(八):批量评测
- 欺诈文本分类微调(九):微调方法概览
- 欺诈文本分类检测(十):QLora量化微调
- 欺诈文本分类检测(十一):LLamaFactory多卡微调
- 欺诈文本分类检测(十二):模型导出与部署
- 欺诈文本分类检测(十三):交叉训练验证
- 欺诈文本分类检测(十四):GPTQ量化模型
- 欺诈文本分类检测(十五):数据校正与增强
- 欺诈文本分类检测(十六):支持分类原因评测改造
- 欺诈文本分类检测(十七):支持分类原因训练
- 欺诈文本分类检测(十八):基于llama.cpp+CPU推理
本系列教程有如下特点:
- 可运行的代码示例:每个部分都附有运行示例,帮助您更好地理解理论与实践的结合。
- 详细的说明:课程中对每段代码及微调参数都附加了详细的含义说明,也会指导您如何根据自身环境调整参数。
- 环境搭建指导:提供详细的环境搭建步骤,只需准备一台具备GPU的机器,便可轻松开始。
专栏附带资源
为了最大限度的降低学习门槛,本教程还附带了可直接使用的数据集以及可运行的notebook。
可直接使用的数据集
CSV格式的原始数据文件,可基于此构建不同格式的数据集。
CSV的文件内容示例:
构建好的训练集、验证集、测试集数据:
构建好的训练集内容示例:
可运行的notebook
notebook文件与专栏的教程目录一一对应。
所有的notebook都可以在jupyter中直接运行,notebook内容示例如下。
资源在哪里找到?
在每篇文章的相关资料链接上都附有notebook的github地址,打开后就能看到notebook文件和相关数据集文件。
零基础开始
如果我一点大模型的基础都没有,怎么办?
没关系,我们可以先从认识模型开始,从聊天窗口逐层深入的解剖模型: 带你从零认识模型
如果我不会搭建环境怎么办?
没关系,这里有作者亲自实验过的两篇环境搭建教程:
如果我没用过jupyter怎么办?
也没关系,这里有一篇学习笔记可以带你入门:jupyter学习笔记
结语
我们设定本课程为付费模式的初衷有以下几点:
- 对内容创作者的支持:本教程是经过多次实践整理而成的,付费将激励作者创作更多优质的教学内容,并回馈给广大的读者。
- 学习的承诺:支付一小笔费用(仅相当于请作者喝了一杯奶茶),可以激励学习者投入更多时间与精力,努力回报这笔小的投资。
微调技术是AI应用中的一项重要能力,通过我们的实战教程,您将获取系统的知识与技能,为未来的项目奠定坚实基础。希望您能加入我们的学习旅程,一起探讨与实践,共同进步!