目的
本文档介绍如何准备环境,以及如何安装conda
和Llama-factory
等工具。
使用llama-factory
预置的数据集进行模型的简单训练。
1. wsl环境准备
1.1 安装wsl及ubantu
安装完成后,你的应用目录中可以查询到Ubuntu
图标,点击打开。
2. 下载llama-factory
llama-factory
是一个零代码大模型训练平台,可以快速搭建模型训练环境,并提供丰富的模型训练功能。
前往github下载llama-factory
项目的压缩包。
网盘压缩包内文件名:llama-factory.zip
拿到安装包后,可以将其解压到任意目录,如D:\llama-factory
。
3. 安装conda
conda
是Python
的包管理工具,可以方便地安装、管理Python
环境。
3.1 安装
在D:\llama-factory
目录下,linuxshell下打开命令提示符,依次输入以下命令安装conda
,此处安装miniconda3
:
#安装miniconda3wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh#运行安装脚本bash Miniconda3-latest-Linux-x86_64.sh#激活source ~/.bashrc#验证安装conda --version
安装过程注意按键盘上的Enter
键,并在最后输入yes
确认安装,直到安装完成,过程中你也可以切换安装路径,默认在/home/用户名
目录下。至最终显示版本号,表示安装成功。
3.2 新增python运行环境
你可以使用conda
创建多个Python
运行环境,每个环境可以有不同的Python
版本、依赖包等。
conda create -n eogee2 python=3.10
表示创建了一个名为eogee2
的Python
运行环境,版本为3.10。
安装过程较慢,如果发现报错,可以尝试重新运行安装命令。
3.3 激活环境
输入以下命令来激活刚刚创建的环境:
conda activate eogee2
3.4 其他python环境命令
#查看已创建的环境conda env list#删除环境conda remove -n eogee2 --all
4. 安装llama-factory
4.1 安装llama-factory
在llama-factory
目录下,linuxshell下打开命令提示符,输入以下命令安装llama-factory
:
#安装llama-factorypip install -e ".[torch,metrics]" -i https://pypi.tuna.tsinghua.edu.cn/simple
注意过程中需要按y
键确认安装。
-e
表示安装llama-factory
为开发模式,可以实时更新代码。".[torch,metrics]"
表示安装llama-factory
所需的依赖包,包括torch
和metrics
两个包。torch
是Python
的深度学习框架metrics
是llama-factory
的评估指标库。
如果你是AMD显卡且支持rocm,可以尝试安装llama-factory
的rocm
版本:
pip install -e ".[rocm,metrics]"
-i
后的内容表示使用过清华镜像,已解决下载安装过程过慢的问题。
直至最终明确显示successfully built llamafactory
字样,表示环境安装成功。
4.2 启动llama-factory
执行以下命令启动llama-factory
:
llamafactory-cli webui
在浏览器中打开http://localhost:7860
,进入llama-factory
的界面。
5. 模型训练
5.1 选择被训练模型
你可以提前在hf-mirror
下载得到QWEN1.5-0.5B模型,我们选取已知最小的模型用于测试。
网盘内文件名为:Qwen1.5-0.5B.zip
下载完成后,解压压缩包,得到Qwen1.5-0.5B
文件夹。你可以将其拷贝到D:\models
目录下。
由于我们在ubantu
环境下进行训练,需要在模型路径中填写ubantu
系统中的相对路径,如:
/mnt/d/models/Qwen1.5-0.5B
你可以在右上角将语言设置为zh
中文,以便阅读。
注意
如果你载入Qwen3系列模型报transformers的错,表示当前安装的 transformers 库不支持 qwen3 这个模型架构。这通常是因为:你使用的 transformers 版本太旧,不支持这个新模型或者这个模型非常新,还没有被正式版本的 transformers 收录
解决方案:首先尝试升级 transformers 库
在你的对应的python环境下,更新transformers:
pip install --upgrade transformers
5.2 调整训练参数,选择数据集
我们在界面下方选择llama-factory
的自带的数据集identity
,选择训练轮数为1,选择梯度为1,以加快训练速度(这种训练参数的设置会造成训练效果不好的状况,此处仅作演示)。设置完成后,点击开始训练
按钮。
当界面中提示训练完成,即表示我们本次模型训练初体验成功。
6. 下节预告
数据集的准备。