前言
在unsloth莫名报错之后,转身投向了国产微调工具的怀抱
llamafactory----消费级显卡用户的大模型微调福音
新人不善言辞,直接流程走起
1.docker
1.首先是安装docker,由于docker默认安装在C盘而在使用后期会占据超级多的空间导致C盘空间不足,因此我们先在D盘下新建Docker文件夹作为安装路径
2.然后我们搜索docker for Windows,docker官网下载完成之后进入下载文件夹下运行cmd
3.运行命令
"Docker Desktop Installer.exe" install --installation-dir=<D:\Docker>
或者更改到您喜欢的位置
2.llamafactory
llamafactory的源码我们是可以直接在hub获取的,但是很多教程实际上会因为各种原因导致失败,因此我们全部基于docker来部署
1.拉取llamafactory源码
git clone https://github.com/hiyouga/LLaMA-Factory.git
2.进入拉取的文件夹内
关于pip安装命令的使用,我是使用的anaconda创建的虚拟环境,python版本选择3.11.9即可
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
cd docker/docker-cuda/ #进入文件夹
docker compose up -d #compose构建
docker compose exec llamafactory bash #或者是重新打开命令行界面运行
# docker exec -it llamafactory /bin/bash
3.此时运行服务
llamafactory-cli webui
然后打开浏览器访问localhost:7860
3.ollama
ollama地址
从一而终地,ollama我们也使用docker来部署,新买的设备当然是不能吃灰,所以我使用的是gpu版本
win+R输入cmd,拉取ollama镜像
docker pull ollama/ollama
#cpu
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
#gpu
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
训练工具和运行工具都已经安装完毕,下一篇会继续分享训练过程,后续也会分享使用过程中的坑~