前言
在unsloth莫名报错之后，转身投向了国产微调工具的怀抱
llamafactory----消费级显卡用户的大模型微调福音
新人不善言辞，直接流程走起
1.docker
1.首先是安装docker，由于docker默认安装在C盘而在使用后期会占据超级多的空间导致C盘空间不足，因此我们先在D盘下新建Docker文件夹作为安装路径
2.然后我们搜索docker for Windows，docker官网下载完成之后进入下载文件夹下运行cmd
3.运行命令
"Docker Desktop Installer.exe" install --installation-dir=<D:\Docker>
或者更改到您喜欢的位置
2.llamafactory
llamafactory的源码我们是可以直接在hub获取的，但是很多教程实际上会因为各种原因导致失败，因此我们全部基于docker来部署
1.拉取llamafactory源码
git clone https://github.com/hiyouga/LLaMA-Factory.git
2.进入拉取的文件夹内
关于pip安装命令的使用，我是使用的anaconda创建的虚拟环境，python版本选择3.11.9即可
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
cd docker/docker-cuda/ #进入文件夹
docker compose up -d #compose构建
docker compose exec llamafactory bash #或者是重新打开命令行界面运行
# docker exec -it llamafactory /bin/bash
3.此时运行服务
llamafactory-cli webui
然后打开浏览器访问localhost:7860
3.ollama
ollama地址
从一而终地，ollama我们也使用docker来部署，新买的设备当然是不能吃灰，所以我使用的是gpu版本
win+R输入cmd，拉取ollama镜像
docker pull ollama/ollama
#cpu
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
#gpu
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
训练工具和运行工具都已经安装完毕，下一篇会继续分享训练过程，后续也会分享使用过程中的坑~
