Windows下llamafactory+ollama+docker 微调部署全流程速通(RTX4090公版)

666 阅读2分钟

前言

在unsloth莫名报错之后,转身投向了国产微调工具的怀抱
llamafactory----消费级显卡用户的大模型微调福音
新人不善言辞,直接流程走起

1.docker

1.首先是安装docker,由于docker默认安装在C盘而在使用后期会占据超级多的空间导致C盘空间不足,因此我们先在D盘下新建Docker文件夹作为安装路径

2.然后我们搜索docker for Windows,docker官网下载完成之后进入下载文件夹下运行cmd

3.运行命令

"Docker Desktop Installer.exe" install --installation-dir=<D:\Docker>

或者更改到您喜欢的位置

2.llamafactory

llamafactory的源码我们是可以直接在hub获取的,但是很多教程实际上会因为各种原因导致失败,因此我们全部基于docker来部署
1.拉取llamafactory源码

git clone https://github.com/hiyouga/LLaMA-Factory.git

2.进入拉取的文件夹内
关于pip安装命令的使用,我是使用的anaconda创建的虚拟环境,python版本选择3.11.9即可

cd LLaMA-Factory
pip install -e ".[torch,metrics]"
cd docker/docker-cuda/ #进入文件夹
docker compose up -d  #compose构建
docker compose exec llamafactory bash #或者是重新打开命令行界面运行
# docker exec -it llamafactory /bin/bash

3.此时运行服务

llamafactory-cli webui

然后打开浏览器访问localhost:7860

3.ollama

ollama地址
从一而终地,ollama我们也使用docker来部署,新买的设备当然是不能吃灰,所以我使用的是gpu版本
win+R输入cmd,拉取ollama镜像

docker pull ollama/ollama
#cpu 
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
#gpu
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

训练工具和运行工具都已经安装完毕,下一篇会继续分享训练过程,后续也会分享使用过程中的坑~