一、window系统部署
前提紧要：已尝试linux系统下整个环境搭建
现在尝试windows系统下（空环境），对整个外挂数据库、知识库的搭建
此外，尝试多搭建一个独立环境，关于db_chat项目
windows版本：11
1.1windows系统下载
- git
- miniconda（自带python3.9.12）
- NotePad
- VPN
- 必要的浏览器
- VsCode
注：以上环境都是windows的窗口直接安装，一般都是ok、next，
必须添加环境变量path（git与VsCode）
windows，环境变量、用户变量：WORKON_HOME ： .virtualenvs
(用于处理pipenv独立python环境在当前文件夹下.virtualenvs)
1.2 pyTorch配置
import torch
n_gpu = torch.cuda.device_count()
print(torch.cuda.is_available())
print(n_gpu)
如果有，则可以跳过。0或false则GPU没装
# 清理已下载
pip freeze>all_modules.txt
pip uninstall -r all_modules.txt -y
# 查看GPU有关信息
nvidia-smi
装载GPU配置:
CUDA Toolkit 12.3 Downloads | NVIDIA Developer
cuDNN Archive | NVIDIA Developer
PyTorch
注意,小心观察,不要让新的版本比现有版本低
GPU版本的PyTorch安装与环境配置_pytorch gpu版-CSDN博客
环境配置：选择正确版本的CUDA和PyTorch安装(windows) - 知乎 (zhihu.com)
环境变量在系统变量里面添加,python的pytorch版本如下:
pip3 uninstall torch torchvision torchaudio -y
# pytroch的GPU版本,对应12.1
# 请在这里配置pytorch，后续直接下载是CPU模式
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
二、conda配置
已启用VPN,或默认换源
2.1miniconda 启动
启用位置：下载miniconda后
windows 开始菜单 -> 所有应用 -> Anaconda Powershell
prompt
最好固定在开始菜单，或者任务栏
cd E:\LLM_project
conda create --prefix=.condas python=3.10 -y
conda activate ./.condas/
2.2project下的搭建
已有
- project
│ .env
│ run_startup.sh 启动web页面
└──── .condas 整体环境
└───── Langchain-Chatchat 运行所在位置，知识库
└───── model LLM模型位置，embedding
└───── table 表格模型位置，数据库
| └───── table_SQL
│ │ data_db 数据库样例（select * from A groupy by A.a limit
│ │ web/main.py 后台表格模型运行
│ │ model 表格模型
└───── fine_tunning_lora 独立环境，模型微调
继续下载hf榜一模型
Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 \
2.2.1知识库
位置：project
git clone -b v0.2.8 https://github.com/chatchat-space/Langchain-Chatchat.git
# LLM项目配置.rar 已有大体结构，可以不用下载
# E:\LLM_project\Langchain-Chatchat\server\chat\2.1table_chat.py
# 改名 table_chat.py
cd Langchain-Chatchat
# requirements.txt 56行
# duckduckgo-search>=4.1.1
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
pip install modelscope sentencepiece httpie pipenv
# pip install jq 情况复杂，用于知识库建立，后续知识库处理
# 然后参考配置知识库
2.2.2 LLM模型位置
位置：project
cd ./model
git lfs install
git clone https://huggingface.co/BAAI/bge-large-zh
git clone https://huggingface.co/cookinai/CatMacaroni-Slerp
等hf网址有关模型
因为git工具问题，建议下载后，卸载.git文件避免占用空间
2.2.3 微调
所在位置：./fine_tunning_lora （有.env）
pipenv shell
git clone https://github.com/FlagAlpha/Llama2-Chinese.git
（ai_deeplearn失效？）
git clone https://gitee.com/ai_deeplearn/Llama2-Chinese.git
pip install -r requirements.txt
# 第11行 https://gitee.com/ai_deeplearn/peft弃用
# git+https://github.com/huggingface/peft
pip install --upgrade peft
若GPU报错：
pip uninstall bitsandbytes -y
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.0-py3-none-win_amd64.whl
pip install torch torchvision langchain
2.2.4 表格
位置：table_SQL
pip install -r requirements.txt
外挂后台表格模型位置：
./table/table_SQL/web/main.py
2.2.5 新项目
位置：project
git clone https://github.com/eosphoros-ai/DB-GPT.git
pip install -e .
三、启动与关闭项目
1.启动
cd project（位置）
conda activate ./.condas/
sh run_startup.sh
2.终止
终止（用于后端表格模型更新）
ctrl +C
pgrep -f 'main.py'
kill $(pgrep -f 'main.py')
3.run_startup.bat内容
@echo off
:: 获取脚本所在目录
set "SCRIPT_DIR=%~dp0"
:: 构建 Langchain-Chatchat 目录的路径
set "LANGCHAIN_CHATCHAT_DIR=%SCRIPT_DIR%\Langchain-Chatchat"
:: 进入 Langchain-Chatchat 目录
cd /d "%LANGCHAIN_CHATCHAT_DIR%" || exit /b
:: 启动 web 服务，并将其放在后台运行
start "" python ..\table\table_SQL\web\main.py --reload >> ..\Log\table_output.log 2>&1
:: 显示正在运行的 web 服务进程信息
echo Web 服务已启动，请查看任务管理器
:: 结束 web 服务
taskkill /im python.exe /f
四、配置知识库
独立隔绝环境LLM外挂知识库与数据库（表格查询方向，text2sql） - 掘金 (juejin.cn)
对于知识库的建立，特殊文件格式问题 \
# 此处单独下载是因为需要其他依赖项，所以补充报错
pip install jq
无效
[windows上如何安装jq_windows jq-CSDN博客](https://blog.csdn.net/qq_39479307/article/details/106944685)
- 如果要在Windows上顺利的使用jq，需要先安装chocolatey。
- 以管理员身份打开cmd窗口，输入 \
@"%SystemRoot%\System32\WindowsPowerShell\v1.0\powershell.exe" -NoProfile -InputFormat None -ExecutionPolicy Bypass -Command "iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))" && SET "PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin"
- 接着输入（C:\ProgramData\chocolatey\bin） \
choco install jq
无效
winget install jqlang.jq \
[jq命令安装与使用_jq 安装-CSDN博客](https://blog.csdn.net/qq_33204709/article/details/132928207)
无效
["pip install jq“在Mac和Windows上生成错误-腾讯云开发者社区-腾讯云 (tencent.com)](https://cloud.tencent.com/developer/ask/sof/113968124) \
[windows上安装mingw和配置autoconf_mingw automake-CSDN博客](https://blog.csdn.net/huyoo/article/details/44731347) \
[使用 MinGW 在 Windows 上使用 GNU | Linux 中国 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/197279671)
chat-GPT 无用
curl -O https://github.com/kkos/oniguruma/archive/refs/tags/v6.9.8.zip
https://github.com/kkos/oniguruma/archive/refs/tags/v6.9.8.zip
4.1 从入门到放弃
wsl2真香，windows未知错误太多，难以有效解释
旧版 WSL 的手动安装步骤 | Microsoft Learn
wsl2下载配置如上
（需要windows10 以上）
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
wsl --install
wsl.exe --update
报错是DNS问题，建议开梯子
wsl --set-default-version 2
cmd下启动linux（ubuntu）
wsl
4.2 初始化与使用
# 初始化配置文件
python copy_config_example.py
# 初始化案例知识库
python init_database.py --recreate-vs
# 启动
python startup.py -a
# 网页位置：./Langchain-Chatchat/configs/server_config.py
http://10.200.6.204:8501
http://10.200.6.204:7861
五、新增DB-GPT尝试
环境：
git clone https://github.com/eosphoros-ai/DB-GPT.git
# python >= 3.10
conda create --prefix=.condas python=3.10 -y
conda activate ./.condas/
# it will take some minutes
pip install -e ".[default]"
cp .env.template .env
python dbgpt/app/dbgpt_server.py
环境与配置
cd DB-GPT
官方：
#### embedding model
git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
或者
git clone https://huggingface.co/moka-ai/m3e-large
#### llm model, if you use openai or Azure or tongyi llm api service, you don't need to download llm model
git clone https://huggingface.co/lmsys/vicuna-13b-v1.5
开始配置：
环境变量配置, 配置**LLM_MODEL参数在 `.env` 文件中**
26行
LLM_MODEL=CatMacaroni-Slerp
73行
EMBEDDING_MODEL=bge-large-zh
E:\LLM_project\DB-GPT\dbgpt\configs\model_config.py
38行
"CatMacaroni-Slerp": "E:/LLM_project/model/CatMacaroni-Slerp",
153行
"bge-large-zh" : "E:/LLM_project/model/bge-large-zh",
pip3 uninstall torch torchvision torchaudio -y
# pytroch的GPU版本,对应12.1
# 请在这里配置pytorch，否则后续是CPU模式
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
访问网页
http://localhost:5000
