因为安装 MiniCPM-Llama3-V-2_5 模型的方式很多， 所以下述安装步骤是仅针对通过源码运行 MiniCPM-Llama3-V-2_5-int4 模型。 该模型需要运行在 GPU 上，需要根据显卡安装对应的 CUDA 驱动。 安装 CUDA 的步骤可以参考其他 jym 写的文章，此处提供个参考链接 windows操作系统安装配置CUDA12.3和cuDNN。
克隆仓库
Github MiniCPM-Llama3-V-2_5 官方仓库
git clone https://github.com/OpenBMB/MiniCPM-V.git
模型下载
魔搭社区 MiniCPM-Llama3-V-2_5-int4 下载资源
git lfs install
git clone https://www.modelscope.cn/OpenBMB/MiniCPM-Llama3-V-2_5-int4.git
安装依赖
建议使用 venv 或 conda 避免依赖问题。
pip install -r requirements.txt
备注：
-
安装完依赖后根据 torch 版本，通过 PyTorch官网 找到对应 cuda 版本的 torch 并重新安装。
-
运行代码时可能会报找不到指定的模块， 通过命令 pip install XXXX 安装缺失的依赖即可。
运行代码
变量 model_path 的值修改成下载完成的模型路径。
运行 web_demo_2.5.py 文件，浏览器输入 http://127.0.0.1:8080 打开页面。
