Niubility的核显
你敢相信吗?核显竟然也能本地部署deepseek,这不是梦。
如果你恰好有一台AMD CPU的电脑,有如此巧合,你的CPU的核显niubility!!比如大名鼎鼎的ADM Radeon 680M,又或者 780M,甚至更强的880M,那么你可以尽情地开始燥起来!!!
先看配置
楼主的硬件配置如图:
正如楼主的AMD Ryzen 7 7735HS,这套方案的优势在于GPU现存与内容共用,类似M系列的mac,因此理论上只要你内存够大,你就能跑更大的LLM,32B、70B也不是梦。但这套方案的缺点也很明显,因为共用内存,楼主的是ddr4的低压内存条,因此内存带宽会拖后腿,核显GPU也会成为瓶颈。(虽然680M号称对标RTX1050ti,780M更是对标RTX1060)。
Ollama安装
因为是AMD平台,所以需要安装修改后的Ollama。 Ollama for amd下载:https://github.com/likelovewant/ollama-for-amd/releases
安装过程很简单,直接双击安装即可,没有什么特别的地方。
安装成功后,运行 ollama -v,正确显示版本号则安装成功。
显卡兼容性修改
默认安装完后,ollama是不支持核显的,需要手动替换文件,ollama才能识别到680M核显。
此时需要另外一个大神级项目出场,ROCmLibs-for-gfx1103-AMD780M-APU,ROCm下载:https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU/releases 这个项目里能看到是780M的,并不是680M的,但是并不要灰心,gfx1103是780M在amd公司内部的代号,同样的,680M一样也有内部代号,搜一下子,就查到了680M的内部代号为gfx1035,这就好办了,在ROCmLibs-for-gfx1103-AMD780M-APU里搜索一番,还真让我找到了支持的版本,十匹马都追不上我的点击下载的速度!
注意:墙裂建议下载v0.6.1.2,楼主在试了v0.6.2.4,未成功
ROCm支持替换
关键步骤来了,成败在此一举。
- 先将上一步从ROCmLibs-for-gfx1103-AMD780M-APU项目下载的ROCm安装解压,如果没错的话,你下载的文件名是楼主下载的是
rocm.gfx1035.for.hip.sdk.6.1.2.7z,解压后目录机构如下:
2. ollama的默认安装目录为
C:\Users\用户名\AppData\Local\Programs\Ollama,替换操作也都在这个目录内进行。
将
C:\Users\pxvp\AppData\Local\Programs\Ollama\lib\ollama目录下的rocblas.dll文件进行备份,重命名为rocblas.dll.bak,然后将rocm.gfx1035.for.hip.sdk.6.1.2目录下的rocblas.dll文件复制到此目录下。
将
C:\Users\pxvp\AppData\Local\Programs\Ollama\lib\ollama\rocblas目录下的library文件夹进行备份,重命名为library.bak,然后将rocm.gfx1035.for.hip.sdk.6.1.2目录下的library文件夹整体copy到此目录下。
- 退出ollama,右键点击右下角的ollama图标,退出ollama。
- 打开powershell,执行
ollama serve,出现下图提示,恭喜你,你已经在680M上运行起了ROCm,并成功被ollama识别到了,你可以开始造了!
- 运行llm,执行
ollama run deepseek-r1:14b,成功加载模型后,显示GPU现存占用接近14G,如下图:
- 进行一个简单的推理,看看GPU的使用情况:
可以看到,GPU已经被充分利用起来了,并且CPU的使用率并不高。
结束语
好啦,经过以上折腾,已经能成功在AMD 680M核显上跑起来deepseek-r1 14B的蒸馏模型,你可以结合chatbox,跟本地的大模型进行开心友好的交流了。
参考连接:https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU