AMD核显部署Deepseek-R1

517 阅读3分钟

Niubility的核显

你敢相信吗?核显竟然也能本地部署deepseek,这不是梦。

如果你恰好有一台AMD CPU的电脑,有如此巧合,你的CPU的核显niubility!!比如大名鼎鼎的ADM Radeon 680M,又或者 780M,甚至更强的880M,那么你可以尽情地开始燥起来!!!

先看配置

楼主的硬件配置如图:

image.png 正如楼主的AMD Ryzen 7 7735HS,这套方案的优势在于GPU现存与内容共用,类似M系列的mac,因此理论上只要你内存够大,你就能跑更大的LLM,32B、70B也不是梦。但这套方案的缺点也很明显,因为共用内存,楼主的是ddr4的低压内存条,因此内存带宽会拖后腿,核显GPU也会成为瓶颈。(虽然680M号称对标RTX1050ti,780M更是对标RTX1060)。

Ollama安装

因为是AMD平台,所以需要安装修改后的Ollama。 Ollama for amd下载:https://github.com/likelovewant/ollama-for-amd/releases

安装过程很简单,直接双击安装即可,没有什么特别的地方。 安装成功后,运行 ollama -v,正确显示版本号则安装成功。 image.png

显卡兼容性修改

默认安装完后,ollama是不支持核显的,需要手动替换文件,ollama才能识别到680M核显。

此时需要另外一个大神级项目出场,ROCmLibs-for-gfx1103-AMD780M-APU,ROCm下载:https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU/releases 这个项目里能看到是780M的,并不是680M的,但是并不要灰心,gfx1103是780M在amd公司内部的代号,同样的,680M一样也有内部代号,搜一下子,就查到了680M的内部代号为gfx1035,这就好办了,在ROCmLibs-for-gfx1103-AMD780M-APU里搜索一番,还真让我找到了支持的版本,十匹马都追不上我的点击下载的速度!

image.png

注意:墙裂建议下载v0.6.1.2,楼主在试了v0.6.2.4,未成功

ROCm支持替换

关键步骤来了,成败在此一举。

  1. 先将上一步从ROCmLibs-for-gfx1103-AMD780M-APU项目下载的ROCm安装解压,如果没错的话,你下载的文件名是楼主下载的是rocm.gfx1035.for.hip.sdk.6.1.2.7z,解压后目录机构如下:

image.png 2. ollama的默认安装目录为C:\Users\用户名\AppData\Local\Programs\Ollama,替换操作也都在这个目录内进行。

C:\Users\pxvp\AppData\Local\Programs\Ollama\lib\ollama目录下的rocblas.dll文件进行备份,重命名为rocblas.dll.bak,然后将rocm.gfx1035.for.hip.sdk.6.1.2目录下的rocblas.dll文件复制到此目录下。

C:\Users\pxvp\AppData\Local\Programs\Ollama\lib\ollama\rocblas目录下的library文件夹进行备份,重命名为library.bak,然后将rocm.gfx1035.for.hip.sdk.6.1.2目录下的library文件夹整体copy到此目录下。

  1. 退出ollama,右键点击右下角的ollama图标,退出ollama。

image.png

  1. 打开powershell,执行ollama serve,出现下图提示,恭喜你,你已经在680M上运行起了ROCm,并成功被ollama识别到了,你可以开始造了!

image.png

  1. 运行llm,执行ollama run deepseek-r1:14b,成功加载模型后,显示GPU现存占用接近14G,如下图:

image.png

  1. 进行一个简单的推理,看看GPU的使用情况:

image.png

image.png

image.png 可以看到,GPU已经被充分利用起来了,并且CPU的使用率并不高。

结束语

好啦,经过以上折腾,已经能成功在AMD 680M核显上跑起来deepseek-r1 14B的蒸馏模型,你可以结合chatbox,跟本地的大模型进行开心友好的交流了。

参考连接:https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU