地瓜RDK X5上手ollama大模型测试

地瓜RDK X5上手ollama大模型测试

契机

⚙ 上次逛ollama的时候发现有很多小参数的大模型，比如qwen2:0.5b,llama3.2:1b，甚至还有一个1.8b的多模态模型moondream，找公司1拿到一块RDK X5的开发板，官网查看算力可达10TOPS，不懂这个算力是啥级别，也没做过iot平台的开发，但看系统是ubuntu，那问题不大，直接装ollama来跑，调研下个版本的智能硬件。

硬件烧录

RDK DOC

• 准备至少8GB容量的Micro SD卡
• SD 读卡器
• 下载镜像烧录工具balenaEtcher,https://etcher.balena.io/#download-etcher
• 下载镜像：archive.d-robotics.cc/downloads/o…
  • desktop为有界面的
  • server为无界面的，资源占用率低
  • 我下载的是desktop，看看界面啥样
  • 现在下来的是压缩包，需要解压
• 烧录进sd卡
• 然后ttl链接电脑，使用终端工具进入命令行，或者你直接使用hdmi连上键盘鼠标才做ui

进入系统

设置wifi

#链接wifi（可以设置多个）
sudo wifi_connect "wifiname" 'psw'

#看看ip地址
#这个ip地址要记住，等下ssh链接就可以不使用ttl了
#vnc也需要这个ip地址
ifconfig

#默认登陆账号密码都是root

设置vnc

RDK DOC

macos可以使用《屏幕共享》直接链接

测试ollama

安装

#更新ca证书
sudo apt-get update

#安装ollama
curl -fsSL https://ollama.com/install.sh | sh

#把三个镜像都搞下来
ollama run moondream:latest
ollama run llama3.2:1b
ollama run qwen2:0.5b

测试结果

qwen2:0.5b

llama3.2:1b

moondream:latest

图片识别一直在转圈圈，运行不了，应该是现在没有使用BPU加速的原因，我也看不懂，应该ratio是0就是没走BPU吧

watch -n 0.1 hrut_somstatus

root@ubuntu:~# hrut_somstatus
=====================1=====================
temperature-->
        DDR      : 55.2 (C)
        BPU      : 54.3 (C)
        CPU      : 54.3 (C)
cpu frequency-->
-e            min(M)    cur(M)  max(M)
-e      cpu0: 300       1200    1500
-e      cpu1: 300       1200    1500
-e      cpu2: 300       1200    1500
-e      cpu3: 300       1500    1500
-e      cpu4: 300       1200    1500
-e      cpu5: 300       1500    1500
-e      cpu6: 300       1500    1500
-e      cpu7: 300       1200    1500
bpu status information---->
-e            min(M)    cur(M)  max(M)  ratio
-e      bpu0: 500       1000    1000    0
ddr frequency information---->
-e            min(M)    cur(M)  max(M)
-e      ddr:  266       4266    4266
GPU gc8000 frequency information---->
-e            min(M)    cur(M)  max(M)
-e      gc8000:  200    1000    1000

总结

• 没啥难度
• BPU到底是啥，算力到底是啥，不清楚这些定义
• 在linux服务器上部署大模型的时候可以直接调用to_cuda，直接在gpu加载模型，看了下文档，BPU好像更麻烦一点

写到最后