QCS8550运行ModelFarm上的DeepSeek-R1-Distill-Qwen-7B模型

77 阅读1分钟

1.点击链接aiot.aidlux.com/zh/models打开模型广场,找到对应的模型 1.png

2.下载对应模型,将文件包push到板卡上 2.png 可直接拖拽到aidlux的文件浏览器或者通过adb push的方式上传 3.png

3.生成式模型需找到开发指南下的AidGen推理框架进行使用AidGen | APLUX Doc Center 4.png

4.根据操作解压模型资源

 cp -r /usr/local/share/aidgen/examples/genie ./
 cd genie/data #此路径下进行解压

5.png 6.png

5.修改解压后模型资源中后缀为htp.json的配置文件中的路径 7.png

6.根据data路径下aidgen_chat_template.txt模板修改/genie/cpp路径下的test_prompt_serial.cpp文件中的提示词模板部分

注意提示模板的提示词修改,给 prompt_template 添加占位符“{}”,例如:

 if(prompt_template_type == "qwen2"){
     prompt_template = "<|begin▁of▁sentence|>You are Deepseek-R1, an AI assistant created exclusively by the Chinese Company DeepSeek. You'll provide helpful, harmless, and detailed responses to all user inquiries in Chinese.<|User|>{}<|Assistant|>";
 }

8.png

7.保存修改后,在当前路径下按照操作进行编译:

 mkdir build && cd build
 cmake .. && make
 #编译成功后运行 test_prompt_serial
 ./test_prompt_serial /home/aidlux/genie/data/DeepSeek-R1-Distill-Qwen-7B-htp.json

若提示fatal error: fmt/format.h: No such file or directory,未找到 fmt/format.h 库,先安装相关库:

 sudo apt update
 sudo apt install libfmt-dev

运行结果: 9.png 10.png