QCS8550运行ModelFarm上的DeepSeek-R1-Distill-Qwen-7B模型

1.点击链接https://aiot.aidlux.com/zh/models 打开模型广场，找到对应的模型

2.下载对应模型，将文件包push到板卡上

可直接拖拽到aidlux的文件浏览器或者通过adb push的方式上传

3.生成式模型需找到开发指南下的AidGen推理框架进行使用AidGen | APLUX Doc Center

4.根据操作解压模型资源

1. cp -r /usr/local/share/aidgen/examples/genie ./
2. cd genie/data #此路径下进行解压

复制代码

5.修改解压后模型资源中后缀为htp.json的配置文件中的路径

6.根据data路径下aidgen_chat_template.txt模板修改/genie/cpp路径下的test_prompt_serial.cpp文件中的提示词模板部分
注意提示模板的提示词修改，给 prompt_template 添加占位符“{}”，例如:

1. if(prompt_template_type == "qwen2"){
2.     prompt_template = "<｜begin▁of▁sentence｜>You are Deepseek-R1, an AI assistant created exclusively by the Chinese Company DeepSeek. You'll provide helpful, harmless, and detailed responses to all user inquiries in Chinese.<｜User｜>{}<｜Assistant｜>";
3. }

复制代码

7.保存修改后，在当前路径下按照操作进行编译：

1. mkdir build && cd build
2. cmake .. && make
3. #编译成功后运行 test_prompt_serial
4. ./test_prompt_serial /home/aidlux/genie/data/DeepSeek-R1-Distill-Qwen-7B-htp.json

复制代码

若提示fatal error: fmt/format.h: No such file or directory，未找到 fmt/format.h 库，先安装相关库：

1. sudo apt update
2. sudo apt install libfmt-dev

复制代码

运行结果：

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！