RK3588 上的 LLM（三）：板端部署 RKLLM 并进行大模型推理（以 RK3588 为例）

本教程记录了如何在 RK3588 开发版上部署 RKLLM 并使用其进行大模型推理的过程，包含基于命令行的运行和服务端部署（本文以 Gradio 前后端为例）

注：运行 RKLLM 需要 RKNPU 驱动版本至少为 0.9.8，升级方法可以参考合集中升级 RKNPU 驱动版本的文章

0、安装 RKLLM Runtime：

首先拉取rknn-llm源码：

1. git clone https://github.com/airockchip/rknn-llm && cd rknn-llm

复制代码

安装 RKLLM 的 Runtime 到/usr/lib：

1. sudo install rrkllm-runtime/Linux/librkllm_api/aarch64/librkllmrt.so /usr/lib

复制代码

1、使用命令行运行：

从源码编译llm_demo：

1. g++ -std=c++11 ./examples/rkllm_api_demo/deploy/src/llm_demo.cpp -o llm_demo -lrkllmrt

复制代码

此时，在当前目录下会生成一个llm_demo可执行文件，此程序可以运行转换过后的模型（有关 RKLLM 的模型转换请参考这里，这里以此教程转换出的Qwen3-4B-Instruct-2507_W8A8_RK3588.rkllm模型文件为例，这里假设你已经上传此模型文件到~目录）：

1. #  直接输入 llm_demo 可查看使用说明
2. llm_demo ~/Qwen3-4B-Instruct-2507_W8A8_RK3588.rkllm 2048 4096

复制代码

成功运行后可直接在终端中与其对话
2、使用官方脚本搭建服务端：

官方给出了两个脚本用于搭建 RKLLM 服务器，分别基于 Flask 和 Gradio，这里以 Gradio 为例：
Gradio 服务器的脚本位于 rknn-llm 中的examples/rkllm_server_demo/rkllm_server/gradio_server.py，可以新建一个文件夹存放此项目（假设你当前位于rknn-llm文件夹下）：

1. mkdir ~/rkllm_gradio
2. cp ./examples/rkllm_server_demo/rkllm_server/gradio_server.py ~/rkllm_gradio
3. cd ~/rkllm_gradio

复制代码

随后，创建一个虚拟环境（这里以 python-venv 为例，也可使用 conda 等虚拟环境）：

1. python -m venv venv && source venv/bin/activate
2. # 从清华源安装
3. pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple
4. # --rkllm_model_path 参数为模型文件的位置，这里以转换出的`Qwen3-4B-Instruct-2507_W8A8_RK3588.rkllm`模型文件为例，这里假设你已经上传此模型文件到 ~ 目录
5. # --target_platform 参数为当前开发板的芯片型号，这里为rk3588
6. python gradio_server.py --rkllm_model_path ~/Qwen3-4B-Instruct-2507_W8A8_RK3588.rkllm --target_platform rk3588

复制代码

运行后会自动监听8080端口（若无占用），此时电脑访问http://开发板ip:8080/即可直接进入网页端
2.1、使用 API 连接

Gradio 支持使用 python API 进行连接，以下是一份示例代码：

1. from gradio_client import Client
2. import sys
3. import time
4. import argparse
6. def main():
8.     parser = argparse.ArgumentParser(description='Gradio客户端连接到RKLLM后端')
9.     parser.add_argument('--text', '-t', type=str, required=True, help='要发送给模型的输入文本')
10.     args = parser.parse_args()
12.     # 后端URL
13.     url = "http://127.0.0.1:8080"
15.     try:
16.         # 创建客户端连接
17.         client = Client(url, verbose=False)
18. #        print(f"已连接到后端: {url}")
19.     except Exception as e:
20.         print(f"连接失败: {e}")
21.         sys.exit(1)
23.     # 输入文本
24.     input_text = args.text  # 替换为您的输入
25.     # 如果需要从用户输入获取，取消下一行注释：
26.     # input_text = input("请输入您的消息: ")
28.     try:
29.         # 第一步：调用get_user_input端点，清空输入框并更新历史
30. #        print("发送用户消息...")
31.         result1 = client.predict(
32.             user_message=input_text,
33.             history=[],  # 空历史记录
34.             api_name="/get_user_input"
35.         )
37.         # result1返回 (inputtextbox, value_3)
38.         # inputtextbox是清空后的输入框，value_3是更新后的历史
39.         updated_history = result1[1]
40. #        print(f"更新后的历史: {updated_history}")
42.         # 第二步：调用get_RKLLM_output端点，获取模型回复
43. #        print("等待模型回复...")
44.         job = client.submit(
45.             history=updated_history,
46.             api_name="/get_RKLLM_output",
47.             fn_index=1  # 第二个端点
48.         )
50. #        print("流式输出开始:")
51.         last_response = ""
52.         for output in job:
53.             # 输出是更新后的历史记录
54.             if output and len(output) > 0:
55.                 # 获取最后一条消息的助手回复
56.                 last_exchange = output[-1]
57.                 if len(last_exchange) > 1 and last_exchange[1]:
58.                     current_response = last_exchange[1]
59.                     # 只打印新增的部分
60.                     new_text = current_response[len(last_response):]
61.                     if new_text:
62.                         print(new_text, end='', flush=True)
63.                         last_response = current_response
64.             time.sleep(0.05)  # 稍微延迟以避免过于频繁的检查
66. #        print("\n流式输出结束。")
67.         print("\n ")
69.     except Exception as e:
70.         print(f"请求失败: {e}")
72. if __name__ == "__main__":
73.     main()

复制代码

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！