【EASY EAI Nano人工智能开发套件试用体验】rknn-toolkit进行onnx模型模拟测试及在线测试

不知道为什么上一篇文章没有显示出来：【EASY EAI Nano人工智能开发套件试用体验】RKNN YOLOV5 例程测试及横向对比

上一篇文章中提到瑞芯微电子的rknn系列组件分为rknpu和rknn-toolkit
其中rknpu提供了调用npu运行神经网络程序的接口，上一贴中已有演示
本贴则是探索rknn-toolkit的模型转换与在线测试功能

introduction

瑞芯微电子的 rknn-toolkit 组件提供了对新训练的模型测试的功能。包括PC机模拟开发板、PC通过adb向开发板透传运行。
若要使用PC端向设备透传运行需要根据 Rockchip_Quick_Start_RKNN_Toolkit_V1.7.3_CN 文档稍微修改一下 python脚本

安装 rknn-toolkit

由于向设备透传运行需要adb连接，docker提供响应支持比较复杂，这个就不在 docker里面安装。由于主机之前安装过rknn2，在python中也是使用rknn关键词，因此两个rknn组件是冲突的，安装rknn1会直接覆盖掉rknn2.
py依赖
- rknn-toolkit/packages
- pip3 install -r requirements-cpu-ubuntu20.04_py38.txt -i https://pypi.mirrors.ustc.edu.cn/simple/
rknn toolkit依赖
- rknn-toolkit/rknn-toolkit-lite/packages
- pip3 install rknn_toolkit_lite-1.7.3-cp38-cp38-linux_x86_64.whl
python opencv 依赖：
- pip install opencv-python
下载包：
- 访问：https://kgithub.com/rockchip-linux/rknn-toolkit/releases/
- 下载：
  rknn-toolkit-v1.7.3-packages.tar.gz or rknn-toolkit-v1.7.3-packages.zip
解压 rknn_toolkit-1.7.3-cp38-cp38-linux_x86_64.whl 出来，校验
安装whl（覆盖了原本安装的rknn2）
pip3 install rknn_toolkit-1.7.3-cp38-cp38-linux_x86_64.whl -i https://pypi.mirrors.ustc.edu.cn/simple/
测试是否安装成功，在python3环境下：
from rknn.api import RKNN

运行

在目录 rknn-toolkit/examples/onnx/yolov5 下，执行：
```
python3 test.py
```
- 这个是在PC端模拟，运行模型的过程中因为主机没有英伟达的显卡，所以是CPU吭哧吭哧硬算，算了4分多钟，最后我的电脑哐一声炸响裂开了，打开后盖一看，电池热鼓包了。
把开发板接入PC，然后检查设备id
```
adb devices
```

根据 Rockchip_Quick_Start_RKNN_Toolkit_V1.7.3_CN 文档修改对应 test.py ：

rknn.config(reorder_channel='0 1 2',
		mean_values=[[0, 0, 0]],
		std_values=[[255, 255, 255]],
		optimization_level=3,
		target_platform = 'rv1126',
		output_optimize=1,
		quantize_input_node=QUANTIZE_ON)
...
ret = rknn.init_runtime('rv1126', device_id='...')