学习YOLOv5：训练样本并部署到RV1126

准备好训练好的pt文件,
可以用Netron打开看看大概长啥样:

在py38的conda环境, 进行转换

python export.py --rknpu rv1126 --weight runs/train/exp4/weights/best.pt --include onnx

理论上不会有报错, 输出的onnx格式模型, 放在刚才的best.pt的目录.
用Netron看看模型

到这里, 相信很多人都没啥问题, 关键是注意:

1. Conv现在是3×3或者2×2的, 因为npu优化过3×3
2. 激活函数现在是relu, 因为算起来够快…

接下来转rknn我是在ubuntu虚拟机/物理机下面实现的.

新建conda的py36环境

$ conda create -n rknn_py36 python=3.6
$ conda activate rknn_py36

下载并安装rknn的package

wget https://github.com/rockchip-linux/rknn-toolkit/releases/download/v1.7.1/rknn-toolkit-v1.7.1-packages.tar.gz

记住, 这里的版本是1.7.1

解压之后, 先确认目前python是3.6版本.

$ tax rknn-toolkit-v1.7.1-packages.tar.gz
$ cd packages
$ pip install -r requirements-cpu.txt

祝你有个好梯子, 或者, 可以在pip后面加上清华的源, 方法自行百度一下吧, 还挺简单的.

如果你是把ubuntu装在ubuntu的物理机上, 而又有显卡加成, 那你可以直接装requirement-gpu

如果提示你有冲突, 说torchvision 0.4.0仅仅支持torch==1.2.0, 直接修改requirement-cpu.txt, 把torchvision的版本改成
去这个网页, 查一下torch 1.5.1对应torchvision是0.6.1

The conflict is caused by:
    The user requested torch==1.5.1
    torchvision 0.4.0 depends on torch==1.2.0

装好依赖之后, 再根据你所在的环境, 安装对应的轮子:

因为我是在ubuntu上面的py36, 所以直接运行

$ pip install rknn_toolkit-1.7.1-cp36-cp36m-linux_x86_64.whl

aach64是安装在arm-64的系统上的, 因为这是python的脚本,或者叫做库, 所以是可以直接在rv/rk系列的开发板上装的, 就是之前写的python版本的rknn-tool-kit方案, 基于debian或者ubuntu的.

这部分也基本上没啥大问题.

还是那句话, 如果太慢, 就用想办法用用国内的pip源吧

一般来说, 不会报错(除了刚才说的需要修改torchvision的版本部分).

查看rknn是否安装成功.

(rknn_py36) marc@ubuntu:~/rknn_model_zoo/models/CV/object_detection/yolo/RKNN_model_convert$ python
Python 3.6.13 |Anaconda, Inc.| (default, Jun  4 2021, 14:25:59) 
[GCC 7.5.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from rknn.api import RKNN
>>> 

进入python的命令行, 直接import rknn, 如果不报错, 表示rknn安装成功.

确认板子的rknn的版本

用串口或者ssh登录到板子上,

[root@RV1126_RV1109:/]# strings /usr/lib/librknn_api.so |grep version
_version
librknn_api version 1.7.3 (cf7f05f build: 2022-08-13 09:45:04)
.gnu.version
.gnu.version_r
[root@RV1126_RV1109:/]# strings /usr/lib/librknn_runtime.so|grep version
rknn_get_sdk_version
pre_compile_version
optimization_level_version
op_version
I [%s:%d]custom op version: %d
E [%s:%d] rknn_query,  info_len(%d) != sizeof(rknn_sdk_version)(%d)!
librknn_runtime version 1.7.3 (2e55827 build: 2022-08-25 10:45:32 base: 1131)
//int8 version
W [%s:%d]Unsupported evis version
E [%s:%d]unsupport kernel size:%d/dilation:%d/evis version:%d
.gnu.version
.gnu.version_r

可以看到rknn_api是1.7.3版本的, runtime也是1.7.3
这里面还涉及一个mini drive的问题, 先不用管它.

下载rk model zoo

$ git clone https://github.com/airockchip/rknn_model_zoo.git

确定一下的确是最新的版本2022年11月16日更新的.

进入datasets/COCO目录, 下载量化用的coco图片.

~/rknn_model_zoo/$ cd datasets\COCO
~/rknn_model_zoo/datasets/COCO$ python download_eval_dataset.py

脚本会自动下载coco数据集val2017约5000张照片
.
同时会生成几个txt文件, 后面我们会用到.

在ubuntu下面, 使用vscode打开models/CV/yolo/RKNN_model_convert里面的yolov5_yolov7.yml


把训练并转好的onnx的模型权重, 复制到虚拟机的model zoo目录或者任意目录, 把板子连到虚拟机上, 用adb devices -l查询一下设备id
注意, 这里可能存在一种情况是, 如果你板子刷了易百纳的固件, 可能接入虚拟机的时候, 会反复断开, 你可能需要直接找台机器, 直接装ubuntu而不是使用虚拟机, 或者是尝试重新编译固件烧录进去.

使用adb 查询设备的devicei id, 如果没有安装adb 直接用apt安装即可

(rknn_py36) marc@ubuntu:~/rknn_model_zoo/models/CV/object_detection/yolo/RKNN_model_convert$ adb devices -l
List of devices attached
adb server version (40) doesn't match this client (39); killing...
* daemon started successfully
a9d00ab1f032c17a       device usb:1-1 product:occam model:Nexus_4 device:mako transport_id:1

这个a9d00ab1f032c17a就是你的板子的device id

修改一下内容(注意, 这里修改的时候别用#对脚本进行注释, 直接改, 如果不放心, 可以先把整个文件备份, 别用#注释, 记住!!!):
model_framework: onnx
model_file_path: safe_hat.onnx
dataset: …/…/…/…/datasets/COCO/coco_dataset_1.txt
如果ubuntu是物理机, 可以连接你的板子的otg口, 就添加板子的device id
deivce_id: xxxxxxx

其他不变, 改好之后是这样的:

这里我直接把转好的safe_hat.onnx复制到了这个yaml所在的目录
同时参考这个目录下面的README,

终于到了后的高潮部分:

$ python ../../../../../common/rknn_converter/rknn_convert.py --yml_path ./yolov5.yml --python_api_test --capi_test

如果你重复执行这个脚本, 会在一开始问你是否要覆盖掉原来转好的rknn模型, 如果不用保留原来的模型, 直接输入Y即可.

没有意外的话, 模型就转好了, 转好的模型就在这个目录的model_cvt目录下面了.

如果遇到下面的错误, 多半原因是你的板子没有连到ubuntu上, 就只会生成一个没有预编译的模型, 推理速度会慢20%-30%


如果提示没有安装onnxruntime, 直接用pip安装onnxruntime即可.

查看模型

用ntron.app查看转好的rknn

接下来就是使用python或者c的demo程序, 直接对模型进行推理测试了, 就留给以后再写啦.