[经验]

基于RK3399 + RK1808的人工智能平台项目实战

2022-6-24 17:44:01

4110 人工智能 RK1808 RK3399

云计算与边缘计算
云计算
端侧仅负责发送输入数据，并接收计算结果
计算资源集中管理和分配，借助服务器的强大性能，可以实现很高的浮点算力和精度水平
部署便捷，云服务器可直接部署训练的模型框架，无需转换和二次开发即可使用
算力成本高，常规神经网络运算使用GPU浮点运算，GPU成本高，功耗大，云端部署服务器的运维成本也很大

流量成本高、延迟大，输入和输出依赖网络传递，视觉识别任务一般输入的图片码流很大，如果是移动设备，没有固定的有线网络，移动流量成本是相当的大的
离线无法工作，云端的人工智能识别高度依赖网络，如果网络离线，所有功能都将无法使用

AI 边缘计算
线下运行、低延迟，不依赖网络，无需和云端通讯，可独立运作

冗余部署，去中心化，单个设备损坏不影响其他设备正常工作

应用更加广泛，相比AI云计算高昂的成本，边缘计算更利于消费电子和移动领域。

瑞芯微AI平台介绍
RK3399Pro/RK1808 with NPU
功耗不及所需GPU的10%
Tensorflow、PyTorch、Caffe、MxNet、DarkNet、Onnx等，直接转换和部署
丰富的文档、wiki、教程、直播、示例代码；并且不停的在更新
相比所需GPU，成本低廉
高达3Tops的算力
可以很方便集成进任何移动设备和其他嵌入式设备

RK3399Pro & RK1808 运算单元

人工智能项目流程
前期流程 – 科研过程
后期流程 – 项目过程

瑞芯微边缘AI项目加速

RKNN使用流程
创建RKNN对象
配置模型输入预处理（归一化、通道顺序）
读取模型
转换模型（量化、预编译等）
导出rknn模型、部署

什么是量化

量化就是将浮点转换为定点运算的过程
rknn支持Tensorflow的训练量化，或者训练后由rknn来量化

RKNN混合量化
RKNN允许对模型的每一层设置量化/不量化以及量化参数
（不量化） FP32/FP16，提高精度

（量化）INT16/INT8，提高速度

模型保护
Toybrick 1808计算棒提供全套模型保护方案
让您的模型在计算棒上不用担心被盗走，每颗计算棒上的模型存储秘文均不一样，只有当前计算棒可以使用，拷走无效。加解密过程均运行中TrustZone安全环境中，无法跟踪

案例分析“新零售”
新零售 – 场景介绍
智能结算，商品结算、餐盘识别、菜品识别、蛋糕识别、蔬果识别
无人货柜，商品识别、人手识别、减重计算、自动结算
无人超市，商品识别、减重计算、自动结算、防盗防损

无人货柜
多角度摄像头
使用快速的低精度模型
重量感应器
RK3399Pro + 多个RK1808

模型选择

模型选择的考量
精度，模型自身精度、同模型不同主干网络的精度；输入输出大小、类别数量的影响
速度，一般来说除去模型设计问题，速度越快精度就会越低；输入输出大小、类别数量的影响
训练难度，不同模型训练起来难度也不一样，并非适合项目
转换效果，转换rknn、量化前后评估

数据采集

工程手段提高精度

人工智能模型精度，现有人工智能威廉希尔官方网站条件下，已经能将计算机视觉识别的准确度提高到一个很高的水平，但不可能达到100%准确
增加重量数据参考，获取电子称数据，防止商品漏检，能够在一定条件下极大提高精度
物理手段：多摄像头多角度识别、补光灯，通过安装在不同角度的摄像头，在不同角度进行识别。防止遮挡、反光、曝光、白平衡等影响
软件威廉希尔官方网站手段，例如：图像金字塔输入，同一张图缩放多种倍率传入模型，进行检测，取综合检测结果。

原作者：hisping