基于ResNet的手势识别边缘计算项目

2512787 2023-06-14 | zip | 0.00 MB | 次下载 | 免费

资料介绍

描述

该项目使用ResNet50作为训练网络，使用已经标注关键点的手部图像作为训练集，使用Pytorch作为训练模型的工具。然后通过 Xilinx 提供的 Vitis AI 工具对该模型进行量化、编译和部署在 Xilinx KV260 Vision AI Starter Kit 中。该程序是对手部21个关键点的测试，测试图像如下图所示。

图1 运行结果演示

1 关于 ResNet

ResNet 于 2015 年提出并因其“简单实用”而在 ImageNet 竞赛分类任务中获得第一名，此后许多方法都建立在 ResNet50 或 ResNet101 上用于检测、分割和识别。检测、分割、识别等领域一直在使用ResNet。

2 数据集

该数据集包括网络图像和数据集<>，用于过滤一些动作重复低的图像进行生产，有49、062个样本。

感谢“Massive Multi-view 3D Hand Pose Dataset”数据集的贡献者：Francisco Gomez-Donoso、Sergio Orts-Escolano 和 Miguel Cazorla。“海量多视图 3D 手部姿势数据集”。arXiv 电子版 1707.03742，2017 年 7 月。

3 培训

对于模型训练，我使用了上述公开可用的数据集。我通过 PyTorch 为 ResNet50 实现了网络，并使用 RTX 3070Ti 作为 GPU 油门来获取 PyTorch 模型（.pth 文件）。我准备了5张自己手上的照片来测试模型的训练，图片如下图所示。

1 / 4 •图 2 张开手

4 配置 Vitis AI

Vitis AI 库是一组高级库和 API，旨在使用 DPU 高效执行 AI 推理。它使用 Vitis 运行时统一 API 构建在 Vitis AI 运行时之上，以提供对 XRT 的完整支持。

Vitis AI 库通过封装大量高效、高质量的神经网络，提供易于使用且统一的界面。Vitis AI 库让您可以专注于开发自己的应用程序，而不是底层硬件。

参考 Vitis AI 用户指南（UG1414），我们可以在上位机上快速配置环境，如下图所示。

图 6 已配置的 Vitis AI

5 使用 Vitis AI 量化工具量化模型

Vitis AI 量词当前支持 TensorFlow（1.x 和 2.x）、PyTorch 和 Caffe。由于我们使用的是 PyTorch，因此需要安装 vai_q_pytorch。在这里使用 Docker 容器安装它似乎更容易。请注意，在创建独立的 Conda vai_q_pytorch 环境之前，我们需要进入 vitis-ai-pytorch 环境。使用以下命令进行安装。

/opt/vitis_ai/scripts/replace_pytorch.sh new_conda_env_name

图 7 更新 vai_q_pytorch 环境

然后我们将 petalinux 固件烧录到 Xilinx KV260 Vision AI 套件中包含的 SD 卡中（感谢 Xilinx 为参与者提供的硬件支持。虽然小 SD 卡的价格非常低，但足够看到 Xilinx 正在考虑用户的观点）。确保没有先连接USB数据线、以太网线、直流电源线。

在电脑上安装 MobaXterm 软件，新建一个串口通讯任务。插入USB数据线电脑会弹出两个串口，我们选择COM号小号作为USB通讯接口，波特率选择115200建立连接。

插上直流电源后，我们可以从串口界面观察petalinux的启动过程。配置密码后，我们使用命令“sudo addr show”来查看 IP 地址（见下文）。我们通过 MobaXterm 软件与 KV260 建立 SSH 连接，用于以后的数据传输。

图 8 查看 IP 地址

配置完成后，我们为 vai_q_pytorch 准备输入文件。第一个文件是预训练的 PyTorch 模型，通常是 PTH 文件。第二个是包含浮点模型结构定义的 Python 脚本。第三个是训练数据集的一个子集，包含 100 到 1000 张用于定量测试的图像。三个文件准备好后，我们使用“--quant_mode calib”运行命令来量化模型。在运行期间，会跳过日志日志中显示的损失和准确度。Vitis AI 编译器的 xmodel 文件位于输出目录中。/量化结果。该文件可用于部署到 FPGA。

6编译、部署和运行

对于 PyTorch，量化器 NNDCT 直接以 XIR 格式输出量化模型。请使用vai_c_xir 编译它。