更智能的矢量机器人

描述

第 1 部分：入门

1.1下载并在 SD 卡上刷入 PYNQ 2.5：http: //avnet.me/ultra96v2-pynq-image-v2.5我使用的是 balenaEtcher。

1.2打开Ultra96v2开发板，用USB mini线连接到主机。

• 将 miniSD 卡插入 SD 插槽
• 将 miniUSB 电缆连接到主机
• 连接电源
• 按电源按钮（板右侧的第一个蓝色按钮）
• 等待开机和心跳导致闪烁（USB 端口之间的第 4 个 LED）

 

• 通过在浏览器中打开http://192.168.3.1:9090/连接到在 Ultra96v2 板上运行的 Jupyter Notebook
• SSH进入Ultra96v2板并配置wifi网络（用户：xilinx pass：xilinx）

$ ssh xilinx@192.168.3.1
$ sudo nano /etc/netplan/50-cloud-init.yaml

该文件应如下所示：

network:
    ethernets:
        eth0:
            dhcp4: true
            optional: true
            version: 2
    wifis:
        wlan0:
            dhcp4: true
            optional: true
            access-points:
                "SSID_name":
                    password: "WiFi_password"

保存并运行：

$ sudo netplan generate
$ sudo netplan apply

这将在启动时启动并连接到 wifi。

或者安装远程桌面软件或使用 miniDP-DP 电缆或 miniDP-HDMI 电缆。并非所有适配器都能正常工作。

$ sudo apt install xrdp
$ sudo systemctl status xrdp

作为替代方案，可以在此处找到综合指南（针对 Ultra96v1 板） 。它可以很容易地适应 v2 版本的开发板。

1.3安装PYQN-DPU：https ://github.com/Xilinx/DPU-PYNQ

升级 PYNQ v2.5 镜像：

$ sudo su
# git clone --recursive --shallow-submodules https://github.com/Xilinx/DPU-PYNQ.git
# cd DPU-PYNQ/upgrade
# make

安装

# pip3 install pynq-dpu
$ cd $PYNQ_JUPYTER_NOTEBOOKS
$ pynq get-notebooks pynq-dpu -p .

从 Jupyter Notebooks 中的 pynq-dpu 文件夹运行示例。

1.4安装Anki Vector SDK并进行配置

$ sudo apt-get install python3-pil.imagetk
$ sudo su
# python3 -m pip install anki_vector
# python3 -m anki_vector.configure

配置脚本会询问 Vector 的序列号、IP，并且需要一个 Anki 帐户。请查看指南如何获得这些。如果一切运行正常，配置脚本将在/root/.anki_vector/目录中创建两个文件。您可以将这两个文件复制进去，/home/xilinx/.anki_vector/以便用户 xilinx 也可以连接到 Vector。还要编辑/home/xilinx/.anki_vector/sdk_config.ini以指向正确的.cert 文件。

Jupyter Notebook 在 Ultra96v2 板上以 root 身份运行，因此 root 和 xilinx 用户都应该能够连接到 Vector 机器人。

1.5获取 Vector SDK 并测试连接

$ git clone https://github.com/anki/vector-python-sdk
$ cd vector-python-sdk/examples/tutorials/
$ python3 01_hello_world.py

如果一切配置正确，机器人应该会说“Hello World！”。

第 2 部分：测试推理

PYNQ-DPU 项目有一个关于如何运行 yolov3 推理的 Jupyter 笔记本示例。运行它并与它亲密。我们将对其进行修改以对 Vector 的相机捕获的图像进行推理。可以在这里找到：http: //192.168.3.1 :9090/notebooks/pynq-dpu/dpu_yolo_v3.ipynb

2.1 复制pynq-dpu/dpu_yolo_v3.ipynb笔记本并修改它以从 Vector 中捕获图像。

更改此部分：

 

有了这个：

 

运行这些步骤。最后，推理应该检测到图像中的人：

 

第 3 部分：对 Vector 相机拍摄的图像运行 yolov3 推理

为此，我们将从 Vector SDK 示例中修改remote_control示例应用程序，以对 Vector 捕获的所有图像运行推理。必须以 root 身份运行：

# git clone https://github.com/andrei-ace/vector_ultra96v2.git
# cd vector_ultra96v2/remote_control/
# python3 remote_control.py

打开浏览器并转到http://192.168.3.1:5000/

第 4 部分

第 5 部分：手动构建和使用不同的模型

可以按照https://github.com/Xilinx/DPU-PYNQ/blob/master/boards/README.md中的说明手动构建 DPU

和https://github.com/Xilinx/Vitis-AI/blob/v1.1/DPU-TRD/prj/Vitis/README.md

其他模型可以在这里找到：https ://github.com/Xilinx/AI-Model-Zoo/tree/7f3456b26724cc649960e3b6924488859eebe489

第 6 部分：有用的链接

http://zedboard.org/product/ultra96-and-pynq-framework

https://github.com/Xilinx/DPU-PYNQ

https://github.com/Xilinx/Vitis-AI

http://www.pynq.io/