NVIDIA Jetson 月度项目：能瞄准、射门和得分的自主足球机器人

足球被认为是全世界最受欢迎的运动之一，这主要是因为足球比赛往往十分激烈，能够展现球员们出色的体能与威廉希尔官方网站 ，让观众看得惊心动魄。因此，自然会有人致力于向机器人传授足球比赛的精髓，包括如何抢球、瞄准球门、传球和进球得分等。

事实上，的确有一项专为这个想法而开展的赛事。RoboCup 小型机器人联赛 （Small Size League, SSL）之视觉封锁威廉希尔官方网站 挑战赛，就在鼓励参赛团队“探索本地传感和处理方法，而非采用常见的板外计算机和全局摄像头感知环境的方法”。来自巴西累西腓伯南布哥联邦大学的学生 João Guilherme、其指导老师 Edna Barros 和其他 SSL 队友共同制造了一个由 NVIDIA Jetson Nano 开发者套件驱动的全向移动机器人，该机器人可以自主执行足球任务。

该团队所制造的全向移动机器人配有单目摄像头，可自主执行以下任务：

• 定位

• 找球和抢球

• 坐标计算

• 将球传给其他机器人队友

• 射空门得分

团队制造这台机器人时，使用了平均处理速度为 30 FPS 的 AI 软件工作流，硬件功耗仅为 10.8 W 左右。

机器人前部有一个踢球装置，是一个四轮全向移动机器人。图 1 为机器人的几何形状。

图 1. 由 NVIDIA Jetson Nano 开发者套件驱动的

全向移动机器人的运动能力可以自主执行足球任务

该团队在《制造 RoboCup 小型机器人联赛自主机器人》一文中解释道：“我们在抢球、进球和传球这三个足球任务上评估了系统，成功率分别达到 80%、80% 和 46.7%。”

比赛期间，各队将使用场外计算机执行大部分计算，去接收球的位置并采集场地几何信息和裁判指令。比赛队伍分成 6 个机器人组 （B 组） 和 11 个机器人组（A 组），机器人通过带宽最小的射频通信接收导航指令。机器人的直径和高度限制分别为 180 毫米（B 组）和 150 毫米（A 组），因此被称为“小型机器人联赛”。

RoboCup 小型机器人联赛分为四个阶段：

1. 在赛场某处抓到一个静止的球

2. 将球射入空门得分

3. 将机器人移动到特定坐标

4. 间接射门得分（需要两个机器人）

另外，该挑战赛还要求机器人能够检测场地中的物体、估算物体的位置、计算导航路径并记录经过的轨迹。

Guilherme 和他的队友在《制造 RoboCup 小型机器人联赛自主机器人》一文中表示：“SSL 比赛是一种机器人资源极其有限的高度动态化环境，这就要求解决方案必须考虑尺寸、功耗、精度和处理速度之间的权衡。我们在研究中提出了一种使这些机器人能够自主执行基本足球任务的架构，也就是说这些机器人不用接收任何的外部信息。”

项目硬件

该团队在项目中使用了以下硬件：

• 一套 Jetson Nano 开发者套件，用于执行嵌入式视觉和制定决策

• 一个全向移动机器人

• 一个罗技 C922 摄像头，用于提供单目视觉

• 惯性传感器，用于估算里程

• 一个 STM32F767ZI 微控制器单元 （MCU），用于接收来自 Nano 的目标相对位置和导航标志，并使用惯性里程计执行底层控制和轨迹估计

图 2. 足球机器人的 AI 检测流程和运动规划

有关所使用硬件的更多信息，请参见 RobôCIn 2020 团队说明文件：https://ssl.robocup.org/wp-content/uploads/2020/03/2020_TDP_RoboCIn.pdf

威廉希尔官方网站 挑战

在该赛事的视觉封锁挑战赛中，获胜机器人必须能够完成各种足球技能，包括抓住静止的球、射空门得分、移动到特定坐标以及间接进球得分（传球给另一个机器人）等。

机器人必须能够仅使用嵌入式传感和处理威廉希尔官方网站 来完成这些技能。这项挑战没有高度限制，因此团队在普通机器人的顶部添加了一个板载摄像头、Jetson Nano 和一块电源板。

图 3. 团队为视觉封锁挑战赛改装的足球机器人（左）

和他们原来的机器人（右）

此外，这项挑战还要求机器人能够探测场地中的物体、估算其位置、计算导航路径并记录经过的轨迹。SSL 足球比赛利用外部摄像头和板外计算机感知环境，并向机器人发送指令。

研究人员表示，该 SSL 视觉架构“存在一定的局限性，比如摄像头的视野、色彩分割、软件延迟和通信中断等，这迫使团队开发出能够应对复杂条件的解决方案。例如，球遮挡是比赛中的一个常见问题，即机器人在摄像头图像上的投影与球重叠。还有就是球和机器人的位置会发生偏移，偶尔会出现检测不到或检测错误的情况。”

在 SSL 比赛中，机器人和球的速度分别高达 3.7 m/s 和 6.5 m/s，这使得比赛的移动速度非常快，因此需要高吞吐量的解决方案。此外，受尺寸限制，再加上使用电池作为电源，解决方案的功耗必须较低。在比赛过程中，机器人还要做出精准的远射和长传，因此需要能够精确估算位置。

团队还注意到精确的电机控制的重要性，这样机器人就可以在足球场上移动，并保持其测量位置的准确性。他们需要一种方法，来降低机器人对位置的内部理解与实际物理位置之间偏离的比率。

图 4. 足球机器人的摄像头可帮助检测物体并提供视野，

以便机器人作出决策和规划路径

项目软件和 AI

研究团队使用 OpenCV2 以及校准和姿势计算威廉希尔官方网站 提取单目摄像头（固定在机器人上）的 “内在和外在参数”。他们使用 SSD MobileNet v2 检测摄像头帧画面上的物体 2D 边界框，还使用一个程序对 SSD MobileNet 创建的边界框坐标执行线性回归，用于估算出预校准摄像头参数。这将在场地上分配对应物体底部中心的点（代表物体与摄像头的相对位置），包括对应该机器人的点。

结果

团队对他们的机器人在今年挑战赛中的表现非常满意，主要包括：

• 抓取静止的球：在 15 次尝试中，机器人有 12 次能够在球接触到运球器时将球停住，成功率高达 80%。

• 进球：在 15 次跑动中，有 12 次进球。

• 传球：在 15 次尝试中，成功传球 7 次，成功率为 46.7%。

团队自 2019 年起参加 RoboCup 小型机器人联赛，并于 2022 年赢得首个世界冠军（B 组）。他们目前还是三届拉丁美洲冠军。“RoboCup 2023 之 RobôCIn 小型机器人联赛团队介绍文件扩增版”（https://arxiv.org/abs/2307.10018）介绍了该团队为获得 7 月底在法国波尔多举行的 RoboCup 2023 小型机器人联赛 （SSL） B 组冠军而对其项目作出的改进。最终，他们如愿夺冠。

图 5. 机器人抓取静止的球（上）并射门得分（下）

未来的计划

Guilherme 深入介绍了团队在比赛中遇到的挑战，以及可以在未来的赛事中作出的改进。他指出，大多数失败都是由于错误检测到场外物体造成的，“我们正在研究一种检测赛场边界，并使用掩码来屏蔽这些物体的解决方案。”

该团队需要更加快速的物体检测解决方案。Guilherme 表示：“尽管我们目前能够执行基本的技能，但 30 FPS 的处理速度对于 SSL 环境来说仍然很低。在主要比赛中，摄像头的运行速度通常为 70 FPS。”

该机器人完全是根据检测到的物体的相对位置来执行技能，也就是说，它并不知道自己在赛场上的位置。Guilherme 表示：“我们认为这些信息可以帮助优化在足球任务中的表现，同时还能让我们避免处罚，例如避免机器人进入守门员区域等。我们正在研究一种基于蒙特卡洛定位 （MCL） 的自定位算法，并将在未来几个月内发布相关信息。”

该团队计划在未来为该机器人的系统添加更多功能（如赛场线检测、定位算法和路径规划等），他们将努力优化系统的每个部分来满足这些需求。

此外，该团队还在继续研究检测赛场边界和赛场线，以及估算机器人自我位置的解决方案。他们还计划用 Jetson Orin Nano 替换 Jetson Nano ，从而提高机器人的处理速度。这一升级将帮助提高团队在联赛中的竞争力。

请访问开发者论坛和 GitHub，进一步了解该团队的原始项目。

开发者论坛：https://forums.developer.nvidia.com/t/ssl-detector-objects-detection-and-position-estimation-at-the-robocup-small-size-league-ssl/221385

GitHub：https://github.com/jgocm/ssl-detector

您还可以探索 Jetson 社区项目，从其他机器人开发者那里获得更多想法和灵感：https://developer.nvidia.com/embedded/community/jetson-projects

SIGGRAPH 2023

NVIDIA 精彩发布

SIGGRAPH 2023 | NVIDIA 主题演讲重磅发布精彩回顾，探索 AI 无限未来！

敬请持续关注...

SIGGRAPH 2023 NVIDIA 主题演讲中文字幕版已上线 ！扫描下方海报二维码，或点击“阅读原文”即可观看，与 NVIDIA 创始人兼首席执行官黄仁勋一起探索 AI 的未来！