预测这件事情的重要性不言而喻。毕竟如果你比别人提前知道信息就能够抢占先机。近日,东京工业大学研究小组发布了一套格斗训练系统“FuturePose”,通过深度学习能预测 0.5 秒后对手的动作。
先不说抢占先机这件事情,如果你能够预测的对方接下来的动作,至少下面这种情况不会发生。
现在,通过人工智能或许能够改善一些。
在这项研究中,研究人员开发了一套系统,通过从一个 RGB 相机捕获的图像中,从 30 fps(1帧= 1/30秒)图像中预测15帧后,即0.5秒后的动作,然后进行战斗训练。对战对手不同装束,而受训者可以戴 VR 头盔来同时观察对手的当前姿势和预测的0.5秒后的姿势。
首先,通过残差网络(学习输出减去输入残差的机器学习)来分析RGB图像,以估计对手的2D位置。该位置输入到 LSTM(可以学习长时序列数据的模型)以学习时序特征,并且预测未来的2D位置。
之后用网格光流(为向量来视觉化表示物体移动。通过将物体网格化减少计算量),将我们使用晶格光流(它表示物体的运动作为视觉表示中的矢量。物体的复杂性通过晶格简化以减少计算量),将位置信息转换成了人便于看的“运动”表示。
在视频中,研究者分别进行了走路、跳跃以及拳击等动作进行了测试:
从上面可以看出,通过这种方式预测的姿势由红色骨架模型表示,同时人体运动的预测可以实时可视化。虽然0.5秒看起来很短,但实际上在早期的一些格斗游戏中,同样 30 fps中因为一帧而导致胜负的情况也有,所以15帧可以说是一个很大的优势。
之后在实验中,让佩戴了HTC Vive的用户在没有预测和有预测两种情况下进行测试。结果是,没有预测平均反应时间是0.62秒,而有预测的响应是大约0.41秒,这表明有预测的情况更容易避开攻击。
此外,在实际实验视频中,确实反应速度会增加,但在现实情况下,因为大脑处理视觉信息到身体反应存在时滞,因此会造成还差一点点就能躲开但是没躲开的感觉。虽然总能在超能力战斗漫画中看到“我能在几秒内看到未来”的敌人,但到底0.5秒还是太短了,可能还是得需要10多秒。
此外,该研究也适用于在线视频,实验证明它也可以预测足球守门员的动作和舞蹈的动作。于是我们就可以期待各种各样的应用,比如观众在0.5秒前预测守门员是向左还是向右扑,还有在跳交际舞的时候通过预判对方的动作,让舞蹈更流畅。
-
预测
+关注
关注
0文章
37浏览量
12355 -
AI
+关注
关注
87文章
30851浏览量
269023
发布评论请先 登录
相关推荐
评论