师法自然 自动追踪生物运动的AI工具

很长一段时间以来，科学家一直都需要这样一款工具。

在一个视频片段中，一只啮齿目动物伸出一只爪子抓住了一小块食物，你会看到它的指关节位置处都自动闪现出彩色的小圆点。而在另一片段中，一匹赛马正沿着赛道急速驰骋，彩色小圆点在不断地跟随它的动作闪烁，追踪其身体各部位的位置。在第三个视频片段中，两位人类舞者正围绕着彼此做转圈的动作，他们肢体的动作时而流畅，时而停顿，而同样的这些彩色小点却不间断地跟随着他们的肢体移动。

这些片段来自于一种可以自动追踪并标记移动生物身体部位的工具—DeepLabCut 的展示视频之中。这一工具是在今年由一对神经科学家夫妇 Mackenzie Mathis 和 Alexander Mathis 共同研发而出，以其简单、易操作性而见长。任何研究人员都可以从网络上下载任何视频，并在几十帧素材对其中特定的身体部位进行数字标记。然后，这一工具就会自动学习如何在视频的其余部分挑选出相同或者类似的功能。并且，这一工具适用于不同的物种，既可以用于苍蝇和老鼠这些实验室的“常客”，也适用于一些更不寻常的动物物种，接下来就是这样的一个例子。

一部拍摄于哥斯达黎加的视频展示了一种被称为地衣螽斯的昆虫，这种昆虫的外观形态可以与它的生存环境-白色地衣完美的融为一体，通过这种方式来伪装自己。但是，DeepLabCut 却能够透过地衣螽斯的伪装形态，成功地对它的脚、关节和触角进行标记。来自哈佛大学神经科学研究团队 MurthyLab 的领头人 Venkatesh Murthy（也是 Mathis 夫妇的同时）说道：“我认为这种方法将彻底改变行为科学，包括神经科学和心理学。”

行为科学领域的许多研究都取决于能否理解人类和动物的行为，而这往往是通过解析录制下来的动作来进行。例如，来自法国国家科学研究中心的 James Bonaiuto 就对持有工具的人的肢体运动是如何与他们大脑中的神经活动模式相关联这一问题进行了研究。他表示：“许多研究都需要一批研究生的配合来进行，因为需要他们一帧一帧、煞费苦心地去编码行为视频。”而 DeepLabCut 能够让这项原本繁重的工作自动化进行，因而此类的研究也可以更加快速、更加准确的推进。

来自哥伦比亚大学 Zuckerman 大脑行为研究机构的研究人员 Andres Bendesky 正在使用这一算法来研究斗鱼的战斗行为，他补充道：“我用过很多商业和学术视频追踪软件，甚至自己也编写过一款，DeepLabCut 相比它们来说好了不是一点半点。很长一段时间以来，人们一直都需要这样一款软件，我希望至少在一段时间之内它能成为该领域的标准。”

来自以色列本·古里安大学（Ben Gurion University of the Negev）的神经科学家 Ilana Nisky 博士正在使用 DeepLabCut 来分析外科医生如何使用他们的手术针这一问题，以更好地编程可以协助手术的机器人。她说道：“DeepLabCut 效果非常好，即便在试验过程中面向摄像头的一侧位置发生变化，它也可以帮助我们很好地追踪手术针的针头以及针尾部位。”

DeepLabCut 的出现非常必要。当时 Alexander Mathis 正试图通过观察老鼠对气味痕迹的追踪行为来探索嗅觉方面的神经科学。要做到这一点，他需要有一种简单的方法可以在视频中对老鼠的鼻头这一位置进行标记。但据他表示：“神经科学家所用过的那些经典方法在这里都以失败告终。”例如，研究人员经常会在需要观察的身体部位上点涂或粘上反光点，但是对于像老鼠鼻子这种又小、又敏感的部位来说，这种方法显然不可行。Alexander 说道：“多年来，我们尝试了多款商业软件，也尝试了很多其他的解决方案，但都行不通。于是我们决定从当下的实验中暂时后退一步，用一年的时间来尝试解决这一问题。”

从本质上来看，DeepLabCut 其实是 DeeperCut 的修改版本，DeeperCut 是由其他研究人员创建的一个神经网络，用于检测和标记视频中的人体姿态。这种神经网络在这方面非常擅长，但是前提是你必须先向它们展示成千上万帧的手工标记素材来训练它们。并且，如果你想让它们对有着不同运动方式的不同物种进行标记，那你需要重新对它们进行训练。

Mathises 夫妇首先在一个庞大的在线图像数据库—ImageNet 上对他们的网络进行前期培训，从而解决了这一繁琐的操作步骤。这一步也有效地教会了神经网络如何去看待这个世界，并为其提供了一个基础视觉系统。这样一来，这一神经网络就能知道怎样区分草莓与飞机或者是猫与狗。

在这之后，再教会网络去识别一些例如老鼠的爪子、斗鱼的鳍或者是螽斯的腿这样更为具体的东西也就更为容易了，不需要再手动去对上千上万帧素材进行标记，只要几百帧甚至几十帧就能达到培训效果。Mackenzie 说道：“这就像是我们对它说，‘你可以看到这个世界，现在我们希望你能找到这些身体部位，我们会先给你几帧素材。’结果是它真的可以做到。”

将多功能性与可靠性两点整合到一起，这可以说是非常独特的成果。在过去的研究中，来自哥伦比亚大学的 Avner Wallach 曾依靠一种复杂的算法，这种算法专门用于追踪单只啮齿动物胡须的位置，除此之外别无它用。尽管如此，其中仍然出现了很多的错误，几名学生不得不定期对追踪结果进行核查。Wallach 现在正在使用 DeepLabCut 来追踪彼氏锥颌象鼻鱼（分布于非洲尼日尔及刚果河流域，通过自身发出的微弱电流来感知周围的环境）的运动，他说道：“这样一种多功能并且具有普适性的算法绝对可以为世界各地的实验场所省去大量的工作。”

现在世界各地的研究人员都可以免费使用 DeepLabCut，并且他们也都在充分利用这一工具，其中有许多是通过 Mathises 夫妇二人都无法预料的方式。Alexander 补充道：“有一家公司联系了我们，他们想要利用这一工具来预测某一匹马是否能够成为一匹优秀的赛马。”

Mackenzie 说道：“我还收到过许多陌生人的电子邮件，有在实验中用 DeepLabCut 工具来追踪视频中灵长类动作的自由行动轨迹的，也有在狩猎过程中用来追踪斑马的，还有人用它研究像章鱼和电鳗等复杂的生物或者是用来研发手术机器人等等。体育界人士对用它来追踪棒球远动员的投球表现非常感兴趣。或者你也可以拿上你的 iPhone 手机，拍摄孩子玩耍的视频，回家之后用 DeepLabCut 分析他们的一举一动。”