DeepLabCut实时无标记运动捕捉

《指环王》中的Gollum，《复仇者联盟》中的Thanos，《星球大战》中的Snoke，《阿凡达》中的Na'vi –我们都经历了动作捕捉的奇妙之处，这是一种电影技术，可以追踪演员的动作，并将其转换为计算机动画，以创造出动人的，动人的，甚至可能有一天获得奥斯卡奖的数字角色。

但是，许多人可能没有意识到，动作捕捉并不仅限于大屏幕，而是延伸到了科学领域。行为科学家一直在开发并使用类似的工具来研究和分析各种条件下动物的姿势和运动。但是运动捕捉方法还要求对象穿着带有标记的复杂服装，以使计算机“知道”人体各部分在三维空间中的位置。对于专业演员来说，这可能还不错，但动物往往不愿打扮。

为了解决这个问题，科学家们已经开始将运动捕捉与深度学习相结合，这种方法可以让计算机从本质上教自己如何优化执行任务，例如识别视频中的特定“关键点”。这个想法是教计算机无需运动捕捉标记就可以跟踪甚至预测动物的运动或姿势。

但是，要想在行为科学中发挥有意义的作用，无标记跟踪工具还必须允许科学家从字面上实时地快速控制或刺激动物的神经活动。在尝试找出神经系统的哪一部分构成特定姿势运动的实验中，这一点尤其重要。

DeepLabCut：深度学习，无标记姿势跟踪

率先采用无标记方法的科学家之一是Mackenzie Mathis，他最近从哈佛大学加入EPFL的生命科学学院。Mathis的实验室一直在开发一个名为DeepLabCut的深度学习软件工具箱，该工具箱可以直接从视频中实时跟踪和识别动物运动。现在，马蒂斯和她的哈佛大学博士后研究员加里·凯恩(Gary Kane)在eLife上发表的一篇论文中，提出了一个名为DeepLabCut-Live的新版本!(DLC-Live!)，它具有低延迟(在超过100 FPS的情况下，在15毫秒之内)-或与我们提供的用于向前预测姿势的模块一起可以实现零延迟反馈，并且可以集成到其他软件包中。

DeepLabCut最初是为了研究和分析动物响应其环境变化而适应其姿势的方式而开发的。“我们对神经回路如何控制行为感兴趣，特别是对动物如何适应环境的快速变化很感兴趣，”马蒂斯说。

“例如，您将咖啡倒入杯子中，当咖啡充满时，咖啡就具有一定的重量。但是，当您喝咖啡时，重量会发生变化，但是您无需积极考虑改变抓地力或需要改变多少抬起手臂伸到嘴里。这是我们很自然的事情，我们可以很快适应这些变化。但这实际上涉及从皮质到脊髓的大量相互连接的神经回路。”

DLC-Live!是最新的“动物姿势估计程序包”的新更新，该程序使用量身定制的网络根据视频帧预测动物的姿势，离线可在标准GPU上实现2500 FPS 。它的高通量分析使其对于研究和探究行为的神经机制具有不可估量的价值。现在，有了这个新程序包，它的低延迟使研究人员可以实时给动物反馈并测试特定神经回路的行为功能。而且，更重要的是，它可以与姿势研究中使用的硬件接口，以向动物提供反馈。

“这对于我们自己的研究程序中的事情很重要，在该程序中您希望能够操纵动物的行为，”马蒂斯说。“例如，在我们进行的一项行为研究中，我们训练鼠标在实验室中玩电子游戏，我们希望在真正特定的时间窗口内关闭特定的神经元或大脑回路，即触发激光进行光遗传学或触发外部奖励。”

她补充说：“我们希望使DLC-Live!超级用户友好，并使其适用于任何环境中的任何物种。” “它实际上是模块化的，可以在许多不同的环境中使用;运行实验的人可以使用我们的图形用户界面来设置条件以及他们想要轻松触发的条件。我们还内置了与其他常见神经科学平台配合使用的能力。” 其中两个常用的平台是Bonsai和Autopilot，在论文中，开发了这些软件包的Mathis及其同事展示了DLC-Live!可以轻松地与他们合作。

“这是经济的，具有可扩展性，我们希望这是一项技术进步，可以提出更多有关大脑如何控制行为的问题，”马蒂斯说。