Google的计算机视觉模型可跟踪对象并为视频着色

可以为黑白照片着色的人工智能并不是什么新鲜事，但谷歌的研究人员已经更进了一步。他们创造了一种机器学习系统，不仅可以为黑白视频添加颜色，而且还可以将这些颜色限制在给定框架中的特定物体，人物和宠物上，就像儿童在翻书的线条中着色一样。

“跟踪视频中的对象是计算机视觉中的一个基本问题，对于活动识别，对象交互或视频风格化等应用至关重要，”该项目首席研究员Carl Vondrick在博客文章中写道。“但是，教一台机器来直观地跟踪物体是一项挑战，部分原因是因为它需要用于训练的大型标记跟踪数据集，这对于大规模注释是不切实际的。

在一篇名为“ 通过着色视频跟踪出现 ”的论文中，科学家描述了一种卷积神经网络 - 一种在结构上非常适合对象跟踪和视频稳定的神经网络 - 学习通过遮挡(即前景地形)跟踪多个对象和其他障碍)，并且“保持稳健”而不需要任何标记的训练数据。

第一步是教算法对灰度电影着色。研究人员从Kinetics数据集中抓取了一些片段- 这是一系列YouTube视频，涵盖了“各种以人为本的行动” - 并将第一帧转换为黑白。然后，他们训练神经网络预测后续帧中的原始颜色，结果证明是尤里卡时刻：因为模型必须重新着色移动的物体和区域，所以它实际上被迫学习如何跟踪这些物体和区域。

学习从单一参考框架中复制颜色需要模型学习内部指向正确的区域，以便复制正确的颜色，”Vondrick写道。“这迫使模型学习一种我们可用于跟踪的显式机制。”

生成的模型可以对视频第一帧中指定的任何区域进行选项，如果给定参考点，甚至可以跟踪人体姿势。(研究人员使用它来模拟人体关节骨架。)更令人印象深刻的是，它优于几种最先进的着色技术。

我们的研究结果表明，视频着色提供的信号可用于学习如何在没有监督的情况下跟踪视频中的对象，”Vondrick写道。“此外，我们发现我们系统的故障与视频着色失败有关，这表明进一步改进视频着色模型可以推进自我监督跟踪的进展