顷刻之间,就能从视频里抹杀一个人,仿佛ta从没存在过

微信扫一扫,分享到朋友圈

顷刻之间,就能从视频里抹杀一个人,仿佛ta从没存在过

这本是风和日丽的一天。

有位自行车手正在越野赛道上飞驰,突然被一团绿色的 ” 雾气 ” 笼罩,随即消失在画面里。

图丨参考资料 1

成功吸走一人之后,神秘的绿雾开始肆意飘荡,带走了公园旋转跳跃的少女,荡秋千的小朋友,马术选手和 ta 的马……连海上的帆船也逃不过被吞噬的命运。

释放法力的是何方神圣?那是弗吉尼亚理工学院和 Facebook 的科学家们刚刚养成的一只 AI,能让视频里的任意物体瞬间化于无形。

不止是抹掉一个人,哪怕你把视频随意擦掉几块,它也有能力够修复破损的画面:

凭借精准的技艺,AI 登上了计算机视觉顶会ECCV 2020。

我有特别的脑补技巧

不论是从视频里抹杀一个人物,还是修补一个残缺视频,AI 依靠的是都是光流大法。

光流(Optical Flow),描述的是观察者眼里物体的运动情况,观察者可以是肉眼,也可以是摄像头。

视频里每个像素点,在帧与帧之间发生的位移都会被记录。光流法便是依靠这些,来判断物体到底发生了怎样的运动(有时也可以用来抠掉物体):

光流界大前辈 FlowNet 2.0 的作品丨参考资料 2

当物体从背景里消失之后,修补空白部分才是重头戏。随性脑补自然不可取,还要借助光流的力量:参照背景中已有的光流,把空白处的光流平滑地推测出来,再在完整光流的指导下修复色彩,这才科学。

其实,以上只是标配流程,而这只新的 AI 和从前那些光流修复术相比,还是有些不同。

首先,从前的算法常常困惑物体的边界到底在哪,为此科学家们给 AI 增加了额外的步骤:从光流当中提取出轮廓线,如果提取出的边界不完整,就把被遮挡部分平滑地修复出来(下图红线)。

然后,根据修补完整的边界和破损的光流,来估计出完整的光流,再用完整的光流指导填色,AI 便会少一丝困惑。

第二,新的算法不只是借助相邻几帧的信息,来修复某一帧画面的色彩;它还会从相距更远的画面里,找到相关的像素:

这样一来,AI 就有了更多依据,来检查自己修复的画面到底科不科学。

第三,假如在修复过程当中,AI 只是把其他帧当中的色彩,直接传递给空白部分,可能会让画面产生裂缝(如下图 a)。因为,就算在同一个视频里,像光线变化这样的因素也可能导致不同帧之间,物体的色彩出现不同:

于是,科学家们没有直接让 AI 取用色彩值,转而用色彩梯度来取平均值。这样一来,画面当中的接缝便消失了(如上图 c)。

总结一下,这项新研究的重点不在于使用了光流(生成光流用的是前人的算法),而在于后面这几点改进,让光流大法的力量能在视频 PS 当中更充分地释放。

正确打开方式示范

有了这个算法,你可以把街面上的车都融化掉,这样就不会堵车了(误):

如果你嫌镜头拍下的画面不够宏大,还可以向外不断扩张,直到拥有整个世界(误):

抛开这些中二的念头,回归淳朴,去水印大概是这只 AI 最基本的一项工作:

假如你还有更大胆的想法,只等团队哪天开源了代码,就可以去实践一下啦。

身为一作的少年高谌表示,正在努力清理代码中。

图丨高谌微博

参考文献

[ 1 ] Gao, C., Saraf, A., Huang, J. B., & Kopf, J. ( 2020 ) . Flow-edge Guided Video Completion. arXiv preprint arXiv:2009.01835.

[ 2 ] Sun, D., Yang, X., Liu, M. Y., & Kautz, J. ( 2018 ) . Pwc-net: Cnns for optical flow using pyramid, warping, and cost volume. In Proceedings of the IEEE conference on computer vision and pattern recognition ( pp. 8934-8943 ) .

作者:栗子

编辑:Odette

一个 AI

是你吗,灭霸

本文来自果壳,未经授权不得转载 .

如有需要请联系 sns@guokr.com

明明上班是坐着的,为啥还是感觉很累?

上一篇

健壮的“袋鼠补货员”在日本便利店出没!头长犄角手有吸盘画风奇特

下一篇

你也可能喜欢

顷刻之间,就能从视频里抹杀一个人,仿佛ta从没存在过

长按储存图像,分享给朋友