天空中翱翔的海鸥凭空消逝,沙漠中的背包客在行走中人间蒸发……这些原来须要电影制作职员完成的***殊效又一次被人工智能“学会了”。

这款人工智能“橡皮擦”能把视频里的你抹掉落伍果丝滑_视频_弗吉尼亚 科技快讯

近期,一项收录于欧洲打算机视觉国际会议(ECCV)的研究开拓了一种人工智能***处理算法,可以在***画面里抹除运动中的物体,同时保持运动边界的清晰度。

这项研究题为《光流 - 边缘勾引的***补全》(Flow-edge Guided Video Completion),由美国弗吉尼亚理工大学和Facebook互助完成,第一作者是美国弗吉尼亚理工大学打算机工程专业的博士生高谌。

高谌目前师从弗吉尼亚理工大学助理教授Jia-Bin Huang,研究领域是打算拍照和打算机视觉,研究集中在图像/***操作和视觉场景理解。

正在骑马的运动员和马匹一起消逝

在高湛及其同事展示的研究成果画面中,各种运动中的物体,如摆动中的秋千、正在骑马的运动员、海上行驶的帆船等,通通在***里“无痕”消逝,肉眼看不出人为的编辑痕迹。

这项研究的另一位作者Jia-Bin Huang在社交媒体中透露,该算法可以在随意拍摄的***中无缝地移除工具、水印或扩大画面视野。
这一算法还得到图灵奖得主、人工智能科学家Yann LeCun 的推举。

高湛等人在论文中先容,这是一种基于光流的***补全算法。
***补全(video completion)任务是用新合成的内容添补给定的时空区域。
它有许多运用,例如修复(去除划痕)、***编辑、殊效事情流(去除不须要的工具)、去水印和标志以及***稳定。

对付***补全任务而言,难点是新天生的内容须要无缝地嵌入到***中,并且变动应尽可能不被察觉。
几年前,业界通用的方法是基于补丁的合成技能。
但这些方法常日合成速率慢,合成新内容的能力有限,只能重新稠浊***中已有的补丁。

后来涌现了基于学习的技能,能够实现更合理的合成效果,但是由于***的高内存哀求,存在分辨率问题。

喷泉旁旋转舞蹈的少女在起跳后消逝

作者认为,目前最成功的***补全方法是基于光流的技能,其能够合成色彩和光流,沿着光流的轨迹通报颜色,以提升***的韶光连贯性,从而减轻内请安题并实现高分辨率输出。

这项新研究也采取了基于光流的办法。
作者表示,以往的光流补全方法每每无法保持运动边界的清晰度,而他们所开拓的方法首先提取并补全运动物体的边缘,再以光流边缘为勾引补全光流。
由于并非所有***中缺失落的区域都能通过这种方法补全,研究职员引入了非局部光流,使得***内容能够在运动边界上传播。

作者称,可视化和定量结果都表明,他们的方法与最新的算法比较具有更好的性能。
他们同时指出,其方法的运行速率为0.12fps(Frames Per Second,每秒传输帧数),与其他基于光流的方法相称,运行速率稍慢是一大弱点。

任务编辑:李跃群

校正:张亮亮