这款人工智能“橡皮擦”能把***里的你抹掉落伍果丝滑_***_弗吉尼亚
天空中翱翔的海鸥凭空消逝,沙漠中的背包客在行走中人间蒸发……这些原来须要电影制作职员完成的***殊效又一次被人工智能“学会了”。
近期,一项收录于欧洲打算机视觉国际会议(ECCV)的研究开拓了一种人工智能***处理算法,可以在***画面里抹除运动中的物体,同时保持运动边界的清晰度。
这项研究题为《光流 - 边缘勾引的***补全》(Flow-edge Guided Video Completion),由美国弗吉尼亚理工大学和Facebook互助完成,第一作者是美国弗吉尼亚理工大学打算机工程专业的博士生高谌。
高谌目前师从弗吉尼亚理工大学助理教授Jia-Bin Huang,研究领域是打算拍照和打算机视觉,研究集中在图像/***操作和视觉场景理解。
正在骑马的运动员和马匹一起消逝
在高湛及其同事展示的研究成果画面中,各种运动中的物体,如摆动中的秋千、正在骑马的运动员、海上行驶的帆船等,通通在***里“无痕”消逝,肉眼看不出人为的编辑痕迹。
这项研究的另一位作者Jia-Bin Huang在社交媒体中透露,该算法可以在随意拍摄的***中无缝地移除工具、水印或扩大画面视野。这一算法还得到图灵奖得主、人工智能科学家Yann LeCun 的推举。
高湛等人在论文中先容,这是一种基于光流的***补全算法。***补全(video completion)任务是用新合成的内容添补给定的时空区域。它有许多运用,例如修复(去除划痕)、***编辑、殊效事情流(去除不须要的工具)、去水印和标志以及***稳定。
对付***补全任务而言,难点是新天生的内容须要无缝地嵌入到***中,并且变动应尽可能不被察觉。几年前,业界通用的方法是基于补丁的合成技能。但这些方法常日合成速率慢,合成新内容的能力有限,只能重新稠浊***中已有的补丁。
后来涌现了基于学习的技能,能够实现更合理的合成效果,但是由于***的高内存哀求,存在分辨率问题。
喷泉旁旋转舞蹈的少女在起跳后消逝
作者认为,目前最成功的***补全方法是基于光流的技能,其能够合成色彩和光流,沿着光流的轨迹通报颜色,以提升***的韶光连贯性,从而减轻内请安题并实现高分辨率输出。
这项新研究也采取了基于光流的办法。作者表示,以往的光流补全方法每每无法保持运动边界的清晰度,而他们所开拓的方法首先提取并补全运动物体的边缘,再以光流边缘为勾引补全光流。由于并非所有***中缺失落的区域都能通过这种方法补全,研究职员引入了非局部光流,使得***内容能够在运动边界上传播。
作者称,可视化和定量结果都表明,他们的方法与最新的算法比较具有更好的性能。他们同时指出,其方法的运行速率为0.12fps(Frames Per Second,每秒传输帧数),与其他基于光流的方法相称,运行速率稍慢是一大弱点。
任务编辑:李跃群
校正:张亮亮
本文系作者个人观点,不代表本站立场,转载请注明出处!