新智元编译

48小时封镜!这是一部完全由AI制作的科幻片子_片子_脚本 文字写作

来源:arstechnica

编译:肖琴

【新智元导读】在伦敦科幻电影节的“48小时电影寻衅”,导演Oscar Sharp和AI研究员Ross Goodwin带来一部全部制作过程由AI导演的实验性影片《Zone Out》。
影片采取“换脸”技能,利用神经网络天生的对话和配音等,全体制作过程都由被称为Benjamin的AI进行处理。
而作为一部科幻片,其结果相称不错。

两年前,一部名为Sunspring(中译《阳春》)的奇怪短片举行了在线首映式,这个短片最引人瞩目的地方在于,它的全体剧本都是由AI写的。
在以特殊严明的办法演出完结局之前,电影的真人演员们嘲笑了奇怪的打算机天生的对话和舞台辅导。

那部电影的制作二人组合,导演Oscar Sharp和AI研究员Ross Goodwin回来了,带来另一个由人工智能导演的实验性影片。
表面上看,这部影片显然更烂。
新电影名为 Zone Out,影片中充满了模糊的面孔,电脑天生的对话和尴尬的场景变革。
这部电影参与了伦敦科幻电影节的“48小时电影寻衅”(Sci-Fi-London 48-Hour Challenge),也便是说,像上次一样,影片必须在48小时内制作完成,并且须要遵照特定的提示。

“48小时”这个限定条件值得一提,由于Sharp和Goodwin这次更加放手:他们让AI系统(他们称之为Benjamin)来处理电影的全体制作过程。

不去世之本杰明

在48小时倒计时开始时, Sci-Fi-London的制片人对“Zone Out”作出提示

像2016年时一样,他们的短片也有一系列的哀求。
(上图是2018年电影的哀求。
)这一次,他们想让Benjamin用这些数据来运行。

Sharp在接管采访时表示,为了在48小时内让Benjamin完成对这部短片的“创作、导演、演出和配乐”,他们在没有任何人为干预的情形下,开始了电影节的前期策划事情。
这意味着要给Benjamin增加额外的任务。
他们操持让Benjamin做以下事情:将公共领域的电影片段拼接起来,把两人的真人演员数据库更换到那些片段中,插入语音来朗读Benjamin的剧本,然后给电影配乐。

这统统都是在写剧本的过程中完成的,这个过程自Benjamin在2016年的实验后一贯在改进。
AI写剧本仍依赖于LSTM(是非期影象)神经网络。

Zone out的事情职员承认,各种神经网络办理方案在48小时的期限内只能很好地完成面部渲染事情。

为了演习Benjamin,Goodwin给这个AI输入了几十部他在网上找到的科幻电影剧本——大部分是上世纪八九十年代的电影。
Benjamin将它们分解到字母级,学习预测哪些字母方向于连在一起,哪些单词和短语方向于一起涌现。
与马尔可夫链比较,LSTM算法的上风在于它可以对长得多的字母串进行采样,因此它更善于预测全体段落,而不仅仅是预测几个单词。
LSTM还善于天生原始的句子,而不是从语料库中剪切和粘贴句子。
随着韶光的推移,Benjamin学会了模拟剧本的构造,创作舞台辅导和天生格式良好的台词。

《Zone Out》的剧本,就像《阳春》一样,在空洞的废话和有感情的台词之间摇摆不定——诚笃说,它并不逊于一部科幻佳作。
(取自影片中对话的一个例子,听起来像是Benjamin对他的主人的批评:“你为什么不见告我……你说的是真的吗,人类将能够对人类施与更强烈的毁坏吗?”这一次,剧本中奇怪的、不像人类会说的对话被AI自动化的许多其他电影制作任务放大了。

在制作过程中,Sharp和Goodwin努力探求公共领域的电影片段,这个过程有一些障碍。
不仅仅是版权问题;他们想要的电影片段必须包含大量的镜头,而且演员必须面对镜头,以便Benjamin可以更随意马虎地剪切和插入任何内容。
Sharp和Goodwin在深入研究公共领域的电影数据库并咨询状师后,选定了两部电影:《地球上末了一个人》(The Last Man on Earth)和《不去世之脑》(The Brain That Wouldn't Die)。

换脸技能

这部电影最引人瞩目的地方是它对换脸技能的依赖,从而将现有的电影改编得符合Benjamin的意愿。
在盛行文化中,换脸已经成为一个非常热门的话题,尤其是奥巴马被换脸的***在网络上疯传之后。
只管如此,这项技能的局限性还是很明显的,特殊是有韶光限定成分影响的时候。
Zone Out的制作团队在剖析演员托马斯·米德迪奇(Thomas Middleditch)、伊丽莎白·格雷(Elisabeth Gray)和汉弗莱·克(Humphrey Ker)的预录***时也碰着了打算韶光太长的问题。

在定格形式下,换脸的效果看起来相称不错

也可能像这样

头被安在盘子上

韶光紧迫的影响在终极的产品中很明显。
Sharp 也承认打算能力的限定阻碍了团队对产品都雅的设想。
两人最初想用Tacotron的一个开源版本来利用自己的录音对话和样本合针言音;人类演员念了大量的对话,Benjamin会在适当的时候自动插入这些对话。
但事实证明,这在打算上本钱太大,超出了韶光限定,于是两人仍旧利用合针言音。

当镜头只有一张侧向的脸时,换脸效果很糟糕

图中,Thomas Middleditch的脸被贴在一名没有对话的演员身上

同样的问题也涌如今换脸和面部操控系统上。
Sharp说:“我们终极不得不承认,这部电影的配音很糟糕。
”由于天生对抗网络和开源版本的face2face这些工具只能在规定的韶光内得到“初稿”一样的面部渲染结果。

这三位演员是换脸内容的来源

值得夸奖的是,两人的一个最初操持进行得相称顺利:利用基于Jukedeck平台的完备由机器人编曲的配乐。
“系统剖析了剧本的情绪内容,”Sharp说。
其结果是一段钢琴音乐,有助于分散人们对Zone Out奇怪的声音合成的把稳力。

下一个目标

自动化过程中最大的失落败来自于试图利用一个不同的AI系统,一个卷积神经网络,用于自动选择公共领域电影片段的过程。
“剧本中没有足够的工具描述符,也没有足足数目标唯一工具,”Sharp说,这意味着自动编辑系统缺少足够的数据。
在这一点上, Sharp和Goodwin很谨慎地遵守AI作为“导演”的决定,选择电影场景、拍摄长度和演员安排。

“编辑Jono Chanin和我的事情假定这便是Benjamin试图讲述和编辑的故事,同时也严格遵守 Benjamin的剧本,”Sharp说,“以是在这里,涌现了一些人类的阐明,只管我希望把它们彻底打消。
这仍旧是我们的下一个目标。

的确,只管这部电影的结局(以及影片中糟糕的声音合成)很奇怪,但它也包含了相称多有感情的镜头,尤其是当Benjamin的剧本与公共电影片段中一对夫妇痛楚地决斗的镜头同等时。
更高的打算效率和更精确的数据剖析工具可能能够使这种48小时的电影制作在未来成为现实。

Sharp显然也没有放弃考试测验。
他说:“在这个实验之后, Ross已经创造了一些他认为可以帮助我们进行完备自动化编辑的新技能,非常令人愉快。

【加入社群】

新智元 AI 技能 + 家当社群招募中,欢迎对 AI 技能 + 家当落地感兴趣的同学,加小助手微旗子暗记: aiera2015_3 入群;通过审核后我们将约请进群,加入社群后务必修正群备注(姓名 - 公司 - 职位;专业群审核较严,敬请包涵)。