轨范员硬核解析《隐秘的角落》:用AI识别唇语破解原来台词_口型_台词
在浩瀚解析中,程序员东泽的方法堪称硬核:创造剧集中主人公的口型和台词对不上,他便通过人工智能技能,还原了被修正的台词。
先容东泽的试验之前,我们先大略回顾下《隐秘的角落》:电视剧改编自网络作家紫金陈的小说,剧中有三个少年,分别是成长于单亲家庭的朱朝阳、从孤儿院出逃的严良和普普。三个少年在暑假时目睹了一桩凶杀案。他们由于各种缘故原由没有报警,反而与凶手做起了“交易”。故事由此展开。
隐秘的角落剧照,从左到右依次为严良、普普和朱朝阳。图自网络。
不过,由于小说原著的结局比较暗黑,电视剧做出了诸多调度,终极呈现的结局看起来比较光明、美好。紫金陈在微博上透露,“末了两集可能看起来逻辑有一些断层,是由于一些调度的缘故原由”。
这引发了网友们的解析激情亲切。有人把稳到片头动画中小人数量的变革,有人剖析了剧中人物的表情动作,还有人把人物打电话时的按键声纳入考虑……
作为一名编程超过10年的程序员,东泽则从自己的专业入手,用上了人工智能。
在第12集中,朱朝阳和严良从凶手的手中去世里逃生,开始谈论之后的对策。东泽创造,朱朝阳和严良的部分口型和字幕中的台词对不上。于是,他通过演习人工智能模型,还原了两人原来的台词。
第12集的这一片段,朱朝阳的台词字幕是“你想报警吗”,但口型涌现了不一致。图自东泽。
东泽利用的是一种名为Facemash的模型,它可以获取人物的面部表情特色。在此根本上,东泽进行了二次演习,让模型通过剖析人物嘴唇的运动特色来预测说话内容。
图中的“面膜”便是 Facemash 模型识别出来的特色点间的连接。图自东泽。
南都·AI前哨站梳理发现,早在2003年,Intel就开拓了唇语识别软件。DeepMind公司和牛津大学也曾联手研发唇语识别算法,并在2016年均匀达到了52.3%的准确度。
东泽见告南都·AI前哨站,唇语识别的算法门槛不算高,他在网上找到了一些开源的资料,只是个中鲜少有中文唇语识别的资料。“中文和英文有很多不一样的地方,像是停顿、爆破音、音调等等。让模型适应中文的发音轻微花了点韶光。”他说。
而在解析《隐秘的角落时》,由于直接预测汉字的难度太大,东泽采纳的策略是,让模型预测每个字的拼音。之后,他根据拼音和前后的剧情,还原出了朱朝阳口型原来对应的台词。
模型从面部、嘴唇运动特色到预测出讲话拼音的动态过程。图自东泽。
在模型预测的根本上,东泽考试测验还原了与口型相对应的台词。图自东泽。
值得把稳的是,除了晒台上朱朝阳、严良的对话,剧中另一主人公、凶手张东升也涌现了台词与口型不一致的段落。在末了一集中,张东升被警察击毙之前,对朱朝阳说了一句话,台词字幕显示为“你可以相信童话”,但很多网友以为张东升的口型看起来像是在说“高手”。
东泽说,对付张东升的这句话,他用模型预测出的拼音是“hai shou”,以是他最初也认为是“高手”。不过,在看到他的剖析后,有电视剧制作人见告他,张东升说的实在是“你还有”。“如果是这样的话,那么剧情该当是张东升对朱朝阳说:我没机会了,但是‘你还有’。”
张东升对朱朝阳说的末了一句话,也涌现了口型与台词字幕不一致。图自网络。
南都·AI前哨站还理解到,在大约一周的演习过程中,东泽利用了超过1T的***数据。为了让模型尽可能地准确,他还特意搜集了许多剧中演员的干系数据,比如张东升的扮演者秦昊的***。
得出结果之后,东泽把剖析过程发到了个人微信(微信公众年夜众号dongze_tech原文:《程序员就该这样解读隐秘的角落》)和微博上,收成了一些关注。“比较高兴的是,大家对付程序员的印象可能会有一些改变。在大家平常的印象里,程序员便是做一些很呆板、很乏味的、别人看不懂的事情。但这件事让大家看到,程序员把技能运用到生活中来,实在是很酷的事情。”东泽说。
采写:南都冯群星
本文系作者个人观点,不代表本站立场,转载请注明出处!