量子位 宣布 | "大众号 QbitAI

要说现在什么AI技能跟大家伙儿走得最近，那真是非AI殊效玩法莫属。

想整张手绘头像，无需点亮绘画技能，拿起手机打开APP拍张照，AI“秒秒钟”帮你自动搞定。

△快手“手绘封面”殊效

并且早已不仅仅局限于单张照片，短***的每一帧都能用这样的麻瓜“邪术”丝滑覆盖。

各种艺术风格，只有你想不到，没有AI做不到。

不过，别看这些殊效滤镜层出不穷，动不动掀起一波网络狂欢，从一个模型的出身到它真正走进你的手机，那背后的故事还真不是三言两语就能轻松说完的。

不妨以快手爆火的手绘殊效为例，详细唠唠这件事。

首先，自然还是算法层面的一系列操作。

从用户拍摄***/照片，到AI的“手绘作品”输出，在AI看来大致是这样一个流程：

ISP将处理好的***/照片发送给App，AI吸收到须要处理的画面，就会预先对每一帧画面进行预处理，统一格式和尺寸。

接下来，就可以开始侦测并剪切画面中的人脸，利用已经定制好风格的“艺术家”神经网络（如U-Net等）对其进行加工。

这一步天生的手绘效果与输入帧进一步领悟之后，手绘殊效就初步完成了。

当然，在正式输出之前，每一帧画面还得经由一道扮装和美颜的步骤，来提升整体图像的质量。

这时候可能有盆友会问了，现在各种开源天生算法都很成熟，直接搬得手机里，何难之有啊？

非也非也。

且不说为了最大程度保留用户本人的五官和形状特色，同时兼顾手绘风格的美学和艺术效果，须要在整体风格和局部细节上对AI模型进行更加严苛的调教，对付快手这样的App来说，演习出一个稳定好用的模型每每还只是第一步。

更大的困难其实在于手机这个载体本身。

手机作为移动端设备，本身算力有限。
也便是说，AI的手绘能力越强大、技能越繁芜，对付手机来说，想要流畅不卡顿地运行它，就越困难。

而对付咱用户来说，如果一开殊效便是一顿卡卡卡卡卡，电量哐哐掉，那也就没有什么乐趣可言了。

其余，像手绘滤镜这样的算法，默认是在手机CPU上运行的。
CPU是一个通用打算单元，本身也并非运行AI事情负载的最佳选择。

怎么办理？大体上有如下三种思路。

第一种思路，还是从算法上动手，对模型进行压缩。
以快手为例，AI滤镜背后就都有定制化模型压缩算法的加持，使其可以在考量各种边界条件、有限的打算和内存资源条件下，把模型打算量降到最低。

不过再怎么在算法上优化，硬件层面的限定仍旧是无法绕开的问题。

于是就有了第二种思路，上云。
许多App供应商都会选择在云端进行繁芜的AI处理，以办理移动端算力不敷带来的寻衅。

但这又引发了新的问题——在云端打算，就会受到网络环境的影响，导致额外的时延和其他变革，也没有办法知足离线须要。

以是第三种思路，便是直接从SoC硬件厂商这一侧办理问题。

以最常见的高通骁龙移动平台为例，其搭载的高通AI引擎，就在硬件这一侧，实现了AI打算的加速。

高通AI引擎，实在便是内置于骁龙移动平台的一套完全软硬件AI办理方案。

在硬件方面，高通AI引擎采取多核异构打算方案，包含：

因此，通过智能调度CPU、GPU和向量处理器来进行AI运算，高通AI引擎能充分发挥出不同架构处理器的优点，在实现高算力的同时，最大限度担保能效。

而在软件方面，高通AI引擎的软件工具包括：骁龙神经处理SDK、Android NN和Hexagon NN。
利用这些软件工具，像***平台这样的算法开拓方，就能够快速接入高通AI引擎，充分探索AI算法的性能边界。

事实上，快手和高通早在骁龙765移动平台推出时就展开了互助。
针对App在移动平台的性能、功耗、扩展性和兼容性等方面的需求，高通神经处理SDK能够以软件的办法供应支持，并开释CPU事情负载，通过Hexagon处理器来实现AI加速。
并且，双方还在模型量化压缩方面开展了互助，在提升模型性能和能效的同时，确保AI处理的精确度。

由此带来的效果可以直接用一组数据表示：手绘滤镜帧率（FPS）提升56%，功耗降落32%。

而在今年，随着新一代骁龙778G移动平台的推出，双方的互助还在进一步加深。
核心环绕的，便是第6代高通AI引擎。

骁龙778G支持的第6代高通AI引擎包含高通Hexagon 770处理器，算力可达12TOPS，性能较前代平台实现翻番。
为便于大家参照：苹果A14为11TOPS。

此外，骁龙778G采取的全新Qualcomm Spectra ISP，支持每秒处理20亿像素，能够为高通AI引擎运行殊效算法供应额外加持。

快手Y-tech AI工程组卖力人边红昌针对这项互助，还表示：

与高通技能公司的出色互助帮助快手打破了AI算法的性能边界。
我们很高兴能够与高通连续协作，充分发挥骁龙高端芯片的强大异构打算能力。
通过增强神经网络性能并提升输出质量，我们将能为用户供应更具吸引力的运用和更高代价。
”

“AI大厂”高通？

提及高通，或许你的印象还勾留在“一家手机芯片厂”，长于游戏和图形。

但从手绘滤镜这个案例中，就不丢脸出，实在高通早已是一家AI大厂，还是App开拓商们乐于携手互助的那种。

事实上，早在AI朝阳东升之时，高通就已经将AI视为技能发展的重点。

在2007年，高通旗下的Qualcomm Research就启动了首个人工智能项目，并于2018年正式成立Qualcomm AI Research。

2015年，搭载第一代高通AI引擎的骁龙820发布，正式引入高通Hexagon向量扩展内核，以支持更强大的AI处理能力。

在历经6年的逐年迭代之后，今年同样搭载第6代高通AI引擎的骁龙888 Plus，已经实现了高达32 TOPS的强大算力。

并且，高通的AI能力或许也比你想象的更深入日常生活。

虽然不像App里的AI殊效算法那样让人感知强烈，但你的手机、手机运用越来越智能背后，或多或少都有高通AI引擎的影子。

最近就有新例子——

搭载了骁龙888系列的光彩Magic 3，通过场景元素识别和智能匹配、推举，实现AI影调推举功能，让用户在手机上也能拍出电影大片的质感。

而同样搭载了骁龙888 Plus的小米MIX4，惊艳的屏下摄像头落地背后，少不了AI图像增强算法的加持；更有全景AI翻译新玩法，带来同声传译、屏幕翻译、拍照翻译、AI字幕等实用AI功能，让用户能在刷***、线上会议等诸多场景中，都方便体验到AI“翻译大师”的做事……

黑科技有多繁芜？那不是大多数用户须要考虑的。

但在高通与其互助厂商的碰撞中，更多的黑科技正在成为生活的常态。

拿来就完事了，你说呢（手动狗头）？

—完—

@量子位 · 追踪AI技能和产品新动态

深有感触的朋友，欢迎赞许、关注、分享三连վ'ᴗ' ի ❤