人脸图像超分辨率是一个火热的研究领域,特殊是随着天生式对抗网络GAN的崛起,FaceSR取得了前所未有的快速发展。
GAN类似于武侠小说中的绝世神功“旁边互搏”,利用两个AI模型来进行“人工智能”间的对抗:一个AI模型卖力重修图像,另一个AI模型卖力判断图像的真实度,这种网络对抗模型极大的减少了人为干预,能够快速演习出高精度AI模型,使得FaceSR能够广泛运用于警务安防、压缩图像/视频增强及其他运用领域。

那么FaceSR到底能做什么呢?让手机拍摄出媲美专业数码单反相机的高质量照片是FaceSR技能更加贴近生活的主要运用处景,这使得手机照片在放大后仍能保持细节的清晰可辨;把一样平常的NTSC格式低清电视旗子暗记转换为高清电视旗子暗记而不失落真地在HDTV上播放,是FaceSR技能其余一个主要而急迫的运用处景;通过FaceSR技能处理可以提升老旧片源清晰度,让经典电影、电视剧、游戏、MV以高清制式“重生”,带来新的怀旧体验。
其余,利用FaceSR技能放大视频或拍照场景中的目标如汽车牌照、人物细节等,对付各项公共安全保障方法也有极大的帮助。

ASC19人脸超分辨率寻衅“不可能完成任务”

Face SR是ASC19初赛赛题单张图像超分辨率(single image super-resolution)的升级版。
初赛中,选手们须基于PyTorch框架自行设计并演习AI模型,将80张模糊不清的图像进行4倍分辨率还原。
重构效果的衡量指标为感知因子PI(Perceptual index),队员们在还原图片时须要充分考虑肉眼不雅观察清晰度。

总决赛则供应了300张分辨率为24x28的低清人脸图片,哀求参赛军队对这些图片进行4x超分辨率还原,并打算人脸特色相似性。
同时本次竞赛也供应了300张风格类似的图片用于参赛军队自行验证模型的重构效果。
这些低清图片和原始图片的人脸特色相似度在0.55旁边,相称于低清人脸图片中仅包含了55%旁边的人脸特色信息。

要想理解这次寻衅有多难,必须要先知道24x28的低清图片对付人脸超分辨率意味着什么?已有的研究结果表明人脸图片的分辨率至少须要在32x32到64x64之间,才能担保人脸识别的准确性(https://arxiv.org/abs/1611.08091)。
没错,ASC19竞赛FaceSR赛题利用的低清图片分辨率,比理论上的最低图片分辨率还要低,切实其实便是“不可能完成的任务”!

为什么人脸识别对图片分辨率有最低哀求呢?这要从人脸识别的技能事理提及。
当前的人脸识别模型大多是采取深度神经网络加上一个embedding层来实现,embedding层会用一个512维的特色向量来表征人脸的特色信息,这个向量可以认为是人脸的唯一特色信息,用于后续的人脸比对,人脸分类等任务中。
当人脸分辨率过低时,部分用于识别的人脸特色信息丢失,就会造成了识别困难。
只有当分辨率高于一定的尺寸时,识别算法才能有效的事情。

一个有效的验证该论述的办法是打算同一张人脸图片在不同分辨率情形下的自相似性。
下图即给出了这样一个例子。
原始的人脸图片分辨率为512x512,将其依次压缩分辨率到256x256,128x128,64x64,40x40,32x32,20x20,16x16,然后利用同一个人脸识别深度神经网络打算每张图片的512维特色向量,末了再和512x512分辨率的图片打算余弦相似性。

可以看到,在分辨率64x64以上时,不同分辨率之间人脸图片的特色相似性极高,但是当图片分辨率降到64x64以下时,特色相似性会急剧降落。
这和肉眼不雅观察的结果基本是同等的,分辨率在64x64以上时,人脸的五官特色清晰可辨,但是在64x64以下时,五官开始模糊,已经不太能分辨人脸的特色信息了。

相似度从55%提升到90%,学霸组团的人工智能水平真厉害

为了合理的衡量各个参赛军队提交的人脸图像超分辨率算法的重构效果,ASC19首次把人脸特色相似性IS(identity similarity)作为FaceSR效果的唯一评价指标(取值范围为0到1,1表示完美复原)。
对付FaceSR来说,除了知足肉眼不雅观察清晰度(FaceSR效果的另一个衡量指标,也是初赛SR的评分依据,详细先容见文末)之外,对人脸特色信息的规复也是一个很主要的考量指标。
但是遗憾的是,大多数的超分辨率算法在这一指标上一贯乏善可陈,乃至涌现了部分经由超分辨率算法重构后的人脸特色相似度反而更低的情形。

这个评判指标对参赛军队的模型设计的演习过程提出了更高的哀求。
本次竞赛中没有供应可供参考的基准算法,也没有限定模型演习利用的数据集,但是在决赛现场供应包含70,000张高清人脸图片的FFHQ(Flickr-Faces-HQ Dataset)数据集,用于各参赛军队演习和精调模型。

从终极的结果来看,20个进入决赛的军队中,提交的模型在验证集上最高的超清重构IS值来自北京航空航天算夜学团队,达到了0.9,有7支军队的成绩在0.85以上,半数以上的军队都能取得0.8以上的重构人脸图像相似度。
看来能成功杀进ASC19总决赛的军队果真是学霸组团,这些有的乃至还是大二、大三阶段的本科生同学展示出的人工智能水平真是顶呱呱。

那么,在本次竞赛中,各个参赛军队在模型设计上又有什么独到之处呢?在模型演习过程中,又有什么奥妙设计呢?

【附文】人脸超分辨率中感知因子PI

人脸超分辨率是图像超分辨率中一类分外的研究工具,它依然遵照SR技能的一些共有特性,个中最著名的便是相似度越高、肉眼不雅观察清晰度越差的“悖论”。
常用的衡量图像超分辨率质量的办法是比较超清(SR)图片和高清(HR)图片的差异,比如两者之间的峰值信噪比(PNSR)或者构造相似性(SSIM)。
但是,一个比较反直觉的事实是,很多算法能够得到很好的PSNR和SSIM值,但是肉眼不雅观察SR图片的重构效果并不理想,比如下图中右图SRGAN算法给出了肉眼不雅观察最为清晰的SR图片,但是其PSNR和SSIM值均是3张图片中最低的。

图片来源,https://www.pirm2018.org/PIRM-SR.html

Yochai Blau等揭橥于CVPR 2018年的文章(The Perception-Distortion Tradeoff)对上述反常征象给出了理论阐明,即对付图像超分辨率算法来说,其和HR图片比较引入的畸变越小,即和HR图片的RMSE(root mean square error)越小,则肉眼感知(perception)的SR图片清晰度越差。
因此,为了更好的感知清晰度,捐躯一定的SR/HR图片之间的相似度在所难免。

图片来源,https://www.pirm2018.org/PIRM-SR.html

为了更好的衡量SR图片的感知清晰度,即肉眼不雅观察到的SR图片的清晰程度,PIRM 2018(https://www.pirm2018.org/PIRM-SR.html)图片超分辨率竞赛引入了感知因子PI(Perceptual index)的观点。

PI由两个参数Ma和NIQE综合给出,这两个参数的打算都不须要参照HR图片和LR图片,即SR图片感知因子的打算不须要参照原始高清图片和低清图片。
所以为了防止超清算法给出的SR图片和原始HR图片之间的偏差太大,一样平常会限定两者之间的RMSE不能超过一定的范围,否则SR图片相对付原始HR图片就存在一定程度的失落真。
举一个夸年夜的例子,如果没有RMSE的约束,超分辨率算法可能会把一只低清的猫变成一只超分辨率的狗。

ASC19初赛中的SR超分辨率赛题利用了PI值作为衡量超分效果的判别依据。

来源：消费日报网综合