西电视频人脸修复算法研究成果被CCF-A类人工智能顶级会议IJCAI录用_图像_算法
人脸规复常日指从低质量的人脸图像中规复出高质量细节的技能,例如去模糊、去噪声、规复等。这些技能通过算法改进图像质量,使人脸特色更清晰。而视频人脸规复则是将这一过程运用于视频序列,它不仅须要处理每一帧的图像质量,还要担保韶光上的连贯性和自然过渡,确保视频中人脸的动态表现和质量的同等性。这哀求算法能够有效处理视频中的运动模糊、压缩丢失等问题。人脸规复任务在最近几年被广泛研究,并且在工业界被广泛运用。
该论文研究首次提出了一种新颖的盲视频人脸规复方法,即解析勾引的韶光同等性变换器(PGTFormer),旨在办理现有技能在处理低质量视频人脸时碰着的寻衅。该方法无需预对齐即可规复高保真的人脸细节,并增强视频中不同姿态变革的韶光连贯性。PGTFormer利用语义解析辅导选择最优人脸先验,天生韶光上连贯且无毛病的人脸结果。该研究还包括了一个韶光空间矢量量化自编码器(TS-VQGAN)的预演习模型,以及一个韶光解析勾引的码本预测器(TPCP),这些创新技能显著提高了人脸规复的效率和准确性。
图像左侧为原始图像,右侧为人脸修复算法处理后图像
论文作者简介:
何刚,副教授,博士生导师,现事情于西安电子科技大学通信工程学院,图像传输与处理研究所。博士毕业于早稻田大学,研究方向是人工智能全链路视频画质修复增强编码及智能感知领悟视觉处理,揭橥SCI论文及会议50余篇。当前担当国家信标委人工智能分委司帐算机视觉事情组联合组长、陕西省高校工程研究中央副主任、西电光彩通信互联创新联合实验室实行主任等,主持参与国家自然科学基金,科技部重点项目,工信部重点研发项目等,并与工业界多家有名企业在画质提升和领悟感知等领域展开深入互助。
徐克鹏,博士研究生,西安电子科技大学通信工程学院图像传输与处理研究所成员。目前在西安电子科技大学攻读博士学位,博士期间的辅导老师为何刚老师和吴宪云老师,研究方向为深度学习在图像视频压缩与增强领域上的运用,目前已在ACMMM、IJCAI等国际顶级会议揭橥多篇论文。
李云松,教授,博士生导师,国家级高层次人才,西安电子科技大学通信工程学院实行院长,图像传输与处理研究所卖力人。紧张从事图像/视频处理、编码及传输、芯片设计及高性能打算等领域的研究事情,主持并完成了国家自然科学基金、国家重大专项、863、探月工程,载人航天、火星探测工程等多项科研项目。
论文成果链接:
人脸修复算法成果展示链接:https://kepengxu.github.io/projects/pgtformer/
人脸修复算法论文链接:https://arxiv.org/abs/2404.13640
人脸修复算法代码链接:https://github.com/kepengxu/PGTFormer
本文系作者个人观点,不代表本站立场,转载请注明出处!