团队选取了20款手机进行测试。
开始前,这20部手机被统一录入同一位测试职员的人脸验证信息,随后另一位作为“攻击者”的测试职员戴上该眼镜依次去考试测验解锁。
结果,除iPhone11外,别的19款手机全部被成功解锁。

对话用眼镜破解19款手机人脸识别团队:APP同样存风险对抗样本进击是新型安然威胁_算法_样本 计算机

据先容,对抗样本是结合攻击者的图像与被攻击者的图像通过算法打算天生的滋扰图案,滋扰图案可以使人脸识别系统误判两个面部特色不一致的人为同一个人。

实际上,对抗样本是人工智能领域公认的一大漏洞,但以往攻击考试测验紧张在实验环境下进行。
2019年8月,来自莫斯科国立大学、华为莫斯科研究中央的研究者们曾发布,在脑门上贴一张对抗样本图案,能让公开的Face ID系统识别出错,但本次攻击仅实现让识别系统“看不到”目标任务,并非攻破商用的手机,其安全性、繁芜性与让人脸识别算法将A识别为B仍有很大差距。
团队认为,这次手机的攻击测试佐证了这一有风险的安全漏洞在商用领域的真实存在性,这也是在环球范围内首次攻破商用人脸识别系统的案例。

目前,人脸识别技能被广泛运用于公共安全(罪犯识别、边防管理)、场所进出(机构门禁、物业做事)、信息处理(账户认证、文件解密)等领域,其潜在的安全漏洞除对用户隐私、个人信息形成威胁外,还可能因系统或算法受到攻击导致造孽侵入,进而引发盗窃、诱骗、侵入住宅等下贱犯罪,危及数据、财产乃至人身安全。
不过,也有网友认为这次攻击测试仅选择了19款采取2D人脸识别技能的安卓手机和1款利用3D技能的iPhone11,结果不具普遍性和可比性。

2月3日,作为该研究项目卖力人之一、瑞莱聪慧高等产品经理张旭东接管了21世纪经济宣布专访,对该对抗算法的技能事理、攻击样本选择情形、3D和2D人脸识别技能有何差异、团队的初衷与下一步操持等问题进行理解答。

张旭东表示,选用的19个测试手机人脸解锁均采取2D技能的缘故原由,实在反响了一个现实问题——市情上搭载3D人脸识别方案的手机型号仍是少数,一样平常顶配的高价位手机以及安全级别非常高的运用处景才会选择3D方案,另一方面,一些价位不算低的旗舰机也紧张采取2D方案,可以说,2D方案的运用遍及率要远远高于3D方案,因此这一安全风险是普遍存在的。
他也进一步解释,目前这款眼镜设计较为大略,仅在平面上加一些滋扰,以是3D人脸识别方案的解锁系统不随意马虎被这种办法破解。

对付下一步操持,他表示要从防御角度办理目前商用系统中存在的“对抗样本”漏洞,也会连续深入人工智能安全对抗研究,考试测验3D人脸识别方案的攻击路径,挖掘人脸识别在运用处景中的更多潜在风险,健全人脸识别技能的安全保障,让大众更安全地享受人脸识别的便利。

对抗眼镜破解人脸识别

《21世纪》:为什么想要对商用人脸识别系统进行对抗样本攻击测试,初衷是什么?

张旭东:早在2015年在校期间,我们团队就意识到,人工智能如果日后遍及,就必须要办理其安全性的问题,以是从那时起,我们就开始动手干系研究。
2018年,随着清华大学人工智能研究院成立,公司作为官方的产学研机构孵化成立。
我们创造,人脸识别可能是"大众日常生活中打仗最多的人工智能运用处景,因此想验证学术界谈论了很多的“对抗攻击”这一安全漏洞在商用系统中是否确实存在。

《21世纪》:可否先容一下对抗眼镜的制作和技能事理?

张旭东:对抗眼镜的制作过程比较大略。
比如我要解锁某个人的手机,我须要用到他的一张照片和我自己的一张照片,然后输入到我们提前开拓好的攻击算法中,算法会基于两张照片自动天生一个最优的滋扰补丁,便是那个梯形图案,将图案打印出来,贴在眼镜上,对抗眼镜就制作好了。

背后的事理,可以这样理解:我在不同场景下的两张照片,算法一样平常都会识别出这是同一个人。
实质缘故原由是算法把我脸上的一些特色,比如鼻子眼睛,算作了“数值”,当两张照片的特色“数值”比较靠近的话,就会被剖断为是同一个人,不同的人之间的特色“数值”可能相差较远。

我们可以“问”这个算法,该当在上面加什么样的滋扰“数值”,也便是滋扰图案,和已有的特色“数值”加起来后,跟攻击目标上的特色“数值”一样或靠近,打算机很快便可以找到一个图案来匹配。
实在,对抗样本攻击算法的核心便是找到滋扰图案,找到这个图案之后,我们就可以人脸识别算法出错。

《21世纪》:研发对抗样本攻击算法耗时多久?

张旭东:这是一个持续迭代的过程,早在2019年,我们就考试测验过在图片上直接叠加像素扰动去攻击测试商用手机,当时也能测试成功,但效果不足稳定。
这次我们经由半年旁边的韶光进行算法升级后,攻击效果提升比较明显。

据我们理解,业内该当还没有其他公司或研究团队能用一张对抗样本的补丁纸张去解锁商用的手机,以及一些商用的做事系统。

APP人脸识别同样存风险

《21世纪》:有部分网友认为测试的只是2D人脸识别的手机,测试结果随意马虎形成误导。
在测试前,团队是否调查过市情上手机人脸识别技能的分布情形,如何选样的?

张旭东:测试选择的手机,由两部分组成,一部分是新买了一批做测试的,包括5个品牌不同价位的安卓机型,其余一部分是团队日常在利用的手机。
都是2D方案的一个紧张缘故原由在于,采取3D方案的手机实在并不多,其余3D方案的大多都是七八千元价位的顶配手机,相较之下,2D方案运用率更高。

《21世纪》:你刚才提到还可以攻击商用系统,比如说要解锁某一款APP,乃至利用人脸识别功能进行一些敏感操作,可以直接用吗?

张旭东:对,理论上是可行的,实际上我们也验证了这一风险确实存在。
虽然APP人脸识别做事与手机的人脸识别做事可能不是一个技能方案,比如手机刷脸解锁用的是A厂商的技能做事,某个APP用的B厂商的做事。
但是他们都能够破解,缘故原由在于我们天生的攻击样本具有迁移性。

《21世纪》:测试中iPhone11幸免于难的缘故原由是什么?

张旭东:iPhone目前采取的是3D构造光技能,是识别人脸的三维构造图像。
我们目前这款眼镜制作比较大略,紧张还是在平面图案上添加了一些滋扰,以是不太能攻击成功。

《21世纪》:也便是说3D人脸识别的技能相对更安全?

张旭东:是的。
3D人脸识别方案包括构造光、ToF(翱翔韶光法)等,它们与2D方案的差异在于采集的是人脸三维立体信息,3D技能方案可能只运用在人脸识别的活体检测环节,也可能既用来判断活体也用来做识别。

对抗样本攻击是新型安全威胁

《21世纪》:对抗算法现在是否已经反馈给手机厂商?

张旭东:对抗算法是在保密中的,但与厂商有针对风险问题进行沟通。

《21世纪》:这一对抗算法如果被不法职员获取将带来什么影响?是否有防守办法?

张旭东:人脸识别的运用非常广泛,就目前而言,考勤门禁、通畅闸机等运用都存在这一安全问题,更严重的是,一些金融类跟政务类APP的身份认证环节也能被攻破,如果这一技能被不法分子获取,可能会进行一些造孽获利的行为。

由于对抗样本攻击不同于传统的假体攻击,是一类新型安全威胁,像市情上活体检测方法难以办理这个问题,以是须要一些新的办理方案。
防御方面,我们有推出相应的安全性评估产品和防火墙产品,能够检测识别目标是否佩戴了对抗补丁,有效抵御针对付人脸比对、识别别模型的物理天下对抗样本攻击。

《21世纪》:除了推进对抗样本算法的办理方案,在人脸识别安全方面,团队日后还有什么研究操持?

张旭东:修补这一漏洞是最紧张的。
毕竟这类攻击技能如果被恶意开源遍及开来的话,要履行攻击只是花一两元去打印一副眼镜的事。
下一步,我们希望修补漏洞,和一些厂商、互助伙伴去共同加固人脸识别的安全性。

同时,我们将连续拓展对抗样本攻击的实现场景,比如如何对3D技能人脸识别履行更加稳定的攻击。
目前,3D人脸识别会更多的运用于安全级别更高的场景,比如移动支付,我们会想知道对抗样本攻击对这类场景的危害级别是什么样的。
包括我们也会研究一些新的漏洞,对抗样本攻击紧张针对的是算法运行阶段,实在演习等环节也会存在一些安全问题,这些也是我们未来的研究范畴。

更多内容请下载21财经APP