撰稿：焦述铭

审稿：左超

众所周知，如今人工智能（AI）功能非常强大，高算力软硬件再合营上无处不在的摄像头作为自己的眼睛，分辨一张图片中动物是猫还是狗，在茫茫人群找到某个目标，都早已不是难事。
在图像分类识别和图像目标检测等任务中，准确率险些达到“百发百中”的程度，乃至很多时候超过了真人。
通过人脸识别和大数据，AI视觉系统不仅可以知道“你是谁？”，还很可能预测出来“你从哪里来？”，“你要到哪去？”。
对付这些直击灵魂的“哲学终极三问”，你不必说一句话，AI已经“心中有数”。

如果一个人不肯望被铺天盖地的AI视觉系统所察觉，有没有什么好办法呢？

用头套和面罩把自己的脸遮挡地严严实实的，把摄像头砸坏了，或者把打算机电源线拔了？这些卤莽屈曲的做法，只会起到欲盖弥彰的效果，反而主动暴露了自己，真正的高招是瞒天过海，暗度陈仓，不动声色把AI给骗了。
可现在的AI越来越聪明，“猴精猴精的”，还能轻而易举被人给骗了？实在欺骗AI不仅可行，还有很多种黑客攻击办法。

目前以深度神经网络模型为代表的AI系统虽然可以出色地完成很多任务，但内部构造像个黑箱，研究者也没有完备搞清楚个中的机理。
这样繁芜的系统难免有各种漏洞（bug），只要捉住个中某一个，直击症结，就可以把AI捉弄得团团转。
就犹如人的双眼会产生各种视错觉一样，AI视觉系统也常常有“看走眼”的时候。

纵然一个AI系统平时表现甚佳，也会由于被“整蛊”，变得彻底发挥失落常，丢人现眼，出尽洋相。
AI系统好比一个发挥不稳定的学霸，考试中可以轻松应对压轴难题，却也会莫名其妙地涌现低级失落误，回答不出“送分题”。
如果只对一张图片做出微不足道，乃至难以察觉的变动，勾引AI视觉系统做出错误判断，称为对抗样本攻击。

对付手机电脑上的电子图片，利用者可以任意变动个中每个像素的数值，给图片内容洗面革心非常随意马虎。
难点在于，一方面做出的变动要尽可能无踪无影，不随意马虎被看出，另一方面所做出的变动要足以触发AI系统的漏洞，误导天生缺点的输出。
不过目前已有很多不惧艰险的优化算法，可以天生这种被称为对抗样本的图片。
下图展示的便是AI视觉系统碰着电子“图骗”攻击之后的各类奇葩表现。

图1：碰着电子“图骗”（对抗样本）攻击之后，AI视觉系统的奇葩表现：原来的熊猫图片加上优化设计的彩色雪花点之后，人眼看起来基本没什么变革，可是AI系统见告你这不是熊猫，是长臂猿；阿尔卑斯山被算作了狗，河豚鱼被算作了螃蟹，这也太离谱了吧；乃至连最基本的手写数字也不会认了，非说4是9，3是7，8是1……这没少喝吧[1、2、3]

不得不说，在遭受对抗样本攻击之后，AI的目光实在不敢阿谀，“睁着眼睛说瞎话”，图像的识别结果都是些胡言乱语，表现大失落水准。
AI系统除了可以给出结果外，还会给出对应的置信度，表示自己对付结果精确程度抱有多高百分比的信心，可偏偏这些误判结果的置信度数值都相称高，不是99%便是100%，看来此时的AI视觉系统还很“普信”，明明表现很普通，却还那么自傲。

如果说对付电子图片，履行的是邪术攻击，那么对付现实中的物体，就须要履行物理攻击了[4]。
大略一点的物理攻击办法便是在人脸、交通标志或者别的什么物体上，贴上一个小标签，画上几笔线条，当然所做的变动同样是精心设计过的，就可以让AI视觉系统失落灵。

图2：通过贴小标签的大略办法迷惑AI视觉系统[4]

千万不要鄙视了这种恶作剧，图中的“停车”交通标志牌会被AI误认作“限速45”，如果自动驾驶汽车真的被这样的标志所欺骗，发生交通事件，车毁人亡都是可能的，AI视觉系统的这种漏洞值得负责对待。

图3：一个女孩戴上分外镜框后，就会被AI识别为另一个不同女孩[5]

一样平常来说，某个人的长相假如可以被AI视觉系统认出来，那他戴上眼镜，很大概率还是可以还是被认出来。
不过戴上以上这副分外“眼镜”就不一定了，这种假眼镜没有镜片，只有镜框，镜框的彩色装饰图案也很另类，外表看似一件当代艺术作品，实际是根据AI模型的毛病“独家定制”的，可以让AI视觉系统觉得“判若两人”[5]。

对付实物的对抗样本攻击当然也离不开光学手段，利用投影仪在物体表面投影滋扰光图案便是一个大略有效的方法[6]，而利用随处可见的影子作为攻击办法[7]，看起来则更自然，暗藏性更强，只是须要把遮挡物体摆放到恰当位置，让影子成为所需的样子。

图4：利用投影仪（左）和物体自然影子（右）的光学对抗样本攻击[6,7]

如今智好手机的摄影功能越来越前辈，拍摄出照片和***越来越清晰，哪怕一款低配置的手机拍照质量也基本可以让人满意，但数码摄影设备和人眼各自所虔诚记录的真实天下，实在是有差别的。
不仅AI软件系统本身是有漏洞的，作为AI视觉输入的相机和摄像头同样有漏洞，通过在拍摄环节“做手脚”，人眼看起来再正常不过的物体，在图像传感器上却会被转换为一张张奇奇怪怪的照片，进而误导AI的判断。

要想欺骗相机，第一招是利用人眼与相机传感器频谱的差异。
红橙黄绿青蓝紫各种不同颜色的光都被称为可见光，是由于它们在人眼的视觉范围内，可以被看到，而比赤色光波长更长的红外线，比紫色光波长更短的紫外线，在人眼中都是隐形不可见的。
普通手机和相机的传感器可以吸收光旗子暗记的频谱范围大致和人眼类似，可又不完备一样，每每可以探测到一定波长的人眼看不到的红外线。

图5：诡异的红外光让AI总是认错人：相机拍到的图片（第一行）和识别结果（第二行）[8]

有研究者通过一个红外线LED灯，把经由设计的不同光分布图案找到人脸上，无论怎么照，在真人不雅观看者眼中没有任何非常，可是在拍出的照片中，脸上总是有紫色的一块区域，这样就会勾引AI人脸识别系统产生“脸盲症”表现，把同一个人误算作多个不同的人[8]。
而用于网上支付的正常纸质二维码，经由百米之外红外激光的照射，在手机摄像头眼中，可以变为完备不同的另一个二维码，在不被留神的情形下，成为恶意网站链接的入口[9]。

图6：在一组快速交替的投影图案照射下，人眼中还是那张脸，可相机眼中是完备其余一幅“盛饰淡抹”的样子容貌[10]

第二招是利用人眼独特的颜色领悟机制。
当赤色光和绿色光快速交替展示时，比如每秒60张，由于闪烁过快，人眼将难以分辨，看到的只会是赤色光和绿色光领悟后形成的黄色光，而比较之下，图像传感器则更加明察秋毫，每个时候记录的或者是赤色光，或者是绿色光，并不会是领悟后的黄色光。
投影仪将包含了伪装目标（比如希拉里）人脸画面的两个图案快速交替投影到现实中的人脸上，真人不雅观看者看到的是两个投影图案中和后的均匀光图案，看上去并没有怎么影响人脸本身的样子，而在手机或相机拍到的照片里，涌现的却是一个被投影图案高度扭曲的人脸，会被识别为投影图案中的人。
这相称于用投影仪给人脸“盛饰淡抹”一番，不过妆容是若隐若现的，只要不通过相机不雅观看，化的妆就被自动卸掉了[10]。

第三招是利用图像传感器卷帘快门的毛病。
人眼中的视网膜相称于相机中的传感器，都是用于记录图像光旗子暗记。
不过差异在于，视网膜记录整张二维图像的时候，是同步进行的，比如看一张人脸的时候，耳朵眼睛鼻子嘴都是同时看到的。
但很多相机传感器不是这样，采纳一种称为卷帘快门的逐行扫描方法，单张图像的光旗子暗记也是一行一行分开记录的，耳朵眼睛鼻子嘴由于位置不同，并不是同步记录下的，而是有眇小的韶光差。
这样通过明暗快速交替变革的灯光，恰好遇上相机传感器恰好记录图像中某一行光旗子暗记的时候，光是暗的，拍到的照片中就会涌现一条黑线[11]，末了全体画面就成了斑马的样子容貌。
而对付人眼来说，由于灯闪烁得实在太快了，完备觉得不到灯在闪烁，看到的图中更不会有黑线。

图7：卷帘快门效应使得相机在快速闪烁灯光下拍到的照片中有一条条黑线或者彩色条纹[11、12]

而如果我们利用红绿蓝三种不同颜色的灯光[12]，并且更加风雅地皮算每种灯光各个短暂时刻的开启和关闭状态，照片上涌现的不再是大略的黑线，而是彩虹一样的彩色条纹。
无论黑线和彩色条纹，都可以迷惑AI系统，使它无法正常事情。

除了利用现成相机传感器的毛病，研究者也考试测验了更主动的攻击办法，就像在特洛伊木马中隐蔽士兵一样，在正常相机的成像系统光路中额外添加一个处理模块，这个模块能够以光学办法对拍摄的图像光旗子暗记进行眇小的修正[13]。
详细来说，常日情形下物体图像的光旗子暗记通过相机透镜之后，会直接投射到图像传感器上。
但这个欠亨俗的系统中，相机透镜和传感器之间还添加了一个额外的模块，模块里面包括两个透镜和一个空间光调制器，第一个透镜相称于以光场传播仿照了对图像进行傅里叶变换，然后用空间光调制器调度变换结果的相位，再通过另一个透镜，进行傅里叶逆变换。
经由这个分外模块处理后的图像会和正常相机的拍摄结果轻微不同，“妖怪就存在于细节之中”，输入中奥妙设计的眇小改变足以扰乱一个AI系统的正常运行。

图8：一个嵌入了用于天生对抗样本图像的光学处理器的相机系统[13]

当然，面对各种对抗样本攻击，AI视觉系统的设计者也不是束手无策，两者是矛与盾的关系，矛越锋利，盾也会更坚固。
近年来，研究者常常举办环球范围内的人工智能对抗样本攻防竞赛，参赛者可以在仿照的场景中相互切磋，聚拢在一起西岳论剑[14]。
“魔高一尺，道高一丈”，AI视觉系统抵御对抗样本攻击的能力也在日益提升，随着各种漏洞的补充而变得愈加完善。

参考文献

[1] I. J. Goodfellow, J. Shlens, and C. Szegedy, Explaining and Harnessing Adversarial Examples, arXiv:1412.6572 (2014)

[2] Y. Dong, F. Liao, T. Pang, H. Su, J. Zhu, X. Hu, and J. Li, Boosting Adversarial Attacks with Momentum, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2018), 9185-9193 (2018)

[3] H. Ye, X. Liu, and C. Li, DSCAE: a denoising sparse convolutional autoencoder defense against adversarial examples, J. Ambient. Intell. Human Comput. 13, 1419–1429 (2022)

[4] J. Fang, Y. Jiang, C. Jiang, Z. L. Jiang, S.-M. Yiu, and C. Liu, State-of-the-art optical-based physical adversarial attacks for deep learning computer vision systems, arXiv: 2303.12249 (2023)

[5] M. Sharif, S. Bhagavatula, L. Bauer, and M. K. Reiter, Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition, In Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security (CCS '16), 1528–1540 (2016)

[6] A. Gnanasambandam, A. M. Sherman, and S. H. Chan, Optical Adversarial Attack, arXiv:2108.06247 (2021)

[7] Y. Zhong, X. Liu, D. Zhai, J. Jiang, and X. Ji, Shadows can be Dangerous: Stealthy and Effective Physical-world Adversarial Attack by Natural Phenomenon, 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 15324-15333 (2022)

[8] Z. Zhou, D. Tang, X. Wang, W. Han, X. Liu, and K. Zhang, Invisible mask: practical attacks on face recognition with infrared, arXiv:1803.04683 (2018)

[9] 《纸质二维码也能隔空修改：百米之外无痕攻击，秒变恶意网站入口》，量子位微信"大众年夜众号，https://mp.weixin.***.com/s/mNB-4mAfFCtcNtvSUW3x5Q

[10] M. Shen, Z. Liao, L. Zhu, K. Xu, and X. Du, VLA: a Practical Visible Light-based Attack on Face Recognition Systems in Physical World, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 3(3), 103 (2019)

[11] Z. Chen, P. Lin, Z. L. Jiang, Z. Wei, S. Yuan, and J. Fang, An Illumination Modulation-Based Adversarial Attack Against Automated Face Recognition System, In Information Security and Cryptology: 16th International Conference (Inscrypt 2020), 53–69 (2020)

[12] A. Sayles, A. Hooda, M. K. Gupta, R. Chatterjee, and E. Fernandes, Invisible Perturbations: Physical Adversarial Examples Exploiting the Rolling Shutter Effect, 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 14661-14670 (2020)

[13] K. Kim, J. Kim, S. Song, J.-H. Choi, C. Joo, and J.-S. Lee, Engineering pupil function for optical adversarial attacks, Optics Express 30(5), 6500-6518 (2022)

[14] 张子豪，《神经网络太好骗？清华团队如何做到打NIPS攻防赛得3冠军的》，程序员好物馆微信"大众号，https://mp.weixin.***.com/s/k0dCmIhwMsqvsR_Fhhy93A

监制：赵阳

编辑：赵唯

来源：中国光学

编辑：Sdk