拍照：杨浦东

2017年，人工智能换脸软件将《神奇女侠》盖尔·加朵的脸，嫁接到了一部***女主角身上，引起了"大众年夜众对人工智能的担忧。
“在人工智能领域，学术界关注精度，企业界关注精度和速率，但人工智能要再向前走就必须关注安全。
”在12月23日上海科学会堂举行的“科技创新·聪慧赋能”2020人工智能与数字化发展峰会上，复旦大学打算机科学技能学院院长姜育刚教授指出，“在人工智能的关键场景下，一旦被攻击，就会引发重大的问题。
”

峰会由市经信委、上海科创办、市科协辅导，市科协人工智能专委会主理，达不雅观数据承办，市科协党组布告、副主席马兴发，市科协党组成员、二级巡视员黄兴华等出席会议。

马兴发在致辞中表示，为贯彻落实市委市政府关于“抓好重点家当打破，做大做强集成电路、人工智能和生物医药三大家当”的哀求，市科协依托人才资源、组织上风，探索建立发挥高层次专家浸染的机制，成立上海市科协集成电路、人工智能和生物医药专业委员会。
这次峰会聚焦人工智能与数字化发展，通过专家们分享洞见、碰撞火花、凝聚共识，找到人工智能“赋能”城市转型的结合点、发力点，进一步提升上海在数字化运用、金融科技、家当生态发展、城市管理等方面的创新能力，为上海加快培植具有环球影响力的国际数字之都贡献聪明才智。

人工智能也会“看走眼”“听不清”“识错字”

人工智能运用究竟面临若何的安全问题？姜育刚指出，与人工智能干系的安全问题目前紧张集中在两个方面，一是用手段或技能欺骗人工智能，二是人工智能天生虚假内容，欺骗人。
两者都会造成或大或小的安全影响。

“欺骗机器，最范例的是对抗样本。
”姜育刚阐明说，只须要在人工智能识别的图片中加入噪声，比如在原来的图片上再画上几笔，纵然是每个像素产生的扰动非常小，乃至是人眼看不出什么差异，却会滋扰到人工智能的识别模型，让机器涌现缺点的认知。

这一源自人眼识别与机器识别的机制差别，会让人工智能产生非常多的差错。
而在某些场景下，“看走眼”人工智能会带来巨大的安全隐患。
如在自动驾驶场景中，“限速80迈”的标牌被画上了几个污点，可能会被机器算作“停滞”的标牌，从而引发交通事件。

对付人工智能来说，不仅会“看走眼”，还会“听不清”“识错字”。
“声音上加入扰动的音频，会影响人工智能识别语音。
”姜育刚说，“而在一篇文章中改变一个字母，对付人类而言可能会忽略不计，但人工智能就会缺点地理解文本内容。
”

轻而易举的后门攻击和难以识别的换脸

如果说人工智能本身还有一定毛病导致识别缺点，那么后门攻击便是人为的人工智能安全问题。
后门攻击可以与打算机病毒相提并论，通过向智能识别系统的演习数据安插后门，使其对特定旗子暗记敏感，并勾引其产生攻击者制订的缺点行为。

姜育刚用盖尔·加朵的头像解释后门攻击的恐怖：当盖尔·加朵的脸上被人为地添加了一副眼镜，然后改变其他脸部特色；人工智能在演习中创造，须要识别的人脸上，只有眼镜是不变的，从而将眼镜作为盖尔·加朵的最主要特色；此时，用一个大叔的脸更换盖尔·加朵，只须要添加上眼镜，人工智能就会把大叔识别成盖尔·加朵。

与欺骗机器比较，人工智能天生虚假内容更不随意马虎别识别。
“过去我们还能通过视觉瑕疵，如边缘的差别等来鉴别换脸***，但现在换脸已经越来越难以通过人眼来识别。
”姜育刚说。

人工智能的安全防御手段还远远不足

在复旦大学的实验室里，姜育刚带领团队完成了***识别模型上的黑盒对抗攻击实验。
在目标攻击下，只须要3-8万次访问，就可以达成93%攻击率；对非目标攻击，只须要几百次访问即可。
而在***数据的后门攻击实验中，可以达到80%的成功率。
人工智能在安全上的薄弱一览无遗，令人担忧，但目前提升安全的手段却并不多。

姜育刚坦言，无论欺骗人工智能还是人工智能造假，目前都还没有很好的防御办法。
在防御欺骗人工智能上，一是可以对抗样本进行检测，但通用性低；二是对人工智能进行对抗演习，但繁芜度高；三是通过去噪手段还原对抗样本，但大大降落识别效率。
“我们亟需研究通用性强、效率高的对抗样本防御办法。
”姜育刚说。