RealAI推出可在线测评算法模型安然平台_人工智能_样本
中新网北京4月9日电 ( 张素)大规模网络攻击曾倒逼杀毒软件的出身,人工智能时期针对算法漏洞这一“新型病毒”,又该如何“杀毒”?9日从RealAI(瑞莱聪慧)获悉,他们推出针对算法模型本身安全的检测平台,相称于人工智能时期的“杀毒软件”。
RealAI是一个孵化自清华大学人工智能研究院的创新团队,干系研究成果已被FoolBox等开源软件收录为标准。RealAI还与清华方面组成战队,在人工智能领域多项国际大赛中斩获冠军。
RealAI的首席实行官田天先容,团队最新推出的RealSafe人工智能安全平台可以供应从测评到防御完全的办理方案,快速缓解对抗样本攻击威胁。
由于人工智能或可实现对人脑的替代,因此,在每一轮人工智能发展浪潮中,人们都非常关注其安全问题和伦理影响。业内专家认为,当前针对“人工智能安全”的定义紧张来源于“赋能安全运用”和“戒备技能风险”两个层面。
个中,后者是对现阶段由于人工智能技能不成熟以及恶意运用所导致的安全风险,包括模型毛病、算法不可阐明性、数据强依赖性等,实质上由人工智能“技能短板”所致,是限定人工智能发展最明显的“软肋”。而在中国信息通信研究院2018年体例的《人工智能安全白皮书》中,“算法安全”是人工智能六大安全风险之一。白皮书还指出“对抗样本攻击诱使算法识别涌现误判漏判”这一算法模型毛病为算法安全的主要风险项。
田天阐明,对抗样本原本是机器学习模型的一个有趣征象,通过在源数据上增加人类难以通过感官辨识到的细微改变,让机器学习模型接管并做出错误的分类决定。但是经由不断升级蜕变,对抗样本攻击已不仅勾留在数字天下。
“在路面上粘贴对抗样本贴纸模拟合并条带误导自动驾驶汽车拐进逆行车道、佩戴对抗样本天生的眼镜轻易破解手机面部解锁、胸前张贴对抗样本贴纸即可实现隐身……”他举例说,对抗样本会导致人工智能系统被攻击和恶意侵扰,成为威胁到人工智能系统的“人工智能病毒”,在人脸识别、自动驾驶等领域或将造成难以挽回的丢失。
然而,业界对付如何评价算法模型的安全性并没有清楚的定义,对抗样本等算法漏洞检测存在较高的技能壁垒,目前市情上缺少自动化检测评估工具。
田天表示,相较于目前常见的开源工具须要自行支配、编写代码,RealSafe平台支持零编码在线测评,用户只需供应相应的数据即可在线完成评估。为帮助用户提高对模型安全性的观点,该平台根据模型在对抗样本攻击下的表现进行评分,还供应模型安全性升级做事,支持五种去除对抗噪声的通用防御方法。部分第三方的人脸比对API通过利用RealSafe平台的防御方案加固后,安全性可提高40%以上。
“推出安全检测平台是规避风险的一条路径,未来还须要联合各界力量共同推动人工智能安全干系的国家标准、行业标准、同盟标准的制订,为人工智能产品安全评估评测的统一参考。”他说。(完)
本文系作者个人观点,不代表本站立场,转载请注明出处!