国内资讯

近日,清华大学AI研究院孵化企业RealAI(瑞莱智慧)正式推出首个针对AI在极端和对抗环境下的算法安全性检测与加固的

关注算法安全新兴领域,清华团队RealAI推出业界首个AI模型“杀毒软件”

来源:香港服务器 作者:主机租用 浏览量:177
2020-04-09
0

近日,清华大学AI研究院孵化企业RealAI(瑞莱智慧)正式推出首个针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台——RealSafe人工智能安全平台。该平台内置领先的AI对抗攻防算法,提供从安全测评到防御加固整体解决方案,目前可用于发现包括人脸比对等在内的常用AI算法可能出错的极端情形,也能预防潜在的对抗攻击。

业界首个针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台

“对抗样本”成新型病毒算法安全问题亟待解决

随着人工智能技术的高速发展,人工智能在诸多场景正逐渐替代或协作着人类的各种劳动,它们可以成为人类的眼睛、耳朵、手臂甚至大脑。

其中,机器视觉作为AI时代的基础技术,其背后的AI算法一直是各科技巨头和创业公司共同追逐的热点。然而在机器视觉诸多主流应用场景的背后,往往也藏着由技术性缺陷导致的算法安全风险。

例如,在一些训练数据无法覆盖到的极端场景中,自动驾驶汽车的识别系统可能出现匪夷所思的决策,危害乘车人的人身安全。从2016年至今,Tesla、Uber等企业的辅助驾驶和自动驾驶系统就都曾出现过类似致人死亡的严重事故。并且这类极端情形也可能被恶意制造并利用,发动“对抗样本攻击”,去年7月,百度等研究机构就曾经通过3D技术打印出能让自动驾驶“无视”的障碍物,让车辆面临撞击风险。

而以上攻击之所以能成功,主要是机器视觉和人类视觉有着很大的差异。因此可以通过在图像、物体等输入信息上添加微小的扰动改变(即上述故意干扰的“对抗样本”),就能导致很大的算法误差。此外,随着AI的进一步发展,AI算法模型将运用金融决策、医疗诊断等关键核心场景,这类AI“漏洞”的威胁将愈发凸显出来。

近年来,包括清华大学人工智能研究院院长张钹院士、前微软全球执行副总裁沈向洋等均提倡要发展安全、可靠、可信的人工智能以及负责任的人工智能,其中AI的安全应用均是重点方向。

而且,AI安全作为新兴领域,在开源社区、工具包的加持下,对抗样本等攻击手段日益变得复杂,相关防御手段的普及和推广却难以跟上。并且对抗样本等算法漏洞检测存在较高的技术壁垒,目前市面上缺乏自动化检测工具,而大部分企业与组织不具备该领域的专业技能来妥善应对日益增长的恶意攻击。

安全测评到防御加固,RealSafe让AI更加安全可控

就如网络安全时代,网络攻击的大规模渗透诞生出杀毒软件,RealAI团队希望通过RealSafe平台打造出人工智能时代的“杀毒软件”,帮助企业高效应对人工智能时代下算法漏洞孕育出的“新型病毒”。

目前,RealSafe平台主要支持两大功能模块:模型安全测评、防御解决方案

其中,模型安全评测主要为用户提供AI模型安全性评测服务。用户只需接入所需测评模型的SDK或API接口,选择平台内置或者自行上传的数据集,亚洲服务器,平台将基于多种算法生成对抗样本模拟攻击,并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化,给出模型安全评分及详细的测评报告(如下图)。目前已支持黑盒查询攻击方法与黑盒迁移攻击方法。

防御解决方案则是为用户提供模型安全性升级服务,目前RealSafe平台支持五种去除对抗噪声的通用防御方法,可实现对输入数据的自动去噪处理,破坏攻击者恶意添加的对抗噪声。根据上述的模型安全评测结果,用户可自行选择合适的防御方案,一键提升模型安全性。另外防御效果上,根据实测来看,部分第三方的人脸比对API通过使用RealSafe平台的防御方案加固后,安全性可提高40%以上

随着模型攻击手段在不断复杂扩张的情况下,RealSafe平台还持续提供广泛且深入的AI防御手段,帮助用户获得实时且自动化的漏洞检测和修复能力。

准确度99.99%也难逃被恶意干扰”,RealSafe高效应对算法威胁 

考虑到公众对于对抗样本这一概念可能比较模糊,RealSafe平台特意选取了公众最为熟知的人脸比对场景(人脸比对被广泛用于金融远程开户、刷脸支付、酒店入住登记等场景的身份认证环节)提供在线体验。

并且,为了深入研究“对抗样本”对人脸比对系统识别效果的影响,RealAI 团队基于此功能在国内外主流 AI 平台的演示服务中进行了测试。

部分文章来源与网络,若有侵权请联系站长删除!