打开正经图片,你可能会看到一张黄图,这种造假方法能同时骗过AI和人眼

微信扫一扫,分享到朋友圈

打开正经图片,你可能会看到一张黄图,这种造假方法能同时骗过AI和人眼

你能看出下面两张图有什么区别吗?

△ 点击查看大图

它们看起来一样,都是广场风景照。只是右边的仔细一看,会发现有些 ” 奇怪的点阵 “。

但在 AI 的眼里,右边的照片却是一只哈士奇。为什么?

问题就出在那些 ” 奇怪的点阵 ” 里,原来把点阵重新组合,就能看到哈士奇的缩略图。

这种骗过 AI 的方法其实并不新鲜,也不复杂。AI 技术还未流行的时候,已经有网友在泡论坛的时候发现了这种技巧:

把一张正常图片缩小后在色情图片里,没点进帖子,缩略图上看到的是一张无害照片。但是如果你当众点开了这个帖子,一张黄图显示在眼前,立刻让你 ” 社会性死亡 “。

比如把著名的花花公子封面女郎 Lena 稍微伪装一下,缩略图就变成了一个长发男子。

在今年的 USENIX 安全研讨会上,来自德国布伦瑞克大学的团队提出了这种攻击 AI 的方法:图片缩放攻击(image scaling attack)。

骗过 AI 和人眼

图片缩放攻击的操作原理很简单,把需要隐藏的图像按比例插在新图像的像素中,一般大图是小图的 5 到 10 倍。

当图像交给 AI 模型处理时,出于计算成本考虑,系统一般会进行预处理,也就是图片压缩到比较小的尺寸。而且卷积神经网络本身处理图像时,还会进行池化(pooling)。

不仅 AI,人眼也会过滤掉图像像素中的 ” 少数派 “,被这种攻击方法骗过。

下面,我们来看看把文章开头的右侧图片用OpenCV的图像压缩预处理一下的结果:

广场照真的变成了哈士奇。缩小的图片和原来的图片完全不一样!

除了 OpenCV 外,该团队还测试了PyTorch的 Pillow 和TensorFlow的 tf.image,几种常见的图像滤波器全部都中招了。

原理

缩放攻击的根本原因是,下采样和卷积相互作用的结果。通俗来说,就是算法没有同等地考虑源图像中的所有像素。

因此,攻击者只需修改一小部分权重较高的像素,就能改变缩略图,图片其余大部分像素保持不变。

下面以一维情况来简单说明一下攻击的基本原理。

压缩图的像素是这样算出来的:滤波器窗口在图片源信号 s 上移动,将窗口中的每个像素值(图中圆圈)乘以该位置窗口上的权重,得到缩略后的点值。

可以看到,输出缩略图图中的第一个像素是 s 第三、第四个像素的平均结果,而第二个像素仅考虑了 s 第七个像素。导致 9 个像素中只有 3 个被用于计算缩略图。

只有那些靠近内核中心(三角形部分)的像素会获得较高的权重,而其他像素对缩略图的作用有限。

如果算法的步长超过窗口宽度,甚至有些像素还会被忽略。因此,攻击的成功取决于高权重像素的稀疏性。

如果要进行图像缩放攻击,需要做到两点。首先,修改少数影响压缩算法的像素;其次,攻击图像在视觉上与源图像匹配。

如何预防

图像缩放攻击原理简单,能同时骗过人眼和 AI,因此布伦瑞克大学团队认为这种攻击具有一定的迷惑性。

经过处理的图像中,在后端,可以逃过 AI 对图片的审查;在前端,可以骗过收集数据集的人,污染 AI 训练数据集。

如果有人把这些图像掺进自动驾驶训练数据集,那么我们用训练出来的自动驾驶系统可靠吗?在这种情况下,汽车会不会发生意外?

当然,这种方法并非不可预防。

既然问题出在图像压缩的滤波器上,那么我们只要选择合适的滤波器就能抵御攻击。

实验表明,中值滤波和随机滤波对非自适应攻击提供了有效的防御。

具体到代码上,如果你在使用 OpenCV,可以通过在调用 resize API 时使用 interpolation 参数来解决,而不要使用默认值。

TensorFlow 2.0 依然容易受到攻击,双线性和双三次缩放对图像缩放攻击具有鲁棒性,可将参数 antialias 设置为 true,但是此举会影响网络性能。

源代码:

https://github.com/EQuiw/2019-scalingattack

论文地址:

https://www.sec.cs.tu-bs.de/pubs/2020-sec.pdf

参考链接:

https://embracethered.com/blog/posts/2020/husky-ai-image-rescaling-attacks/

https://scaling-attacks.net/

— 完 —

本文系网易新闻网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

榜单征集!7 大奖项锁定 AI TOP 企业

「2020 中国人工智能年度评选」报名中!评选将从公司、人物、产品、社区四大维度共 7 个奖项寻找优秀的 AI 企业,欢迎大家扫码报名参与。

评选报名截止于 11.20,并将于 12 月 16 日揭晓,也期待与百万从业者们,共同见证这些优秀企业的荣誉!

量子位QbitAI · 头条号签约作者

‘ ‘ 追踪 AI 技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~

初二男生为外婆发明认人神器,帮认亲人,20分钟召唤回家,并报出家庭地址

上一篇

第十三届光华工程科技奖公布,彭士禄、张伯礼、王海峰等40人及1个团体获奖

下一篇

你也可能喜欢

打开正经图片,你可能会看到一张黄图,这种造假方法能同时骗过AI和人眼

长按储存图像,分享给朋友