AI 图像识别漏洞还是太多了

m
mrmaja
楼主 (未名空间)
https://www.newyorker.com/magazine/2020/03/16/dressing-for-the-surveillance-age

NewYorker上的一篇文章

2018年,一些研究者在一个红色八角形的停车标志上加了一些小贴花。在人看来,这不过是被画了几笔涂鸦的停车标志,但在人工智能看来,红色八角形的停车标志突然就变成了写着“限速45英里”的黑白色长方形标志。(这让开发自动驾驶技术的公司非常头痛......)

除了“投毒攻击”,另一种糊弄计算机图像识别技术的方法叫“对抗攻击(
adversarial attack)”。马里兰大学计算机系副教授Tom Goldstein正在用这个方法
,设计让摄像头看不到人的“隐身衣”。

在你我眼里,所谓的隐身衣不过是一件印着奇奇怪怪图案的套头衫。但只要穿上它,就算你笔直站在摄像头面前,图像识别系统也不会发现你的存在。

原来,套头衫上的花纹叫做“对抗图像(adversarial image)”,能让图像识别系统
的算法产生错觉。这种现象是在2011年,由谷歌研究室的Christian Szegedy首先发现。

当时,Christian正在研究一个问题:需要改变一副轮船图像的多少部分,才会让人工
智能把轮船识别成飞机?他偶然发现,只要在某处做一点小改动,系统就会把轮船判定成飞机,虽然在人眼里看起来,那绝对还是一艘船。

这以后,又有了许多关于对抗图像的研究。比如说,麻省理工学院的一些学生打印了一个3D海龟模型。他们在龟壳上印了某种花纹,人工智能就把海龟看成了来复枪。

Kate Bertash的副业是设计给小朋友穿的布料印花。当她发现车牌识别技术有可能侵犯个人隐私后,便开始设计一些假车牌印花。她做了测试,确保系统没法区分她的印花和真正的车牌。

Kate的这种做法叫“投毒攻击(poison attack)”,也就是用虚假信息污染识别系统
,让它不再可靠。当然啦,真想达到这个目的,“投毒”量得非常非常大才行。
h
heisawoman

这种生死攸关的事交给机器来做就跟美帝把N95 outsource给我鳖一样,没事时那叫一
个得意,出了事可没有后悔药可以吃。

【 在 mrmaja (夏日炎炎) 的大作中提到: 】
: https://www.newyorker.com/magazine/2020/03/16/dressing-for-the-
surveillance-
: age
: NewYorker上的一篇文章
: 2018年,一些研究者在一个红色八角形的停车标志上加了一些小贴花。在人看来,这不
: 过是被画了几笔涂鸦的停车标志,但在人工智能看来,红色八角形的停车标志突然就变
: 成了写着“限速45英里”的黑白色长方形标志。(这让开发自动驾驶技术的公司非常头
: 痛......)
: 除了“投毒攻击”,另一种糊弄计算机图像识别技术的方法叫“对抗攻击(
: adversarial attack)”。马里兰大学计算机系副教授Tom Goldstein正在用这个方法
: ,设计让摄像头看不到人的“隐身衣”。
: ...................

d
daemonself

你不要把特粉想的这么愚蠢,我们这里得特粉虽然就是这辈子要和毛豆3同生共死,但
是让他们开毛豆3他们是绝对不会的,更不用说还用什么送死牌自动驾驶。do what i
say not what i do
【 在 heisawoman (Leslie宠爱) 的大作中提到: 】
: 这种生死攸关的事交给机器来做就跟美帝把N95 outsource给我鳖一样,没事时那叫一
: 个得意,出了事可没有后悔药可以吃。
: surveillance-