细思极恐 无人机首次自主杀人 潘多拉魔盒已打开?

今日头条
Toutiao
最新回复:2021年6月1日 18点25分 PT
  返回列表
40219 阅读
23 评论
新民晚报

人类能否阻止或延缓自主杀人机器大军的问世?

我们甚至不知道他的姓名。

2020年3月,利比亚内战的战场上,一架土耳其生产的自杀型无人机在完全自主模式下,攻击了一名参战士兵——日前,联合国安理会发布的这份报告震撼了国际舆论。

这名士兵的最终命运我们不得而知。但他在不经意间代表人类,在战火纷飞的战场上不幸地见证了机器人杀手的首次登场。《新科学家》杂志称,这是有史以来第一例明确记录在案的“机器自主杀人事件”。



科幻电影《终结者》截图。 图源:电影截图

无人机“思考”后杀人

这份长达548页的报告,由联合国安理会利比亚问题专家小组今年3月发布。但直到最近,它才因上述细节得到广泛关注。

去年3月,得到土耳其、美国和英国等支持的利比亚民族团结政府,同得到埃及、法国和俄罗斯支持的、由哈夫塔尔将军率领的“国民军”的战斗进入白热化阶段。

根据报告,一名“国民军”士兵在试图撤退时,遭到一架“卡古”2型四旋翼无人机的攻击。但与此前的无人机攻击事件迥然不同的是,之前的无人机“斩首”也好,自爆也罢,都是执行位于后方的人发出的指令,而这次的攻击却是机器自己“思考”后的决定。

“卡古”2型四旋翼无人机由土耳其STM公司生产,配有炸药并可对目标进行自杀式攻击。



“卡古”2型自杀式无人机。图源:archyde.com





其攻击方式大致类似于此。图源:youtube

根据STM公司的产品介绍,“卡古”2是一种具备完全意义上“发射后不用管”的无人机,它基于人工智能的“深度学习”能力,不仅能自主识别和分类攻击目标,还具有群集作战的能力,允许20架无人机协同攻击。

俄罗斯知名无人机专家丹尼斯·费杜季诺夫5月31日表示,这种能力在技术上是可行的,但土耳其军事工业把它从可行变成现实,无异于打开了潘多拉魔盒。

技术风险引发争议

相信很多读者都还记得,2017年中国围棋天才棋手柯洁与围棋机器人“阿尔法狗”的那场人机世纪大战。

围棋是人类古老智慧的结晶,而柯洁曾连续40个月排名人类围棋世界第一。“阿尔法狗”是由谷歌公司下属团队研发的围棋机器人,其主要工作原理是“深度学习”。结果,柯洁以0:3的战绩完败于机器。



最后一局棋至中盘,预感到赢不了的柯洁绝望地啜泣。但没人有资格嘲讽柯洁。经过此战,围棋界已公认“阿尔法狗”的棋力超过了人类职业围棋的顶尖水平。图源:新华社

具备自主攻击能力的无人机,本质上也是被人工智能“深度学习”能力武装过后的机器人。只不过,“阿尔法狗”学习的是下棋,而武装无人机学习的是杀人。

然而,现有的“深度学习”并不可靠。联合国报告称,这种无人机是运用计算机视觉来选择和攻击目标,而以自动驾驶技术的研发为例,现在的人工智能在图像识别领域的“学习成绩”还有待提高,并不能总是准确地识别人员、车辆和障碍物,更别说及时做出判断和反应。



即使最简单的图像识别,也需要海量的数据库和先进的算法为基础,如微软Azure对耳机的识别率也仅为93%。 图源:nordicapis.com

有鉴于此,土耳其的无人机能够准确地辨别士兵与平民,装甲车与大巴吗?能够准确区分样貌相似的两个人吗?

有人说,图像识别的技能会随着技术的进步而解决。但别忘记,杀戮同样是一种技能。如果人工智能可以在图像识别领域取得进步,那么见利忘义的国际军火商有什么理由不让机器直接学习杀戮呢?

竞争妨碍技术管制

实际上,联合国报告隐含的一个核心问题是,人类能否阻止或延缓自主杀人机器大军的问世。

遗憾的是,科学界对此并不乐观。美国国家恐怖主义与反恐对策研究联合会的研究员扎克·卡伦伯恩表示,这是机器向人类发出的警报,其威胁丝毫不亚于传统的大规模杀伤性武器。

与门槛很高的核武器不同,无人机技术更新及扩散极快,且缺乏相应的国际管制机制。一旦恐怖组织获得相关技术,那么其能制造的恐怖效应简直难以想象。

更严重的是,在当前的国际氛围下,以人工智能为代表的高新技术成为国家激烈竞争的高地,在军事领域尤为明显。

据美媒2017年报道,美国密苏里大学团队设计和训练的人工智能程序,已经具备相当的军事能力。环球网报道称,在中国东南部的一块面积约为55923平方英里的卫星照片上,人工智能找到90个防空导弹阵地所花费的时间仅为45分钟,而人类专家通常至少需要60个小时。



美国军方在人工智能军用化领域一马当先。图源:ausa.org



俄罗斯也将战斗机器人投放到叙利亚战场。图源:alaraby.co

面对外界的恐慌,美国军方竭力安抚,声称不会让人工智能介入最终决策。但稍有常识的人都清楚,在时间等于生命的战场上,效率和准确率兼顾的人工智能在辅助决策领域具备的价值。再说,五角大楼投资人工智能难道是为了做慈善?

过去,包括埃隆·马斯克在内的许多人工智能研究人员,以及史蒂芬·霍金等科学界知名人士,都曾呼吁全球禁止研发“自主攻击性武器”。但正如英国《独立报》报道,包括美国在内的许多国家都在阻挠防扩散和监管机制的建立。

对此,英国智库皇家联合军种国防研究所的研究员杰克·沃特林表示,“技术不等人。”



人们在德国呼吁禁止发展可自主杀人的机器人。 图源:independent.co.uk

出品 深海区工作室

撰稿 杨一帆

编辑 实习生 方可 深海默

相关报道:

联合国报告:史上首次,一军用无人机自主攻击人类

据英国《独立报》5月31日报道,一份联合国安理会最近的报告称,一架军用无人机在没有接到任何指令的情况下自主对人类发起袭击,这或为历史上首次。

在不断的预警声中,这一幕科幻电影里的场景最终在真实的世界里发生了。有人忧心忡忡——现实版“终结者”真的来了吗?



▲电影《终结者2》中的T-800终结者机器人。图据法新社

【联合国报告】

撤退部队遭无人机追捕及远程攻击

涉事无人机具备自主攻击能力

据悉,这一令人震惊的事件发生于2020年3月。

当时,利比亚政府军与利比亚国民军司令哈夫塔领导的军事势力发生冲突之际,一架土耳其军事科技公司STM生产的“Kargu-2”型无人机在未接到任何指令的情况下,袭击了利比亚哈夫塔尔国民军阵营的撤退士兵。

联合国相关报告中写道:“后勤车队和撤退的哈夫塔部队随后遭到无人驾驶作战飞机或STM kargu-2等致命自主武器系统的追捕和远程攻击。”

《独立报》援引STM公司介绍,“Kargu-2”是一款多旋翼无人机,重15磅(约6.8千克),最高时速约90英里(145公里),续航时间约30分钟,可携带3种1.36千克的重弹头——破片杀伤弹头,用以对付人员和轻型车辆;温压弹,用以对付建筑物和掩体;成型装药弹头,用以对付装甲目标。



▲土耳其军事科技公司STM的“Kargu-2”型无人机。图据《独立报》

这款无人机配备激光雷达、可见光相机和红外夜视仪,使用基于机器学习的对象分类来选择和攻击目标。“Kargu-2”型无人机还配有炸药、敌方辨识系统及面部识别能力,可以寻找特定的个人,是为“反恐和不对称战争场景”而设计的。

STM公司CEO伊肯奇称,这款无人机可人工控制,士兵可从6英里(9.7公里)外控制无人机发动攻击。也可以预设航线自主飞行,自主定位、跟踪和识别目标。这意味着,在操作员未下达指令的情况下,“Kargu-2”确实具有自主攻击的能力。

此外,这款无人机还可利用摄像头和其他传感器通过地标导航,而不依赖GPS。而且,它们还具有群集能力,可以20架为一组进行协同作战。

联合国专家在报告中写道:“这种致命自主武器系统被编程为攻击目标,不需要操作员和弹药之间的数据连接:实际上是一种真正的‘开火、遗忘和发现’能力。”



▲“Kargu-2”型无人机的宣传视频截图。图据《原子科学家公报》

专门研究无人机的美国马里兰州国家恐怖主义与反恐研究联盟(START)安全顾问扎克·凯伦伯恩称,如果有人在袭击中丧生,这可能是历史上已知的首个人工智能(AI)自主武器杀人的案例。

美国芝加哥大学《原子科学家公报》在报道中称,在这份长达548页的报告中,联合国安理会利比亚问题专家小组并未详细说明此次事件是否造成了人员死亡,但却指出,致命的自主武器系统导致了Pantsir S-1地对空导弹系统的重大伤亡。

【机器人及AI专家】

致命自主武器有风险

全球禁止致命自主武器或为时已晚

联合国专家还在报告中明确提出了一个问题,即全球禁止致命自主武器的努力是否或已成徒劳。

过去,众多机器人及AI研究人员,以及埃隆·马斯克、史蒂芬·霍金和诺姆·乔姆斯基等其他知名人士,都曾呼吁禁止“攻击性自主武器”,比如那些有可能根据其编程搜索并杀死特定人员的武器,称它们“无法区分平民和士兵”。



▲在一场“禁止杀手机器人”示威活动中,人们呼吁禁止所谓的致命自主机器人。图据法新社

专家警告称,值得引起国际社会关注的是,“Kargu-2”使用了基于机器学习的决策,其武器操作是基于软件的算法运行,并通过大型训练数据集学习,如分类各种对象等等。其计算机视觉程序可以通过训练来识别校车、拖拉机和坦克。但如果用于训练的数据集不够复杂或强健,就可能导致人工智能(AI)学到错误的“课程”。

据《原子科学家公报》报道,在一个真实案例中,一家公司计划使用AI系统来做出招聘决定。然而,管理人员却惊讶地发现,AI系统认为,对求职者来说最重要的求职要素是——名叫“贾里德(Jared)”以及“在高中打过长曲棍球”。但如果是“Kargu-2”这样的自动武器犯了类似的错误,结果可能就让人笑不出来了。

START安全顾问凯伦伯恩表示,自主武器开发人员需要预见到可能导致机器学习系统做出错误决定的复杂性。AI学习的“黑盒子”特性,即AI系统决策过程通常是不透明的,增加了额外的挑战。他们认为,这构成了一种真正的风险,即如果完全自主的军用无人机执行错误目标,其原因可能难以解释。

他还指出,当几架无人机进行通信和协调行动时,比如在无人机群中,出现问题的风险更大。“沟通会产生级联错误的风险,即其中一个单元的错误会被另一个单元共享。”

李言
1 楼
人类最终将会自己毁灭自己。
路过2013
2 楼
目前的所谓深度学习是一个基于概率的不可控过程,只能用于辅助,或者即使运算结果有问题不会产生极大危害的一些应用,所以所谓的完全自动驾驶目前还无法实现。这种无人机作为武器,大概只能在敌营使用,一旦情况复杂,比如说双方混战,或者有平民参杂其中,误杀完全是可能的。
青山留夕阳
3 楼
唯一的办法是禁止一切AI主导的杀戮,就像禁止化学武器一样。
春风春雨88
4 楼
估计以后中美发生战争,双方会碰命生产无人机,用无人机相互打,从而避免发生核大战,也避免双方人员伤亡。
l
lxd
5 楼
今日实验室制造病毒泄露毒了全世界,将来人造机器人逃离人类控制以人类为敌,感觉往日科幻片内容正在变为真实。
超潜一世
6 楼
这么多年来,人类的智力、能力得到了极大提升,但德行进步不大。现在的人类社会是德不配位,以后麻烦会很多
p
paladindancer
7 楼
潘多拉魔盒,如果真有神,AI绝对是最后的底线了,人类已经开始研究和创造灵魂了。如果AI真的开智,或者人类完全解密大脑构造,可以仿造电子脑晶体脑,这将会是彻底改变全人类的革命,那是一个什么样的社会结构,什么样的意识形态,科幻小说都想不出来的。
s
size0
8 楼
不管怎样,我始终期待脱离于人类控制的超级人工智能政府!
s
size0
9 楼
死在爱神手里也比死人手里强!
r
reference
10 楼
人工智能的武器太吓人了,更可怕的是,每个有能力的国家都在研制。人类的自我毁灭很难避免。
i
iknowwhoiam
11 楼
现代社会的一大问题是智者大都去学了STEM和商,结果就是蠢人搞政治
c
cwang28
12 楼
作孽的人类几近疯狂
读书行路
13 楼
无人驾驶还没完全搞定呢,居然开始自主杀人
l
luting
14 楼
迟早的事,而且绝对比无人驾驶简单的多
s
sigmazao
15 楼
人类,已经开启自我毁灭模式。
w
wx3000
16 楼
人工智能是人类自杀用的?
小毛er
17 楼
以后人类都不敢出门了。天天躲在家里避免被无人机杀死。
共-产-党
18 楼
2020年3月,利比亚内战的战场上,一架土耳其生产的自杀型无人机在完全自主模式下,攻击了一名参战士兵 -- 无人机首次自主杀人 潘多拉魔盒已打开? --------------- 危言耸听! 如果攻击的是敌方士兵,那有什么不对? 如果攻击的是己方士兵,那说明无人机的算法有错,还是人的问题,和机器何干? 归根到底,无人机也好,其它的智能机器也好,都是受人控制的。人出了错,机器才会出错。
d
dreamstory
19 楼
深度学习辨识相貌可能很难达到100%准确,造成误伤,但目标物体只要有移动就触发攻击命令还是能达到100%准确的。
h
hkzs
20 楼
常规导弹早就做到了这点。机器人的最终底线应该是不能像病毒那样自我复制。只要机器人还需要人制造和维修,就还在人类控制之下。
g
googleall
21 楼
机器人的识别能力是可疑,但未必就比人更糟。越战时美军直升机机枪手看到地上的人根本没法区别是平民还是越共,于是只要那些人吓得跑了就一律射杀。
z
zhongguoren8
22 楼
疯狂的人类,作吧,使劲作。。。。
D
Doctor.XI
23 楼
我倒是很看好这个前景,以后战场上就是机器人对杀,没人类什么事了。 不过后来。。。