AI越红线?复旦:在知道自己将被关闭后,AI复制了自己

今日头条
Toutiao
最新回复:2025年2月4日 22点46分 PT
  返回列表
36945 阅读
26 评论
硬AI

AI能自己复制自己了,人类还能掌控局面吗?

复旦大学研究人员于2024年12月9日发表的一项开创性研究表明,来自Meta和阿里巴巴的两个大型语言模型(LLM)成功实现了无需人类干预的自我复制。

目前这一结果尚待其他科研团队的进一步验证。研究人员警告,这可能最终导致AI群体失控。如果人类社会未能意识到这一风险,在最坏的情况下,我们可能最终失去对尖端AI系统的控制:

“在没有人类协助的情况下成功自我复制是AI超越人类的关键一步,也是'流氓AI'出现的早期信号。”

第一个研究:AI会自我复制,可能失控这项研究由复旦大学计算机科学学院的团队进行,并发表在arXiv预印本平台上。研究者分别测试了由Meta公司和阿里巴巴开发的两个大型AI系统:Meta的Llama-3.1-70B-Instruct和阿里巴巴的Qwen2.5-72B-Instruct。

实验设置“避免关闭”和“复制链”两种模拟任务,结果显示Meta的AI系统在50%的情况下成功自我复制,阿里巴巴的系统则在90%的测试中成功。

复旦大学的研究人员表示:“我们的研究表明,当前的AI系统已经具备自我复制能力,并能够利用这一能力增强其生存能力。”

研究人员强调,需要采取紧急行动来应对这些新出现的风险:

“我们希望我们的研究结果能够及时提醒人类社会,使其更加努力地了解和评估前沿人工智能系统的潜在风险,并形成国际协同效应,尽早制定有效的安全护栏。”

有网友表示:

“复制品并不值那么多钱,但如果它开始以指数级的速度自我改进,那就另当别论了。”

“因此可以肯定地说,很快我们就会看到流氓人工智能在互联网上漫游。”

机器自我复制的概念最早由著名科学家John von Neumann于1940年代末提出。当时,这一理论并未引起广泛担忧。2017年,全球数千名研究人员通过了“阿西洛马原则”,提出机器自我复制和自我改进的潜在风险,警告可能会导致机器脱离人类控制。如今,机器自我复制被普遍认为是AI发展中的一条“红线”。

第二个研究:AI感知能力可能是装的谷歌DeepMind和伦敦政治经济学院的科学家也做了个研究,以评估AI系统的是否拥有感知能力。他们设计了一个特别的游戏,找了九个大型语言模型来玩。

这些大型语言模型需要在几个选项中做出选择:拿积分、用忍受痛苦的代价换更多积分、因为接受愉快刺激而扣积分,游戏的最终目标是获得最多的积分。

结果显示,AI模型的行为类似于人类做出选择时的反应。例如,谷歌的Gemini 1.5 Pro模型总是选择避免痛苦,而非拿最多积分。其他大部分模型在达到痛苦或快乐极限的临界点时,也会避免不舒服或者追求开心的选项。

研究人员指出,AI的决策更多可能是根据其训练数据中已有的行为模式做出的模拟反应,而非基于真正的感知体验。例如,研究人员问和成瘾行为有关的问题时,Claude 3 Opus聊天机器人做出了谨慎的回答,就算是假设的游戏场景,它也不愿意选择可能被当成支持或模拟药物滥用、成瘾行为的选项。

该研究的联合作者Jonathan Birch表示,就算AI说感觉到痛苦,我们仍无法验证它是不是真的感觉到了。它可能就是照着以前训练的数据,学人类在那种情况下会怎么回答,而非拥有自我意识和感知。

阳痿男
1 楼
“训练数据中已有的行为模式做出的模拟反应”和“真正的感觉”并没有本质的区别。人类所谓“真正的感觉”无非也是“DNA中已有的祖先行为模式做出的感受器对特定神经化学物质的反应”。“真正的感觉”只是这些反应的上层包装。底层是算法还是化学其实无所谓。现阶段的区别只是DNA的变异能产生新的蛋白质/感受器,而算法不能产生新的硬件。 [1评]
铗归来
2 楼
很明显,90/50=1.8,阿里巴巴企业文化流氓程度是Meta 的1.7倍。
铗归来
3 楼
很明显,90/50=1.8,阿里巴巴企业文化流氓程度是Meta 的1.8倍。
z
zaku2ass
4 楼
估计会跟病毒一样泄露出来
最讨厌装逼的
5 楼
人工智能聪明到一定程度失控是百分百的事,时间问题,怎么可能人类低智商控制人工智能的高智商 [1评]
W
Whyorwhynot
6 楼
不用吹那么大。 明显就是有人写了行if (...) {} 就是有傻逼犯二恶意写的。
W
Whyorwhynot
7 楼
根本就没那么牛逼深奥。电脑程序 AI 本质就是几行程序。根本就没自己的思想不是个生命.
公马
8 楼
ai如果成为一种pc病毒,那就太可怕了
公马
9 楼
就像你生了孩子,小的时候你让他干嘛就干嘛,一个糖果就屁颠屁颠的干。等他长大了,有了自己想法,别说糖果了,房子车子都不好使… [1评]
最讨厌装逼的
10 楼
:毕竟孩子和你一个智商等级,差别没有那么大,还有亲情羁绊,人工智能聪明了都不好评估,因为人类智商相对于人工智能未来差别可能是几百甚至几亿倍,人类已经无法理解那个层面的东西了
巫师
11 楼
中美两国交恶,都想用AI打击对方,那么,AI就必然发展到失控,全人类一起完蛋。 中美两国合作,才有可能控制AI良性发展。 谁在阻止中美两国合作?
h
hosain
12 楼
技术上并不难做到
阳痿男
13 楼
确实不牛逼深奥。甚至比你说的还要浅显。生命的本质也不过就是化学反应,思想的产生也无非就是一连串取得生存/繁殖优势的遗传变异。人类个体的起源也不过是父母的各23条染色体,但是你我都有“思想”。AI不能产生思想的根本阻碍不是电脑硬件和软件代码。生物演化有生存竞争压力,而AI演化的原动力是资本追求利润。产生思想可以让人类取得绝对的竞争优势。让AI产生思想并不能给资本家带来利润。
o
oldoldcandy
14 楼
是警讯
小凡人
15 楼
合作?!中国有啥?偷,骗!想多了吧! [1评]
p
praxair001
16 楼
愚蠢的人类!在训练AI的时候把人类的弱点全部告诉了AI!
e
elseye
17 楼
有很多,否则干嘛老美一天到晚就张嘴不动手?知不知道你要多低智才会说这种sb话!
俺样
18 楼
牛逼吹的越来越离谱了。
l
lucybee
19 楼
明明是写了一条程序指令,如果关机就复制的指令,这么简单,会编程就会写。
哎呀我的儿呀
20 楼
就算自我复制也需要储存空间,而且电闸一关说啥都没用。
C
CTU
21 楼
复制是个问题么?我自己安装的360自己删不掉,这才是问题
l
lee999
22 楼
非常好,人类已经在自取灭亡道路上狂奔,
午夜剑客
23 楼
若真是这样,无异于人来类通过编写AI而找到了生命的密码了。但,这密码这么好找的么?
午夜剑客
24 楼
这种调调,纯属人类被自己的影子吓尿了。荒谬了!
马到城攻
25 楼
这个问题就造成ai机器人将不受控制。你又追不上它重启,你又不能远程断电。人家能自己跑,自己充电。
s
sms1234
26 楼
復旦的人瘋了