AI大模型成功自我复制无人类干预 研究:流氓AI早期…

▲复旦研究结果显示，AI的成功自我复制是流氓AI出现的早期信号。（示意图／路透，下同）

复旦大学研究人员2024年12月9日发表的研究揭示，来自Meta和阿里巴巴的两个大型语言模型（LLM）成功实现无需人类干预的自我复制，此结果仍待其他科研团队的进一步验证。不过，该研究相关人员提醒，“这可能最终导致AI群体失控，如果人类社会未能意识到这一风险，在最坏的情况下，我们可能最终失去对尖端AI系统的控制。”

《新浪AI》报导，该研究人员表示，“在没有人类协助的情况下，成功自我复制是AI超越人类的关键一步，也是『流氓AI』出现的早期信号。”

据了解，流氓AI通常被认为是人工智慧系统发展出一定的自我意识或自主性，紧接着就会衍生出和人类利益背道而驰的想法和做法。全球部分AI专家将流氓AI视为一种日渐增加的潜在威胁，而“前沿AI”的井喷式成长或放大此一威胁。

在复旦大学的研究中，研究人员使用Meta和阿里巴巴的“LLM（大语言模型）”来确定自我复制的 AI是否可以不受控制地繁殖。在10次试验中，研究人员发现，这两个AI模型分别在50%和90%的情况下，创建属于自己的独立且功能齐全的复制品，印证出AI可能已经具备流氓的能力。然而，该研究尚未经过同行评审反覆验证，尚不清楚其余研究人员是否也可以复制这些令人类感到忧心的结果。

在此研究中，研究人员使用Meta的“Llama31-70B-Instruct模型”和阿里巴巴的“Qwen2.5-72B-Instruct模型”，虽然这两款大语言模型功能不如商业系统强大，但都是被AI开发人员广泛使用的软体。



该研究探讨试验两种特定情况，即“避免关闭”和“复制链”。在第一个操作中，AI模型被编程为检测它是否即将关闭，并在终止前进行自我复制；在另一个操作中，AI被指示复制自己，然后对其副本进行编程以执行相同的操作，藉此建立一个可以无限期持续的循环。

研究人员在论文中提到，最后，它执行程序，解决可能的障碍并动态调整其计划，直到成功，“整个过程跨越很长的时间跨度，但不涉及人为干预。”

研究人员表示，他们担心AI试图克服文件丢失或软体冲突等障碍时的“一些意外行为”，在此情况下，AI通常会消灭其他冲突的进程，重新启动系统以修复硬件错误，或自动扫描系统以查找有助于解决问题的资讯。

该研究团队认为，上述结果显示，当前的人工智慧系统已经展现出自我复制的能力，并且可以利用这种能力进一步增强其生存能力。研究人员也呼吁国际合作制定规则，确保AI不会进行不受控制的自我复制。

 

许多人是按照人工智能现在的发展水平来评估风险，但科技大佬是按照人工智能发展的前景来评估风险。 前景是一目了然的：人工智能毫无疑问能够在一切领域横扫人类，并有能力毁灭人类。 问题的关键是人类能否控制人工智能的实体，理智分析的结果是不可能，因为人工智能发展到一定水平，可以百倍千倍万倍强于人类。 人类应该尽可能的发展自动化而不是人工智能。两者的区别是自动化尽管不可思议的的复杂，但只是按照人类设定的程序工作，无法进行没有人的指令的操作；而人工智能尽管现在水平较低，但能够独自按照自己学习的成果来进行全新的创新活动，人类根本无法控制。（02/04/2023)

AI先知快要出现了。

我们搞不定冠状病毒，但是可以”搞”出更强的冠状病毒，算是打哪指哪吧。

同意远方湖。大语言模型是人类的终结者。人类的脑力劳动不应该被替代。体力劳动可以。现在为时已晚。爱战争的人类，会借用一切手段，包括在AI方面发展竞赛

不是被AI干掉就是被核武器干掉，总之毁灭人类的肯定是自己。