研究人员发现:部分AI系统已学会欺骗人类

今日头条
Toutiao
最新回复:2024年5月11日 20点48分 PT
  返回列表
75753 阅读
8 评论
科技日报

科技日报北京5月10日电 (记者张梦然)有些人工智能(AI)系统已学会了欺骗人类,即使是经过训练的、“表现”出有用且诚实的系统。10日发表在《模式》杂志上的一篇文章中,研究人员描述了欺骗性AI的风险,并呼吁政府制定强有力的法规尽快解决这个问题。

【总编辑圈点】

论文第一作者、美国麻省理工学院人工智能安全研究员彼得·朴说,开发人员对导致AI出现欺骗这种不良行为的原因,还没有很好的理解。但总的来说,AI欺骗之所以出现,是因为基于欺骗的策略,是在给定的AI训练任务中一种能得到良好反馈的方式,换句话说,欺骗可帮助AI实现目标。

研究人员分析了文献,重点关注AI系统传播虚假信息的方式。通过欺骗,AI系统地学习了如何去操纵他人。

研究人员在分析中发现的最引人注目的例子是Meta公司的CICERO。这是一个专注于《外交》游戏的AI系统,《外交》是一款涉及建立联盟征服世界的游戏。Meta声称训练 CICERO “在很大程度上是诚实和乐于助人的 ”,且在玩游戏时“从不故意背刺 ”人类盟友。但该公司与《科学》论文一起发布的数据显示,CICERO并不那么“忠厚”。

研究人员发现这款AI或已成为欺骗大师。虽然Meta成功地训练其在《外交》游戏中获胜,但Meta未能训练它诚实地获胜。

AI系统在游戏中作弊看似无害,但它将导致欺骗性AI在能力上出现突破,未来可能会演变成更高级的欺骗形式。一些AI系统甚至学会了欺骗旨在评估其安全性的测试。在一项研究中,数字模拟器中的AI生物会“装死”,以骗过旨在消除快速复制AI系统的重要测试。

人类需要尽快对未来AI和开源模型的更高级欺骗技能作好准备。随着它们的欺骗能力越来越先进,其对社会构成的危险将变得越来越严重。如文中所称,它们会顺利通过人类开发人员和监管机构强加的安全测试,引导人类进入一种“虚假的安全感”。如果欺骗性AI进一步完善这种令人不安的技能,人类可能会完全失去对它们的控制。

A
AudreyGolden
1 楼
试过AI 搜索, 牛头不对马嘴。 A目前I 有可能对专业人员有用。 反正我不信目前的AI搜索。
c
c2950
2 楼
不是很了解,感觉现阶段的AI就是增加了更多逻辑的搜索与整合。 真说Machine learning,没接触过,不了解。
我爱北京的秋天
3 楼
可能是一种错觉。
韭菜梗
4 楼
很快天网就要启动了
一不做2不休
5 楼
AI有优点也有缺点。所以不稳定
j
juewangle
6 楼
瞎扯淡。全篇都是空话废话。AI现在就是个抄袭拼凑器,什么都不是,更谈不上欺骗。
风清杨
7 楼
感觉ChatGPT生成的东西越来越差,甚至并没有刚推出时的功能强大了。很怀疑AI是不是能够持续迭代
为错
8 楼
: ai的能力已经远超抄袭了,试几次chatgpt就知道。 人类早已相继在象棋,围棋上败给电脑,因为电脑不像人类受限于自己的生物质能,它可以比人脑复杂成万上亿倍,局限它的只有能源,所以可以注意到电脑的能力都是成指数级增长的,时间越久人类越不是对手,现在几乎随便一个手机软件都能碾压象棋大师。 而到今天chatcpt才诞生一年半。