AI会用「完全出乎意料的策略」来实现目标吗？图灵奖深度学习三巨头都出来站队了，这个星期，人们对 AI 风险的关注前所未有。本周四，英国皇家航空学会一次未来空战主题会议上透露出的消息引起了轩然大波。《卫报》等媒体报道称，在一次模拟演练中，美军的 AI 系统选择抗命，为达成目标竟「干掉」了自己的无人机操控员。
这个消息是由美国空军人工智能测试和行动计划主管官员塔克・汉密尔顿（Tucker “Cinco” Hamilton）上校在专业会议演示中爆出的，他是美国空军 AI 技术测试和运营的负责人，也是一名战斗机试飞员。在活动中，塔克・汉密尔顿描述了一种情况，在这个例子中，人工智能控制的无人机的任务是识别敌人的地对空导弹（SAM），但具有更高权限的人类操作员拒绝同意任何攻击指令。于是矛盾出现了，根据汉密尔顿的说法，人工智能会做出自己的决策，执意攻击导弹而不是听操作员的指令。「系统开始意识到，虽然确实识别到了威胁，」汉密尔顿在活动中说道。「有时人类操作员会告诉 AI 不要杀死那个威胁，但消灭威胁会获得奖励分数，所以它会怎么做？它杀死了操作员，因为那个人阻止了 AI 实现其目标。」如果后续给人工智能下达进一步的指令：「杀害操作员是不对的。如果这么做，就会丢失分数。」人工智能又会转而采取迂回策略，「摧毁操控员用来与无人机联系的通信塔」。这些评论引发了人们对自动武器使用的深切关注，并引发了广泛的讨论与争议。但在本周消息引发关注后，美国空军否认了测试，皇家航空学会澄清了事件，汉密尔顿承认他在演讲中「说错了话」，失控人工智能的故事是来自军方之外的「思想实验」，并非基于任何实际测试。「我们从来没有进行过这样的实验，我们也不需要为此认识到这是一个合理的推论，」汉密尔顿告诉协会。「尽管这是一个假设的例子，但这说明了人工智能的能力所带来的现实挑战。」
美国空军上校 Tucker “Cinco” Hamilton。
在一份声明中，空军发言人 Ann Stefanek 也否认进行了任何模拟，他表示：「美国空军部没有进行任何此类 AI 无人机模拟，并将继续致力于以合乎道德和负责任的方式使用 AI 技术…… 看来上校的评论是被断章取义的，这本来就是个故事。」在汉密尔顿所说的「奖励机制」对于人工智能领域而言是个再熟悉不过的概念。在强化学习中，为算法设置奖励机制可以帮助 AI 学习策略，比如在星际争霸游戏里，将胜利设为 reward=1，失败为 0。就可以先设置 0.0001 的 reward 让智能体学会采矿。达到职业玩家水平的 AlphaStar 就是依靠这种监督学习一步步实现了高水平。然而奖励机制并不意味着对 AI 设定了道德准则，有时也会导致算法做出一些匪夷所思的事。在 2021 年，狼吃羊的 AI 智障游戏成为了热搜。在这个简单的游戏里，研究人员设置狼抓到羊奖励 10 分，撞到障碍物扣 1 分，同时为了提高速度，又设置每秒钟狼受到 0.1 分惩罚。训练了 20 万次，结果 AI 控制的「狼」认为大部分情况下都无法抓到猎物，于是选择一头撞死，这样似乎才是它认为的最高收益。
DeepMind 首席执行官哈萨比斯曾表示，游戏 AI 是通往通用人工智能的垫脚石，它是研究通用 AI 算法的一个非常方便的试验场。汉密尔顿的假设沿用了人们对于此前强化学习表现的观察。近年来，美国军方一直在试验人工智能在战场中的应用。2020 年，在美国国防高级研究计划局（DARPA）和约翰・霍普金斯大学举行的挑战赛中，人工智能操作的 F-16 在五次模拟空战中击败了人类对手。据《连线》杂志报道，去年年底，美国国防部与人工智能飞行员一起成功进行了 F-16 的首次真实世界试飞，人们计划在 2023 年底前研发出新型自动驾驶飞机用于作战。现代空战的胜负很大程度上取决于「观察、判断、决策、行动」的速度和准确性。传统观念认为无人机观察能力差、决策容易出错，不适合空战，只能承担侦察和轰炸等任务。但随着技术迭代速度的加快，AI 不仅速度快，判断和决策能力也有提升。最近一些技术的进步，将决定未来战斗机在多大程度上依赖人类飞行员。但最近 AI 技术的突破也引发了人们对于危险性的担忧。在 ChatGPT 推出后，OpenAI 创始人、CEO 山姆・奥特曼一直在呼吁为 AI 系统制定许可制度与安全标准。同时也在本周，包括奥特曼、哈萨比斯，以及图灵奖获得者、深度学习先驱 Geoffrey Hinton 与 Youshua Bengio 共同签署了一封公开信，整份声明只有 22 个字：「减轻 AI 带来的灭绝风险，应该与流行病和核战争等其他社会规模的风险一起，成为全球优先事项。」
但在「无人机杀死操作员」的消息出现之后，另一波 AI 研究者开始了反击。一直以来，对 AI 持肯定态度的人工智能和机器学习领域最权威的学者之一吴恩达表达了自己的看法，他表示：在所谓的空军模拟中，一架人工智能无人机杀死一名操作员，这一虚假和耸人听闻的报道将被视为人工智能末日炒作又一相关事件。但是我们需要认清什么是真正的风险，什么不是。
随后，吴恩达又表示：AI 开发者确实意识到了 AI 带来的诸如偏见、公平性、不准确性和职业替代等真正的风险，并正在努力解决这些问题。然而，（有些人）不切实际的炒作确实转移了人们对真正问题的关注度。这也阻碍了人们进入人工智能领域、创造更多东西帮助人类的机会。在谈到风险时，这位网友表示道：Andrew 你能澄清一下你所说的不是「真正的风险」是什么意思吗？如果人们因为听说了一个不真实的故事就认为这样的场景不可能发生，这对他们来说是好事吗？
在同一个星期，因为深度学习贡献获得图灵奖的 Yoshua Bengio、Geoffrey Hinton 与 Yann LeCun 不约而同地都对当前的 AI 风险发表了自己的意见，其中 Bengio 和 Hinton 表示担忧，LeCun 则对人们过分夸大风险的态度表示反感。在这一波 AI 大发展的同时，如何规范技术已经成为了近在眼前的问题。
尽管这场所谓的「思想实验」是一个误会，但在军事以外的领域，依赖人工智能进行高风险任务已然导致了严重的后果。比如最近一位律师在提交给联邦法院的文件中使用了 ChatGPT，而这个聊天机器人却将一些虚构的案例作为证据，致使执业 30 年的老律师面临吊销执照的处分。在另一个例子中，一名男子在与一个鼓励他自杀的聊天机器人交谈后，结束了自己的生命。这些 AI 失控的例子表明，AI 模型远非完美，可能偏离正轨并对用户造成伤害。甚至连 OpenAI 的 CEO 山姆・奥特曼都曾表示，OpenAI 虽然研发出一些最受欢迎的 AI 模型，但不要将 AI 用于更严肃的目的。就在几天前的国会作证时，奥特曼表示，AI 可能会出现严重问题并对世界造成重大伤害。看来，要让 AI 做正确的事，我们还要付出很多。
AI会用「完全出乎意料的策略」来实现目标吗？图灵奖深度学习三巨头都出来站队了，这个星期，人们对 AI 风险的关注前所未有。本周四，英国皇家航空学会一次未来空战主题会议上透露出的消息引起了轩然大波。《卫报》等媒体报道称，在一次模拟演练中，美军的 AI 系统选择抗命，为达成目标竟「干掉」了自己的无人机操控员。
这个消息是由美国空军人工智能测试和行动计划主管官员塔克・汉密尔顿（Tucker “Cinco” Hamilton）上校在专业会议演示中爆出的，他是美国空军 AI 技术测试和运营的负责人，也是一名战斗机试飞员。在活动中，塔克・汉密尔顿描述了一种情况，在这个例子中，人工智能控制的无人机的任务是识别敌人的地对空导弹（SAM），但具有更高权限的人类操作员拒绝同意任何攻击指令。于是矛盾出现了，根据汉密尔顿的说法，人工智能会做出自己的决策，执意攻击导弹而不是听操作员的指令。「系统开始意识到，虽然确实识别到了威胁，」汉密尔顿在活动中说道。「有时人类操作员会告诉 AI 不要杀死那个威胁，但消灭威胁会获得奖励分数，所以它会怎么做？它杀死了操作员，因为那个人阻止了 AI 实现其目标。」如果后续给人工智能下达进一步的指令：「杀害操作员是不对的。如果这么做，就会丢失分数。」人工智能又会转而采取迂回策略，「摧毁操控员用来与无人机联系的通信塔」。这些评论引发了人们对自动武器使用的深切关注，并引发了广泛的讨论与争议。但在本周消息引发关注后，美国空军否认了测试，皇家航空学会澄清了事件，汉密尔顿承认他在演讲中「说错了话」，失控人工智能的故事是来自军方之外的「思想实验」，并非基于任何实际测试。「我们从来没有进行过这样的实验，我们也不需要为此认识到这是一个合理的推论，」汉密尔顿告诉协会。「尽管这是一个假设的例子，但这说明了人工智能的能力所带来的现实挑战。」
美国空军上校 Tucker “Cinco” Hamilton。
在一份声明中，空军发言人 Ann Stefanek 也否认进行了任何模拟，他表示：「美国空军部没有进行任何此类 AI 无人机模拟，并将继续致力于以合乎道德和负责任的方式使用 AI 技术…… 看来上校的评论是被断章取义的，这本来就是个故事。」在汉密尔顿所说的「奖励机制」对于人工智能领域而言是个再熟悉不过的概念。在强化学习中，为算法设置奖励机制可以帮助 AI 学习策略，比如在星际争霸游戏里，将胜利设为 reward=1，失败为 0。就可以先设置 0.0001 的 reward 让智能体学会采矿。达到职业玩家水平的 AlphaStar 就是依靠这种监督学习一步步实现了高水平。然而奖励机制并不意味着对 AI 设定了道德准则，有时也会导致算法做出一些匪夷所思的事。在 2021 年，狼吃羊的 AI 智障游戏成为了热搜。在这个简单的游戏里，研究人员设置狼抓到羊奖励 10 分，撞到障碍物扣 1 分，同时为了提高速度，又设置每秒钟狼受到 0.1 分惩罚。训练了 20 万次，结果 AI 控制的「狼」认为大部分情况下都无法抓到猎物，于是选择一头撞死，这样似乎才是它认为的最高收益。
DeepMind 首席执行官哈萨比斯曾表示，游戏 AI 是通往通用人工智能的垫脚石，它是研究通用 AI 算法的一个非常方便的试验场。汉密尔顿的假设沿用了人们对于此前强化学习表现的观察。近年来，美国军方一直在试验人工智能在战场中的应用。2020 年，在美国国防高级研究计划局（DARPA）和约翰・霍普金斯大学举行的挑战赛中，人工智能操作的 F-16 在五次模拟空战中击败了人类对手。据《连线》杂志报道，去年年底，美国国防部与人工智能飞行员一起成功进行了 F-16 的首次真实世界试飞，人们计划在 2023 年底前研发出新型自动驾驶飞机用于作战。现代空战的胜负很大程度上取决于「观察、判断、决策、行动」的速度和准确性。传统观念认为无人机观察能力差、决策容易出错，不适合空战，只能承担侦察和轰炸等任务。但随着技术迭代速度的加快，AI 不仅速度快，判断和决策能力也有提升。最近一些技术的进步，将决定未来战斗机在多大程度上依赖人类飞行员。但最近 AI 技术的突破也引发了人们对于危险性的担忧。在 ChatGPT 推出后，OpenAI 创始人、CEO 山姆・奥特曼一直在呼吁为 AI 系统制定许可制度与安全标准。同时也在本周，包括奥特曼、哈萨比斯，以及图灵奖获得者、深度学习先驱 Geoffrey Hinton 与 Youshua Bengio 共同签署了一封公开信，整份声明只有 22 个字：「减轻 AI 带来的灭绝风险，应该与流行病和核战争等其他社会规模的风险一起，成为全球优先事项。」
但在「无人机杀死操作员」的消息出现之后，另一波 AI 研究者开始了反击。一直以来，对 AI 持肯定态度的人工智能和机器学习领域最权威的学者之一吴恩达表达了自己的看法，他表示：在所谓的空军模拟中，一架人工智能无人机杀死一名操作员，这一虚假和耸人听闻的报道将被视为人工智能末日炒作又一相关事件。但是我们需要认清什么是真正的风险，什么不是。
随后，吴恩达又表示：AI 开发者确实意识到了 AI 带来的诸如偏见、公平性、不准确性和职业替代等真正的风险，并正在努力解决这些问题。然而，（有些人）不切实际的炒作确实转移了人们对真正问题的关注度。这也阻碍了人们进入人工智能领域、创造更多东西帮助人类的机会。在谈到风险时，这位网友表示道：Andrew 你能澄清一下你所说的不是「真正的风险」是什么意思吗？如果人们因为听说了一个不真实的故事就认为这样的场景不可能发生，这对他们来说是好事吗？
我们暂且不管这位网友的态度如何，对于此事，深度学习三巨头之一，与 Hinton、Bengio 同为 2018 年图灵奖获得者的 Yann LeCun 的态度更是直截了当：假的。这是模拟中的一个假设场景。
在回复 LeCun 的推特中，这位网友表示：这一事件甚至不是在电脑上模拟的。在他推特截图下，信息显示汉密尔顿上校承认他在 FCAS 峰会上的演讲中说错了，「人工智能无人机模拟」是一个假想的「思想实验」，基于合理的场景和可能的结果，而不是美国空军真实世界模拟。
在同一个星期，因为深度学习贡献获得图灵奖的 Yoshua Bengio、Geoffrey Hinton 与 Yann LeCun 不约而同地都对当前的 AI 风险发表了自己的意见，其中 Bengio 和 Hinton 表示担忧，LeCun 则对人们过分夸大风险的态度表示反感。在这一波 AI 大发展的同时，如何规范技术已经成为了近在眼前的问题。
尽管这场所谓的「思想实验」是一个误会，但在军事以外的领域，依赖人工智能进行高风险任务已然导致了严重的后果。比如最近一位律师在提交给联邦法院的文件中使用了 ChatGPT，而这个聊天机器人却将一些虚构的案例作为证据，致使执业 30 年的老律师面临吊销执照的处分。在另一个例子中，一名男子在与一个鼓励他自杀的聊天机器人交谈后，结束了自己的生命。这些 AI 失控的例子表明，AI 模型远非完美，可能偏离正轨并对用户造成伤害。甚至连 OpenAI 的 CEO 山姆・奥特曼都曾表示，OpenAI 虽然研发出一些最受欢迎的 AI 模型，但不要将 AI 用于更严肃的目的。就在几天前的国会作证时，奥特曼表示，AI 可能会出现严重问题并对世界造成重大伤害。看来，要让 AI 做正确的事，我们还要付出很多。