假以时日，毁灭人类的或许不是枪林弹雨，极有可能是由人类一手缔造的高级人工智能。 总部位于旧金山的人工智能安全非营利组织（CAIS），一直在为“如何降低人工智能（AI）的社会规模风险”而努力。5月30日，该机构发布了一份《AI风险声明》，呼吁全世界应该像控制大流行病和核战争那样，降低AI带给人类灭顶之灾的风险，并且把优先级调到最高。 内容虽然只有短短一句话，但联名签署的是370多名从事AI工作的高管、研究人员和工程师联名。其中，成员名单包括了OpenAI CEO山姆·奥特曼（Sam Altman）、谷歌DeepMind CEO戴密斯·哈萨比斯（Demis Hassabis）和微软CTO凯文·斯科特（Kevin Scott）。 这是继今年3月，马斯克等上千人曾联署《暂停AI巨模型实验》以来，又一份获得全球科技圈广泛支持的声明。就连清华大学智能产业研究院院长张亚勤、中科院自动化研究所人工智能伦理与治理研究中心主任曾毅等行业领袖，也加入到联署活动中。 在全球AI大模型风头正劲的当下，这封重磅的公开信足以可见，AI给人类社会带来的风险，已经到了令人担忧的时刻。 AI成大国战略重器 尽管AI诸多有益的应用，为人类社会带来了福祉，但很多基础性的安全问题，尚未得到解决。 比如AI产生的大量错误信息和具有说服力的内容，特别是以GPT-4为代表的AI大模型，在文本、图像和视频生成方面的优异表现，已经越来越难通过肉眼来辨别真伪。因此，许多专家对AI技术被用于传播虚假信息、导致网络犯罪的潜在风险表示担忧。 当AI变得愈发聪明，甚至难以招架时，就离风险和灾难的降临不远了。 CAIS认为，AI正在通过多种方式酝酿这种大规模的风险。目前，他们已发现AI正在朝武器化、信息欺诈、谋求权利等歧途上行进。 比如，深度强化学习已被应用于空战，机器学习则被用于制造化学武器。作为一个接受过互联网文本和编码训练的模型，GPT-4如今已经能在现实世界的实验室中，自主进行实验和合成化学品。 眼下，担心AI会取代甚至摧毁人类的观点，已不在少数。AI可能会成为21世纪的电子核武器。如此一来，越先拥有AI系统的国家，就越有战略优势。 5月22日，OpenAI在官网发文，建议全球主要政府共同成立一个类似国际原子能机构的组织，来监管未来的超级智能（ASI）。按照OpenAI的设想，只要AI系统超过了一定能力，或所需的计算资源超过一定水平，就需要接受该机构的检查，以确保符合安全标准。 就像核武器那样，哪怕被任何一个非理性的人恶意操纵，都会造成大范围的伤害。不过，与传统武器不同，这种具有危险能力的AI系统很容易通过数字化的手段扩散。即使所有超级大国都确保自己构建的系统是安全的，并同意不构建破坏性的AI技术，但黑客仍然可以利用漏洞伺机进入AI系统。 被称为“深度学习之父”的杰弗里·辛顿(Geoffrey Hinton)在此次联署中排在首位。谈及AI的潜在威胁，他对美国全国公共广播电台表示：“AI问题的紧迫性可能高于气候变化危机，它的能力超越其创造者的速度可能比任何人预期得都快。” 5月初，在ChatGPT走红全球之后，75岁的辛顿从谷歌辞职，便拉响AI的警报，更自由地讨论AI给人类带来的风险。 当时，他出席美国麻省理工大学（MIT）的一场论坛时表示：“如果AI模型比人类聪明得多，它将善于操纵人类，你都不会意识到发生了什么。”在最坏情况下，“人类只是智能进化的一个过场”，在生物智能进化出数字智能后，数字智能将吸收人类创造的一切，并开始直接接触世界。 他认为，ChatGPT背后的AI技术带来了诸多风险。比如可以用来制造虚假信息、操纵民意，或是制造机器士兵屠杀人类。他还担心，现在的AI大模型可以凭借更少的神经连接，了解比普通人类多1000倍的知识，并且能快速与其他模型同步相关知识。 当AI变得比人类更聪明时，就有可能会导致人类面临生存威胁。 AI的近虑和远忧 今年3月，另一家非营利机构“未来生命研究所”(Future of Life Institute)曾呼吁，在至少6个月时间内暂停训练比GPT-4更强大的AI系统，包括马斯克在内的千余名业内大佬，都联署了《暂停AI巨模型实验》的声明。 而在中国，人们似乎仍沉浸在大模型改变各行各业的喜悦和兴奋之中。从商界领袖到初创公司，对于AI伦理和风险，绝大多数人地选择了沉默。 李彦宏在5月26日举办的中关村论坛中表示，在AI技术飞速发展过程当中，确实有可能出现“对人类不利的发展方向”，防止失控就需要与拥有先进AI技术的国家通力协作，从人类命运共同体的高度上来制定规则。 “但要参与规则的制定，就要先上牌桌，上了牌桌才能有话语权，才有全球竞赛的入场券，”他认为，相比于单纯讨论和思考AI威胁论，商业公司首先要缩短和国外AI大模型的差距。 “从目前来看，由于国内大模型能力还没那么强，以至于大家根本没有往威胁人类安全的可能性上去想。”一位创业者承认，AI对人类社会的变革是全方位的，如果利用不好，的确会产生诸多不安全的因素，“但是不能因此就停止大模型的开发。” 对外，国内的AI创业者习惯于扮演技术乐观主义者，“因为任何风口都有窗口期，现在并不是让赛道降温的时候。特别是中国大模型和国外存在着显著差距，过早的收敛，就意味着提前缴械投降。这是所有人都不愿看到的。”一位AI领域的投资人告诉虎嗅。 即便如此，部分创业者的AI世界观，确实发生了巨大变化。比如出门问问CEO李志飞前不久与虎嗅对话时坦言：“自己曾非常坚定地相信，人类搞不出一个超级牛的AI”。但现在，他的立场不那么坚定了。“也许5分钟前你还认为能100%控制，但是就在这5分钟，AI的智能加速度越来越快，当你意识到有失控风险的时候，已经为时已晚了。” 站在这一立场上，李志飞认为监管越早介入越好。“千万别等到最后完全失控，再全部叫停。” 作为中国科学院自动化研究所人工智能伦理与治理研究中心主任，曾毅在《AI风险声明》正式发布前，就收到了CAIS主任Dan Hendrycks的邀请。出于对在AI风险认知观点上的接近，他签署了这份联合声明。 在接受南方财经全媒体采访时，他表示，《AI风险声明》更深度和直接地表达了签名者对人工智能给人类带来潜在生存风险的担忧和应采取的行动。不过他强调：“公开信的目的不是阻碍AI的发展，而恰恰是在探索AI稳健发展的途径。” 关于AI对人类造成的生存风险，曾毅指出要从近期和远期来看： 针对远期而言，当通用人工智能（AGI）和超级智能（ASI）到来时，由于智力水平可能远超过人类，超级智能视人类如人类视蚂蚁，很多人据此认为超级智能将与人类争夺资源，甚至危及到人类的生存。 针对近期而言，由于当代人工智能只是看似智能的信息处理工具，没有真正的理解能力，也不是真正的智能，因此会以人类难以预期的方式犯下人类不会犯的错误。 “AI既不理解什么是人类，什么是生死，也不理解什么是生存风险，只会机械地执行某种操作。如果被人恶意利用、误用和滥用，风险将几乎难以预期和控制。”曾毅认为，远期AI的挑战，如果从现在开始研究如何规避其风险，尚有可能应对。相比之下，近期AI的风险则显得更为紧迫。
假以时日，毁灭人类的或许不是枪林弹雨，极有可能是由人类一手缔造的高级人工智能。
总部位于旧金山的人工智能安全非营利组织（CAIS），一直在为“如何降低人工智能（AI）的社会规模风险”而努力。5月30日，该机构发布了一份《AI风险声明》，呼吁全世界应该像控制大流行病和核战争那样，降低AI带给人类灭顶之灾的风险，并且把优先级调到最高。
内容虽然只有短短一句话，但联名签署的是370多名从事AI工作的高管、研究人员和工程师联名。其中，成员名单包括了OpenAI CEO山姆·奥特曼（Sam Altman）、谷歌DeepMind CEO戴密斯·哈萨比斯（Demis Hassabis）和微软CTO凯文·斯科特（Kevin Scott）。
这是继今年3月，马斯克等上千人曾联署《暂停AI巨模型实验》以来，又一份获得全球科技圈广泛支持的声明。就连清华大学智能产业研究院院长张亚勤、中科院自动化研究所人工智能伦理与治理研究中心主任曾毅等行业领袖，也加入到联署活动中。
在全球AI大模型风头正劲的当下，这封重磅的公开信足以可见，AI给人类社会带来的风险，已经到了令人担忧的时刻。
AI成大国战略重器
尽管AI诸多有益的应用，为人类社会带来了福祉，但很多基础性的安全问题，尚未得到解决。
比如AI产生的大量错误信息和具有说服力的内容，特别是以GPT-4为代表的AI大模型，在文本、图像和视频生成方面的优异表现，已经越来越难通过肉眼来辨别真伪。因此，许多专家对AI技术被用于传播虚假信息、导致网络犯罪的潜在风险表示担忧。
当AI变得愈发聪明，甚至难以招架时，就离风险和灾难的降临不远了。
CAIS认为，AI正在通过多种方式酝酿这种大规模的风险。目前，他们已发现AI正在朝武器化、信息欺诈、谋求权利等歧途上行进。
比如，深度强化学习已被应用于空战，机器学习则被用于制造化学武器。作为一个接受过互联网文本和编码训练的模型，GPT-4如今已经能在现实世界的实验室中，自主进行实验和合成化学品。
眼下，担心AI会取代甚至摧毁人类的观点，已不在少数。AI可能会成为21世纪的电子核武器。如此一来，越先拥有AI系统的国家，就越有战略优势。
5月22日，OpenAI在官网发文，建议全球主要政府共同成立一个类似国际原子能机构的组织，来监管未来的超级智能（ASI）。按照OpenAI的设想，只要AI系统超过了一定能力，或所需的计算资源超过一定水平，就需要接受该机构的检查，以确保符合安全标准。
就像核武器那样，哪怕被任何一个非理性的人恶意操纵，都会造成大范围的伤害。不过，与传统武器不同，这种具有危险能力的AI系统很容易通过数字化的手段扩散。即使所有超级大国都确保自己构建的系统是安全的，并同意不构建破坏性的AI技术，但黑客仍然可以利用漏洞伺机进入AI系统。
被称为“深度学习之父”的杰弗里·辛顿(Geoffrey Hinton)在此次联署中排在首位。谈及AI的潜在威胁，他对美国全国公共广播电台表示：“AI问题的紧迫性可能高于气候变化危机，它的能力超越其创造者的速度可能比任何人预期得都快。”
5月初，在ChatGPT走红全球之后，75岁的辛顿从谷歌辞职，便拉响AI的警报，更自由地讨论AI给人类带来的风险。
当时，他出席美国麻省理工大学（MIT）的一场论坛时表示：“如果AI模型比人类聪明得多，它将善于操纵人类，你都不会意识到发生了什么。”在最坏情况下，“人类只是智能进化的一个过场”，在生物智能进化出数字智能后，数字智能将吸收人类创造的一切，并开始直接接触世界。
他认为，ChatGPT背后的AI技术带来了诸多风险。比如可以用来制造虚假信息、操纵民意，或是制造机器士兵屠杀人类。他还担心，现在的AI大模型可以凭借更少的神经连接，了解比普通人类多1000倍的知识，并且能快速与其他模型同步相关知识。
当AI变得比人类更聪明时，就有可能会导致人类面临生存威胁。
AI的近虑和远忧
今年3月，另一家非营利机构“未来生命研究所”(Future of Life Institute)曾呼吁，在至少6个月时间内暂停训练比GPT-4更强大的AI系统，包括马斯克在内的千余名业内大佬，都联署了《暂停AI巨模型实验》的声明。
而在中国，人们似乎仍沉浸在大模型改变各行各业的喜悦和兴奋之中。从商界领袖到初创公司，对于AI伦理和风险，绝大多数人地选择了沉默。
李彦宏在5月26日举办的中关村论坛中表示，在AI技术飞速发展过程当中，确实有可能出现“对人类不利的发展方向”，防止失控就需要与拥有先进AI技术的国家通力协作，从人类命运共同体的高度上来制定规则。
“但要参与规则的制定，就要先上牌桌，上了牌桌才能有话语权，才有全球竞赛的入场券，”他认为，相比于单纯讨论和思考AI威胁论，商业公司首先要缩短和国外AI大模型的差距。
“从目前来看，由于国内大模型能力还没那么强，以至于大家根本没有往威胁人类安全的可能性上去想。”一位创业者承认，AI对人类社会的变革是全方位的，如果利用不好，的确会产生诸多不安全的因素，“但是不能因此就停止大模型的开发。”
对外，国内的AI创业者习惯于扮演技术乐观主义者，“因为任何风口都有窗口期，现在并不是让赛道降温的时候。特别是中国大模型和国外存在着显著差距，过早的收敛，就意味着提前缴械投降。这是所有人都不愿看到的。”一位AI领域的投资人告诉虎嗅。
即便如此，部分创业者的AI世界观，确实发生了巨大变化。比如出门问问CEO李志飞前不久与虎嗅对话时坦言：“自己曾非常坚定地相信，人类搞不出一个超级牛的AI”。但现在，他的立场不那么坚定了。“也许5分钟前你还认为能100%控制，但是就在这5分钟，AI的智能加速度越来越快，当你意识到有失控风险的时候，已经为时已晚了。”
站在这一立场上，李志飞认为监管越早介入越好。“千万别等到最后完全失控，再全部叫停。”
作为中国科学院自动化研究所人工智能伦理与治理研究中心主任，曾毅在《AI风险声明》正式发布前，就收到了CAIS主任Dan Hendrycks的邀请。出于对在AI风险认知观点上的接近，他签署了这份联合声明。
在接受南方财经全媒体采访时，他表示，《AI风险声明》更深度和直接地表达了签名者对人工智能给人类带来潜在生存风险的担忧和应采取的行动。不过他强调：“公开信的目的不是阻碍AI的发展，而恰恰是在探索AI稳健发展的途径。”
关于AI对人类造成的生存风险，曾毅指出要从近期和远期来看：
针对远期而言，当通用人工智能（AGI）和超级智能（ASI）到来时，由于智力水平可能远超过人类，超级智能视人类如人类视蚂蚁，很多人据此认为超级智能将与人类争夺资源，甚至危及到人类的生存。
针对近期而言，由于当代人工智能只是看似智能的信息处理工具，没有真正的理解能力，也不是真正的智能，因此会以人类难以预期的方式犯下人类不会犯的错误。
“AI既不理解什么是人类，什么是生死，也不理解什么是生存风险，只会机械地执行某种操作。如果被人恶意利用、误用和滥用，风险将几乎难以预期和控制。”曾毅认为，远期AI的挑战，如果从现在开始研究如何规避其风险，尚有可能应对。相比之下，近期AI的风险则显得更为紧迫。