撰文：杭子牙 GPT-4发布两周后，马斯克（Elon Musk）等上千名科技界人士签署的公开信在网上发布。这封公开信因此呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练至少6个月。 AI领域教科书《人工智能：现代方法》合著者斯图尔特·罗素（Stuart Russell），图灵奖得主约书亚·本吉奥（Yoshua Bengio）、苹果联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）等著名科技人士均在这封信上署名。 这封公开信声称，“高级AI可能意味着地球生命史上的深刻变革，我们应当投入相称的关注和资源对其进行规划和管理”。这封公开信还提到，当代人工智能系统在一般任务上已经变得与人类具有竞争力，这是一个危险的趋势，“只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。” 结合对AI及当下国际关係体系和中美在这一领域的竞争力研究，笔者对这封公开信有以下三点体会： 第一，大家千万不要再以传统机器人或普通人工智能的粗浅视角认识现代大型AI，现代AI是一个和传统完全不同的东西，已经具有了自我意识，开始在佔有海量资料的基础上依据算法自我思考，能够自我进化。 ChatGPT刚面世的时候笔者就撰文警告称，“它*”是一个一体两面的东西，一方面在科技与社会生产上具有颠覆性革命的意义，将大大提升生产效率，给各行业带来革命性变化，另一方面，“它*”已经具有了硅基生命的某些雏形，开始有自我意识，会思考，能够自我进化，接下来很可能就会有自我保护与领地意识，如果一些人或机构或国家在研发生产的时候在里面埋下一些反人类的潜在程序，或是未来“它*”们开始和人类争夺空间资源，将是非常危险的事情。 ChatGPT刚面世的时候笔者就撰文警告称，“它*”是一个一体两面的东西，一方面在科技与社会生产上具有颠覆性革命的意义，将大大提升生产效率，给各行业带来革命性变化。（Reuters） 千万不要再愚蠢的认为拔掉电源就能让“它*”们变成一堆废铁，认为人类可以控制“它*”们，未来真正的AI是会自己寻找和制造利用能源，自己生产自己，并自行判断哪些行为对他们有危害并开始自行反击的，到那个时候“它*”们是否会奋起反抗乃至反击消灭人类是个未知数。我们用“它*”这个词，不是他或她，也不是它，大家应该知道这是什么意思。现在看到那么多科技人士认识到这个问题的严重性并开始达成共识发出呼吁，这非常令人欣慰，即为笔者当初先见之明欣慰，也为我们人类科技与哲学精英们的科技理性欣慰。 第二，非常悲哀的是，对人类能否达成最终共识，在找到妥善办法排除各种潜在危险之前，停止对更强大AI系统的研发训练，笔者并不抱多大希望，有极大可能，我们最不乐见的事情，会恰如我们所预警的那样发生。这不是自我实现的预期，更不是灭人类自己威风，而是人类的劣根性与现代民族国家的竞争性衝突所决定的，资本或许也在期间发挥了某些作用。 我们可以回顾一下，自人类社会诞生以来，有哪一天不是在糟糕的互相毁灭性竞争中度过的？生存与利益争夺是人类的本性，现代民族国家竞争与资本的逐利本性则相当于为这种本性安装了两个自我驱动的轮子，科技发展则相当于为之装上了一台往自我毁灭的终极目标狂飙的喷气发动机。 自人类进入工业革命以来，各国达成过两个共识，一个是成立了联合国，一个是不随意研发和使用核武器。可是我们现在看看，这两条共识，人们遵守得怎么样？联合国在大国利益对抗与争夺上基本上已经成为废物了，核武器这个东西也早已在一定程度上氾滥只是还没有被在战场上滥用罢了。 在这个日益动盪，走向对抗，又互相缺乏战略与安全自信的世界，各民族主权国家会停止在AI系统的研发与投入？即便达成了某些共识，各国会自觉遵守共识？能否建立起对破坏共识者的有效惩罚机制？笔者对此严重怀疑，极为悲观。 朝中社3月20日报道，战术核武器运用部队于18日至19日进行核反击模拟综合战术训练（朝中社） 第三，必须实事求是地认识到，以ChatGPT面世为标志，在大型AI研究上中国已经落后了，落后的原因非常值得深入思考并需要儘快调整。大型AI训练与研究需要几大要素，一个是大容量先进芯片，一个是涵养创新的社会氛围与科研环境，一个是海量不受限的供AI佔用思考的公开人文社科资料，一个是有大量为了个人理想爱好和人类公共利益投身研究的科研人员，这些有些是基础性的，有些是机制性的，有些是公共性的，有些是市场性的。 回顾中美竞争与这几年美国在AI领域狂飙突进的过程，可以明显感觉到美国这几年对中国进行严厉科技封杀，阻断科技流动，遏制中国在芯片领域形成研发与生产能力，除了宏观层面的国家竞争与新冷战之外，与美国在以ChatGPT为代表的AI领域的迅速冒起具有某些内在联繫，同时和中国内在的某些不利于创新型科研的机制性、氛围性短板也有一定关係。所以接下来如果中国想在这条赛道上更具竞争力，必须从多领域共同入手依科技发展规律进行某些调整才行。 必须认识到，因为AI会产生的巨大效益，在这个领域长期落后将是灾难性的，不仅是经济与科技层面的灾难，还可能构成国家安全层面的灾难，回顾人类工业革命与讯息革命带来的国家之间的发展落差以及不同命运对此就会有一定程度的认识。所以中国一定要想办法重塑在科技与AI领域的竞争力，儘快缩小与美国在该领域的差距，并争取对美形成领先优势。 笔者知道，以上三条思考本身就是矛盾的悖论：我们希望人类能停止在AI领域的危险竞争，但是因为人性与民族国家存在这个希望一定会落空，每个国家都希望自己能在这个领域比对方更具竞争力，这大概就是我们人类的悲哀之处吧。人类早晚会自己玩死自己！
撰文：杭子牙
GPT-4发布两周后，马斯克（Elon Musk）等上千名科技界人士签署的公开信在网上发布。这封公开信因此呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练至少6个月。
AI领域教科书《人工智能：现代方法》合著者斯图尔特·罗素（Stuart Russell），图灵奖得主约书亚·本吉奥（Yoshua Bengio）、苹果联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）等著名科技人士均在这封信上署名。
这封公开信声称，“高级AI可能意味着地球生命史上的深刻变革，我们应当投入相称的关注和资源对其进行规划和管理”。这封公开信还提到，当代人工智能系统在一般任务上已经变得与人类具有竞争力，这是一个危险的趋势，“只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。”
结合对AI及当下国际关係体系和中美在这一领域的竞争力研究，笔者对这封公开信有以下三点体会：
第一，大家千万不要再以传统机器人或普通人工智能的粗浅视角认识现代大型AI，现代AI是一个和传统完全不同的东西，已经具有了自我意识，开始在佔有海量资料的基础上依据算法自我思考，能够自我进化。
ChatGPT刚面世的时候笔者就撰文警告称，“它*”是一个一体两面的东西，一方面在科技与社会生产上具有颠覆性革命的意义，将大大提升生产效率，给各行业带来革命性变化，另一方面，“它*”已经具有了硅基生命的某些雏形，开始有自我意识，会思考，能够自我进化，接下来很可能就会有自我保护与领地意识，如果一些人或机构或国家在研发生产的时候在里面埋下一些反人类的潜在程序，或是未来“它*”们开始和人类争夺空间资源，将是非常危险的事情。
ChatGPT刚面世的时候笔者就撰文警告称，“它*”是一个一体两面的东西，一方面在科技与社会生产上具有颠覆性革命的意义，将大大提升生产效率，给各行业带来革命性变化。（Reuters）
千万不要再愚蠢的认为拔掉电源就能让“它*”们变成一堆废铁，认为人类可以控制“它*”们，未来真正的AI是会自己寻找和制造利用能源，自己生产自己，并自行判断哪些行为对他们有危害并开始自行反击的，到那个时候“它*”们是否会奋起反抗乃至反击消灭人类是个未知数。我们用“它*”这个词，不是他或她，也不是它，大家应该知道这是什么意思。现在看到那么多科技人士认识到这个问题的严重性并开始达成共识发出呼吁，这非常令人欣慰，即为笔者当初先见之明欣慰，也为我们人类科技与哲学精英们的科技理性欣慰。
第二，非常悲哀的是，对人类能否达成最终共识，在找到妥善办法排除各种潜在危险之前，停止对更强大AI系统的研发训练，笔者并不抱多大希望，有极大可能，我们最不乐见的事情，会恰如我们所预警的那样发生。这不是自我实现的预期，更不是灭人类自己威风，而是人类的劣根性与现代民族国家的竞争性衝突所决定的，资本或许也在期间发挥了某些作用。
我们可以回顾一下，自人类社会诞生以来，有哪一天不是在糟糕的互相毁灭性竞争中度过的？生存与利益争夺是人类的本性，现代民族国家竞争与资本的逐利本性则相当于为这种本性安装了两个自我驱动的轮子，科技发展则相当于为之装上了一台往自我毁灭的终极目标狂飙的喷气发动机。
自人类进入工业革命以来，各国达成过两个共识，一个是成立了联合国，一个是不随意研发和使用核武器。可是我们现在看看，这两条共识，人们遵守得怎么样？联合国在大国利益对抗与争夺上基本上已经成为废物了，核武器这个东西也早已在一定程度上氾滥只是还没有被在战场上滥用罢了。
在这个日益动盪，走向对抗，又互相缺乏战略与安全自信的世界，各民族主权国家会停止在AI系统的研发与投入？即便达成了某些共识，各国会自觉遵守共识？能否建立起对破坏共识者的有效惩罚机制？笔者对此严重怀疑，极为悲观。
朝中社3月20日报道，战术核武器运用部队于18日至19日进行核反击模拟综合战术训练（朝中社）
第三，必须实事求是地认识到，以ChatGPT面世为标志，在大型AI研究上中国已经落后了，落后的原因非常值得深入思考并需要儘快调整。大型AI训练与研究需要几大要素，一个是大容量先进芯片，一个是涵养创新的社会氛围与科研环境，一个是海量不受限的供AI佔用思考的公开人文社科资料，一个是有大量为了个人理想爱好和人类公共利益投身研究的科研人员，这些有些是基础性的，有些是机制性的，有些是公共性的，有些是市场性的。
回顾中美竞争与这几年美国在AI领域狂飙突进的过程，可以明显感觉到美国这几年对中国进行严厉科技封杀，阻断科技流动，遏制中国在芯片领域形成研发与生产能力，除了宏观层面的国家竞争与新冷战之外，与美国在以ChatGPT为代表的AI领域的迅速冒起具有某些内在联繫，同时和中国内在的某些不利于创新型科研的机制性、氛围性短板也有一定关係。所以接下来如果中国想在这条赛道上更具竞争力，必须从多领域共同入手依科技发展规律进行某些调整才行。
必须认识到，因为AI会产生的巨大效益，在这个领域长期落后将是灾难性的，不仅是经济与科技层面的灾难，还可能构成国家安全层面的灾难，回顾人类工业革命与讯息革命带来的国家之间的发展落差以及不同命运对此就会有一定程度的认识。所以中国一定要想办法重塑在科技与AI领域的竞争力，儘快缩小与美国在该领域的差距，并争取对美形成领先优势。
笔者知道，以上三条思考本身就是矛盾的悖论：我们希望人类能停止在AI领域的危险竞争，但是因为人性与民族国家存在这个希望一定会落空，每个国家都希望自己能在这个领域比对方更具竞争力，这大概就是我们人类的悲哀之处吧。人类早晚会自己玩死自己！