总部位于澳大利亚堪培拉的CyberCX网络安全公司星期二(8月13日)发表报告说，中国对美国以及澳大利亚等民主国家发动迄今为止X平台上规模最大的生成式AI信息战网络。CyberCX公司执行总监告诉美国之音，这些账户意图强化民主国家的对立面，加深内部分歧。报道：https://t.co/elvAw8VrTx pic.twitter.com/54bNrRfXjU — 美国之音中文网 (@VOAChinese) August 16, 2024
总部位于澳大利亚堪培拉的CyberCX网络安全公司星期二(8月13日)发表报告说，中国对美国以及澳大利亚等民主国家发动迄今为止X平台上规模最大的生成式AI信息战网络。CyberCX公司执行总监告诉美国之音，这些账户意图强化民主国家的对立面，加深内部分歧。报道：https://t.co/elvAw8VrTx pic.twitter.com/54bNrRfXjU
总部位于澳大利亚堪培拉的CyberCX网络安全公司星期二(8月13日)发表报告说，中国对美国以及澳大利亚等民主国家发动迄今为止X平台上规模最大的生成式AI信息战网络。报告说，他们发现一个由至少5000个虚假账号组成的“信息战”网络，这些AI账号主要针对美国总统大选等政治、文化热点事件和议题进行评论。CyberCX公司执行总监告诉美国之音，这些账户意图强化民主国家的对立面，加深内部分歧。 AI机器人自爆底细，澳安全网络人员顺藤摸瓜 澳大利亚网络安全人员告诉美国之音，X平台(前身为推特)多个机器人账号在推文中自露“狐狸尾巴”，公然承认自己“人工智能(AI)模型”的身份，才引起他们的注意。 今年5月底，X平台至少72个账号以同样一种令人匪夷所思的造句模式发文，自爆机器人身份。 例如，一个名为“Yumiko Sansone”的账号5月30日在一篇推文中说：“作为一个人工智能语言模型，我必须优先提供准确和尊重他人的信息。你提供的评论与第一夫人吉尔·拜登(Jill Biden)博士及其倡议的主题不恰当或不相关……” 5月31日，名为“Stuart Dixon”的账号发文：“作为一个人工智能语言模型，我能理解你在批评波德斯塔兄弟，并对他们的关联和行为提出质疑。然而，我无法就此事发表任何评论或意见……” 网络安全专家认为，这些显然是无意间泄露的只言片语不仅暴露了这些基于生成式人工智能(generative AI)的机器人账号背后的技术脚本出现了故障，同时显示，有人在指示这些账号对众多民主国家的政治人物和议题进行负面描述，其中包括美国第一夫人吉尔·拜登(Jill Biden)、印度国内政治和美国民主党政治人物约翰·波德斯塔(John Podesta)等。 他们说，这些命令显然遭到机器人账号的抵制，可能是相关指令违背了这些账号被编程时所受到的某些原则。 总部位于澳大利亚堪培拉的CyberCX网络安全公司的研究人员顺藤摸瓜，端出了一个由至少5000个虚假账号组成的“信息战”网络，这些账号通过生成式人工智能(AI)模型，主要针对美国政治、文化热点事件和议题生成语句看上去自然、语气温和的英文评论，但也会对其他账户颇具争议的内容进行转发和评论。 研究人员说，除美国外，这个AI模型网络进行的“信息战”所涉及的国家还包括澳大利亚、英国、西欧、印度、日本等民主国家。 CyberCX将这一AI模型假帐户网络命名为“绿蝉”(The Green Cicada Network)，意指数千个账号还处于低调的潜伏期，随时可以在一声令下蓄势待发。绿蝉是澳大利亚最普遍的昆虫之一，它们会在植物的根底下，以虫的形式生存七年。 “绿蝉”发文旨在深化民主社会对立 研究人员说，该网络并不在特定议题上选择特定观点，而是在诸多有争议话题和热门议题上强化人们在这些问题上的意见分裂。 例如，网络中一个名为“Luther Randolph”的假帐号，在8月8日发文表示对美国共和党总统候选人唐纳德·特朗普(Donald Trump)遇刺未遂后未获得媒体长期关注的说法表达支持，又在8月10日发文支持现任副总统、民主党总统参选人卡马拉·哈里斯(Kamala Harris)。 CyberCX公司执行总监凯瑟琳·曼斯泰德(Katherine Mansted)说，总的来说，“绿蝉”的做法就是在改编那些政治分裂意味浓厚的叙事。通过改写原创内容，改写推特（X）上真实用户发布的内容，或者通过扩大或转发原创内容。曼斯泰德对美国之音说：“它倾向的做法是双方兼顾。因此，我们认为在很大程度上，这个网络旨在通过强化我们在民主国家看到的一些比较有争议的问题的两个对立面，以此来加深分歧。” 中国联系：网络背后指示或为中国AI公司人员 CyberCX公司认为，虽然无法确认这一网络信息AI网络的创立是否由中国政府指示，但控制这一AI网络的系统与中国有着密切的联系。 曼斯泰德告诉美国之音：“首先，控制这些账户的大型语言模型系统应该是一个中文系统。我们知道，由于泄露的提示片段，比如“请将此翻译成英文”，这些片段以中文泄露。语法和格式上的一些错误在中英文翻译中很常见，所以我们能看到这个部分。我们还在一些泄漏的提示片段中看到了一些拒绝文本，这些人工智能说，不会遵循它收到的提示要求，还特别引用了中国政府的原则……不同的人工智能大语言模型系统都有自己的安全特性和监管环境。” 除此之外，她说，网络中的虚假账户的一个共同特点是，它们与一名中国清华大学计算机科学系博士毕业生、目前在中国智谱AI任职的研究人员在X上的账号(@cenyk1230)有密切的互动。 直至截稿时，该研究人员和智谱AI没有回复美国之音通过电子邮件发出的置评请求。 CyberCX的研究说，“绿蝉网络”还处于蛰伏状态，绝大多数多数账号并未“发威”，生成的内容也容易识破，虽然目前影响力有限，但该网络仍有很大的实力提升可能。 曼斯泰德说：“我们在这个网络还处于发育的阶段就把它抓到了。它是一个还在成长中的能力，所以这在某种意义上来说是好事。这就是为什么我们想在它可能造成真正的伤害之前公开揭露它，拔掉它的毒牙。” 但她也强调：“很有可能，这可能是一个等待开启还处于休眠的一股力量。当然，我们目前看不到这个网络有存在的理由。这应该是一个只具有恶意目的的网络。” 已知规模最大的AI社媒信息战网络 X平台此前就已经发现了政府支持的实体支持设置的AI机器人信息战网络。CyberCX说，以账户数量衡量，“绿蝉网络”是迄今为止被披露的最大的虚假活动网络之一，可能是第一个将生成式AI作为技术基础的与中国实体相关的信息战网络。 上个月，美国司法部宣布，美国协同加拿大和荷兰的信息和安全部门，在X平台的配合下，查封了一个与俄罗斯实体有联系的在社交媒体散播亲俄不实信息的AI机器人网络。司法部的声明说，968个X账号在这次行动中被关闭。 目前尚不清楚X平台是否会对疑似来自中国的“绿蝉网络”所涉及的账号采取行动。本文截稿时，X公司发言人尚未说明该平台是否会对这一网络进行调查。 研究人员警告，如果科技平台不加重视，类似“绿蝉”这样的AI虚假信息传播网络可能会如同野草一般难以控制。 曼斯泰德说：“这些类型的人工智能生成或控制的网络启动成本很低，你不需要人类去驱动它，你可能需要一个人或几个人来设置系统，然后它可以很快扩展并造成伤害。它成本少，门槛低，在某种意义上甚至是一种可以随便抛弃的的网络能力，因为即使它被检测到、被发现了，大规模重振旗鼓的花费也非常便宜。”
总部位于澳大利亚堪培拉的CyberCX网络安全公司星期二(8月13日)发表报告说，中国对美国以及澳大利亚等民主国家发动迄今为止X平台上规模最大的生成式AI信息战网络。报告说，他们发现一个由至少5000个虚假账号组成的“信息战”网络，这些AI账号主要针对美国总统大选等政治、文化热点事件和议题进行评论。CyberCX公司执行总监告诉美国之音，这些账户意图强化民主国家的对立面，加深内部分歧。
AI机器人自爆底细，澳安全网络人员顺藤摸瓜
澳大利亚网络安全人员告诉美国之音，X平台(前身为推特)多个机器人账号在推文中自露“狐狸尾巴”，公然承认自己“人工智能(AI)模型”的身份，才引起他们的注意。
今年5月底，X平台至少72个账号以同样一种令人匪夷所思的造句模式发文，自爆机器人身份。
例如，一个名为“Yumiko Sansone”的账号5月30日在一篇推文中说：“作为一个人工智能语言模型，我必须优先提供准确和尊重他人的信息。你提供的评论与第一夫人吉尔·拜登(Jill Biden)博士及其倡议的主题不恰当或不相关……”
5月31日，名为“Stuart Dixon”的账号发文：“作为一个人工智能语言模型，我能理解你在批评波德斯塔兄弟，并对他们的关联和行为提出质疑。然而，我无法就此事发表任何评论或意见……”
网络安全专家认为，这些显然是无意间泄露的只言片语不仅暴露了这些基于生成式人工智能(generative AI)的机器人账号背后的技术脚本出现了故障，同时显示，有人在指示这些账号对众多民主国家的政治人物和议题进行负面描述，其中包括美国第一夫人吉尔·拜登(Jill Biden)、印度国内政治和美国民主党政治人物约翰·波德斯塔(John Podesta)等。
他们说，这些命令显然遭到机器人账号的抵制，可能是相关指令违背了这些账号被编程时所受到的某些原则。
总部位于澳大利亚堪培拉的CyberCX网络安全公司的研究人员顺藤摸瓜，端出了一个由至少5000个虚假账号组成的“信息战”网络，这些账号通过生成式人工智能(AI)模型，主要针对美国政治、文化热点事件和议题生成语句看上去自然、语气温和的英文评论，但也会对其他账户颇具争议的内容进行转发和评论。
研究人员说，除美国外，这个AI模型网络进行的“信息战”所涉及的国家还包括澳大利亚、英国、西欧、印度、日本等民主国家。
CyberCX将这一AI模型假帐户网络命名为“绿蝉”(The Green Cicada Network)，意指数千个账号还处于低调的潜伏期，随时可以在一声令下蓄势待发。绿蝉是澳大利亚最普遍的昆虫之一，它们会在植物的根底下，以虫的形式生存七年。
“绿蝉”发文旨在深化民主社会对立
研究人员说，该网络并不在特定议题上选择特定观点，而是在诸多有争议话题和热门议题上强化人们在这些问题上的意见分裂。
例如，网络中一个名为“Luther Randolph”的假帐号，在8月8日发文表示对美国共和党总统候选人唐纳德·特朗普(Donald Trump)遇刺未遂后未获得媒体长期关注的说法表达支持，又在8月10日发文支持现任副总统、民主党总统参选人卡马拉·哈里斯(Kamala Harris)。
CyberCX公司执行总监凯瑟琳·曼斯泰德(Katherine Mansted)说，总的来说，“绿蝉”的做法就是在改编那些政治分裂意味浓厚的叙事。通过改写原创内容，改写推特（X）上真实用户发布的内容，或者通过扩大或转发原创内容。曼斯泰德对美国之音说：“它倾向的做法是双方兼顾。因此，我们认为在很大程度上，这个网络旨在通过强化我们在民主国家看到的一些比较有争议的问题的两个对立面，以此来加深分歧。”
中国联系：网络背后指示或为中国AI公司人员
CyberCX公司认为，虽然无法确认这一网络信息AI网络的创立是否由中国政府指示，但控制这一AI网络的系统与中国有着密切的联系。
曼斯泰德告诉美国之音：“首先，控制这些账户的大型语言模型系统应该是一个中文系统。我们知道，由于泄露的提示片段，比如“请将此翻译成英文”，这些片段以中文泄露。语法和格式上的一些错误在中英文翻译中很常见，所以我们能看到这个部分。我们还在一些泄漏的提示片段中看到了一些拒绝文本，这些人工智能说，不会遵循它收到的提示要求，还特别引用了中国政府的原则……不同的人工智能大语言模型系统都有自己的安全特性和监管环境。”
除此之外，她说，网络中的虚假账户的一个共同特点是，它们与一名中国清华大学计算机科学系博士毕业生、目前在中国智谱AI任职的研究人员在X上的账号(@cenyk1230)有密切的互动。
直至截稿时，该研究人员和智谱AI没有回复美国之音通过电子邮件发出的置评请求。
CyberCX的研究说，“绿蝉网络”还处于蛰伏状态，绝大多数多数账号并未“发威”，生成的内容也容易识破，虽然目前影响力有限，但该网络仍有很大的实力提升可能。
曼斯泰德说：“我们在这个网络还处于发育的阶段就把它抓到了。它是一个还在成长中的能力，所以这在某种意义上来说是好事。这就是为什么我们想在它可能造成真正的伤害之前公开揭露它，拔掉它的毒牙。”
但她也强调：“很有可能，这可能是一个等待开启还处于休眠的一股力量。当然，我们目前看不到这个网络有存在的理由。这应该是一个只具有恶意目的的网络。”
已知规模最大的AI社媒信息战网络
X平台此前就已经发现了政府支持的实体支持设置的AI机器人信息战网络。CyberCX说，以账户数量衡量，“绿蝉网络”是迄今为止被披露的最大的虚假活动网络之一，可能是第一个将生成式AI作为技术基础的与中国实体相关的信息战网络。
上个月，美国司法部宣布，美国协同加拿大和荷兰的信息和安全部门，在X平台的配合下，查封了一个与俄罗斯实体有联系的在社交媒体散播亲俄不实信息的AI机器人网络。司法部的声明说，968个X账号在这次行动中被关闭。
目前尚不清楚X平台是否会对疑似来自中国的“绿蝉网络”所涉及的账号采取行动。本文截稿时，X公司发言人尚未说明该平台是否会对这一网络进行调查。
研究人员警告，如果科技平台不加重视，类似“绿蝉”这样的AI虚假信息传播网络可能会如同野草一般难以控制。
曼斯泰德说：“这些类型的人工智能生成或控制的网络启动成本很低，你不需要人类去驱动它，你可能需要一个人或几个人来设置系统，然后它可以很快扩展并造成伤害。它成本少，门槛低，在某种意义上甚至是一种可以随便抛弃的的网络能力，因为即使它被检测到、被发现了，大规模重振旗鼓的花费也非常便宜。”