参观者在北京观看中国2018安博会期间展出的监管交通的人工智能人脸识别系统。（2018年10月23日）
对人工智能的使用进行监管是世界范围的政策难题，中国在这一领域出台法规的速度和数量世界一流。然而，使用AI深度伪造技术“换脸”、“换声”的诈骗在中国层出不穷。分析认为，在深伪媒体剧增的挑战面前，中国法规的监管重点仍在政治维稳，无力解决欺诈等民生安全问题。
不再是尖端技术 AI深伪全球普及
通过人工智能深度伪造（deepfake）技术进行诈骗的新闻最近在中国层出不穷。据中国媒体报道，今年4月，福州一家科技公司的老板成为AI“换脸”骗局的受害者，险些被骗430万元人民币。
这起AI骗局可能是中国近期与深度伪造应用相关的诈骗数额最大的一起。行骗者显然盗用了受害者好友的微信帐号，再通过AI深伪技术以好友的形象和声音与其视频通话，通过身份验证后，诱导其进行银行转账。报道说，福州和包头两地的警方和银行，拦截了336.84万元，仍有被转移的93.16万元还在追缴中。
人工智能技术快速发展下，短短几年，深伪“换脸”应用已经从一个前沿技术演化到一个大众娱乐工具。2019年，一段有关美国前总统“奥巴马”讲话的伪造视频曾经一度引发热议，甚至引起美国国家安全部门的警觉。不到两年，换脸软件就成为普通网民可以随意下载和使用的消遣程序。在中国，“Zao”、“Avatarify”等AI换脸软件相继火爆全网，有的甚至冲上应用程序商店的下载冠军。但程序发行商不久都被当局约谈、程序下架，原因可能与隐私和肖像权有关。
总部设在德国柏林、从事反诈骗和身份验证安全业务的网络技术公司SumSub人工智能和机器学习事务主管帕维尔·哥尔德曼-卡拉丁(Pavel Goldman-Kalaydin)说，想录制一段视频，让另一个人的声音和形象说出自己想要说的话，现在只要一台个人电脑或一部智能手机就能办到，利用网上可以获取的“虚拟摄像头”，不需要任何复杂的硬件。
他对美国之音说：“问题就是，这项技术变得越来越普及。很多人都可以使用。很多人都在自己的笔记本电脑上操作。”
他说：“他们可以制造许多深度伪造内容，试图绕过我们希望执行的（认证）检查。”
换声换脸无缝对接 中国AI骗术一流
深度伪造诈骗正在世界各地发生，但专家表示，中国的深伪视频诈骗似乎技高一筹。
根据SumSub公司五月发布的统计，2023年第一季度与去年同期相比，深度伪造诈骗占全部诈骗数量的比例在美国从0.2%上升到2.6%，在加拿大从0.1%上升到4.6%。在英国、德国、意大利等欧洲国家，“深伪”诈骗在全部诈骗所占比例都超过了5%。
美国亚利桑那州州检察长克里斯·梅斯(Kris Mayes)星期一（6月5日）发表警示声明，提醒公众小心行骗者使用AI生成的语音克隆来欺骗用户。声明说，骗子通过语音克隆，让受害者认为亲人遇到困难，以此骗取钱财。
亚利桑那州立大学计算机学院教授苏巴劳·卡姆巴哈帕蒂(Subbarao Kambhampati)说，与美国克隆语音的电话诈骗增多相比，中国的骗子显然已经从语音克隆转向视频通话，这令他感到惊讶。
卡姆巴哈帕蒂对美国之音说：“单独用音频，你会更容易被骗，但是音频加视频意味更难被骗。 但显然（中国）能够做到。”
他说：“一般来说，处理好视频要困难得多，我们看（AI视频中的）人脸时，会下意识地通过他们的面部表情，认识到他们的行为与我们通常看到的不完全一样。
这种融合视觉、听觉、触觉等多感官、模拟出计算机虚构场景的模型构造，是当下人工智能发展的一个重要发展领域，被称为“多模态”(multimodality) AI。专家说，AI诈骗的形态未来将更加以假乱真。
“我们不指望这个问题会消失。我要告诉人们的是，最重要的解决方法是通过教育，让人们认识到，可以相信自己的耳朵和眼睛的日子已经结束了。”卡姆巴哈帕蒂教授说。
中国法规难以应对AI时代骗局
中国互联网协会5月发表警示，称越来越多的AI换脸、换声诈骗和诽谤已经屡见不鲜，呼吁公众提高警惕。
中国被认为是在规范AI立法和建立行政规定方面走在各国前沿的国家。但分析认为，由于AI工具的普及、深度伪造内容的泛滥，政府“严打”难以应对新媒体的海量暴增；另外，中国AI法规的执行把主要精力放在对AI内容的政治审查，以维稳优先，对一般犯罪的处理被放在次要位置。
中国政府已经开始忙于应对深伪诈骗和“谣言”给当局“维稳”工作带来的挑战。华尔街日报6月4日报道说，最近几周，中国各地政府纷纷开始打击人工智能聊天机器人产生的虚假信息，许多虚假信息通过编造类似以往引发舆论热议的社会安全事件赚取点击。
为了监管“深度合成”内容，中国今年1月10日开始实施的管理措施要求服务提供商对那些“可能导致公众混淆或者误认的”AI生成内容进行“显著标识”，以便用户可以识别哪些图像和影音是机器“创造”的产物、哪些是真人的创作。
中国这种要求科技平台给深伪内容“加水印”的做法在国际间备受讨论，一些政策研究人士认为是可以推广的路线。
卡内基国际和平基金会亚洲项目研究员麦特·希恩(Matt Sheehan)指出，针对欺诈的深伪监督法规把责任推给了开发和运用这些技术的公司。希恩通过电子邮件对美国之音说：“如果执行得当，这些规定可能会使犯罪分子更难获得这些人工智能工具……可能会给此类欺诈设置一些障碍。”
但他同时指出，这取决于政府如何实施规定，以及不法人员是否可以从中国以外获得AI工具。
“很多东西都是开源的，全球各地都有，很多人都在研究。”SumSub公司的人工智能事务主管哥尔德曼—卡拉丁说：“技术使用一直是一个问题。你可以监管使用，但监管不了技术。”
战略与国际研究中心(CSIS)战略科技项目主任詹姆斯·刘易斯对美国之音说：“比较难应对的是新产品的数量和复杂程度，我知道中国政府非常担心欺诈，并在寻找控制的方法。”
中国政府审查AI诈骗讨论
不过，批评人士认为，在AI深度伪造给政治维稳带来的挑战面前，打击欺诈并不是中国政府监管AI的优先事务。
中国新实施的对“深度合成”的管理规定，首先指出的就是禁止“危害国家安全和利益、损害国家形象”的相关活动。
与此同时，“AI诈骗正在全国爆发”的话题标签曾在五月在微博上了热搜，但不久后，在微博上对这个话题表现的搜索结果显示，“根据相关法律和法规和政策，搜索结果未予显示”。这表明，这一话题已被中国当局审查。
新美国安全中心(Center for a New American Security)技术与国家安全副研究员比尔·德雷克塞尔(Bill Drexel)说，当局不让公众讨论AI诈骗，说明中国的AI监管和执法动机是扭曲的。
德雷克塞尔对美国之音说：“与诈骗相比，他们应对政治威胁的动力更强。他们总体可能会在这个方向上分配更多的资源。所以我们也可以从这件事中看到，一旦中国公众担心有太多的人工智能欺诈行为，他们就开始进行审查。”
他说：“这一事实表明，他们最终关心的是在政治上掩护自己，而不是解决欺诈问题。”
参观者在北京观看中国2018安博会期间展出的监管交通的人工智能人脸识别系统。（2018年10月23日）
对人工智能的使用进行监管是世界范围的政策难题，中国在这一领域出台法规的速度和数量世界一流。然而，使用AI深度伪造技术“换脸”、“换声”的诈骗在中国层出不穷。分析认为，在深伪媒体剧增的挑战面前，中国法规的监管重点仍在政治维稳，无力解决欺诈等民生安全问题。
不再是尖端技术 AI深伪全球普及
通过人工智能深度伪造（deepfake）技术进行诈骗的新闻最近在中国层出不穷。据中国媒体报道，今年4月，福州一家科技公司的老板成为AI“换脸”骗局的受害者，险些被骗430万元人民币。
这起AI骗局可能是中国近期与深度伪造应用相关的诈骗数额最大的一起。行骗者显然盗用了受害者好友的微信帐号，再通过AI深伪技术以好友的形象和声音与其视频通话，通过身份验证后，诱导其进行银行转账。报道说，福州和包头两地的警方和银行，拦截了336.84万元，仍有被转移的93.16万元还在追缴中。
人工智能技术快速发展下，短短几年，深伪“换脸”应用已经从一个前沿技术演化到一个大众娱乐工具。2019年，一段有关美国前总统“奥巴马”讲话的伪造视频曾经一度引发热议，甚至引起美国国家安全部门的警觉。不到两年，换脸软件就成为普通网民可以随意下载和使用的消遣程序。在中国，“Zao”、“Avatarify”等AI换脸软件相继火爆全网，有的甚至冲上应用程序商店的下载冠军。但程序发行商不久都被当局约谈、程序下架，原因可能与隐私和肖像权有关。
总部设在德国柏林、从事反诈骗和身份验证安全业务的网络技术公司SumSub人工智能和机器学习事务主管帕维尔·哥尔德曼-卡拉丁(Pavel Goldman-Kalaydin)说，想录制一段视频，让另一个人的声音和形象说出自己想要说的话，现在只要一台个人电脑或一部智能手机就能办到，利用网上可以获取的“虚拟摄像头”，不需要任何复杂的硬件。
他对美国之音说：“问题就是，这项技术变得越来越普及。很多人都可以使用。很多人都在自己的笔记本电脑上操作。”
他说：“他们可以制造许多深度伪造内容，试图绕过我们希望执行的（认证）检查。”
换声换脸无缝对接 中国AI骗术一流
深度伪造诈骗正在世界各地发生，但专家表示，中国的深伪视频诈骗似乎技高一筹。
根据SumSub公司五月发布的统计，2023年第一季度与去年同期相比，深度伪造诈骗占全部诈骗数量的比例在美国从0.2%上升到2.6%，在加拿大从0.1%上升到4.6%。在英国、德国、意大利等欧洲国家，“深伪”诈骗在全部诈骗所占比例都超过了5%。
美国亚利桑那州州检察长克里斯·梅斯(Kris Mayes)星期一（6月5日）发表警示声明，提醒公众小心行骗者使用AI生成的语音克隆来欺骗用户。声明说，骗子通过语音克隆，让受害者认为亲人遇到困难，以此骗取钱财。
亚利桑那州立大学计算机学院教授苏巴劳·卡姆巴哈帕蒂(Subbarao Kambhampati)说，与美国克隆语音的电话诈骗增多相比，中国的骗子显然已经从语音克隆转向视频通话，这令他感到惊讶。
卡姆巴哈帕蒂对美国之音说：“单独用音频，你会更容易被骗，但是音频加视频意味更难被骗。 但显然（中国）能够做到。”
他说：“一般来说，处理好视频要困难得多，我们看（AI视频中的）人脸时，会下意识地通过他们的面部表情，认识到他们的行为与我们通常看到的不完全一样。
这种融合视觉、听觉、触觉等多感官、模拟出计算机虚构场景的模型构造，是当下人工智能发展的一个重要发展领域，被称为“多模态”(multimodality) AI。专家说，AI诈骗的形态未来将更加以假乱真。
“我们不指望这个问题会消失。我要告诉人们的是，最重要的解决方法是通过教育，让人们认识到，可以相信自己的耳朵和眼睛的日子已经结束了。”卡姆巴哈帕蒂教授说。
中国法规难以应对AI时代骗局
中国互联网协会5月发表警示，称越来越多的AI换脸、换声诈骗和诽谤已经屡见不鲜，呼吁公众提高警惕。
中国被认为是在规范AI立法和建立行政规定方面走在各国前沿的国家。但分析认为，由于AI工具的普及、深度伪造内容的泛滥，政府“严打”难以应对新媒体的海量暴增；另外，中国AI法规的执行把主要精力放在对AI内容的政治审查，以维稳优先，对一般犯罪的处理被放在次要位置。
中国政府已经开始忙于应对深伪诈骗和“谣言”给当局“维稳”工作带来的挑战。华尔街日报6月4日报道说，最近几周，中国各地政府纷纷开始打击人工智能聊天机器人产生的虚假信息，许多虚假信息通过编造类似以往引发舆论热议的社会安全事件赚取点击。
为了监管“深度合成”内容，中国今年1月10日开始实施的管理措施要求服务提供商对那些“可能导致公众混淆或者误认的”AI生成内容进行“显著标识”，以便用户可以识别哪些图像和影音是机器“创造”的产物、哪些是真人的创作。
中国这种要求科技平台给深伪内容“加水印”的做法在国际间备受讨论，一些政策研究人士认为是可以推广的路线。
卡内基国际和平基金会亚洲项目研究员麦特·希恩(Matt Sheehan)指出，针对欺诈的深伪监督法规把责任推给了开发和运用这些技术的公司。希恩通过电子邮件对美国之音说：“如果执行得当，这些规定可能会使犯罪分子更难获得这些人工智能工具……可能会给此类欺诈设置一些障碍。”
但他同时指出，这取决于政府如何实施规定，以及不法人员是否可以从中国以外获得AI工具。
“很多东西都是开源的，全球各地都有，很多人都在研究。”SumSub公司的人工智能事务主管哥尔德曼—卡拉丁说：“技术使用一直是一个问题。你可以监管使用，但监管不了技术。”
战略与国际研究中心(CSIS)战略科技项目主任詹姆斯·刘易斯对美国之音说：“比较难应对的是新产品的数量和复杂程度，我知道中国政府非常担心欺诈，并在寻找控制的方法。”
中国政府审查AI诈骗讨论
不过，批评人士认为，在AI深度伪造给政治维稳带来的挑战面前，打击欺诈并不是中国政府监管AI的优先事务。
中国新实施的对“深度合成”的管理规定，首先指出的就是禁止“危害国家安全和利益、损害国家形象”的相关活动。
与此同时，“AI诈骗正在全国爆发”的话题标签曾在五月在微博上了热搜，但不久后，在微博上对这个话题表现的搜索结果显示，“根据相关法律和法规和政策，搜索结果未予显示”。这表明，这一话题已被中国当局审查。
新美国安全中心(Center for a New American Security)技术与国家安全副研究员比尔·德雷克塞尔(Bill Drexel)说，当局不让公众讨论AI诈骗，说明中国的AI监管和执法动机是扭曲的。
德雷克塞尔对美国之音说：“与诈骗相比，他们应对政治威胁的动力更强。他们总体可能会在这个方向上分配更多的资源。所以我们也可以从这件事中看到，一旦中国公众担心有太多的人工智能欺诈行为，他们就开始进行审查。”
他说：“这一事实表明，他们最终关心的是在政治上掩护自己，而不是解决欺诈问题。”