短短几个月内，生成式AI技术的高速发展，让一向被戏谑的“人工智障”跃升为人人开始担忧“被抢工作”的全能六边形战士。潜在的数据、算法危机已经真实发生，近日就有不法分子通过“AI换脸”实施电信诈骗，被害人在没有防备的情况下一度被骗走了430万元。

(资料图片)

AI诈骗，防不胜防

三分钟视频，十分钟语音，很快就能生成一个相似度几乎百分百的“你”。

福州市的郭老板，就这么接到了一个“朋友”的微信视频求助电话，因为“亲眼所见”，他没多求证，十分钟内就转出去了430万元。如今，在智能AI人脸生成和拟声技术的“协助”伪装下，这样的新型骗局防不胜防。

在人们日常所刷的直播间里，也有使用了AI实时换脸技术的普通主播“变身”为“迪丽热巴”，主播没有进行事前声明，直播过程中也没有打出显著标识提醒观众，试图用人脸信息以假乱真。

事实上，利用AI技术实施的不轨行为还有借助AI语音技术完成电诈引流、网红被“盗脸”制作不雅视频等。早在数年前，就有不少人收到过“被拍艳照”的勒索威胁短信，骗子发来的照片上也赫然是“自己的脸”。而类似的语音合成技术，也成为诈骗团伙“与时俱进”的技术手段。但这次的“新型骗局”能够引起舆论热议，在于其“无处可防”的技术特性。

在郭老板等人遭遇的骗局中，犯罪分子与受害者进行了微信视频通话，常用的社交软件叠加熟悉的面孔和声音，让人放松了警惕。

像这样令受害者深感迷惑、以假乱真的虚假视频，与AI技术的进步分不开关系。在武汉工作的一名AI算法工程师文牧称：“现在利用AI技术生成虚假的人脸照片或者视频，成本极其低。理论来说，犯罪分子只需要一个训练好的AI模型和一张受害者的照片就能完成。就像英剧《真相捕捉》一样，犯罪分子完全可以自己录一段视频，再用AI模型把人脸和声音换成受害者的。”

《真相捕捉》是BBC在2019年首播的一部剧集，主题恰是追寻AI技术下的真相。剧中描述了一个名叫“移花接木（Correction）”的AI系统，后者的功能极其强大，不仅能够为视频中的人物换脸、换声音，甚至可以直接虚拟出一段视频。“移花接木”的强大功能被人所滥用，用于生成虚假的犯罪证据，构陷无罪的人。

而据多位从业者告诉「市界」，在现实世界中，如此强大的AI技术早已有原型。文牧称：“业界把这种能生成虚拟视频的深伪技术（deepfake）命名为GAN（生成式对抗网络）。早在2017年，AI换脸照片就曾爆火，其采用的是基于CNN（卷积神经网络）的GAN技术。这些年来，GAN技术也在不断迭代更新，目前业界最前沿的应该是基于Transformer的GAN技术。”Transformer是一种由谷歌推出的极其强大的AI算法，如今爆火的大模型ChatGPT也是基于这一技术。

根据现有信息，我们尚无法判断出迷惑了郭老板及其他受害人的虚假视频出自哪一特定的AI模型，不过已知的是，许多GAN模型已经技术开源，给了犯罪分子可乘之机。

除了能够制作出虚假的视频，现在的AI技术还支持进行实时AI换脸。庆幸的是，据文牧了解：“尽管目前市场上已经有能够实现实时换脸、生成视频的AI模型，但使用成本较高，考虑到犯罪分子的水平和犯罪行为的性质，他们应该用不到实时技术，不然犯罪行为将更加难以辨别。”

技术无罪，但正在困扰人类

在普通人为deepfake技术加持的诈骗行为而提心吊胆之时，这阵AI的风也吹到了公众人物身上。

近段时间，一个名为“AI孙燕姿”的虚拟歌手突然走红全网。相较于真人孙燕姿，AI孙燕姿拥有几可乱真的唱腔，还能“翻唱”任意其他歌手的歌曲，因此在B站、YouTube等平台热度不减，最后甚至惊动了孙燕姿本尊。后者在5月22日晚上亲自发出长文回应，其中写道“之前我们一直坚信，思想或观点的形成是机器无法复制的任务，这超出了它们的能力范围，但现在它却赫然耸现并将威胁到成千上万个由人类创造的工作”。

除了孙燕姿，网上还出现了陈奕迅、周杰伦等知名歌手的“AI分身”。AI产品经理陆鸣告诉「市界」：“制作一个AI歌手，可能仅需耗时几小时进行AI训练。目前业界有开源的AI拟声技术，比如声音训练模型sovits4.0。除了制作AI名人，现在还有人在训练基于自己声音的AI模型。只需一个小时的干音（媒介采集到的未经处理的声音），就可以让拥有自己声音的模型达到业余唱歌水平，时间再久些，成为歌唱家也不在话下。”

虚拟合成的微信视频让普通人担忧自己的财产安全，“AI名人”的走红则掀起了舆论场对AI模型侵权问题的热议。

实际上，多个软件平台在声音训练模型sovits4.0的使用下载说明中列出了防侵权条款，如：在使用本整合包时，必须根据知情同意原则取得数据集音声来源的授权许可，并根据授权协议条款规定使用数据集；禁止使用该整合包对公众人物、政治人物或其他容易引起争议的人物进行模型训练等。然而，这些倡议性内容显然还未在模型使用者中形成共识。

AI技术仿佛在人类真正做好准备之前，就在一瞬间涌入了生活的方方面面。这样的背景下，许多AI技术供应商、平台企业已开始着手防范技术被滥用，探索降低技术滥用风险的可行之道。

为了防范可能存在的风险，一些技术厂商从源头做了较为严格的限制。

“AI孙燕姿的源头其实是开源，是‘授人以渔’了，技术开发者没有去侵犯个人隐私，但它的技术让侵犯个人隐私的意愿得到了满足”，正计划推出虚拟克隆人的小冰CEO公司李笛告诉「市界」，“开源我们是绝对不做的”。另外，李笛认为，应当尽量降低对于用户所需要的数据数量。“理论上来讲，我们假设隐私数据在数据中分布是一个较均衡的分布，所需数据越多，得到的隐私数据量也会越多”。此外，小冰会限制克隆人使用的场所，并非在任何地方都能使用。

李笛向「市界」透露，小冰将推出特定的App产品，通过小冰技术生成的“克隆人”只能在产品中使用。而且，需要提前取得本人提供的权属证明，规避他人冒用的风险。

一般来说，AI数智人在高端IP上使用会更加谨慎，真人的形象复刻得越来越精致，一旦中间出现黑客，都可能用接近真实身份的形象输出。假设用在电台主持人上，一旦说错一句话，对其职业生涯是毁灭性打击。“我们打磨安全性的手段，通过用户的授权，个人流程的保障，加上暗水印，明水印，要保证每个运营团队的权限是可控的，输出是可控的，不然有可能一条视频就毁了整个行业。”微媒会议CEO天狐在一场分享会上说道。

另一些厂商则将AI技术本身，作为防范AI诈骗的工具。

在一家AI解决方案企业工作的付伟告诉「市界」：“AI可以欺诈，也可以反欺诈。例如犯罪分子想要在境外实施诈骗，他总得找境内账户转账。在境内转账过程里，AI可以在许多环节发挥作用，像是风控环节，通过大数据分析该交易是否有风险、是否需要干预；多重验证也是一方面，在转账行为发生时，利用人脸、指纹等交叉验证行为，确定到底是不是本人转账。”

付伟补充道：“在包头事件以及其他类似事件中发生的整个诈骗行为里，首先是用户数据泄露，可能是因为用户点击钓鱼链接、扫了钓鱼二维码导致短信验证码被拦截、微信被盗用，最终造成了后续的问题。由此可见被盗取微信号的用户、被虚拟视频诈骗的用户反诈意识都有待加强，这也是现在整个社会面临的问题。”

抖音等大型平台企业也在制定有关AIGC的限制条款。

5月9日，抖音发布了《关于人工智能生成内容的平台规范暨行业倡议》，提到禁止利用生成式人工智能技术创作、发布侵权内容，包括但不限于肖像权、知识产权等，一经发现将严格处罚；此外还要求发布者对人工智能生成内容进行显著标识，加上统一的官方“水印”。而针对纯AI驱动型主播，平台提到：“使用已注册的虚拟人形象进行直播时，必须由真人驱动进行实时互动，不允许完全由AI驱动进行互动。”

谷歌则在5月11日的Google I/O大会上推出了其自研AI生成图像识别工具，借助这一工具用户可执行图片的反向搜索，确定图片的最初来源、是否系伪造图片。此外，谷歌自研的生成式AI工具将在每张图片中包含元数据、嵌入水印等信息，以表明这是AI生成的图像，而不是真实照片，避免用户被骗。

AI跑太快，护栏得跟上

短短几个月内，生成式AI技术的高速发展， 让一向被戏谑的“人工智障”跃升为人人开始担忧“被抢工作”的全能六边形战士。

就在人们在为AI的飞速进化欢呼雀跃时，研究机构未来生命研究所（Future Life Institute）公布了一封公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。

这绝对不是小题大做，人类该有点危机意识了。

马斯克、苹果联合创始人Steve Wozniak和Stability AI创始人Emad Mostaque在内的诸多科技大佬和AI专家已经签署公开信，他们认为，人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。

当AI发展开始超越人类能力时，“对社会和人类构成潜在风险”可能就不再只局限于一两起诈骗局中。

业内普遍认为：机器第一次有了智能属性，这意味着现有以人类智能为基础构建的法律秩序将受到全方位的冲击。最为迫切的是数据、算法引发的问题，包括个人信息权益保护、数据安全、数据的权属与利用、算法黑箱、算法歧视、算法霸权等。

IBM的全球伦理研究院就曾发文，倡导企业将伦理和责任置于其AI议程的首位。在国内一众大模型热、AIGC创业热的当下，追赶进度的同时，确保“技术不用于作恶”也是当务之急。

付伟向「市界」强调，在近期发生的诈骗案件中不能忽视的关键点是受害者手机号、微信号等关键个人信息的泄露。“现阶段个人信息泄露的违法成本太低了。”他认为，在技术供应商不断打磨精进技术、社会提升反诈意识的同时，还要呼吁反钓鱼、反个人信息泄露的相关法规更加完善。

国内，《生成式人工智能服务管理办法（征求意见稿）》也于4月11日公开征求意见，其第五条明确规定了提供者应当承担生成式人工智能产品生成内容生产者的责任，如果涉及个人信息的，还要承担个人信息处理者的法定责任。

值得一提的是，仅通过提供可编程接口等方式支持他人自行生成文本、图像、声音的主体，也同样被认定为提供者。这对大语言模型的技术服务商来说无疑是较大的法律责任。

联合国教科文组织的193个成员于2021年全票通过了《人工智能伦理问题建议书》，确立了各国未来的相关规制应遵循的基本框架，包括相称性和不损害、安全和安保、公平和非歧视、可持续性、隐私权和数据保护等10个基本原则。这个建议书的出台也表明，与人工智能相关的法规政策在先天上就是跨国性的问题，必须以国际的基本共识为依归。

任何一种革命性技术的到来，在发展不完备的前期，总是会伴随着认知冲击和潜在风险。

就像“冷门”歌手孙燕姿对“热门”AI孙燕姿的态度：“这项新技术将能够为每个人提供他们所需要的一切，无论是独立的、扭曲的还是疯狂的，都可能会有一种专门为你创作的独特内容。”

在互联网上留下了大量印迹的不只是名人网红，还有日日分享和输出大量信息的普通人类。这样的侵权危机也不会只发生一次。面对无法可挡的技术浪潮，坐在“爆米花席位”的人类，在保留纯净初心的同时，也要结合各方力量做好准备。

就像联合信中呼吁的那样，“让我们享受一个漫长的‘AI之夏’，而不是毫无准备地进入秋天。”