警惕深度合成技术被滥用

　　深度合成技术就像一柄双刃剑，在带来欢笑和温情的同时，也带来新的威胁。

　　《瞭望东方周刊》特约撰稿邓之湄编辑陈融雪

　　近期《梦华录》热播，剧迷追剧有了新玩法——只需上传自己的照片，相关系统即可自动“换脸”，生成剧迷本人穿越到剧中做主角的流畅视频。

　　这个实现“过把主角瘾”的技术叫深度合成。作为AI技术的新应用、新实践，深度合成早已在音乐、影视、综合娱乐和社交等多个行业场景中被推广应用。业内人士认为，未来随着自动数据生成、全身合成、3D塑型等技术的逐渐成型，一个新的人类生存场景将以深度合成技术为基石展开。

　　值得注意的是，当真假交融难辨，眼见不再为实，深度合成技术就像一柄双刃剑，在带来欢笑和温情的同时，也带来新的威胁。

　　变声又变脸

　　通过深度合成技术，不法分子可轻易伪造音频、视频，实现变声、变脸，进行新型诈骗。

　　2021年，山东省公安厅网络安全总队公布了几个利用深度合成技术实施诈骗的案例。某公司财务接到领导电话要求立刻给供应商转款两万元，并将转账信息以邮件形式发送到对方邮箱。由于电话中老板的口音十分逼真，公司财务毫不怀疑地在一小时内完成了转账。

　　安徽省合肥市警方在公安部“净网2021”专项行动中打掉的一个犯罪团伙，其作案手法更令人吃惊。在警方抓捕现场，几名犯罪嫌疑人利用电脑将一张张静态照片制作为人脸动态视频。模拟制作出来的动态人物不仅能点头、摇头，还可完成眨眼、张嘴、皱眉等表情动作。原来，该团伙是通过伪造他人人脸动态视频，为黑灰产业链提供注册手机卡等技术支撑。

　　在上述犯罪嫌疑人的电脑里，警方发现了大量公民人脸数据。“身份证正反面照片、手持身份证照片、自拍照等，被称为一套。”民警介绍，成套照片被称为“料”，出售照片的人被称为“料商”，这些“料”在网上已转手多次，而“料”的主人却毫不知情。犯罪嫌疑人马某交代，由于制作简单，一个视频价格仅为2至10元，“客户”往往是大批量购买。

　　在深度合成技术加持下，不法分子“阴招迭出”：有的假冒领导口音打电话，骗公司员工转款；有的“化身”知名演员，让中老年影迷沉迷上当；还有的将女明星头像嫁接在不雅视频上，在色情网站大量播放，牟取利益。

　　应用场景广泛

　　根据国家互联网信息办公室2022年1月28日公布的《互联网信息服务深度合成管理规定（征求意见稿）》，深度合成技术指的是：利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术。

　　追溯起来，深度合成（Deep Synthesis）曾被称为Deepfake，即深度伪造。2017年，一位名叫“Deepfake”的用户在美国一网站上分享了篡改人脸的视频，将深度合成技术带到了大众面前。

　　最初，深度合成的目标人物主要是影音图像遍布互联网的公众人物，如明星、知名商界人士等，其伪造场景主要是公开讲话、搞笑视频等。为了吸引流量，境内外不少网站及UP主都对制作、发布“合成视频”热情高涨。

　　随着技术进步，深度合成在影视制作、广告营销、社交娱乐等领域应用不断丰富，包括AI合成主播、虚拟偶像、修复历史老照片等。与此同时，越来越多的企业机构利用深度合成技术提供面向公众的产品和服务：支持风格定制的特效视频制作软件；语音方向衍生出语音导航、有声读物等应用；文本合成在新闻报道、聊天问答等方面使用广泛。

　　2021年“元宇宙”概念的流行，为深度合成技术提供了更加宽广的应用场景。业内人士称，未来随着自动数据生成、全身合成、3D塑型等技术的逐渐成型，一个新的人类生存场景将以深度合成技术为基石展开。

　　清华大学人工智能研究院、国家工业信息安全发展研究中心等联合发布的《深度合成十大趋势报告（2022）》称，2017年以来，深度合成内容被大量创作和传播，关注度呈指数级增长。

　　以视频为例，通过检索国内外十家主流音视频平台，2021年新发布的深度合成视频数量为24317条，较2017年增长超10倍；新增点赞或喜欢达3.16亿次，呈指数级增长；平均每1000次播放，可产生8.92次点赞或喜欢，同时产生3.51次转发，进行新一轮传播。

　　在爱奇艺、腾讯视频、优酷、哔哩哔哩等主流音视频平台上，深度合成视频数量最多的类型是影视音乐，包含电影、电视剧、音乐等方面的内容。排名第二的视频类型为科技教育类，该类视频关注对深度合成技术的讲解和讨论，分享最新的研究成果。除此之外，排名第三到第五的视频类型分别为生活、娱乐和资讯类。

　　报告称，深度合成需求场景趋于多元且成熟，虚拟偶像、虚拟手语主播、老照片修复、劣迹艺人替换等新场景需求不断涌现。

　　比如在影视制作领域，深度合成技术已成为艺人出现劣迹后的救场工具。电视剧《长安十二时辰》《光荣时代》《突围》等多部作品均使用了该技术，而观众对影视作品AI换脸后的效果评价，已从最初的“惨不忍睹”变成“瑕不掩瑜”。

　　最暖心的应用案例或许要数对失独家庭的救助疗愈。2019年9月，一位母亲向阿里巴巴人工智能实验室求助，希望能将她患癌离世的14岁女儿做成可以交互的软件。3个月后，技术人员帮这位妈妈合成了一段长达20秒的语音存在天猫精灵里。在知乎的“失独妈妈把女儿做成AI，这样留下挚爱的方式你能接受吗？”问题下的166个回答中，持接受态度的网友达七成以上。

　　以技术规制技术

　　值得注意的是，深度合成技术就像一柄双刃剑，在带来欢笑和温情的同时，滥用的风险亦不断加剧。

　　随着技术的开放开源，普通人仅需少量图像、音频等样本数据，就能模煳真实和虚拟的边界。“现在你在任何社交平台都可以看到大量的虚假视频，有影视娱乐也有带有恶意的内容。”瑞莱智慧首席执行官田天称，技术滥用的危害涉及名誉侵害、财产损失甚至国家安全。

　　中国社会科学院科学技术和社会研究中心段伟文教授认为，由于人类对视觉更加信任，视觉上的伪造比其他形式的伪造影响更大。如果视频内容伪造频繁，公众对媒体的信任会极大地削弱，丧失对真相的信心。

　　对此，中国工程院院士、信息技术专家邬贺铨提出，深度合成衍生出的安全问题需从源头解决，以技术规制技术，以魔法打败魔法。

　　田天认为，深度合成和检测就像“猫鼠游戏”，双方都在不断的学习攻防中自我进化，规避上一代对抗技术，因此检测技术需要持续更新与迭代优化。

　　据介绍，早期的换脸视频尚存在“微表情不自然”“面部边缘有锯齿”等明显换脸痕迹，但随着技术成熟，深度合成内容已能以假乱真，传统的基于生物特征的鉴别方式越来越难以发挥作用。目前，对深度合成的检测主要依赖于人工智能模型，依赖于训练数据的完备性。

　　关于以魔法对抗魔法，浙江大学网络空间安全学院院长任奎提出了数据集不足的问题。“训练人工智能模型需要大量真实和伪造数据，但人脸和音频数据都是高度敏感的个人信息，难以获取。”他建议，由公信力高的非营利性机构把数据梳理出来,让合格的机构一起参与研究。

　　全社会协同治理

　　科技进步，不仅要挖掘出机器的智能，更应展现出人类驾驭技术的智慧。为应对深度合成技术恶意使用带来的挑战，各国纷纷出台相关法律法规。

　　美国从联邦和州层面进行了专门立法，欧盟将深度合成纳入《通用数据保护条例（GDPR）》等现有法律框架规制。德国、新加坡、英国、韩国等国家，均有适用于深度合成技术相关犯罪案件审理的法律法规。

　　我国也在积极探寻有效治理机制，2019年以来陆续出台《网络音视频信息服务管理规定》《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》等法规，对生成合成类内容等提出了不同程度的监管要求。2022年1月28日公布的《互联网信息服务深度合成管理规定（征求意见稿）》进一步提出,深度合成服务提供者深度合成服务时,应当使用显着方式对深度合成信息内容进行标识。若提供人脸、人声等生物识别信息的显着编辑功能,还需取得被编辑的个人信息主体的单独同意。

　　这将是一场持续的攻守。不少专家唿吁加大宣传普及力度，形成全社会协同治理格局。

　　“深度伪造的本质问题是透明度不足。”田天称，提高公众对深度合成技术的认知尤为重要，只有将门槛降低到所有受众能够在共同框架下认识、讨论、理解这个问题的时候，深度合成技术才能健康良性发展。