【编者按】深度伪造技术因其对信息安全、政治安全和国家安全的潜在威胁而引起各国监管者的关注。CSET的报告为我们提供了分析深度伪造技术所造成的威胁的一种具有实操性的评估框架。该报告传达的一个核心观点是，机器学习等AI技术并不会因为其技术先进性就一定会被虚假信息制作者所利用，深度伪造技术的使用是技术、社会和经济等因素综合作用的结果。因而我们的风险评估框架应当能够足够容纳多元的因素考量，而非仅考虑技术特性。成立于2019年1月的乔治城大学安全与新兴技术中心（CSET）是一家智库型研究机构，重点关注AI与先进算法对安全的影响，并向决策者提供客观中立的咨询建议。CSET入选宾夕法尼亚大学《2019年度世界最佳人工智能类智库榜》。
近年来，研究人员利用机器学习(ML)，尤其是深度学习，创造了大量高度逼真的假图像和视频，这一技术被称为 “深度伪造”。艺术家、恶作剧者和其他许多人随后利用这些技术制作了越来越多的音频和视频集，比如用来描述唐纳德-特朗普、巴拉克-奥巴马和弗拉基米尔-普京等国家领导人说出他们从未说过的事情。这种趋势已经引起国家安全专家的担忧，他们担心随着机器学习的进一步发展，将会继续出现如2016年俄罗斯干预美国大选一样的恶意操纵媒体的现象。
虽然机器学习带来的虚假信息泛滥的风险已经引起广泛的关注，但其中的关键性问题仍未得到解答。合成媒体技术的发展有多快？针对这些工具的商品化我们应当抱有什么样的合理预期？为什么虚假信息制造者会选择深度伪造，而不是具有同等效果的粗制滥造的虚假内容？什么样的主体可能会为了恶意的目的而使用深度伪造技术？他们将如何使用？政策制定者和分析者在制定应对相关风险的政策时往往缺乏具体的指导。
本报告通过分析关于深层伪造的技术文献，评估其威胁。本文得出两个主要的结论。
首先，随着技术的不断商业化，恶意使用粗制滥造的深度伪造将变得更加容易。然而，目前深层伪造检测相关的现状表明，这些伪造内容在很大程度上仍然是可以抑制。
其次，随着时间推移，由技术更加成熟的专业人员剪辑的伪造内容将会构成更大的威胁。且定制的深度伪造内容所需的必要素材较容易获得。但是，诸如避免归因的需要、训练一个机器学习模型所需的时间以及训练数据的可获得性，也将限制技术成熟的专业人员在实践中对定制的深度伪造的使用。
报告首先提出了一个评估深度伪造技术威胁的框架，用以分析虚假信息活动中应用深度伪造技术所存在的激励。
该风险评估框架建立在一个基本假设之上，即宣传者都是实用主义者。线上宣传者总是希望以最低的成本获得最大的宣传动员效果。因此，如果利用廉价、简单的剪辑、复制等虚假信息制造技术能够达到与深度伪造一样的效果，那么宣传者就不会选择使用机器学习与深度伪造。2016年俄罗斯干预大选即是如此。但是，过往经验也许并不足以指导将来。机器学习技术本身的快速发展将会改变虚假信息活动是否会创建更高质量的深度伪造内容。
深度伪造最大的优势在于能够生成足以假乱真的人物和场景动态描述。深度伪造可以重现各种微妙的细节--如令人信服的面部动作或粘贴到图像中的假物体的逼真阴影，使人很难识别图像或视频是骗局。至少，这种造假手段可能会对目标个人或场景产生足够的怀疑，造成混乱和猜疑。
但这种真实性的增强，并不一定能使深度伪造成为虚假信息活动的必然选择。完美地模拟声音或面部动作并不意味着内容就会被相信和分享。互联网上充斥着粗制滥造的各种假象，并且这些虚假信息也被广泛流传并被当作真实的例子。例如2019年众议院议长南希-佩洛西的虚假视频在社交媒体广泛传播，这些视频暗示佩洛西要么喝醉了，要么患有某种精神疾病。但这些不实信息并没有使用机器学习技术，而仅仅是将佩洛西在一次活动中演讲的真实视频放慢制作而成。
恶意行为人的虚假信息显然不需要达到视觉上的逼真效果。相反，利用“动机推理”机制--人们倾向于接受已经存在先入为主的偏见的信息--可能是更加重要的成功因素。这使得深度伪造成为一种不那么吸引人的炮制虚假信息的方法，特别是当宣传者在权衡成本和风险的情况下。
虚假宣传活动采用机器学习必然需要一定的运营成本。一般来说，创建高性能的人工智能系统需要获得足够的训练数据（使机器能够学习如何完成给定任务）和计算能力（执行训练过程所需的硬件设施）。根据深度伪造所描述的内容，获取训练数据、适当安排数据结构和运行训练过程均会产生巨大的费用。应用者可能还需要专业的知识，这使得深度伪造比目前网上虚假信息活动中使用的简单粗暴的媒体编辑与复制更为昂贵。
但另一方面，我们也应当看到，深度伪造技术越来越多地被集成到软件平台中，使用者不需要特殊的技术专长。易于使用、由机器学习驱动的软件可以轻易实现“人脸交换”--从图像或视频中删除一张脸同时插入另一张脸。技术的这一民主化进程有效地降低甚至消除了运营成本，使越来越多的用户在没有技术专长的情况下也可以使用深度伪造。
媒体操纵行为总是避免公开曝光。一个国家如果被发现有这种行为，可能会面临报复和制裁。社交媒体公司可以在发现媒体操控活动时实施 “去平台化”措施，删除账户，并以其他方式阻断恶意行为者接触用户。提高公众对媒体操控活动的了解可以让原本毫无戒心的民众提高警惕。
深度伪造技术的应用可能增加线上操控行动的曝光风险。用于制作深度伪装内容的机器学习模型可能会在图片、音频和视频中留下可疑的扭曲，并且这些扭曲在同一个公司发布的内容中通常是一致的。因此，深度伪造可能包含一种 “指纹”，使调查人员能够将所有源自同一操纵活动的虚假信息联系起来。因而调查人员则可以追踪该运动的具体来源，并对展开调查并警示大众。
平台也将给操控活动带来问题，因为线上信息传播的成功依赖于Facebook、Twitter、YouTube等中介机构。随着人们对深度伪造担忧的升级，这些平台已经创造了新政策禁止使用某些种类的合成媒体。这些平台政策包括使用检测算法进行执法，鉴于社交媒体内容规模的庞大性。选择使用深度伪造技术，操纵活动可能面临信息被平台迅速拿下或者标识为可疑的风险。
这些曝光和检测风险可能会导致深度伪造技术成为没有竞争力的虚假信息生成手段。手动复制多样来源的内容，并根据需要进行人工编辑，可能会避免一致“指纹”的出现。内容的多样性将会对检测算法的设计带来更大的挑战。同样的，挪用并以虚假或误导性的方式重新编辑内容，因为没有一致的模式，反而无法进行有效的自动过滤。
因此，深度伪造技术在虚假信息生成中的应用不仅取决于部署的成本，以及对潜在观众造成的影响，也取决于深度伪造检测技术以及平台、政府和日常用户对检测技术的应用情况。
恶意行为者是否选择利用深度伪造技术进行虚假信息宣传将由机器学习技术的性质决定。三个关键因素决定了线上媒体操控活动是否以及如何使用深度伪造技术。
1、深度伪造可以描述什么？虚假信息制造者只有在机器学习所生成的合成媒体可能塑造公共舆论或者在目标受众的观念中形成猜疑。
2、使用深度伪造的算力、人力和数据的要求。较高的生产成本将使深度伪造不如人工方法可行，而较低的生产成本将使深度伪造更有吸引力。
3、检测系统的有效性。以较低成本检测深度伪造内容的能力也将使机器学习的吸引力降低，而无效或者检测的高成本将使深度伪造更具吸引力。
第一，建立一个深度伪造的“动物园”。识别深度伪造内容依赖于快速获取能够被用于提升检测算法的合成媒体的例子。平台、研究人员以及公司应当投资建立一个深度伪造的“动物园”，用来聚合和在线免费提供合成媒体的数据集。
第二，鼓励发展更好的追踪技术能力。围绕深度学习的技术文献为我们理解虚假信息制造者可能如何使用深度伪造技术，以及他们将面临的限制等提供了关键性的洞见。然而，研究人员之间并不一致的记录实践阻碍了这种分析。研究团体、资助组织和学术出版商应努力制定针对报告生成模型的共同标准。
第三，检测的商业化。广泛传播的检测技术将会限制深度伪造的有效性。政府机构和公益组织应当为深度伪造检测的研究成果转化提供资助，将研究转化为能够用于媒体分析、对用户友好的应用程序。另外，对记者及其他可能成为深度伪造技术目标的专业人员进行定期培训，也可以降低公众受骗的威胁。
第四，创造具有“放射性”数据。最近的研究表明，数据集可以变得更具“放射性”。利用这类数据生成合成媒体内容的机器学习将会很容易被识别。利益相关主体应当积极鼓励对可能被利用来训练机器学习算法的公共数据库进行“放射性”标识。这将极大地降低检测商业化工具生成的深度伪造内容的成本。而这也将迫使专业的虚假信息制造者不得不利用他们自己的数据集，以避免识别风险。
