关键词:
多媒体安全
人脸伪造检测
深度学习
预训练模型
自监督学习
摘要:
随着生成式人工智能技术的发展,深度学习模型生成的视觉内容已经在互联网上广泛传播,其中人脸深度伪造技术(Deepfake)能够生成肉眼难以辨识的虚假人脸视频,这些内容被恶意使用将导致严重的信任危机,对网络空间中的认知安全构成严重的威胁。为了对抗深度伪造技术的负面影响,发展人脸伪造检测技术尤为重要。当前人脸伪造检测领域缺乏高质量的伪造人脸样本,真实人脸数据虽然丰富但是难以被有效利用。人脸伪造检测算法对于图像、视频检测的准确性有待提高,对未知伪造方法的泛化能力以及对压缩和其他扰动的鲁棒性也存在不足。
为了解决上述问题,本文基于任务迁移思想,将图像生成任务中的扩散模型迁移到人脸伪造检测的训练数据合成中,解决了缺乏高质量训练数据的问题。将细粒度图像分类任务中关注判别性区域的模型迁移到人脸伪造图像检测中,提高了检测准确性。将唇形运动特征迁移到人脸伪造视频检测中,使检测模型可以利用真实人脸视频进行自监督预训练以提升模型在人脸伪造检测任务上的表现。将通用人脸表征迁移到人脸伪造视频检测中,进一步提升了人脸伪造检测算法的泛化能力和鲁棒性。本文的主要研究工作和创新成果如下:
1.提出了基于图像生成任务迁移的训练数据合成算法
传统的训练数据合成使用图像粘贴算法,可以合成较为多样化的伪造人脸图像,改善了检测模型的泛化能力,然而该算法合成的训练样本质量不高。为解决这一问题,提出了基于图像生成任务迁移的训练数据合成算法,将扩散模型迁移到人脸伪造检测的训练数据合成中,通过可控的图像去噪过程,生成与背景人脸外观相似且无明显属性差异的图像,从而合成视觉质量更高的伪造人脸图像。但直接使用该算法可能导致检测模型对图像生成的痕迹过拟合,因此,采用对背景图像和真实图像进行单步重构操作,使检测模型仅关注可泛化的图像混合特征。实验结果表明,所提出的数据合成算法可以显著提升人脸伪造检测模型的泛化能力。
2.提出了基于细粒度分类任务迁移的人脸伪造检测算法
通过分析卷积神经网络不同尺度的特征图发现,浅层纹理特征可以有效捕捉不同类型的伪造痕迹,而这些痕迹通常集中存在于图像的局部区域,这一特点与细粒度分类任务中的判别性区域相似。因此,提出了基于细粒度分类任务迁移的人脸伪造检测算法,将细粒度分类中对判别性区域进行定位的思想迁移到人脸伪造检测中。所提出的算法利用多区域注意力关注图像中的关键区域,并结合根据伪造图像特点设计的纹理特征增强模块,增强模型对局部伪像的识别能力。为了解决多区域注意力网络在训练中容易发生退化的问题,提出了区域独立性损失函数以及注意力引导的数据增强策略。实验结果验证了所提出算法的有效性,并展示了其在多种网络结构中的通用性。
3.提出了基于音视频自监督预训练任务迁移的人脸伪造检测算法
伪造人脸视频的每一帧通常是独立生成的,伪造过程产生的表情偏差会导致伪造人脸视频的运动特征不具有真实人脸运动的连续性。为了利用这一特点进行伪造检测,提出了基于音视频自监督预训练任务迁移的人脸伪造检测算法,通过音视频自监督学习的方式训练模型提取语义层面的唇形运动特征,然后将运动特征迁移到人脸伪造检测任务,并设计了两阶段视频编码器:第一阶段专注于从视频帧中提取空域特征,而第二阶段从这些特征序列中建模时域运动信息;在自监督预训练完成后,通过微调使模型更好地适应于检测伪造视频中的运动异常。实验结果表明,所提出的算法对压缩视频的检测准确率有显著提高,并对未知伪造方法具有良好的泛化能力。
4.提出了基于通用人脸表征任务迁移的人脸伪造检测算法
除了缺乏运动连续性,伪造视频还存在帧间身份特征改变等其他语义不一致性。为了利用视频中更丰富的语义特征进行人脸伪造检测,提出了基于通用人脸表征任务迁移的人脸伪造检测算法,该算法首先利用文本-图像预训练模型提取人脸图像的多维度语义特征,然后通过时域适配模块将捕捉视频中不同人脸属性的动态变化,使模型能够直接对人脸身份、表情等高层语义信息进行时序建模;为了增加训练样本中伪造痕迹的多样性,还设计了一种高效的视频级自混合数据增强方法,使训练样本中每帧的伪造痕迹具有合理的动态变化。实验结果表明,精细的人脸语义表征所提供的先验知识有助于提高人脸伪造检测的泛化能力和鲁棒性。