> >
研究速递 | 从法庭科学角度看深度伪造
研究速递 | 从法庭科学角度看深度伪造

研究速递 | 从法庭科学角度看深度伪造

2023-06-14 14:26:18
640.png

近来,AI换脸这一技术与电信诈骗的结合,让人们再一次绷紧了神经,类似于AI换脸的深度伪造视频在很早就成为了法庭科学的重要研究对象,许多鉴真系统都加入了深伪检测的功能。不久之前,FSI在对法庭科学近几年的发展情况进行归总,形成了几篇专业性的综述,下面我们将从法庭科学的角度为大家介绍视频取证。



深度伪造

深度伪造通常使用对抗生成网络(GAN)模型进行伪造。大多数Deepfake技术目前都基于对抗神经网络模型。这些网络能够生成‘几乎’无法检测到的媒体文件,如图像、视频和音频。这些‘无法检测’的媒体文件是通过生成模型和判别模型互相博弈产生的。GAN网络的第一部分是生成模型,输入真实的媒体训练样本A和无序的高维数据b,则高维数据b通过生成模型生成了类似于真实媒体训练样本的“生成样本”B。GAN网络的第二部分是判别模型,判别模型将A和B进行对比,从而判定给定样本是来自真实的训练模型A还是来自高维数据b。判别模型将结果返回给生成模型,生成模型保留和扩展判别模型中未检测到的样本特征以改进生成结果。这个过程迭代了很多次,直到判别模型无法再准确地预测给定样本是真实的还是生成的。


用造假币者(生成模型)和追查假币的警察(判别模型)二者之间的博弈来解释这一点。造假币者(生成模型)试图制造出看起来最真实的假币,而警察(判别模型)不断地研究新方法检测假币。二者相互博弈,最终达到纳什均衡。这一过程也适用于利用GAN生成的深度伪造。这时候生成模型生成的伪造媒体文件,会被判别模型给出0.5和0.5的真假数值——判别模型无法判别。


                                                640 (1).png




深度伪造检测


深度伪造检测的问题大多数情况被视为一个二分类问题,视频可以分为真和假。由于分类器需要特征来区分输入数据是真的还是假的,因此经常基于帧的特征、帧间特征训练学习,以便于后续分类器进行分类。



                                             640 (2).png




检测方式

深度伪造检测方法分为基于帧的和基于时间的。基于帧的检测方法是根据视频的异常帧来检测深度伪造,基于时间的方法是考虑帧间关系检测深度伪造。比较两种方法,基于帧的检测方法效率更高,基于时间的检测方法准确性更高。还有一些模型综合了两种方法,同时考虑帧内和帧间,这类方法称为时空方法。


检测特征


在法庭科学中大多数基于帧的检测方法都是基于对抗神经网络在生成深度伪造时留下的所谓伪影。这些伪影基本上是操作的痕迹,可以通过模型提取为特征。一些方法侧重于特定的伪影,而其他方法则采用更通用的方法。研究人员多是试图寻找虚假图像中的操作痕迹,这些痕迹包括:频率域、空间域和压缩域中的特征,纹理特征,图像显著性特征等等。



             640 (3).png



泛化检测

当前深度伪造的检测模型有很多,但是许多deepfake检测方法都有一个问题,如何能够泛化模型来提高对未知来源的假图像的检测能力。研究人员也为此提出了一些新的解决办法。

比如,借助生理信号特征进行检测。眨眼的模式称为Deepvision。由于眨眼是基于许多生理和认知因素的非自愿行为,因此眨眼模式中的重大变化或不自然行为可能表明视频伪造。部分研究人员使用对抗神经网络并训练模型来识别决定眨眼的生物因素(特征)。眼睛纵横比(EAR)通常被用来检测帧之间的眨眼,指的是眼睛所占面积的度量。它的值反映了眼睛是否睁开,当被摄体眨眼时,该帧的EAR值突然下降,一旦睁开眼睛就会再次上升,通过这种方式,眨眼的频率和眨眼所需的时间可以在图形中可视化,并通过模型进行分析,从而判断视频中的人脸是否为伪造的。

再比如,借助光流特征进行检测。光流描述了在两个连续帧上使用矢量矩阵场并比较跨帧的运动。基于多帧光流检测深度伪造方法。提取包含帧间相关性的光流场,CNN分类器可以将其用作分类的输入从而判断伪造视频中出现异常的光流。


           640 (4).png



图像真实性证明

在鉴伪的同时,也需要注意鉴真。这就引出了图像真伪检测中的主动检测方法。真实性证明系统不是检测虚假视频,而是试图验证一段内容在制作时是否真实。相关研究人员尝试使用区块链和分布式账本技术(DLT)来保证真实性和可追溯性的潜力,以打击数字欺骗,也有提出给图片打上数字水印、数字签名的方式对图片进行标记。在打击深度伪造的法学方法领域,这些方法是一种预防性方法。




此文转自微信公众号:寻痕识迹,如涉侵权,请联系后台删除~

相关商品推荐
VDEC 668 影像智鉴系统
VDEC 668 影像智鉴系统
VDEC 668 影像智鉴系统
去购买
模糊图像处理-视频清晰化处理-模糊影像-VDEC鹰探468模糊影像增强工作站
模糊图像处理-视频清晰化处理-模糊影像-VDEC鹰探468模糊影像增强工作站
模糊图像处理-视频清晰化处理-模糊影像-VDEC鹰探468模糊影像增强工作站
去购买