科研動(dòng)態(tài)
基于多尺度時(shí)空信息挖掘的深度偽造人臉視頻檢測(cè)
中文題目：基于多尺度時(shí)空信息挖掘的深度偽造人臉視頻檢測(cè)
論文題目：Mining Generalized Multi-timescale Inconsistency for Detecting Deepfake Videos
錄用期刊/會(huì)議：International Journal of Computer Vision (CCF-A類(lèi)期刊)
原文DOI：https://doi.org/10.1007/s11263-024-02249-7
原文鏈接：https://link.springer.com/article/10.1007/s11263-024-02249-7
錄用/見(jiàn)刊時(shí)間：2024.10.9
作者列表：
1）于 洋 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 電子系 教師
2）倪蓉蓉 北京交通大學(xué) 計(jì)算機(jī)與技術(shù)學(xué)院 信息科學(xué)研究所 教師
3）楊思遠(yuǎn) 南洋理工大學(xué) 電氣與電子工程學(xué)院 ROSE實(shí)驗(yàn)室 博士后
4）倪 禹 字節(jié)跳動(dòng)
5）趙 耀 北京交通大學(xué) 計(jì)算機(jī)與技術(shù)學(xué)院 信息科學(xué)研究所 教師
6）Alex C. Kot南洋理工大學(xué) 電氣與電子工程學(xué)院 ROSE實(shí)驗(yàn)室 教師
摘要:
近年來(lái)，人臉視頻偽造技術(shù)的進(jìn)步帶來(lái)了新的社會(huì)安全隱患?，F(xiàn)有檢測(cè)方法的泛化能力較弱，主要由于時(shí)空異常信息提取不足和難以應(yīng)對(duì)不同偽造技術(shù)間的分布差異。為解決這些問(wèn)題，本文提出了一種創(chuàng)新的檢測(cè)算法，重點(diǎn)在于挖掘多尺度時(shí)空信息捕捉全面的異常偽影，并減少特征分布差異，從而提升模型的泛化性能。實(shí)驗(yàn)結(jié)果表明，本文算法在深度偽造視頻檢測(cè)方面優(yōu)于現(xiàn)有的最先進(jìn)方法。
背景與動(dòng)機(jī):
深度偽造視頻是逐幀生成的，可能造成時(shí)空異常信息。因此挖掘時(shí)空信息線(xiàn)索在提升深度偽造視頻的檢測(cè)能力方面具有關(guān)鍵作用。時(shí)空異常信息會(huì)存在于短時(shí)連續(xù)幀中，同時(shí)也會(huì)存在于長(zhǎng)時(shí)非連續(xù)幀中，先前的研究忽略了兩種時(shí)間視角的交互作用，導(dǎo)致時(shí)空異常信息提取不足。另外，偽造技術(shù)和數(shù)據(jù)集之間的存在較大的分布差異，現(xiàn)有算法無(wú)法處理。在此背景下，全面挖掘時(shí)空異常信息及和更好應(yīng)對(duì)不同偽造技術(shù)間的分布差異顯得尤為重要。
設(shè)計(jì)與實(shí)現(xiàn):
圖1 基于多尺度時(shí)空信息挖掘的深度偽造人臉視頻檢測(cè)框架
檢測(cè)算法框架如圖1所示，首先構(gòu)建短時(shí)連續(xù)時(shí)間視圖，通過(guò)稀疏采樣選取關(guān)鍵動(dòng)態(tài)不一致幀組。采用多路徑時(shí)空信息放大模塊，精準(zhǔn)挖掘細(xì)微時(shí)空異常。其次，構(gòu)建長(zhǎng)時(shí)時(shí)間視圖，通過(guò)圖卷積網(wǎng)絡(luò)同時(shí)學(xué)習(xí)多個(gè)時(shí)間組之間的關(guān)系，全面整合各時(shí)間組的交互效應(yīng)，以全面捕捉時(shí)空異常。最后，設(shè)計(jì)域?qū)R模塊，通過(guò)縮小不同偽造技術(shù)或數(shù)據(jù)集間的域間距離并擴(kuò)大域內(nèi)樣本間的距離，構(gòu)建更具泛化能力的特征空間。該算法的總損失為，包括真假分類(lèi)損失及域?qū)R損失：
其中域?qū)R損失包括域間距離縮小損失及域內(nèi)距離擴(kuò)大損失：
通過(guò)以上損失函數(shù)，域?qū)R損失可以直接消除特征分布中的域偏差，我們的框架被引導(dǎo)學(xué)習(xí)域不變的不一致性表示，從而進(jìn)一步提高檢測(cè)深度偽造視頻的泛化能力。
實(shí)驗(yàn)結(jié)果及分析:
我們準(zhǔn)備了6個(gè)偽造人臉視頻數(shù)據(jù)集，對(duì)于單數(shù)據(jù)庫(kù)內(nèi)的檢測(cè)，我們的方法基本可以達(dá)到97%以上的準(zhǔn)確率，如下圖。
圖2 單數(shù)據(jù)庫(kù)內(nèi)的檢測(cè)結(jié)果
我們進(jìn)一步評(píng)估所提算法在檢測(cè)未知偽造技術(shù)檢測(cè)方面的泛化能力。在此檢測(cè)任務(wù)中，在FF++數(shù)據(jù)集中使用留一法策略進(jìn)行實(shí)驗(yàn)，檢測(cè)準(zhǔn)確率可以達(dá)到93%以上，如下圖。
圖3 未知偽造技術(shù)的檢測(cè)結(jié)果
另外，在四個(gè)時(shí)空偽造數(shù)據(jù)集上進(jìn)行了跨數(shù)據(jù)集檢測(cè)實(shí)驗(yàn)，模型在所有評(píng)估指標(biāo)方面都取得了更好的表現(xiàn)，如下圖。
圖4 跨數(shù)據(jù)集的檢測(cè)結(jié)果
結(jié)論:
現(xiàn)有檢測(cè)方法泛化能力較弱，主要由于時(shí)空異常提取不足和偽造技術(shù)間分布差異。為此，本文提出創(chuàng)新檢測(cè)算法，挖掘多尺度時(shí)空信息并減少特征分布差異，提升模型泛化性能。實(shí)驗(yàn)結(jié)果表明，該算法在深度偽造視頻檢測(cè)上優(yōu)于現(xiàn)有最先進(jìn)方法。
作者簡(jiǎn)介:
于洋，特任崗位副教授，2017年本科畢業(yè)于中國(guó)石油大學(xué)（北京）測(cè)控技術(shù)與儀器專(zhuān)業(yè)，2024年于北京交通大學(xué)獲信號(hào)與信息處理專(zhuān)業(yè)博士學(xué)位，2021年獲國(guó)家留學(xué)基金委資助于新加坡南洋理工大學(xué)進(jìn)行博士聯(lián)合培養(yǎng)。研究方向主要關(guān)注于多媒體信息安全，包括數(shù)字圖像取證、數(shù)字視頻取證以及深偽音視頻取證等領(lǐng)域。在TMM、TCSVT、TOMM、SP、SPL、SPIC、ICASSP、PRCV等國(guó)際會(huì)議和期刊上發(fā)表學(xué)術(shù)論文10余篇，研究成果支撐國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目、面上項(xiàng)目及企業(yè)橫向項(xiàng)目中關(guān)鍵指標(biāo)的完成。擔(dān)任TMM、TIFS、TDSC、TIP等期刊審稿人。