最近一段時間,以擴散模型為代表的生成模型越來越能逼真地生成圖像和視頻,一方面是一群人的狂歡,這是AI的進步,另一方面卻是另一群人的擔憂,這是AI的危險。
AI技術可以造福人類,當然也可以用來作惡。
社交媒體上的視頻造假已經(jīng)讓大家不再堅信“眼見為實”,而金融領域的人臉偽造則成為必須面對的系統(tǒng)性威脅。
可以看到,經(jīng)過編輯后的圖像整體表現(xiàn)還算比較自然,但仔細放大,還是有一些不和諧的痕跡。
所以面向多媒體數(shù)據(jù)的篡改(Tampering ,偏向于多媒體內容的編輯修改)和人臉偽造(Deepfake ,偏向于對多媒體數(shù)據(jù)中人臉部分的編輯修改)檢測技術越來越重要了,成為研究社區(qū)不得不討論的話題。
那么,AI可以打敗AI嗎?
今天向大家推薦一篇新出的論文『Fighting Malicious Media Data: A Survey on Tampering Detection and Deepfake Detection』,作者參考了377篇文獻,系統(tǒng)性綜述了篡改與人臉偽造檢測領域的相關概念、數(shù)據(jù)集、技術分類與未來趨勢。
論文地址:https://arxiv.org/abs/2212.05667
作者來自復旦大學與馬里蘭大學。
▲篡改檢測與人臉偽造檢測技術示意圖
可見,篡改檢測(Tampering Detection)要對“整幅圖片”進行判斷是否經(jīng)過篡改,如果有的話,以Mask的形式將篡改部分標識出來。
而人臉偽造檢測(Deepfake Detection)是對“人臉區(qū)域”進行分類,給出是否是經(jīng)過人為編輯偽造的。
▲論文總結的相關技術縱覽
其中 Genetation(生成) 指篡改與偽造技術,Detection(檢測)是指相關檢測技術。First/Second/Third Gen指第一代、第二代、第三代數(shù)據(jù)集。
▲圖像篡改的三種模式
作者列出了篡改檢測相關數(shù)據(jù)集:
從統(tǒng)計數(shù)據(jù)看,年份越近的數(shù)據(jù)集,數(shù)量越大,人工編輯的模式越多。
▲相關數(shù)據(jù)集展示
作者列出的四種常見的人臉偽造方式:
▲四種常見的人臉偽造方式
圖中(a)為整張臉合成,(b)按特定輸入對人臉進行編輯,(c)則為換臉,(d)有參考對象的人臉編輯。
在人臉偽造上,技術越走越遠,越來越高清逼真,如下圖:
第三代數(shù)據(jù)集不僅數(shù)量大(數(shù)量級的提升),而且方法多樣。
這是不是也說明造假的人也越來越多,越來越努力了???。。。
當然,人臉偽造檢測技術也在不斷發(fā)展,下圖為檢測的可視化結果:
在視頻領域時空一致也能幫我們判斷一部分偽造:
圖中,眼睛一直閉著呢,嘴巴卻不停張合。
最后作者也提到了這一領域面臨的挑戰(zhàn)與方向:
END
聯(lián)系客服