Python入門與進(jìn)階 2021-08-13
新智元報(bào)道 ，來(lái)源：GithubAI換臉技術(shù)「船新」升級(jí)，DeepFaceLive推出實(shí)時(shí)換臉軟件，一鍵安裝，新手友好，換臉后絲毫看不出破綻。
歡迎光臨「DeepFace整容所」！
無(wú)需開(kāi)刀！無(wú)需微創(chuàng)！
雙眼皮、開(kāi)眼角、瘦臉統(tǒng)統(tǒng)都不在話下！
讓你秒變帥哥美女！
給你看看現(xiàn)在已經(jīng)非常成熟的「整容技術(shù)」：
一個(gè)軟件就能直接將Angela Baby整成迪麗熱巴！只要迪麗熱巴的淚痣和嘴？沒(méi)問(wèn)題！而這次，「整容技術(shù)」有了全新的升級(jí)！給直播間的網(wǎng)紅「實(shí)時(shí)整容」！沒(méi)錯(cuò)，這就是DeepFaceLive的實(shí)時(shí)換臉軟件。DeepFaceLive項(xiàng)目地址：https://github.com/iperov/DeepFaceLive只要打開(kāi)軟件，就能夠?qū)崟r(shí)處理直播中的視頻，給主播換臉。不同性別換臉，DeepFaceLive也能夠完全駕馭。團(tuán)隊(duì)這次推出的軟件除了能夠給直播視頻實(shí)時(shí)換臉，還能在視頻通話的時(shí)候換臉。當(dāng)然了，人臉替換的模型要先經(jīng)過(guò)DeepFaceLab算法訓(xùn)練。論文地址：https://arxiv.org/pdf/2005.05535.pdf現(xiàn)在網(wǎng)絡(luò)上95%以上的Deep Fake視頻都是用DeepFaceLab制作的。DeepFaceLab項(xiàng)目地址：https://github.com/iperov/DeepFaceLab這次DeepFaceLive的推出，肯定會(huì)有更多好玩的視頻甚至是直播了。軟件運(yùn)行起來(lái)也非常簡(jiǎn)單，只需要有64位的Win 10系統(tǒng)和NV的顯卡就可以了。人臉檢測(cè)器集成了YoloV5、S3FD以及CenterFace。可以修改簡(jiǎn)單的參數(shù)，調(diào)整人臉對(duì)齊的效果。人臉標(biāo)記器提供了基于CPU加速的OpenCV LBF和基于GPU加速的Google FaceMesh。在人臉交換器中，需要載入用戶提前用DeepFaceLab訓(xùn)練好的模型。詳細(xì)教程可以訪問(wèn)：https://github.com/iperov/DeepFaceLive/blob/master/doc/setup_tutorial_windows/index.mdLab不需要手工挑選特征就可以實(shí)現(xiàn)流暢和逼真的換臉效果。只需要兩個(gè)視頻：源視頻（src）和目標(biāo)視頻（dst）。不僅如此，兩個(gè)視頻之間還不需要匹配相同的面部表情。Lab的第一個(gè)階段是從src和dst數(shù)據(jù)中提取人臉。在Lab中，S3FD被用作默認(rèn)的人臉檢測(cè)器。Lab提供了兩種典型的面部坐標(biāo)提取算法來(lái)解決這個(gè)問(wèn)題：- 基于熱圖的面部坐標(biāo)算法2DFAN（適用于具有標(biāo)準(zhǔn)姿勢(shì)的人臉）
- 具有三維面部先驗(yàn)信息的PRNet（適用于具有大歐拉角的人臉，例如其中的一側(cè)不在視線之內(nèi)）。
在檢索出面部坐標(biāo)后，Lab提供了一個(gè)可配置時(shí)間步長(zhǎng)的可選函數(shù)，以平滑單次拍攝中連續(xù)幀的面部坐標(biāo)，進(jìn)一步確保穩(wěn)定性。然后，利用經(jīng)典的點(diǎn)模式映射和轉(zhuǎn)換方法來(lái)計(jì)算用于面部對(duì)齊的相似性轉(zhuǎn)換矩陣。由于在計(jì)算相似性轉(zhuǎn)換矩陣時(shí)需要標(biāo)準(zhǔn)的面部坐標(biāo)模板，因此Lab提供了一個(gè)規(guī)范的對(duì)齊的面部坐標(biāo)模板。此外，Lab可以利用獲得的面部坐標(biāo)自動(dòng)預(yù)測(cè)歐拉角。在對(duì)齊之后，得到了一個(gè)帶有標(biāo)準(zhǔn)正面或側(cè)面視圖的臉部數(shù)據(jù)文件夾。我們?cè)诖嘶A(chǔ)上采用精細(xì)的人臉?lè)指罹W(wǎng)絡(luò)（TernausNet），準(zhǔn)確地分割出有頭發(fā)、手指或眼鏡遮擋的人臉，同時(shí)也可以移除不規(guī)則的遮擋物。由于一些SOTA人臉?lè)指钅Ｐ驮谀承┨囟ǖ溺R頭中無(wú)法生成細(xì)粒度的掩碼，因此Lab將XSeg引入。XSeg允許用戶使用多張照片來(lái)訓(xùn)練模型，從而分割特定的人臉。在XSeg的幫助下，用戶可以用它來(lái)消除手、眼鏡和任何其他可能覆蓋面部的物體的遮擋，并控制特定的區(qū)域進(jìn)行交換。
由于作者希望不用對(duì)src和dst的面部表情進(jìn)行嚴(yán)格的匹配，因此Lab提出了兩種結(jié)構(gòu)來(lái)解決這個(gè)問(wèn)題。DF結(jié)構(gòu)包括一個(gè)編碼器以及src和dst之間共享權(quán)重的Inter，兩個(gè)分別屬于src和dst的解碼器。src和dst的泛化是通過(guò)共享的Encoder和Inter實(shí)現(xiàn)的。DF結(jié)構(gòu)可以完成換臉的任務(wù)，但不能從dst繼承足夠的信息，而LIAE結(jié)構(gòu)則可以用來(lái)解決光線的一致性問(wèn)題。LIAE的結(jié)構(gòu)要更復(fù)雜，有一個(gè)共享權(quán)重的編碼器，一個(gè)解碼器和兩個(gè)獨(dú)立的輸入器。此外，Lab默認(rèn)使用混合損失（DSSIM+MSE）。DSSIM可以更快生成人臉，而MSE可以提供更好的清晰度。此外，作者采用了一種真實(shí)面孔模式TrueFace，它可以在轉(zhuǎn)換階段使生成的面孔與dst有更好的相似性。從結(jié)果來(lái)看，最終生成的臉的質(zhì)量有著明顯的提升。以前的方法往往忽略了轉(zhuǎn)換階段的重要性。而Lab可以讓用戶將src的臉換到dst，也可以逆向操作。為了保持人臉膚色一致，Lab又提供了五種顏色轉(zhuǎn)移算法（Reinhard顏色轉(zhuǎn)移、迭代分布轉(zhuǎn)移等）。Lab的liae架構(gòu)模型自帶光影學(xué)習(xí)，在處理不同的膚色、臉型和光照條件的混合時(shí)，只要邊緣羽化一下兩張臉的結(jié)合處就不會(huì)顯得突兀。由于SOTA模型所生成的臉部，或多或少都是平滑的，缺乏微小的細(xì)節(jié)（例如，痣，皺紋）。因此，Lab集成了一個(gè)預(yù)先訓(xùn)練好的臉部超分辨率神經(jīng)網(wǎng)絡(luò)用作混合后臉部的銳化。作者采用來(lái)自FaceForensics++數(shù)據(jù)集的開(kāi)源項(xiàng)目來(lái)測(cè)試換臉結(jié)果。為了公平起見(jiàn)，作者將訓(xùn)練時(shí)間限制在3小時(shí)內(nèi)，并采用了一個(gè)具有DF結(jié)構(gòu)的輕量級(jí)的模型：Quick96，其輸出分辨率為96×96。此外，作者使用Adam優(yōu)化器（lr=0.00005，β1=0.5，β2=0.999）對(duì)模型進(jìn)行優(yōu)化。
這些模型的訓(xùn)練都是在NVIDIA GeForce GTX 1080Ti GPU和Intel Core i7-8700 CPU上訓(xùn)練的。FaceForensics++人臉圖像的定性換臉結(jié)果與DeepFakes和Nirkin的模型相比，Lab可以保留更多的姿勢(shì)和表情。此外，轉(zhuǎn)換階段加入了超分辨率網(wǎng)絡(luò)，Lab可以輸出更有靈氣的眼睛和線條明顯的牙齒。不過(guò)這種效果無(wú)法在SSIM的分?jǐn)?shù)上體現(xiàn)出來(lái)。研究人員不斷追求效果自然，AI換臉技術(shù)也變得越來(lái)越「無(wú)懈可擊」。如今直播帶貨行業(yè)乘著技術(shù)發(fā)展的翅膀，讓商家們能夠獲利更多。軟件的開(kāi)發(fā)者「不愿透露姓名的滾石」表示，如果直播帶貨行業(yè)能夠使用這個(gè)換臉軟件，靈魂有趣但顏值不夠的帶貨主播就能擁有高顏值，提高直播間吸引力。大大降低了商家開(kāi)直播間成本的同時(shí)，還能夠提高直播間的吸引力。這位開(kāi)發(fā)者同時(shí)也表達(dá)了他的擔(dān)憂：一但軟件得到廣泛應(yīng)用，心懷不軌的人可能會(huì)利用實(shí)時(shí)換臉技術(shù)進(jìn)行詐騙勒索。以往的換臉技術(shù)最多只能對(duì)視頻換臉，如果要詐騙，只要保持警惕，視頻很快就會(huì)露餡兒。但如果實(shí)時(shí)換臉技術(shù)被用于詐騙，在這個(gè)真真假假的虛擬世界中，可能大部分人都沒(méi)有辦法分辨屏幕那端是不是「本尊」。如果詐騙的是我們的父母這樣年紀(jì)大一點(diǎn)的人，對(duì)方能夠和父母互動(dòng)，原本辨別力就不高的他們可能很容易就會(huì)被騙轉(zhuǎn)賬。在這個(gè)AI世界里，人與人之間還能保有最后一份真誠(chéng)嗎？參考資料：
DeepFaceLive項(xiàng)目地址：https://github.com/iperov/DeepFaceLive
DeepFaceLab項(xiàng)目地址：https://github.com/iperov/DeepFaceLab
DeepFaceLab論文地址：https://arxiv.org/pdf/2005.05535.pdf
中文論壇地址：https://dfldata.xyz
- EOF -
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
