大家好，歡迎來(lái)到我們的星球知識(shí)小卡片專欄，本期給大家分圖像生成的核心技術(shù)點(diǎn)。
作者&編輯 | 言有三
1 基本圖像生成框架
一個(gè)基本的圖像生成框架包括判別器和生成器，其中生成器輸入噪聲向量，判別器判別真實(shí)圖像和生成的圖像，DCGAN是其中典型的代表，也是新手入門必須掌握的第一個(gè)框架。
2 條件GAN
DCGAN固然是可以生成滿足訓(xùn)練數(shù)據(jù)集中數(shù)據(jù)分布的圖片，但是卻沒(méi)有辦法進(jìn)行精確的控制，比如生成具體的某一類數(shù)字，或者某一類筆畫風(fēng)格，因此我們需要條件可以控制的網(wǎng)絡(luò)，這就是條件GAN，這也是新手必須掌握的內(nèi)容，是后續(xù)很多GAN變種的基礎(chǔ)。
3 級(jí)聯(lián)GAN
早期以DCGAN為代表的GAN網(wǎng)絡(luò)生成的圖片分辨率太低，質(zhì)量不夠好，都不超過(guò)100×100，這是因?yàn)殡y以學(xué)習(xí)一次性生成高分辨率的樣本，收斂過(guò)程容易不穩(wěn)定?；诖?，金字塔GAN(LAPGAN)，Progressive GAN等級(jí)連結(jié)構(gòu)被提出并廣泛使用，它們參考圖像領(lǐng)域里面的金字塔結(jié)構(gòu)由粗到精一步一步生成圖像，并學(xué)習(xí)殘差而不是完整的圖像。
4 多判別器與生成器
當(dāng)面對(duì)復(fù)雜的圖像生成問(wèn)題時(shí)，單個(gè)判別器和生成器的能力顯得就不夠了，因?yàn)槎鄠€(gè)判別器和生成器的結(jié)構(gòu)被研究者廣泛研究。采用多個(gè)判別器的好處帶來(lái)了類似于模型集成的優(yōu)勢(shì)，并且可以獨(dú)立完成不同的任務(wù)，而多個(gè)生成器的設(shè)計(jì)則可以實(shí)現(xiàn)生成器的分工合作，以提高模式豐富性。
5 GAN與VAE的結(jié)合
GAN和VAE是兩類最常見(jiàn)的生成模型，VAE的特點(diǎn)是可解釋性更強(qiáng)，不過(guò)生成結(jié)果比較模糊。GAN的特點(diǎn)是生成結(jié)果更加逼真，但是容易陷入模式崩塌等問(wèn)題。有許多研究致力于融合兩者的性能，如ALI，它包含了編碼器，解碼器以及判別器。
6 其他
總的來(lái)說(shuō)，圖像生成有非常多的研究方向，包括：
(1) 條件GAN的各類變種。
(2) 與VAE的結(jié)合。
(3) 多生成器多判別器改進(jìn)。
(4) 遞歸與多尺度設(shè)計(jì)。
(5) 各類層歸一化機(jī)制的使用。
(6) 注意力機(jī)制的使用。
(7) 從2D數(shù)據(jù)到3D數(shù)據(jù)的生成。
(8) 多模態(tài)技術(shù)的使用。
(9) 數(shù)據(jù)生成在數(shù)據(jù)增強(qiáng)，無(wú)監(jiān)督訓(xùn)練等任務(wù)中應(yīng)用。
(10) 其他等等。
以上內(nèi)容，如果你不想自己學(xué)習(xí)，可以去我們知識(shí)星球的網(wǎng)絡(luò)結(jié)構(gòu)1000變板塊—GAN板塊閱讀。
有三AI知識(shí)星球
知識(shí)星球是有三AI的付費(fèi)內(nèi)容社區(qū)，里面包括各領(lǐng)域的模型學(xué)習(xí)，數(shù)據(jù)集下載，公眾號(hào)的付費(fèi)圖文原稿，技術(shù)總結(jié)PPT和視頻，知識(shí)問(wèn)答，書籍下載，項(xiàng)目推薦，線下活動(dòng)等資源，了解詳細(xì)請(qǐng)閱讀以下文章：
轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系
侵權(quán)必究
聯(lián)系客服
