重磅干貨，第一時間送達
摘要
圖像-圖像轉換(I2I)近年來已經成熟，能夠生成高質量的真實感圖像。然而，盡管它目前取得了成功，但在應用于小領域時仍然面臨著重要的挑戰(zhàn)?，F有的方法使用遷移學習進行I2I翻譯，但它們仍然需要從頭學習數百萬個參數。這個缺點嚴重限制了它在小域上的應用。本文提出了一種新的用于I2I翻譯的遷移學習方法TransferI2I。作者將學習過程解耦到圖像生成步驟和I2I平移步驟。在第一步中，作者提出了兩種新的技術:源目標初始化和適配器層的自初始化。前者在源數據和目標數據上對預先訓練的生成模型(例如StyleGAN)進行微調。后者允許初始化所有非預訓練的網絡參數，而不需要任何數據。這些技術為I2I轉換步驟提供了更好的初始化。此外，作者還引入了一種輔助GAN，它可以進一步促進深度I2I系統(tǒng)的訓練，即使是從小數據集。在三個數據集(Animal faces, Birds, and Foods)上的廣泛實驗中，作者證明了作者優(yōu)于現有的方法，并且mFID在幾個數據集上的改進超過了25個點。
代碼鏈接：https://github.com/yaxingwang/TransferI2I
遷移學習可以大大減少對數據的需求;因此，本文將I2I應用于數據匱乏的領域。作者的主要貢獻是:
作者在有限的數據下探索I2I轉換，減少所需的標記數據量。
作者提出了幾個新技術(即源目標初始化、自初始化和輔助生成器)來促進這一具有挑戰(zhàn)性的設置。
作者在兩類和多類I2I平移任務中廣泛研究了所提出的方法的特性，并在高質量圖像中實現了顯著的性能改進。
框架結構
模型架構和培訓階段。這里的模塊來自前一階段，除非另有說明。使用預先訓練過的GAN(例如StyleGAN[27])作為G0和D0來初始化兩個GAN。(a) Source-target初始化對兩個域(即X1和X2)進行微調，形成兩個獨立的gan(即生成器G1和鑒別器D1，生成器G2和鑒別器D2)。(b)適配器層自初始化，對適配器A進行預訓練，對發(fā)生器G2和鑒別器D1進行對齊。(c) I2I平移模型由編碼器E、適配器層A、生成器G2、輔助生成器G0 2和鑒別器D2五個主要部分組成。注意編碼器E是由鑒別器D1初始化的。G0 2中未共享的權重部分(黃色部分)使用G2權重初始化。
條件模型架構和培訓階段。這里的模塊來自前一階段，除非另有說明。使用預處理過的GAN(如BigGAN[9])作為G0和D0來初始化GAN。(a)源-目標初始化對所有數據進行微調，以形成一個經過訓練的GAN模型(即，(b)適配器層的自初始化，預先訓練適配器A，并對齊生成器G和鑒別器D。作者只更新適配器層A。(c) I2I平移模型由五個主要部分組成:編碼器E，適配器層A，生成器G，輔助生成器G0和鑒別器d。注意編碼器E是由鑒別器d初始化的。G0中未共享的權重部分(黃色部分)是由G權重初始化的。
實驗結果
動物臉與食物的定性比較。輸入圖像在第一列中，其余的列顯示特定于類的翻譯圖像。
cat2dog-200數據集上生成的輸出示例。
cat2dog數據集上適配器的源和目標初始化和自初始化生成的示例。前兩列分別是StyleGAN和生成器在源和目標初始化后的輸出。剩下的列(G(Ai)(i = 0;1;2;3))為發(fā)電機G的對應輸出，G僅取適配器Ai(i = 0;1;2;3)。
作者提出了一種從圖像到圖像的遷移學習中獲益的方法。作者將學習過程解耦為圖像生成和I2I翻譯步驟。第一步包括適配器的源-目標初始化和自我初始化，目的是學習更好的I2I轉換初始化(第二步)。此外，作者還引入了一個輔助發(fā)電機，以克服發(fā)電機深層使用效率低下的問題。作者的實驗證實，所提出的遷移學習方法即使在只有很少標記樣本的情況下，也能取得最先進的結果，優(yōu)于最近的方法，如deepI2I和starGANv2
論文鏈接：https://arxiv.org/pdf/2105.06219.pdf
每日堅持論文分享不易，如果喜歡我們的內容，希望可以推薦或者轉發(fā)給周圍的同學。
聯系客服
