作者來自日本福井大學和澳大利亞肯迪大學。
論文標題：Continuous Color Transfer
論文鏈接：https://arxiv.org/abs/2008.13626
引言：圖像編輯研究方向有圖像風格遷移，圖像增強，圖像補全，該論文是對圖像中色彩進行遷移的一篇新作（色彩遷移是指將一副參考圖像的顏色特征傳遞給另一幅目標圖像，使目標圖像具有與參考圖像相似的色彩）
色彩遷移是當前計算機視覺、虛擬現(xiàn)實與可視化等領域的一個新興的技術。為大家熟知的美圖秀秀、激萌、美拍等一系列修圖軟件，它們其中的一些濾鏡就用到了色彩遷移的相關技術。
論文貢獻
該論文的貢獻可以分為三部分分別如下所示：
· 作者提出了一種新的顏色（色彩）遷移方法，它是以一個實例圖像和一個源圖像為輸入，實現(xiàn)連續(xù)的顏色傳輸。
· 作者引入了一個正則化項目的是更好的保留梯度信息，并在有限步內(nèi)中求解出目標函數(shù)的梯度。
· 作者通過大量的實驗表明，本文提出的方法要優(yōu)于其它的基準技術。
核心思想
在該論文中作者提出在一個概率框架下的顏色遷移模型，并將其轉化為一個參數(shù)估計問題。
在高斯混合模型（GMM）下，作者將傳輸圖像與示例圖像相關聯(lián)，并將傳輸圖像的顏色視為GMM的質心，并且使用期望最大化（EM）算法（Estep和M-step）進行優(yōu)化。
為了更好地保留梯度信息，在M 步引入了一個基于拉普拉斯的正則化項，通過推導梯度下降算法來求解。
模型介紹
如下圖所示為該論文的算法原理模型圖。在GMM（高斯混合模型）的框架下建立顏色傳遞模型，然后采用EM（期望最大化優(yōu)化不是似然估計）算法對所涉及的參數(shù)進行優(yōu)化。
通俗的理解就是作者把顏色傳遞看作一個參數(shù)估計問題，為了更好地保存梯度信息，在目標函數(shù)中引入梯度正則化項。算法的細節(jié)部分會在下面一一進行展開介紹。
概率模型
期望最大化優(yōu)化
求解和是一個棘手的問題，由上式可以得到關于的部分推導，如下偏導公式可知：
一看上面的公式就會覺得頭大，作者為了簡便計算量推導出了一個更加簡單的梯度下降算法，則可以更新為如下所示：
其中，，并且是一個超參。論文中為了更好地控制梯度下降步驟作者將參數(shù)作為可控超參數(shù)。求解后，就需要更新，其中具體的更新形式如下所示：
為了讀者方便，將論文中的算法流程重新進行了整理如下圖所示，論文中的方法能夠通過增加EM迭代次數(shù)來生成連續(xù)的顏色傳遞結果。
實驗結果
作者采用了兩個主要的指標來進行定量實驗
一個是SSIM（結構相似性，該指標分數(shù)越高說明圖像之間的相似度越大，在該論文中SSIM表示方法引起的偽影程度）
另一個是PSNR （峰值信噪比，表示的是圖像之間的平均誤差）。這兩個指標都是用于評估輸出圖像與其對應的源圖像之間的差異。
實驗中，作者強調(diào)其方法可以生成一系列的顏色傳遞結果，但只是選擇在最后一次迭代中使用結果來進行所有比較。
如下表所示論文中作者的方法平均優(yōu)于其它方法，這表明在進行顏色轉換時，對源圖像結構的損傷較小。
另外，論文中的方法產(chǎn)生了更高的PSNR，這說明論文的顏色轉移方法產(chǎn)生的全新信息較少。
下圖展示了隨EM迭代次數(shù)的增加的變化變化情況。可以看出，負對數(shù)似然在前20次迭代中急劇下降，并且隨著迭代次數(shù)的增加趨于穩(wěn)定（即收斂），這種迭代成本和速度是可以接受的。
可視化對比實驗中作者采用了三個數(shù)據(jù)集，分別是house數(shù)據(jù)集，parrot數(shù)據(jù)集，flower2數(shù)據(jù)集，這些數(shù)據(jù)集都是公開可獲取到的。
從可視化對比實驗可以發(fā)現(xiàn)，其它的方法要么通過拉伸輸入顏色直方圖來實現(xiàn)的遷移，但更傾向于產(chǎn)生全局過飽和顏色；要么是通過找到一個合適的線性和非線性顏色映射，但會出現(xiàn)一些偽影。
而論文中的方法可以通過增加迭代次數(shù)來創(chuàng)建各種顏色轉移結果，這為真實應用中的用戶提供了靈活性，而且這些結果看起來很自然，顯示了顏色遷移的漸變，而不需要建立任何顏色對應關系，對應的結果示意圖如下2張圖所示：
在看，讓更多人看到
聯(lián)系客服
