最近開始在學(xué)習(xí) Deep Learning 的基礎(chǔ)知識(shí),找了些文獻(xiàn)來(lái)讀,覺得有些晦澀。目前對(duì)于 DBN 的算法框架已經(jīng)有個(gè)大概了解,但具體實(shí)現(xiàn)細(xì)節(jié)還不是太清楚,在網(wǎng)上搜到了日本學(xué)者 Yusuke Sugomori 在 Github 上的一個(gè) deeplearning 項(xiàng)目,認(rèn)真讀了其 C 語(yǔ)言的版本,感覺收獲蠻大,特將程序翻譯成數(shù)學(xué)描述,希望對(duì)正在讀或者將要讀這個(gè)代碼的朋友有些幫助。
注意,本文只是客觀翻譯程序,并作一些相關(guān)的評(píng)注,個(gè)人覺得這個(gè)程序與目前流行的 DBN 算法有較大差別,不能直接用來(lái)實(shí)戰(zhàn)。學(xué)習(xí) Deep Learning 的朋友可將其作為入門,特別是用來(lái)理解 Contrastive Divergence 和 Gibbs Sampling 比較有幫助。
補(bǔ)充:
文中描述的算法在框架上問(wèn)題不大,但在一些細(xì)節(jié)處理上可能有些問(wèn)題,例如,關(guān)于 RBM 中的參數(shù)刷新公式, fine-tuning 過(guò)程中并沒有將之前的層聯(lián)級(jí)微調(diào)等,望讀者知曉。另外,關(guān)于 RBM 算法,我后來(lái)又花了點(diǎn)功夫?qū)W習(xí)了一下,并整理成系列博客(見下面的鏈接),供大家參考。
目錄鏈接
(五)梯度計(jì)算公式作者: peghoty
出處: http://blog.csdn.net/peghoty/article/details/9079973
歡迎轉(zhuǎn)載/分享, 但請(qǐng)務(wù)必聲明文章出處.
聯(lián)系客服