說起神經(jīng)網(wǎng)絡(luò)，當然不得不提起的就是Hinton大神，Hinton是加拿大多倫多大學(xué)計算機系的教授，是杰出的機器學(xué)習和人工智能的學(xué)者。與 Lecun、Bengio 合稱為深度學(xué)習的三大神，是現(xiàn)在深度學(xué)習領(lǐng)域最火的人物。
那上面提到神經(jīng)網(wǎng)絡(luò)和深度學(xué)習，這兩者之間有什么區(qū)別呢？其實簡單的說來，深度學(xué)習就是改造后的深層神經(jīng)網(wǎng)絡(luò)。先來I說說神經(jīng)網(wǎng)絡(luò)。
神經(jīng)網(wǎng)絡(luò)是從80年代開始火起來，并且在當時被認為是人工智能的希望，在理論上神經(jīng)網(wǎng)絡(luò)可以表示與或運算，那么多層就可以表示任意的任意的與或運算。并且發(fā)明了反向傳播算法（BackPropagation，BP算法），用來最優(yōu)化求解神經(jīng)網(wǎng)絡(luò)。
那么到了90年代，神經(jīng)網(wǎng)絡(luò)就漸漸開始沒落。為什么呢？一個是因為神經(jīng)網(wǎng)絡(luò)在理論上并不完善，沒有嚴謹?shù)睦碚撝?。并且神?jīng)網(wǎng)絡(luò)一旦層數(shù)變多，變深，最優(yōu)化求解就變得非常難，然而此時出現(xiàn)了支持向量機（Support Vector Machine，SVM）。支持向量機是一個在理論上有嚴謹證明的方法，所以此時SVM開始火起來，并且被認為是神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的繼任者。更有甚者，此時在著名的計算機雜志上，有關(guān)神經(jīng)網(wǎng)絡(luò)的文章都非常難發(fā)表，但是與SVM相關(guān)的文章卻特別容易發(fā)表。
到了21世紀，也就是00年后，具體說來是2006年，神經(jīng)網(wǎng)絡(luò)又一次煥發(fā)光芒，這次他換了一個名字叫做深度學(xué)習。由Hinton、Lecun、Bengio三大神聯(lián)合在Nature上發(fā)表了一篇有關(guān)深度學(xué)習的文章，也就是從2006年開始，深度學(xué)習開始一發(fā)不可收拾。這是Hinton等人從80年代一直不懈的堅持，堅持了90年代的沒落期，一直堅持到06年的再次輝煌。那么為什么神經(jīng)網(wǎng)絡(luò)能又一次再次輝煌呢？
主要包括以下幾個原因：計算能力的增強、大數(shù)據(jù)的支持、神經(jīng)網(wǎng)絡(luò)學(xué)習的技巧。在從80年代到06年這差不多20年的時間里，發(fā)生了太多的事情，CPU的計算能力在按照摩爾定律發(fā)展著，互聯(lián)網(wǎng)的崛起，帶來的大數(shù)據(jù)，Hinton這些老前輩們對神經(jīng)網(wǎng)絡(luò)的堅持。賦予神經(jīng)網(wǎng)絡(luò)以深度學(xué)習的名稱，首先在圖像領(lǐng)域發(fā)力，然后在語音、自然語音等各個人工智能領(lǐng)域發(fā)力，取得了驚人的成績。
在圖像領(lǐng)域，ImageNet比賽，近些年來在深度學(xué)習的使用后，提高了20多個百分點，從70%多到接近100%。此外涌現(xiàn)了大量的圖像識別領(lǐng)域的公司，像商湯科技（Sense Time），曠視科技（Face++）等，馬云在支付寶上刷臉技術(shù)的演示也展示了人臉識別技術(shù)在深度學(xué)習的幫助下，已經(jīng)非常成熟。
在語音識別領(lǐng)域，微軟研究人員通過與hintion合作，首先將RBM和DBN引入到語音識別聲學(xué)模型訓(xùn)練中，并且在大詞匯量語音識別系統(tǒng)中獲得巨大成功，使得語音識別的錯誤率相對減低30%。科大訊飛、百度等公司或研究單位，也在進行深度學(xué)習在語音識別上的研究。
在自然語音處理領(lǐng)域，基于深度學(xué)習的word2vector模型相對于傳統(tǒng)的詞袋模型（bag of words），也取得非常優(yōu)異的成績。
最后貼一張深度學(xué)習領(lǐng)域的三大神之一Hinton的照片。
機器學(xué)習第三發(fā)：入門書籍及網(wǎng)絡(luò)課程
聯(lián)系客服
