1、人工智能浪潮又起
標(biāo)志型事件，阿爾法圍棋(AlphaGo)戰(zhàn)勝李世石。
alphago是一款圍棋人工智能程序，由谷歌(Google)旗下DeepMind公司的戴維·西爾弗、艾佳·黃和戴密斯·哈薩比斯與他們的團(tuán)隊開發(fā)，這個程序利用“價值網(wǎng)絡(luò)”去計算局面，用“策略網(wǎng)絡(luò)”去選擇下子。2015年10月阿爾法圍棋以5:0完勝歐洲圍棋冠軍、職業(yè)二段選手樊麾;2016年3月對戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石，并以4:1的總比分獲勝。這個讓人工智能浪潮又起，熱浪達(dá)到了一個高度。
alphago 核心用到了”深度卷積神經(jīng)網(wǎng)絡(luò)”和“MCTS，蒙特卡洛搜索樹”算法。接下來我們了解下深度學(xué)習(xí)的本質(zhì)到底是什么?深度學(xué)習(xí)==人工智能嗎?
2、深度學(xué)習(xí)起源和概念
深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。
深度學(xué)習(xí)的概念由Hinton等人于2006年提出?；谏疃戎眯啪W(wǎng)絡(luò)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個真正多層結(jié)構(gòu)學(xué)習(xí)算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。
深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。
同機器學(xué)習(xí)方法一樣，深度機器學(xué)習(xí)方法也有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之分.不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型很是不同.例如，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks，簡稱CNNs)就是一種深度的監(jiān)督學(xué)習(xí)下的機器學(xué)習(xí)模型，而深度置信網(wǎng)(Deep Belief Nets，簡稱DBNs)就是一種無監(jiān)督學(xué)習(xí)下的機器學(xué)習(xí)模型。
3、深度學(xué)習(xí)解決什么問題
從一個輸入中產(chǎn)生一個輸出所涉及的計算可以通過一個流向圖(flow graph)來表示：流向圖是一種能夠表示計算的圖，在這種圖中每一個節(jié)點表示一個基本的計算以及一個計算的值，計算的結(jié)果被應(yīng)用到這個節(jié)點的子節(jié)點的值?？紤]這樣一個計算集合，它可以被允許在每一個節(jié)點和可能的圖結(jié)構(gòu)中，并定義了一個函數(shù)族。輸入節(jié)點沒有父節(jié)點，輸出節(jié)點沒有子節(jié)點。
這種流向圖的一個特別屬性是深度(depth)：從一個輸入到一個輸出的最長路徑的長度。
傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度(比如對于輸出層為隱層數(shù)加1)。SVMs有深度2(一個對應(yīng)于核輸出或者特征空間，另一個對應(yīng)于所產(chǎn)生輸出的線性混合)。
人工智能研究的方向之一，是以所謂 “專家系統(tǒng)” 為代表的，用大量 “如果-就” (If - Then) 規(guī)則定義的，自上而下的思路。人工神經(jīng)網(wǎng)絡(luò) ( Artifical Neural Network)，標(biāo)志著另外一種自下而上的思路。神經(jīng)網(wǎng)絡(luò)沒有一個嚴(yán)格的正式定義。它的基本特點，是試圖模仿大腦的神經(jīng)元之間傳遞，處理信息的模式。
3.1大腦有一個深度架構(gòu)
1981年諾貝爾醫(yī)學(xué)生理學(xué)獎頒發(fā)給了David Hubel，一位神經(jīng)生物學(xué)家。他的主要研究成果是發(fā)現(xiàn)了視覺系統(tǒng)信息處理機制，證明大腦的可視皮層是分級的。他的貢獻(xiàn)主要有兩個，一是他認(rèn)為人的視覺功能一個是抽象，一個是迭代。抽象就是把非常具體的形象的元素，即原始的光線像素等信息，抽象出來形成有意義的概念。這些有意義的概念又會往上迭代，變成更加抽象，人可以感知到的抽象概念。
像素是沒有抽象意義的，但人腦可以把這些像素連接成邊緣，邊緣相對像素來說就變成了比較抽象的概念;邊緣進(jìn)而形成球形，球形然后到氣球，又是一個抽象的過程，大腦最終就知道看到的是一個氣球。
視覺皮質(zhì)并顯示出一系列的區(qū)域，在每一個這種區(qū)域中包含一個輸入的表示和從一個到另一個的信號流(這里忽略了在一些層次并行路徑上的關(guān)聯(lián)，因此更復(fù)雜)。這個特征層次的每一層表示在一個不同的抽象層上的輸入，并在層次的更上層有著更多的抽象特征，他們根據(jù)低層特征定義。
需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經(jīng)元是同時活動的。給定大量的神經(jīng)元，仍然有一個非常高效地(指數(shù)級高效)表示。
3.2 認(rèn)知過程逐層進(jìn)行，逐步抽象
人類層次化地組織思想和概念;
人類首先學(xué)習(xí)簡單的概念，然后用他們?nèi)ケ硎靖橄蟮?
工程師將任務(wù)分解成多個抽象層次去處理;
學(xué)習(xí)/發(fā)現(xiàn)這些概念(知識工程由于沒有反省而失敗?)是很美好的。對語言可表達(dá)的概念的反省也建議我們一個稀疏的表示：僅所有可能單詞/概念中的一個小的部分是可被應(yīng)用到一個特別的輸入(一個視覺場景)。
4、深度學(xué)習(xí)適用場景
深度學(xué)習(xí)已經(jīng)在語音識別、圖像處理等方面取得了巨大成功。從2013、2014年開始，也在自然語言處理領(lǐng)域出現(xiàn)深度學(xué)習(xí)的應(yīng)用浪潮。隨著研究的深入，其他領(lǐng)域還在探索中，如自動駕駛等等。
5、深度學(xué)習(xí)等同人工智能嗎?
5.1 強人工智能和弱人工智能
人工智能的一個比較流行的定義，也是該領(lǐng)域較早的定義，是由約翰·麥卡錫(John McCarthy|)在1956年的達(dá)特矛斯會議(Dartmouth Conference)上提出的：人工智能就是要讓機器的行為看起來就象是人所表現(xiàn)出的智能行為一樣。但是這個定義似乎忽略了強人工智能的可能性(見下)。另一個定義指人工智能是人造機器所表現(xiàn)出來的智能性?？傮w來講，目前對人工智能的定義大多可劃分為四類，即機器“像人一樣思考”、“像人一樣行動”、“理性地思考”和“理性地行動”。這里“行動”應(yīng)廣義地理解為采取行動，或制定行動的決策，而不是肢體動作。
強人工智能: 強人工智能觀點認(rèn)為有可能制造出真正能推理(Reasoning)和解決問題(Problem_solving)的智能機器，并且，這樣的機器能將被認(rèn)為是有知覺的，有自我意識的。強人工智能可以有兩類： 類人的人工智能，即機器的思考和推理就像人的思維一樣。 非類人的人工智能，即機器產(chǎn)生了和人完全不一樣的知覺和意識，使用和人完全不一樣的推理方式。
弱人工智能:弱人工智能觀點認(rèn)為不可能制造出能真正地推理(Reasoning)和解決問題(Problem_solving)的智能機器，這些機器只不過看起來像是智能的，但是并不真正擁有智能，也不會有自主意識。 主流科研集中在弱人工智能上，并且一般認(rèn)為這一研究領(lǐng)域已經(jīng)取得可觀的成就。強人工智能的研究則處于停滯不前的狀態(tài)下。
當(dāng)前深度學(xué)習(xí)還是其他算法，更多的是弱人工智能，根本就沒有思考和推斷的能力，深度學(xué)習(xí)說low一點，本質(zhì)上做的還是分類。
6、深度學(xué)習(xí)研究方向
Hinton，Bengio及Lecun三位大神在Nature上發(fā)表的Deep Learning綜述最后總結(jié)了深度學(xué)習(xí)的三大發(fā)展方向：
1)無監(jiān)督學(xué)習(xí)。 無監(jiān)督學(xué)習(xí)在深度學(xué)習(xí)剛火的那幾年有很重要的作用，比如用無監(jiān)督方式訓(xùn)練深度信念網(wǎng)絡(luò)還有稀疏自編碼器等，使用無監(jiān)督學(xué)習(xí)主要是為了預(yù)訓(xùn)練，以得到一個較好的初始值，隨后再使用有監(jiān)督訓(xùn)練進(jìn)行微調(diào)。但是隨著計算能力的發(fā)展，人們發(fā)現(xiàn)只要在數(shù)據(jù)集足夠大的情況下使用純有監(jiān)督學(xué)習(xí)也能得到較好性能，所以近幾年無監(jiān)督學(xué)習(xí)發(fā)展不是很大，Hinton他們希望在未來無監(jiān)督學(xué)習(xí)能有更大發(fā)展，因為人類和動物的學(xué)習(xí)在很大程度上都是無監(jiān)督的：我們通過觀察這個世界來學(xué)習(xí)，而不是有個老師在教我們這個世界的原理。
2)深度強化學(xué)習(xí)。 深度強化學(xué)習(xí)的主要思想簡而言之就是將深度學(xué)習(xí)與強化學(xué)習(xí)相結(jié)合，是一種從感知到動作的端到端學(xué)習(xí)。簡單的說，就是和人類一樣，輸入感知信息比如視覺，然后通過深度神經(jīng)網(wǎng)絡(luò)，直接輸出動作，中間沒有人工特征的工作。深度增強學(xué)習(xí)具備使機器人實現(xiàn)真正完全自主的學(xué)習(xí)一種甚至多種技能的潛力。深度強化學(xué)習(xí)最突出的代表就是DeepMind公司了，該公司在NIPS 2013上發(fā)表的Playing Atari with Deep Reinforcement Learning一文，在該文中第一次提出深度強化學(xué)習(xí)這個名稱，之后在Nature上發(fā)表了改進(jìn)版的文章Human-level control through deep reinforcement learning，引起了廣泛的關(guān)注，深度強化學(xué)習(xí)從此成為深度學(xué)習(xí)領(lǐng)域的前沿研究方向。最近的李世石大戰(zhàn)阿法狗中，阿法狗背后的技術(shù)也是深度強化學(xué)習(xí)，DeepMind將阿法狗背后用到的技術(shù)發(fā)表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。
3)自然語言理解。 自然語言理解也是深度學(xué)習(xí)在未來幾年能大有作為的領(lǐng)域。使用深度學(xué)習(xí)技術(shù)的各種應(yīng)用比如神經(jīng)機器翻譯，問答系統(tǒng)，文摘生成等都取得了不錯的效果，效果的提升主要歸功于注意力機制和循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合的強大能力。相信未來幾年內(nèi)還會有大量相關(guān)工作出現(xiàn)。
聯(lián)系客服
