作者：Jaime Zornoza，馬德里技術(shù)大學(xué)
翻譯：陳之炎
校對(duì)：王威力
本文約3700字，建議閱讀10+分鐘。
本文帶你以前所未有的方式了解深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，并利用NLP構(gòu)建Chatbot！
是否曾經(jīng)幻想過(guò)能和自己的私人助理對(duì)話或是漫無(wú)邊際地探討任何問(wèn)題？多虧?rùn)C(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)，你曾經(jīng)的幻想很快會(huì)變成現(xiàn)實(shí)。讓我們來(lái)看一下Apple的Siri或亞馬遜的Alexa所展示的這一神奇功能吧。
不要太激動(dòng)，我們?cè)谙旅嬉幌盗刑又?，?chuàng)建的不是一個(gè)無(wú)所不能的人工智能，而是創(chuàng)建一個(gè)簡(jiǎn)單的聊天機(jī)器人，預(yù)先些輸入一些信息，它能夠?qū)Υ祟愋畔⑾嚓P(guān)的問(wèn)題做出是或否的回答。
它遠(yuǎn)不及Siri或Alexa，但它卻能很好地說(shuō)明：即使使用非常簡(jiǎn)單的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，也可以獲得不錯(cuò)的結(jié)果。在這篇文章中，我們將學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)，遞歸神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)。在下一篇文章中，我們將在真實(shí)項(xiàng)目中利用它來(lái)回答問(wèn)題
在開始討論神經(jīng)網(wǎng)絡(luò)之前，先仔細(xì)看看下面的圖像。其中有兩張圖片：其中一張圖片是一輛校車行駛通過(guò)馬路，另一張圖片是是普通的起居室，這兩張圖片都有人工注釋人員對(duì)其進(jìn)行了描述。
圖中為兩個(gè)不同的圖像，附有人工注釋人員對(duì)其進(jìn)行的描述
好了，讓我們繼續(xù)吧！
開始 - 人工神經(jīng)網(wǎng)絡(luò)
為了構(gòu)建一個(gè)用于創(chuàng)建聊天機(jī)器人的神經(jīng)網(wǎng)絡(luò)模型，會(huì)用到一個(gè)非常流行的神經(jīng)網(wǎng)絡(luò)Python庫(kù)：Keras。然而，在進(jìn)一步研究之前，首先應(yīng)了解人工神經(jīng)網(wǎng)絡(luò)（ANN）是什么。
人工神經(jīng)網(wǎng)絡(luò)是一種機(jī)器學(xué)習(xí)模型，它試圖模仿人類大腦的功能，它由連接在一起的大量神經(jīng)元構(gòu)建而成- 因此命名為“人工神經(jīng)網(wǎng)絡(luò)”。
感知器
最簡(jiǎn)單的ANN模型由單個(gè)神經(jīng)元組成， Star-Trek將之命名為感知器（Perceptron）。它由弗朗克·羅森布拉特（Frank Rossenblatt）于1957年發(fā)明，它包括一個(gè)簡(jiǎn)單的神經(jīng)元，對(duì)輸入的加權(quán)和進(jìn)行函數(shù)變換（在生物神經(jīng)元中是枝狀突起），并輸出其結(jié)果（輸出將等同于生物神經(jīng)元的軸突）。我們不在這里深入研究用到的函數(shù)變換的細(xì)節(jié)，因?yàn)檫@篇文章的目的不是成為專家，而只是需要了解神經(jīng)網(wǎng)絡(luò)的工作原理。
單個(gè)神經(jīng)元的圖像，左邊為輸入，乘以每個(gè)輸入的權(quán)重，神經(jīng)元將函數(shù)變換應(yīng)用于輸入的加權(quán)和并輸出結(jié)果
這些單獨(dú)的神經(jīng)元可以堆疊起來(lái)，形成包含不同個(gè)數(shù)神經(jīng)元的層，這些層可以順序地相鄰放置，從而使得網(wǎng)絡(luò)更深。
當(dāng)以這種方式構(gòu)建網(wǎng)絡(luò)時(shí)，不屬于輸入層或輸出層的神經(jīng)元叫做隱藏層，正如它們的名稱所描述：隱藏層是一個(gè)黑盒模型，這也正是ANN的主要特征之一。通常我們對(duì)其中的數(shù)學(xué)原理以及黑盒中發(fā)生的事情有一些認(rèn)知，但是如果僅通過(guò)隱藏層的輸出試圖理解它，我們大腦可能不夠用。
盡管如此，ANN卻能輸出很好的結(jié)果，因此不會(huì)有人抱怨這些結(jié)果缺乏可解釋性。
大的神經(jīng)網(wǎng)絡(luò)的圖像，由許多單獨(dú)的神經(jīng)元和層組成：一個(gè)輸入層，兩個(gè)隱藏層和一個(gè)輸出層
神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及如何訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，已為人所知有二十多年了。那么，又是什么原因?qū)е铝水?dāng)今對(duì)人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的火爆和炒作？下面我們會(huì)給出問(wèn)題的答案，但在此之前，我們先了解一下深度學(xué)習(xí)的真正含義。
什么是深度學(xué)習(xí)？
從它的名稱可以猜測(cè)到，深度學(xué)習(xí)使用多個(gè)層逐步從提供給神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)中提取出更高級(jí)別的特征。這個(gè)道理很簡(jiǎn)單：使用多個(gè)隱藏層來(lái)增強(qiáng)神經(jīng)模型的性能。
明白了這一點(diǎn)之后，上面問(wèn)題的答案便簡(jiǎn)單了：規(guī)模。在過(guò)去的二十年中，各種類型的可用數(shù)據(jù)量以及我們的數(shù)據(jù)存儲(chǔ)和處理機(jī)器（即，計(jì)算機(jī)）的功能都呈指數(shù)級(jí)增長(zhǎng)。
計(jì)算力的增加，以及用于訓(xùn)練模型的可用數(shù)據(jù)量的大量增加，使我們能夠創(chuàng)建更大、更深的神經(jīng)網(wǎng)絡(luò)，這些深度神經(jīng)網(wǎng)絡(luò)的性能優(yōu)于較小的神經(jīng)網(wǎng)絡(luò)。
Andrew Ng是世界領(lǐng)先的深度學(xué)習(xí)專家之一，他在本視頻中明確了這一點(diǎn)。在這個(gè)視頻（https://www.youtube.com/watch?v=O0VN0pGgBZM&t=576s）中，他展示了與下面圖像類似的一副圖像，并用它解釋了利用更多數(shù)據(jù)來(lái)訓(xùn)練模型的優(yōu)勢(shì)，以及大型神經(jīng)網(wǎng)絡(luò)與其他機(jī)器學(xué)習(xí)模型相比較的優(yōu)勢(shì)。
圖像顯示了當(dāng)訓(xùn)練數(shù)據(jù)集增大時(shí)，不同算法的性能演變
傳統(tǒng)的機(jī)器學(xué)習(xí)算法（線性或邏輯回歸，SMV，隨機(jī)森林等）的性能會(huì)隨著訓(xùn)練數(shù)據(jù)集的增大而增加，但是當(dāng)數(shù)據(jù)集增大到某一點(diǎn)之后，算法的性能會(huì)停止上升。數(shù)據(jù)集大小超過(guò)這一值之后，即便為模型提供了更多的數(shù)據(jù)，傳統(tǒng)模型卻不知道如何去處理這些附加的數(shù)據(jù)，從而性能得不到進(jìn)一步的提高。
神經(jīng)網(wǎng)絡(luò)則不然，這種情況永遠(yuǎn)不會(huì)發(fā)生。神經(jīng)網(wǎng)絡(luò)的性能總是隨著數(shù)據(jù)量的增加而增加（當(dāng)然，前提是這些數(shù)據(jù)質(zhì)量良好），隨著網(wǎng)絡(luò)大小的增加，訓(xùn)練的速度也會(huì)加快。因此，如果想要獲得最佳性能，則需要在X軸右側(cè)（高數(shù)據(jù)量）的綠線（大神經(jīng)網(wǎng)絡(luò)）的某個(gè)位置。
此外，雖然還需要有一些算法上的改進(jìn)，但是深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)興起的主要因素便是規(guī)模：計(jì)算規(guī)模和數(shù)據(jù)規(guī)模。
杰夫·迪恩（Jeff Dean）（谷歌深度學(xué)習(xí)的煽動(dòng)者之一）是該領(lǐng)域的另一個(gè)重要人物，關(guān)于深度學(xué)習(xí)，杰夫如是說(shuō)：
當(dāng)聽到深度學(xué)習(xí)這個(gè)詞時(shí)，便會(huì)想到一個(gè)大的深度神經(jīng)網(wǎng)絡(luò)。深度通常指的是層數(shù)比較多，這是出版物中的一個(gè)流行術(shù)語(yǔ)，此刻，我便視它為深度神經(jīng)網(wǎng)絡(luò)。在談?wù)撋疃葘W(xué)習(xí)時(shí)，杰夫強(qiáng)調(diào)了神經(jīng)網(wǎng)絡(luò)的可擴(kuò)展性，即隨著數(shù)據(jù)量的增大，模型規(guī)模的增大，模型輸出的結(jié)果會(huì)越來(lái)越好，同時(shí)，訓(xùn)練的計(jì)算量也隨之增大，這和先前看到的結(jié)果一致。
好了，理解了原理之后，那么神經(jīng)網(wǎng)絡(luò)如何進(jìn)行深度學(xué)習(xí)的呢？
你可能已經(jīng)猜到了：神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中學(xué)習(xí)。
還記得將多個(gè)輸入乘以權(quán)重之后輸入到感知器中嗎？連接兩個(gè)不同神經(jīng)元的“邊”（連接）也需要賦權(quán)重。這意味著在較大的神經(jīng)網(wǎng)絡(luò)中，權(quán)重也存在于每個(gè)黑箱邊之中，取一個(gè)神經(jīng)元的輸出，與其相乘，然后將其作為輸入提供給這個(gè)邊緣所連接的另一個(gè)神經(jīng)元。
具有兩個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)以及每個(gè)層之間的權(quán)重
當(dāng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)（通過(guò)ML表達(dá)式來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)使其進(jìn)行學(xué)習(xí)）時(shí)，首先為它提供一組已知數(shù)據(jù)（在ML中稱為標(biāo)記數(shù)據(jù)），讓它預(yù)測(cè)這些數(shù)據(jù)的特征（比如圖像標(biāo)記“狗”或“貓”）然后將預(yù)測(cè)結(jié)果與實(shí)際結(jié)果進(jìn)行比對(duì)。
當(dāng)這個(gè)過(guò)程在進(jìn)行中出現(xiàn)錯(cuò)誤時(shí)，它會(huì)調(diào)整神經(jīng)元之間連接的權(quán)重，以減少所犯錯(cuò)誤的數(shù)量。正因如此，如前所示，在大多數(shù)情況下，如果我們?yōu)榫W(wǎng)絡(luò)提供更多的數(shù)據(jù)，將會(huì)提高它的性能。
從序列數(shù)據(jù)中學(xué)習(xí) –遞歸神經(jīng)網(wǎng)絡(luò)
了解了人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之后，我們懂得了神經(jīng)網(wǎng)絡(luò)是如何進(jìn)行學(xué)習(xí)的，現(xiàn)在可以開始研究用于構(gòu)建聊天機(jī)器人的神經(jīng)網(wǎng)絡(luò)：遞歸神經(jīng)網(wǎng)絡(luò)或RNN 。
遞歸神經(jīng)網(wǎng)絡(luò)是一種特殊的神經(jīng)網(wǎng)絡(luò)，旨在有效地處理序列數(shù)據(jù)，序列數(shù)據(jù)包括時(shí)間序列（在一定時(shí)間段內(nèi)的參數(shù)值列表）、文本文檔（可以視為單詞序列）或音頻（可視為聲音頻率序列）。
RNN獲取每個(gè)神經(jīng)元的輸出，并將其作為輸入反饋給它，它不僅在每個(gè)時(shí)間步長(zhǎng)中接收新的信息，并且還向這些新信息中添加先前輸出的加權(quán)值，從而，這些神經(jīng)元具備了先前輸入的一種“記憶”，并以某種方式將量化輸出反饋給神經(jīng)元。
遞歸神經(jīng)元，輸出數(shù)據(jù)乘以一個(gè)權(quán)重并反饋到輸入中
來(lái)自先前時(shí)間步長(zhǎng)的輸入的函數(shù)單元稱為記憶單元。
RNN存在的問(wèn)題是：隨著時(shí)間的流逝，RNN獲得越來(lái)越多的新數(shù)據(jù)，他們開始“遺忘”有關(guān)數(shù)據(jù)，通過(guò)激活函數(shù)的轉(zhuǎn)化及與權(quán)重相乘，稀釋新的數(shù)據(jù)。這意味著RNN有一個(gè)很好的短期記憶，但在嘗試記住前一段時(shí)間發(fā)生過(guò)的事情時(shí)，仍然會(huì)存在一些小問(wèn)題（過(guò)去若干時(shí)間步長(zhǎng)內(nèi)的數(shù)據(jù)）。
為此，需要某種長(zhǎng)期記憶，LSTM正是提供了長(zhǎng)期記憶的能力。
增強(qiáng)記憶力 - 長(zhǎng)期短期記憶網(wǎng)絡(luò)
長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM是RNN的一種變體，可解決前者的長(zhǎng)期記憶問(wèn)題。作為本文的結(jié)尾，簡(jiǎn)要解釋它是如何工作的。
與普通的遞歸神經(jīng)網(wǎng)絡(luò)相比，它們具有更為復(fù)雜的記憶單元結(jié)構(gòu)，從而使得它們能夠更好地調(diào)節(jié)如何從不同的輸入源學(xué)習(xí)或遺忘。
LSTM記憶單元示例。注意藍(lán)色圓圈和方框，可以看出它的結(jié)構(gòu)比普通的RNN單元更復(fù)雜，我們將不在本文中介紹它
LSTM神經(jīng)元通過(guò)三個(gè)不同的門的狀態(tài)組合來(lái)實(shí)現(xiàn)這一點(diǎn)：輸入門，遺忘門和輸出門。在每個(gè)時(shí)間步長(zhǎng)中，記憶單元可以決定如何處理狀態(tài)向量：從中讀取，寫入或刪除它，這要?dú)w功于明確的選通機(jī)制。利用輸入門，記憶單元可以決定是否更新單元狀態(tài)；利用遺忘門，記憶單元可以刪除其記憶；通過(guò)輸出門，單元細(xì)胞可以決定輸出信息是否可用。
LSTM還可以減輕梯度消失的問(wèn)題，但這不在此做詳細(xì)介紹。
就是這樣！現(xiàn)在我們對(duì)這些不同種類的神經(jīng)網(wǎng)絡(luò)已經(jīng)有了一個(gè)初淺的認(rèn)識(shí)，下面可以開始用它來(lái)構(gòu)建第一個(gè)深度學(xué)習(xí)項(xiàng)目！
結(jié)論
神經(jīng)網(wǎng)絡(luò)會(huì)非常神奇。在下一篇文章中，我們將看到，即便是一個(gè)非常簡(jiǎn)單的結(jié)構(gòu)，只有幾個(gè)層便可以創(chuàng)建一個(gè)非常強(qiáng)大的聊天機(jī)器人。哦，順便問(wèn)一下，記得這張照片嗎？
由神經(jīng)網(wǎng)絡(luò)創(chuàng)建的帶有簡(jiǎn)短文本描述的兩幅不同圖像
為了證明深度神經(jīng)網(wǎng)絡(luò)是多么酷，不得不承認(rèn)，我對(duì)如何產(chǎn)生這些圖像的描述撒了謊。
記得在本文的開頭，曾說(shuō)明這些描述是人工注釋的，然而實(shí)際上，每幅圖像上所的簡(jiǎn)短文本實(shí)際上都是人工神經(jīng)網(wǎng)絡(luò)生成的。
太狂啦？
如果想要學(xué)習(xí)如何使用深度學(xué)習(xí)來(lái)創(chuàng)建一個(gè)神奇的聊天機(jī)器人，請(qǐng)?jiān)诿襟w上追隨我，并繼續(xù)關(guān)注我的下一篇文章！然后，盡情享受人工智能！
其它資源
本帖中描述的概念解釋非常初淺，如果想深入學(xué)習(xí)，請(qǐng)參考以下附加的資源。
好啦，希望你喜歡這個(gè)帖子?？梢栽贚inkedIn上與我聯(lián)系，或在@jaimezorno的Twitter上跟我聯(lián)系。此外，還可以在此處查看我的關(guān)于數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的其它帖子。學(xué)習(xí)快樂(lè)！
作者簡(jiǎn)介：
Jaime Zornoza是一名工業(yè)工程師，擁有電子專業(yè)的學(xué)士學(xué)位和計(jì)算機(jī)科學(xué)的碩士學(xué)位。原創(chuàng)。經(jīng)許可轉(zhuǎn)載。
原文標(biāo)題：
Deep Learning for NLP: ANNs, RNNs and LSTMs explained!
原文鏈接：
https://www.kdnuggets.com/2019/08/deep-learning-nlp-explained.html
編輯：黃繼彥
校對(duì)：林亦霖
譯者簡(jiǎn)介
陳之炎，北京交通大學(xué)通信與控制工程專業(yè)畢業(yè)，獲得工學(xué)碩士學(xué)位，歷任長(zhǎng)城計(jì)算機(jī)軟件與系統(tǒng)公司工程師，大唐微電子公司工程師，現(xiàn)任北京吾譯超群科技有限公司技術(shù)支持。目前從事智能化翻譯教學(xué)系統(tǒng)的運(yùn)營(yíng)和維護(hù)，在人工智能深度學(xué)習(xí)和自然語(yǔ)言處理（NLP）方面積累有一定的經(jīng)驗(yàn)。業(yè)余時(shí)間喜愛翻譯創(chuàng)作，翻譯作品主要有：IEC-ISO 7816、伊拉克石油工程項(xiàng)目、新財(cái)稅主義宣言等等，其中中譯英作品“新財(cái)稅主義宣言”在GLOBAL TIMES正式發(fā)表。能夠利用業(yè)余時(shí)間加入到THU 數(shù)據(jù)派平臺(tái)的翻譯志愿者小組，希望能和大家一起交流分享，共同進(jìn)步。
— 完 —
聯(lián)系客服
