景甜人工合成视频免费,杨幂不雅视频大全

選自Noema Magazine

作者：Jacob Browning、Yann LeCun

機(jī)器之心編譯

編輯：澤南、小舟

你訓(xùn)練大模型用的是語言，還想獲得 AGI？那肯定是永遠(yuǎn)也不行的。

「語言只承載了所有人類知識的一小部分；大部分人類知識、所有動物知識都是非語言的；因此，大語言模型是無法接近人類水平智能的，」這是圖靈獎得主 Yann LeCun 對于人工智能前景的最新思考。

昨天，他與紐約大學(xué)博士后 Jacob Browning 合著的新文章發(fā)表在《NOEMA》上，引發(fā)了人們的討論。

在文章中，作者討論了當(dāng)前流行的大規(guī)模語言模型，認(rèn)為其存在明顯的極限。未來 AI 領(lǐng)域努力的方向或許應(yīng)該是讓機(jī)器優(yōu)先理解真實世界其他層面意義上的知識。

讓我們看看他們是怎么說的。

前段時間，前谷歌 AI 倫理研究員 Blake Lemoine 聲稱 AI 聊天機(jī)器人 LaMDA 像人一樣具有意識，這在領(lǐng)域內(nèi)掀起了軒然大波。

LaMDA 實際上是一種大型語言模型 (LLM)，旨在預(yù)測任何給定文本下一個可能的詞。由于許多對話在某種程度上是可預(yù)測的，因此這些系統(tǒng)可以推斷出如何使對話保持高效。LaMDA 在這類任務(wù)上做得非常出色，以至于 Blake Lemoine 開始懷疑 AI 是否存在「意識」。

領(lǐng)域內(nèi)的研究者對于這件事持有不同的看法：一些人對機(jī)器有意識的想法嗤之以鼻；一些人認(rèn)為 LaMDA 模型或許沒有，但下一個模型可能有意識。還有一些人指出機(jī)器「欺騙」人類這件事并不難。

人們反應(yīng)的多樣性凸顯了一個更深層次的問題：隨著 LLM 變得越來越普遍和強(qiáng)大，我們對這些模型的觀點似乎越來越難達(dá)成一致。多年來，這些系統(tǒng)已經(jīng)超越了許多「常識」語言推理基準(zhǔn)，但這些系統(tǒng)在測試時似乎很少有承諾的常識，甚至容易出現(xiàn)胡說八道、提出不合邏輯、危險的建議。這就引出了一個令人不安的問題：這些系統(tǒng)怎么會如此智能，能力卻又如此有限？

實際上，最根本的問題并不在于人工智能，而是在于語言的有限性。一旦我們放棄了關(guān)于意識和語言之間聯(lián)系的假設(shè)，這些系統(tǒng)就注定只能有關(guān)于世界的膚淺理解，永遠(yuǎn)無法接近人類的「全面思維」。簡而言之，盡管這些模型已經(jīng)是地球上最令人印象深刻的人工智能系統(tǒng)，但這些 AI 系統(tǒng)永遠(yuǎn)不會像我們?nèi)祟愐粯又悄堋?/span>

在 19 世紀(jì)和 20 世紀(jì)的大部分時間里，哲學(xué)和科學(xué)領(lǐng)域的一個主要主題是：知識僅僅是語言。這意味著理解一件事只需理解一句話的內(nèi)容，并將這句話與其他句子關(guān)聯(lián)起來。按照這種邏輯，理想的語言形式將是由嚴(yán)格的推理規(guī)則連接的任意符號組成的邏輯數(shù)學(xué)的形式。

哲學(xué)家 Wittgenstein 說過：「真命題的總和是自然科學(xué)?！惯@一立場是在 20 世紀(jì)確立的，后來引起了很多爭議。

一些受過高等教育的知識分子仍然持有觀點：「我們所能知道的一切都可以包含在百科全書中，因此只要閱讀百科全書的所有內(nèi)容就能讓我們對所有事物都有全面的了解?！惯@種觀點還激發(fā)了 Symbolic AI 的許多早期工作，其中將符號處理作為默認(rèn)范式。對于這些研究人員來說，人工智能知識由大量真實句子的數(shù)據(jù)庫組成，這些真實的句子通過手工邏輯相互連接，人工智能系統(tǒng)的目標(biāo)就是在正確的時間輸出正確的句子，即以適當(dāng)?shù)姆绞教幚矸枴?/span>

這個概念是圖靈測試的基礎(chǔ)：如果一臺機(jī)器「說」出了它應(yīng)該說的一切，這意味著它知道它在說什么，因為知道正確的句子以及何時使用它們會用到上述人工智能知識。

但這種觀點遭到了嚴(yán)厲的批評，反駁的觀點認(rèn)為：機(jī)器可以談?wù)撌虑?，并不意味著它理解正在談?wù)摰膬?nèi)容。這是因為語言只是一種高度具體且非常有限的知識表征。所有語言，無論是編程語言、符號邏輯語言還是日常口語——都開啟了特定類型的表征模式；它擅長以極高的抽象水平表達(dá)離散的對象和屬性以及它們之間的關(guān)系。

然而，所有的表征模式都涉及對事物信息的壓縮，但壓縮中留下和遺漏的內(nèi)容各不相同。語言的表征模式可能會遺漏一些具體的信息作，例如描述不規(guī)則的形狀、物體的運動、復(fù)雜機(jī)制的功能或繪畫上細(xì)致入微的筆觸等等。而一些非語言的表征方案可以以一種易于理解的方式表達(dá)這些信息，包括標(biāo)志性知識、分布式知識等。

語言的限制

要了解語言表征模式的缺陷，首先要認(rèn)識到語言傳遞的信息有多少。事實上，語言是一種傳輸信息的帶寬非常低的方法，特別是在沒有上下文的情況下，孤立的單詞或句子傳達(dá)的信息很少。此外，由于同音詞和代詞的數(shù)量眾多，許多句子的含義都非常模棱兩可。正如喬姆斯基等研究者所指出的：語言并不是清晰明確的交流工具。

但是人類不需要完美的交流工具，因為我們共享對非語言的理解體系。我們對句子的理解通常取決于對句子所在語境的深入理解，從而使我們能夠推斷出語言表達(dá)的含義。我們經(jīng)常直接談?wù)撗矍暗氖虑?，比如足球比賽?；蛘咴谀撤N情況下面向社會角色進(jìn)行交流，比如從服務(wù)員那里點菜。

閱讀文本段落也是如此——這種任務(wù)破壞了人工智能獲得常識的渠道，卻是一種向兒童教授無上下文閱讀理解技能的流行方法。這種方法側(cè)重于使用通用閱讀理解策略來理解文本——但研究表明，兒童對主題的背景知識量實際上是理解的關(guān)鍵因素。理解一個句子或段落正確與否取決于對主題內(nèi)容的基本掌握。

「很明顯，這些系統(tǒng)深陷于膚淺的理解，永遠(yuǎn)不會接近人類所有的全面思維?！?/span>

單詞和句子固有的上下文性質(zhì)是 LLM 工作的核心。神經(jīng)網(wǎng)絡(luò)通常將知識表示為專有技術(shù)，即掌握對上下文高度敏感的模式，并總結(jié)規(guī)律（具體和抽象）的熟練能力，這些規(guī)律對于以精細(xì)方式處理輸入是必要的，但只適合有限的任務(wù)。

在 LLM 中，這有關(guān)系統(tǒng)在現(xiàn)有文本的多個層次上識別模式，既看到單詞在段落中的聯(lián)系，也要看到句子是如何在構(gòu)成它們的大段落中是如何連接在一起的。結(jié)果是模型對語言的掌握不可避免地是上下文相關(guān)的。每個單詞的理解不是根據(jù)其字典含義，而是根據(jù)它在各種句子中的作用來理解。由于許多單詞——比如「化油器」、「菜單」、「調(diào)試」或「電子」——幾乎只用于特定領(lǐng)域，即使是帶有其中一個詞的孤立句子也會在預(yù)測上帶出上下文。

簡而言之，LLM 訓(xùn)練后可以了解每個句子的背景知識，查看周圍的單詞和句子來拼湊正在發(fā)生的事情。這使得他們可以無限可能地使用不同的句子或短語作為輸入，并提出合理（盡管很難沒有缺陷）的方式來繼續(xù)對話或填寫文章的其余部分。一個根據(jù)人類書寫的段落訓(xùn)練，用作日常交流的系統(tǒng)，應(yīng)該擁有能夠高質(zhì)量對話所必需的一般理解能力。

淺薄的理解

有些人不愿在這種情況下使用「理解」一詞或稱 LLM 為「智能」，目前還不能說語義理解說服了任何人。批評者指責(zé)這些系統(tǒng)在進(jìn)行某種模仿——這是正確的。這是因為 LLM 對語言的理解雖然令人印象深刻，但卻很膚淺。這種膚淺的認(rèn)識似曾相識：教室里到處都是「說行話」的學(xué)生，他們不知道自己在說什么——實際上是在模仿他們的教授或他們正在閱讀的課文。這只是生活的一部分。我們常常不清楚我們知道些什么，尤其是在從語言中獲得的知識方面。

LLM 對所有事物都獲得了這種膚淺的理解。像 GPT-3 這樣的系統(tǒng)是通過屏蔽句子一部分，或預(yù)測段落中下一個單詞來進(jìn)行訓(xùn)練的，這樣迫使機(jī)器猜測最有可能填補(bǔ)空白的單詞，并糾正錯誤的猜測。該系統(tǒng)最終會熟練地猜測最可能的單詞，從而使自己成為有效的預(yù)測系統(tǒng)。

這帶來了一些真正的理解：對于任何問題或謎題，通常只有少數(shù)正確答案，但錯誤答案無限多。這迫使系統(tǒng)學(xué)習(xí)特定于語言的技能，例如解釋笑話、解決單詞問題或解決邏輯難題，以便定期預(yù)測這些類型問題的正確答案。

這些技能和相關(guān)知識讓機(jī)器能夠解釋復(fù)雜事物的工作原理、簡化困難的概念、改寫和復(fù)述故事，并獲得許多其他與語言相關(guān)的能力。正如 Symbolic AI 所假設(shè)的那樣——機(jī)器不是由邏輯規(guī)則鏈接的龐大的句子數(shù)據(jù)庫，而是將知識表示為上下文高亮內(nèi)容，用于在給定前一行的情況下提出合理的后一個句子。

「放棄所有知識都是語言的觀點，讓我們意識到我們的知識中有多少是非語言的。」

但是用語言解釋一個概念的能力不同于實際使用它的能力。系統(tǒng)可以解釋如何執(zhí)行長除法，同時也可以實際上自己不會做，或者解釋哪些是與之抵觸的，卻又能愉快地持續(xù)進(jìn)行解釋。語境知識以一種形式嵌入——即口述語言知識的能力——但不嵌入另一種形式——作為如何做事的技巧，比如善解人意或敏感地處理困難問題。

后一種專業(yè)知識對語言使用者來說是必不可少的，但這并不能使他們掌握語言技能——語言成分并不是主要的。這適用于許多概念，甚至是從講座和書籍中學(xué)到的概念：雖然科學(xué)課確實有講授的成分，但學(xué)生的得分主要基于他們在實驗室的工作。特別是在人文學(xué)科之外，能夠談?wù)撃呈峦ǔ２蝗缱屖虑檎９ぷ魉璧幕炯寄苡杏没蛑匾?/span>

一旦我們深入探究，就能輕易看出這些系統(tǒng)實際上是多么的淺薄：它們的注意力范圍和記憶大約相當(dāng)于一個段落。如果我們進(jìn)行對話，很容易忽略這一點，因為我們傾向于只關(guān)注最后一兩條評論，應(yīng)付下一個回復(fù)。

但是，更復(fù)雜的對話的訣竅——積極傾聽、回憶和重新審視之前的評論、堅持一個主題以提出一個特定的觀點，同時避免干擾等等——都需要比機(jī)器擁有的更多的注意力和記憶力。

這進(jìn)一步減少了它們可以理解的類型：很容易通過每隔幾分鐘就換話題、更改語言或陰陽怪氣來欺騙他們。如果退太多步，系統(tǒng)將重新從頭開始，把你的新觀點與舊評論混為一談，與你切換聊天語言或相信你所說的任何內(nèi)容。發(fā)展一個連貫的世界觀所必需的理解遠(yuǎn)遠(yuǎn)超出了機(jī)器的能力范圍。

語言之外

放棄所有知識是語言的觀點，這讓我們意識到我們的知識中有相當(dāng)部分是非語言的。雖然書籍包含許多我們可以解壓和使用的信息，但許多其他物品也是如此：宜家的說明書甚至懶得在圖示旁邊寫說明文字，AI 研究人員通常會先看論文中的圖表，掌握網(wǎng)絡(luò)架構(gòu)，然后再瀏覽文本，旅行者可以按照地圖上的紅線或綠線導(dǎo)航到想去的地方。

這其中的知識超越了簡單的圖標(biāo)、圖表和地圖。人類直接從探索世界中學(xué)到了很多東西，向我們展示了物質(zhì)和人能與不能表現(xiàn)的東西。物質(zhì)的結(jié)構(gòu)和人類環(huán)境直觀地傳達(dá)了很多信息：門把手在手的高度，錘子的把手更軟等等。動物和人類的非語言心理模擬對于規(guī)劃場景很常見且有用，可用于制作或逆向工程人工制品。

同樣，通過模仿社會習(xí)俗和儀式，我們可以將各種技能傳授給下一代，從準(zhǔn)備食物和藥物到在緊張時期平靜下來。我們的許多文化知識是標(biāo)志性的，或者說是以從熟練的從業(yè)者傳授給學(xué)徒精確動作的形式。這些微妙的信息模式很難用語言表達(dá)和傳達(dá)，但其他人仍然可以理解。這也是神經(jīng)網(wǎng)絡(luò)擅長拾取和完善的上下文相關(guān)信息的精確類型。

「一個僅受過語言訓(xùn)練的系統(tǒng)永遠(yuǎn)不會接近人類的智能，即使從現(xiàn)在開始一直訓(xùn)練到宇宙的熱寂?！?/span>

語言很重要，因為它可以以小格式傳達(dá)大量信息，特別是在印刷術(shù)和互聯(lián)網(wǎng)出現(xiàn)之后，它能做到內(nèi)容的復(fù)制和廣泛分發(fā)。但是用語言壓縮信息并不是沒有成本的：解碼一個密集的段落需要付出很多努力。人文課可能需要大量課外閱讀，大部分課堂時間需要花費在閱讀困難的段落上。建立深入的理解既費時又費力，但提供了信息。

這就解釋了為什么受過語言訓(xùn)練的機(jī)器可以知道這么多，卻又什么也不懂——它是在通過一個微小的瓶頸獲取一小部分人類知識。但人類知識的那一小部分可以是關(guān)于任何事物的，無論是愛情還是天體物理學(xué)。因此它有點像鏡子：它給人一種深度的錯覺，幾乎可以反射任何東西，但它只有一厘米厚。如果我們試圖探索它的深處，我們就會撞墻。

做正確的事

這并不會使機(jī)器變得更傻，但也表明它們的智能程度有內(nèi)在的限制。一個僅接受語言訓(xùn)練的系統(tǒng)永遠(yuǎn)不會接近人類的智能，即使從現(xiàn)在開始一直訓(xùn)練到宇宙的熱寂。這是一個錯誤的知識體系構(gòu)建方式。但如果我們只停留在表面上，機(jī)器無疑似乎會接近人類。而且在許多情況下，表面就足夠了。我們中很少有人真正將圖靈測試應(yīng)用到其他人身上，積極地質(zhì)疑他們的理解深度，并強(qiáng)迫他們做多位數(shù)乘法問題。大多數(shù)談話都是閑聊。

但是，我們不應(yīng)將 LLM 所擁有的膚淺理解與人類通過觀察世界的精彩、探索世界、在其中實踐以及與文化和其他人互動所獲得的深刻理解混為一談。語言可能是擴(kuò)展我們對世界理解的有用組成部分，但語言并不會窮盡智力，從許多物種行為上我們都能理解這樣的觀點，例如鴉科動物、章魚和靈長類動物。

相反，深刻的非語言理解是語言有意義的必要條件。正是因為人類對世界有深刻的理解，所以我們可以很快理解別人在說什么。這種更廣泛、對上下文敏感的學(xué)習(xí)和知識是一種更基礎(chǔ)、更古老的知識，它是實體生物感知能力出現(xiàn)的基礎(chǔ)，讓生存和繁榮成為可能。

這也是人工智能研究者在尋找人工智能中的常識時關(guān)注的更重要的任務(wù)。LLM 沒有穩(wěn)定的身體或世界可以感知——所以它們的知識更多是以單詞開始和結(jié)束，這種常識總是膚淺的。我們的目標(biāo)是讓 AI 系統(tǒng)專注于所談?wù)摰氖澜?，而不是單詞本身——但 LLM 并沒有掌握其中的區(qū)別。僅通過語言是無法近似這種深刻理解的，這是錯誤的方向。

人類處理各種大語言模型的豐富經(jīng)驗清楚地表明，僅從言語中可以獲得的東西是如此之少。

參考內(nèi)容：https://www.noemamag.com/ai-and-the-limits-of-language/

本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊舉報。

中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频