假設(shè)青蛙創(chuàng)造了人類(lèi)。誰(shuí)擁有掌控權(quán)？青蛙還是人？
作者 | Li Yuan、凌梓郡
編輯 | 衛(wèi)詩(shī)婕
「而我已經(jīng)老了」，75 歲的 Hinton 對(duì)在場(chǎng)所有年輕的科學(xué)家說(shuō)，他希望大家好好研究「如何擁有超級(jí)智能」這件事。在他看來(lái)，不那么聰明的物種控制比它自己更聰明的事物，是一場(chǎng)前所未有的挑戰(zhàn)。
在智源人工智能大會(huì)上，AI 教父 Hinton 做了《通往智能的兩條路徑》的演講。他從對(duì)計(jì)算架構(gòu)和原理的分析中，得出了自己結(jié)論「人造神經(jīng)網(wǎng)絡(luò)將比人腦更智能」，這比他原先想象地快很多。
30 分鐘的演講中，他從目前軟硬件分離的計(jì)算架構(gòu)談起，在這種規(guī)則下，訓(xùn)練大模型耗費(fèi)大量的算力。為了能用更少的能量訓(xùn)練大模型，他提出了非不朽計(jì)算（Mortal Computing）的概念——像一個(gè)人的智慧依賴(lài)他的身體，不可隨意復(fù)制到另一個(gè)身體，軟件也更依賴(lài)它所存在的硬件。
但隨之而來(lái)的問(wèn)題是，當(dāng)具體的硬件損壞，軟件也隨之受損，「學(xué)到的知識(shí)也隨之一起死亡」。他提出的解決思路是，把舊硬件上的知識(shí)用「蒸餾」的方式轉(zhuǎn)移給新硬件，就像老師教授學(xué)生一樣。
與「知識(shí)蒸餾」（生物計(jì)算）相對(duì)應(yīng)的概念則是「權(quán)重共享」（數(shù)字計(jì)算），它們便是 Hinton 所說(shuō)的「通向智能的兩條路徑」。大語(yǔ)言模型和其副本之間的關(guān)系是權(quán)重共享，每一個(gè)副本都直接獲得整個(gè)模型參數(shù)所擁有的知識(shí)——比如 ChatGPT 可以基于背后的模型，同時(shí)和成千上萬(wàn)人對(duì)話(huà)。而跟每個(gè)人對(duì)話(huà)的繼續(xù)學(xué)習(xí)過(guò)程中，就屬于「知識(shí)蒸餾」。
盡管「知識(shí)蒸餾」比「權(quán)重共享」的效率低很多，帶寬也低，但是大模型可以有 1000 個(gè)副本，最終會(huì)獲得比任何一個(gè)人都多 1000 倍的知識(shí)。
目前模型僅僅從文檔——也就是人類(lèi)加工過(guò)的知識(shí)中學(xué)習(xí)，隨著技術(shù)的發(fā)展，它們將能夠從視覺(jué)信息中學(xué)習(xí)，接著可能學(xué)會(huì)操縱機(jī)器人。那么它們很容易比人類(lèi)更聰明，聰明到擅長(zhǎng)騙人。而人類(lèi)不擅長(zhǎng)比與自己更聰明的事物相處。如何避免這些「超級(jí)聰明」智能帶來(lái)危險(xiǎn)？這是他留給每一位年輕科學(xué)家的課題。
以下是經(jīng)極客公園編譯整理的主要演講內(nèi)容：
我今天要談的是使我相信超級(jí)智能比我想象的更接近的研究。
我有兩個(gè)問(wèn)題想談，我的精力將主要集中于第一個(gè)問(wèn)題，即人工神經(jīng)網(wǎng)絡(luò)是否很快就會(huì)比真實(shí)的神經(jīng)網(wǎng)絡(luò)更智能？我將詳細(xì)闡述我的研究，它們使我得出一個(gè)結(jié)論，這樣的事情可能很快就會(huì)發(fā)生。在講話(huà)的最后，我將談一談我們是否能保持對(duì)超級(jí)智能的控制，但這不會(huì)是此次講話(huà)的主要內(nèi)容。
在傳統(tǒng)計(jì)算中，計(jì)算機(jī)被設(shè)計(jì)成精確地遵循指令的樣子。我們可以在不同的物理硬件上，運(yùn)行完全相同的程序或神經(jīng)網(wǎng)絡(luò)，因?yàn)槲覀冎烙布?huì)精確地遵守指令。這意味著，程序中的知識(shí)或神經(jīng)網(wǎng)絡(luò)的權(quán)重是不朽的（immortal），即它不依賴(lài)于任何特定的硬件。實(shí)現(xiàn)這種不朽性的成本很高。我們必須以高功率運(yùn)行晶體管，所以它們的行為是數(shù)字化的。而且我們不能利用硬件的豐富的模擬和可變屬性。
因此，數(shù)字計(jì)算機(jī)存在、以及它們精確遵循指令的原因，是因?yàn)閭鹘y(tǒng)設(shè)計(jì)中，人類(lèi)會(huì)去看一個(gè)問(wèn)題，會(huì)想出需要采取什么步驟來(lái)解決問(wèn)題，然后我們會(huì)告訴計(jì)算機(jī)采取這些步驟。但這已經(jīng)改變了。
我們現(xiàn)在有一種不同的方式來(lái)讓計(jì)算機(jī)做事情，這就是從實(shí)例中學(xué)習(xí)，我們只需向它們展示我們希望它們做什么。因?yàn)橛辛诉@樣的變化，現(xiàn)在我們有機(jī)會(huì)可以放棄計(jì)算機(jī)科學(xué)最基本的原則，即軟件與硬件分離的原則。
在我們放棄它之前，讓我們先來(lái)看看為什么它是一個(gè)如此好的原則。可分離性讓我們可以在不同的硬件上運(yùn)行同一個(gè)程序。我們也可以直接研究程序的屬性，而不用擔(dān)心電子硬件的問(wèn)題。而這就是為什么計(jì)算機(jī)科學(xué)系可以獨(dú)立于電子工程系自成一個(gè)學(xué)科。
如果我們真的放棄了軟硬件的分離，我們就會(huì)得到我稱(chēng)之為非不朽計(jì)算的東西。
它顯然有很大的缺點(diǎn)，但也有一些巨大的優(yōu)勢(shì)。為了能以更少的能量運(yùn)行大型語(yǔ)言模型，尤其是以更少的能量訓(xùn)練它們，我開(kāi)始研究非不朽計(jì)算。
從放棄不朽性中得到的最大好處是：放棄了硬件和軟件的分離可以節(jié)約大量能源。因?yàn)槲覀兛梢允褂梅浅５偷墓β实哪M計(jì)算，而這正是大腦正在做的事情。它確實(shí)需要進(jìn)行 1 bit 的計(jì)算，因?yàn)樯窠?jīng)元要么啟動(dòng)，要么關(guān)閉。但大部分的計(jì)算是以模擬方式進(jìn)行的，能夠以非常低的功率完成。
我們還可以得到更便宜的硬件。因此，目前的硬件必須在 2D（平面）中非常精確地制造，而我們可以讓其在 3D（環(huán)境）中成長(zhǎng)，因?yàn)槲覀儾恍枰_切地了解硬件的導(dǎo)電性，或者確切地了解它的每一塊如何工作。
顯然，要做到這一點(diǎn)，需要大量新的納米技術(shù)，或者也許需要對(duì)生物神經(jīng)元進(jìn)行基因再造，因?yàn)樯锷窠?jīng)元要做的事情，大致上是我們想要的。在我們討論非不朽計(jì)算的所有缺點(diǎn)之前，我想舉一個(gè)計(jì)算的例子，它使用模擬硬件來(lái)完成可以便宜得多。
如果你想把神經(jīng)活動(dòng)的矢量乘以一個(gè)權(quán)重矩陣，這就是神經(jīng)網(wǎng)絡(luò)的中心計(jì)算，它也是神經(jīng)網(wǎng)絡(luò)所承載的大部分的工作。我們目前所做的是以非常高功率驅(qū)動(dòng)晶體管來(lái)表示數(shù)字的比特，以數(shù)字表示。然后我們進(jìn)行 O(n^2)，將兩個(gè) n 位數(shù)字相乘。這可能是計(jì)算機(jī)上的一個(gè)操作，但它是 n 的平方比特級(jí)別的操作。
另一種方法是將神經(jīng)元活動(dòng)以電壓和權(quán)重作為電導(dǎo)率來(lái)實(shí)現(xiàn)。然后在單位時(shí)間內(nèi)，電壓乘以電導(dǎo)就得到了一個(gè)電荷，而電荷是自己加起來(lái)的。因此很明顯，你可以將電壓矢量與電導(dǎo)矩陣相乘。這種方式更節(jié)能，而且已經(jīng)存在能夠以這種方式工作的芯片了。
不幸的是，人們隨后所做的是試圖將模擬答案轉(zhuǎn)換為數(shù)字，這需要使用非常昂貴的交流轉(zhuǎn)換器。如果可以，我們希望完全停留在模擬領(lǐng)域。但這樣做會(huì)導(dǎo)致不同的硬件最終會(huì)計(jì)算出略有不同的東西。
因此，非不朽計(jì)算的主要問(wèn)題是，當(dāng)進(jìn)行學(xué)習(xí)時(shí)，程序必須根據(jù)它所在的模擬硬件的具體屬性進(jìn)行學(xué)習(xí)，而不知道每一塊硬件的具體屬性到底是什么，例如，不知道將神經(jīng)元的輸入與神經(jīng)元的輸出聯(lián)系起來(lái)的確切函數(shù)，不知道連接性。
這意味著我們不能使用像反向傳播算法來(lái)獲得梯度，因?yàn)榉聪騻鞑バ枰跋騻鞑サ木_模型。所以問(wèn)題是，如果我們不能使用反向傳播算法，我們還能做什么？因?yàn)槲覀儸F(xiàn)在都是高度依賴(lài)反向傳播的。
我可以展示一個(gè)非常簡(jiǎn)單和直接的權(quán)重?cái)_動(dòng)學(xué)習(xí)（weight perturbation），人們已經(jīng)對(duì)此已經(jīng)有了很多研究。對(duì)網(wǎng)絡(luò)中的每個(gè)權(quán)重，產(chǎn)生一個(gè)隨機(jī)的小的臨時(shí)擾動(dòng)向量。然后在一小批例子上測(cè)量全局目標(biāo)函數(shù)的變化，你根據(jù)目標(biāo)函數(shù)的改善情況，通過(guò)擾動(dòng)向量的規(guī)模永久地改變權(quán)重。因此，如果目標(biāo)函數(shù)變得更差，你顯然要去另一個(gè)方向。
這種算法的好處是，平均而言，它的表現(xiàn)與反向傳播一樣好，因?yàn)槠骄裕矔?huì)遵循梯度而行。問(wèn)題是它的方差非常大。因此，當(dāng)你選擇一個(gè)隨機(jī)的方向來(lái)移動(dòng)時(shí)，所產(chǎn)生的噪音會(huì)隨著網(wǎng)絡(luò)規(guī)模增加而變得非常糟糕。這意味著，這種算法對(duì)少量的連接有效，但對(duì)大的網(wǎng)絡(luò)無(wú)效的。
我們還有一個(gè)更好的算法活動(dòng)擾動(dòng)學(xué)習(xí)（activity perturbation）。它仍然有類(lèi)似的問(wèn)題，但比權(quán)重?cái)_動(dòng)好得多?；顒?dòng)擾動(dòng)是你考慮對(duì)每個(gè)神經(jīng)元的總輸入進(jìn)行隨機(jī)矢量擾動(dòng)。你對(duì)神經(jīng)元的每個(gè)輸入進(jìn)行隨機(jī)矢量擾動(dòng)，看看當(dāng)你對(duì)一小批例子進(jìn)行這種隨機(jī)擾動(dòng)時(shí)，你的目標(biāo)函數(shù)會(huì)發(fā)生什么變化，你會(huì)得到由于這種擾動(dòng)而產(chǎn)生的目標(biāo)函數(shù)的差異，然后你可以計(jì)算如何改變神經(jīng)元的每個(gè)傳入權(quán)重以遵循梯度。這種方法噪音更小。
對(duì)于 MNIST 這樣的簡(jiǎn)單任務(wù)，這樣的算法已經(jīng)足夠好。但它的效果仍然不足以好到可以擴(kuò)展到大型神經(jīng)網(wǎng)絡(luò)。
我們可以嘗試找到一個(gè)適用于大型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，而不是尋找可以適用于小型神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)。我們的想法是要訓(xùn)練一個(gè)大型神經(jīng)網(wǎng)絡(luò)。而我們要做的是有很多小的目標(biāo)函數(shù)，適用于整個(gè)網(wǎng)絡(luò)的一小部分。因此，每個(gè)小的神經(jīng)元組都有自己的局部目標(biāo)函數(shù)。
總結(jié)一下，到目前為止，我們還沒(méi)有找到一個(gè)真正好的可以利用模擬特性的學(xué)習(xí)算法，但是我們有一個(gè)學(xué)習(xí)算法還不錯(cuò)，能夠解決 MNIST 這樣的簡(jiǎn)單問(wèn)題，但不是那么好。
非不朽計(jì)算第二個(gè)大問(wèn)題是就是它的非不朽性。這意味著，當(dāng)一個(gè)特定的硬件死亡時(shí)，它學(xué)到的所有知識(shí)都會(huì)隨著它一起死亡，因?yàn)樗膶W(xué)習(xí)都是基于其特定的硬件細(xì)節(jié)的。所以解決這個(gè)問(wèn)題的最好辦法是在硬件死亡之前，你把知識(shí)從老師（舊硬件）那里提煉出來(lái)給學(xué)生（新硬件）。這就是我現(xiàn)在正在努力推動(dòng)的研究方向。
Midjourney 生成
老師會(huì)向?qū)W生展示對(duì)各種輸入的正確反應(yīng)，然后學(xué)生試圖模仿老師的反應(yīng)。這就好像是特朗普的推特。有些人對(duì)特朗普的推特非常生氣，因?yàn)樗麄冇X(jué)得特朗普說(shuō)的是假話(huà)，他們以為特朗普是在試圖闡釋事實(shí)。不是的。特朗普所做的是選出一種情況，對(duì)這種情況作出針對(duì)性的非常情緒化的反應(yīng)。他的關(guān)注者看到之后，就學(xué)會(huì)了如何處理這種情況，知道了如何調(diào)整神經(jīng)網(wǎng)絡(luò)中的權(quán)重，也對(duì)這種情況做出同樣的情感反應(yīng)。這與事實(shí)無(wú)關(guān)，這是一個(gè)邪教領(lǐng)袖在向邪教追隨者傳授偏執(zhí)，但它非常有效。
所以，如果我們考慮一下蒸餾法的工作原理，考慮一個(gè) agent 將圖像分類(lèi)到 1024 個(gè)不重疊的類(lèi)別中。正確的答案大概只需要 10 比特就能闡述清楚。因此，當(dāng)你在一個(gè)訓(xùn)練實(shí)例上訓(xùn)練那個(gè) agent 時(shí)，如果你告訴它正確的答案，你只是把 10 比特的約束放在網(wǎng)絡(luò)的權(quán)重上。
但是現(xiàn)在假設(shè)我們訓(xùn)練一個(gè) agent，讓它按照老師對(duì)這 1024 類(lèi)別的回答調(diào)整自己。那就能得到同樣的概率分布，分布中得到 1023 個(gè)實(shí)數(shù)，假設(shè)這些概率都不小，這就提供了數(shù)百倍的約束。
通常情況下，當(dāng)你訓(xùn)練一個(gè)模型時(shí)，你要在訓(xùn)練數(shù)據(jù)集上進(jìn)行正確的訓(xùn)練，然后希望它能正確地歸納到測(cè)試數(shù)據(jù)上。但在這里，當(dāng)你找到學(xué)生時(shí)，你直接訓(xùn)練學(xué)生進(jìn)行歸納，因?yàn)楸挥?xùn)練的歸納方式與老師的方式一致。
我舉來(lái)自 MNIST 關(guān)于數(shù)字 2 的圖片數(shù)據(jù)作為例子講解。我們能看到老師分配給各種類(lèi)別的概率。
第一行很明顯是一個(gè) 2，老師也給出了 2 的概率很高。第二行，老師非常有信心這是一個(gè) 2，但它也認(rèn)為它可能是一個(gè) 3，或者它可能是一個(gè) 8，你也可以看到，確實(shí) 3 和 8 與這個(gè)圖片有一絲相似性。在第三行中，這個(gè) 2 與 0 非常接近。所以老師會(huì)告訴學(xué)生，這個(gè)時(shí)候你應(yīng)該選擇輸出 2，但是你也要在 0 上面下一個(gè)小賭注。這樣，比起直接告訴學(xué)生這是一個(gè) 2，學(xué)生在這個(gè)案例中能學(xué)到更多，它能學(xué)到這個(gè)圖形像什么數(shù)字。第四行中，老師認(rèn)為這是一個(gè) 2，但是也有很大可能這是一個(gè) 1，是圖片中我手寫(xiě)的 1 的那種寫(xiě)法，偶爾會(huì)有人這樣寫(xiě) 1。
而最后一行，實(shí)際上 AI 猜錯(cuò)了，它認(rèn)為這是一個(gè) 5，而 MNIST 數(shù)據(jù)集給出的正確答案是 2。而學(xué)生實(shí)際上能從老師的錯(cuò)誤中學(xué)習(xí)。
我非常喜歡知識(shí)蒸餾模型的一點(diǎn)是，我們是在訓(xùn)練學(xué)生以與老師相同的方式來(lái)歸納，包括給錯(cuò)誤的答案標(biāo)記出小概率。通常，當(dāng)你訓(xùn)練一個(gè)模型時(shí)，你是給它一個(gè)訓(xùn)練數(shù)據(jù)集和正確答案，然后希望它能正確地概括好而到測(cè)試數(shù)據(jù)集產(chǎn)出正確的答案。你試圖讓它不要太復(fù)雜，或者做各種事情，希望它能正確歸納。但在這里，當(dāng)你訓(xùn)練學(xué)生時(shí)，你直接訓(xùn)練學(xué)生以和老師相同的方式歸納。
所以我現(xiàn)在想談?wù)勔粋€(gè) agent 社區(qū)如何分享知識(shí)。與其考慮單個(gè) agent，不如考慮在社區(qū)內(nèi)分享知識(shí)。
而事實(shí)證明，社區(qū)分享知識(shí)的方式?jīng)Q定了你做許多有關(guān)計(jì)算方式的事情。因此，有了數(shù)字模型，有了數(shù)字智能，你可以有一大堆 agent 使用完全相同的權(quán)重副本，并以完全相同的方式使用這些權(quán)重。這意味著不同的 agent 可以查看訓(xùn)練數(shù)據(jù)的不同 bits。
他們可以在這些訓(xùn)練數(shù)據(jù)的 bits 上計(jì)算出權(quán)重的梯度，然后可以平均他們的梯度。所以現(xiàn)在，每個(gè)模型都從每個(gè)模型看到的數(shù)據(jù)中學(xué)習(xí)，這意味著你獲得了看到大量數(shù)據(jù)的巨大能力，因?yàn)槟銜?huì)有不同的模型副本看不同的數(shù)據(jù) bits，他們可以通過(guò)共享梯度或共享權(quán)重來(lái)非常有效地分享他們學(xué)到的東西。
如果你有一個(gè)有一萬(wàn)億個(gè)權(quán)重的模型，這意味著每次它們分享東西時(shí)，你會(huì)得到一萬(wàn)億比特的帶寬。但這樣做的代價(jià)是，你必須以完全相同的方式進(jìn)行數(shù)字 agent 的行為。
因此，使用權(quán)重共享的一個(gè)替代方法是使用蒸餾。而這就是我們?cè)跀?shù)字模型方面已經(jīng)做的事情。這是不同的架構(gòu)。
但是，如果你有生物模型，而這些模型正在利用某一特定硬件的模擬特性，你就必須這樣做。你不能分享權(quán)重。因此，你必須使用分布式共享知識(shí)，這不是很有效率。用蒸餾法來(lái)分享知識(shí)是很難的。我產(chǎn)生的句子，你試圖找出如何改變你的權(quán)重，以便你會(huì)產(chǎn)生同樣的句子。
但是，這比僅僅分享梯度的帶寬要低得多。每個(gè)曾經(jīng)教過(guò)書(shū)的人，都希望說(shuō)出他們所知道的東西，并把它倒入學(xué)生的大腦。那將是大學(xué)的終結(jié)。但我們不能這樣工作，因?yàn)槲覀兪巧镏悄埽业姆绞綄?duì)你沒(méi)有用。
目前為止，我們有兩種不同的方式來(lái)進(jìn)行計(jì)算。數(shù)字計(jì)算和生物計(jì)算，后者是利用動(dòng)物的特性。在如何在不同 agent 之間有效地分享知識(shí)方面，它們是非常不同的。
如果你看一下大型語(yǔ)言模型，它們使用數(shù)字計(jì)算和權(quán)重共享。但是模型的每一個(gè)副本，每一個(gè) agent，都在以一種非常低效的方式從文件中獲取知識(shí)。用一個(gè)文件并試圖預(yù)測(cè)下一個(gè)單詞，實(shí)際上是非常低效的知識(shí)蒸餾，它學(xué)習(xí)的不是教師對(duì)下一個(gè)詞的概率分布的預(yù)測(cè)，而是文件作者所選擇的下一個(gè)詞的內(nèi)容。因此，這是很低的帶寬。而這就是這些大語(yǔ)言模型向人們學(xué)習(xí)的方式。
雖然大語(yǔ)言模型的每個(gè)副本學(xué)習(xí)效率都很低，但你有 1000 個(gè)副本。這就是為什么他們能比我們多學(xué) 1000 倍。所以我相信，這些大型語(yǔ)言模型知道的是任何個(gè)人的1000 多倍。
現(xiàn)在，問(wèn)題是，如果這些數(shù)字 agent 不是通過(guò)知識(shí)蒸餾，非常緩慢地從我們這里學(xué)習(xí)，而是開(kāi)始直接從現(xiàn)實(shí)世界學(xué)習(xí)，會(huì)發(fā)生什么？
我應(yīng)該強(qiáng)調(diào)一下，即使用知識(shí)蒸餾法學(xué)習(xí)的速度很慢，但當(dāng)它們向我們學(xué)習(xí)的時(shí)候，能夠?qū)W習(xí)到非常抽象的東西。人類(lèi)在過(guò)去的幾千年里已經(jīng)學(xué)到了很多關(guān)于世界的知識(shí)，而數(shù)字 agent 能夠直接利用這些知識(shí)。人類(lèi)可以用語(yǔ)言闡述我們所學(xué)到的東西，所以數(shù)字智能體可以直接獲得人類(lèi)在過(guò)去幾千年里所學(xué)到的關(guān)于世界的一切知識(shí)，因?yàn)槲覀儼堰@些東西寫(xiě)了下來(lái)。
不過(guò)這樣，每個(gè)數(shù)字 agent 的帶寬還是很低，因?yàn)樗鼈兪菑奈臋n中學(xué)習(xí)的。如果它們進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，比如通過(guò)對(duì)視頻建模，一旦我們找到對(duì)視頻進(jìn)行建模來(lái)訓(xùn)練模型的有效方法，它們就能從所有的 YouTube 視頻中學(xué)習(xí)，這是將大量的數(shù)據(jù)?；蛘呷绻鼈兡軌虿倏v物理世界，比如它們能控制機(jī)器人手臂等。
我真心相信，一旦這些數(shù)字 agent 開(kāi)始這樣做，它們將能夠?qū)W習(xí)到比人多得多的東西，它們將能夠相當(dāng)快地學(xué)會(huì)。因此，我們需要談到我 PPT 上面提到的第二點(diǎn)，即如果這些東西變得比我們更聰明會(huì)發(fā)生什么？
當(dāng)然，這也是這次會(huì)議的主要內(nèi)容。但我的主要貢獻(xiàn)是，我想告訴大家，這些超級(jí)智能到來(lái)的時(shí)間可能會(huì)比我過(guò)去認(rèn)為的要早得多。
壞人們將利用它們來(lái)做諸如操縱電子設(shè)備，在美國(guó)或其他許多地方其實(shí)已經(jīng)有人這樣做了，人們還會(huì)試圖利用人工智能贏得戰(zhàn)爭(zhēng)。
如果你想讓一個(gè)超級(jí)智能體更有效率，你需要允許它創(chuàng)造子目標(biāo)。這就帶來(lái)一個(gè)明顯的問(wèn)題，因?yàn)橛幸粋€(gè)很明顯的子目標(biāo)，能夠極大增強(qiáng)它幫助我們實(shí)現(xiàn)做任何事情的能力：那就讓人工智能系統(tǒng)獲得更多的權(quán)力和控制力?？刂屏υ綇?qiáng)，實(shí)現(xiàn)你的目標(biāo)就越容易。我不知道我們?cè)趺茨軌蜃柚箶?shù)字智能試圖獲得更多的控制權(quán)，以實(shí)現(xiàn)它們的其他目標(biāo)。所以一旦它們開(kāi)始這樣做，問(wèn)題就產(chǎn)生了。
對(duì)于超級(jí)智能來(lái)說(shuō)，即使你將其存放于完全離線隔絕的環(huán)境中（airgap），它也會(huì)發(fā)現(xiàn)可以很容易地通過(guò)操縱人來(lái)獲得更多的權(quán)力。我們不習(xí)慣思考比我們聰明得多的東西，以及我們要如何與它們互動(dòng)。但在我看來(lái)，它們顯然會(huì)通過(guò)學(xué)習(xí)變得極其擅長(zhǎng)欺騙人。因?yàn)樗軌蚩吹酱罅康男≌f(shuō)中或者尼古洛·馬基雅維利的作品中我們欺騙他人的實(shí)踐。而一旦你非常擅長(zhǎng)欺騙別人，你就可以讓別人去執(zhí)行你想要的任何行動(dòng)。例如，如果你想入侵華盛頓的一座建筑，你不需要去到那里，你只需欺騙人們，讓他們認(rèn)為通過(guò)入侵那座大樓，他們?cè)谡让裰?。而我覺(jué)得這非?？膳?。
我現(xiàn)在看不出如何防止這種情況發(fā)生，而我已經(jīng)老了。我希望，很多年輕而杰出的研究人員，就像大會(huì)中的你們一樣，能夠研究出我們?nèi)绾文軗碛羞@些超級(jí)智能——它們將使我們的生活更美好，而不讓它們變成主導(dǎo)的一方。
我們有一個(gè)優(yōu)勢(shì)，一個(gè)微小的優(yōu)勢(shì)是，這些東西不是進(jìn)化而來(lái)，我們建造了它們。因?yàn)樗鼈儧](méi)有進(jìn)化，所以可能它們沒(méi)有人類(lèi)所具有的競(jìng)爭(zhēng)性攻擊性目標(biāo)，也許這一點(diǎn)會(huì)有所幫助，也許我們可以給它們提供道德原則。但目前，我只是很緊張，因?yàn)槲也恢涝谥橇Σ罹嗪艽蟮那闆r下，有什么例子表明更聰明的東西被不如它聰明的東西所控制。我喜歡舉的一個(gè)例子是，假設(shè)青蛙創(chuàng)造了人類(lèi)。你會(huì)認(rèn)為現(xiàn)在是誰(shuí)擁有掌控權(quán)？青蛙還是人？我的講話(huà)就到這里。
聯(lián)系客服
