但可以設(shè)計(jì)實(shí)驗(yàn)去測試未來的 AIRavi：我知道有報(bào)道說，當(dāng)你還是個(gè)孩子時(shí)，意識(shí)的概念讓你感到不安。我不確定「不安」這個(gè)詞的意思，但我很好奇，你是否將意識(shí)，感知或自我意識(shí)視為學(xué)習(xí)的延伸？你認(rèn)為這也是必然會(huì)發(fā)生的事情嗎？Ilya：是的，在意識(shí)的問題上，小時(shí)候我會(huì)看看我的頭，我會(huì)想我怎么會(huì)看到我的手，我怎么能看到自己？我不知道如何解釋得更清楚，所以這是我感到好奇的事情。意識(shí)是棘手的，如何定義它？它長期以來一直難以定義，那么你如何在一個(gè)系統(tǒng)中測試它？也許有一個(gè)系統(tǒng)可以完美地運(yùn)行，完美地按你的預(yù)期運(yùn)行，但是由于某種原因，它可能并沒有自主意識(shí)。我確實(shí)認(rèn)為有一個(gè)非常簡單的方法，有一個(gè)實(shí)驗(yàn)可以驗(yàn)證AI系統(tǒng)(是否有意識(shí))，但我們現(xiàn)在還不能運(yùn)行。但也許在未來，當(dāng)AI能從更少的數(shù)據(jù)中學(xué)習(xí)得非?？鞎r(shí)，我們可以做如下實(shí)驗(yàn)：我們可以非常仔細(xì)地整理訓(xùn)練數(shù)據(jù)，永遠(yuǎn)不會(huì)(在訓(xùn)練數(shù)據(jù)里)提到意識(shí)的任何事情，我們只會(huì)說「這里有一個(gè)球，這里有一個(gè)城堡，這里有像一個(gè)小玩具」，你可以想象這種類型的數(shù)據(jù)，它會(huì)非常受控，可能會(huì)有幾年的這種訓(xùn)練數(shù)據(jù)。這樣的 AI 系統(tǒng)會(huì)與許多不同的教師互動(dòng)，從他們那里學(xué)習(xí)，非常仔細(xì)，但永遠(yuǎn)不會(huì)談?wù)撘庾R(shí)，人們不會(huì)和 AI 談?wù)摮俗畋韺拥慕?jīng)驗(yàn)概念之外的任何事情。然后在某個(gè)時(shí)候，和這個(gè) AI 坐下來，說好的，我想告訴你意識(shí)，這是人所描述但不是很清楚的現(xiàn)象，人們對此有不同的看法。想象一下，如果 AI 說「天哪，我也有同樣的感覺，但我不知道如何表達(dá)」，那就有意思了，這肯定是值得(研究人員)考慮的事情：如果AI只是被訓(xùn)練來處理非常平凡的數(shù)據(jù)，關(guān)于物體和移動(dòng)，或者你知道的某些非常狹隘的概念。我們不提意識(shí)，但 AI 最終還是以我們能認(rèn)出來的方式雄辯和正確地談?wù)?，? AI 擁有意識(shí))將是令人信服的。Ravi：你認(rèn)為意識(shí)是某種程度上的事情還是更加二元的？Ilya：我認(rèn)為這更多是一個(gè)程度的問題。我認(rèn)為，假設(shè)一個(gè)人非常疲倦，或者也許喝醉了，那么也許有人在那個(gè)狀態(tài)下時(shí)，他們的意識(shí)可能已經(jīng)在某種程度上減弱了。我可以想象動(dòng)物有一個(gè)更加減弱的意識(shí)形式，如果你想象(意識(shí))從類人猿，到狗和貓，然后到老鼠，甚至到昆蟲，我會(huì)說意識(shí)是相當(dāng)連續(xù)的(發(fā)展過程)。 04
開源和閉源，
OpenAI轉(zhuǎn)向盈利性公司的故事
Ravi：雖然我很想繼續(xù)在技術(shù)方面提出更多問題，但我想轉(zhuǎn)而談?wù)揙penAI的任務(wù)，以及您如何看待道義的任何問題；作為首席科學(xué)家，道義在什么程度上影響您，如何看待您的角色。讓我先提出幾點(diǎn)基礎(chǔ)，然后讓您發(fā)言。你知道，OpenAI 的任務(wù)是確保人工智能的進(jìn)步使全人類受益，它最初是一個(gè)非營利性和開源的機(jī)構(gòu)，現(xiàn)在是一個(gè)營利性和閉源的機(jī)構(gòu)。我相信最初是馬斯克招募您加入 OpenAI，并在它還是非營利組織時(shí)捐贈(zèng)了1億美元。這表明最初的愿景是為了抵制谷歌和企業(yè)界，他不希望只由營利性企業(yè)控制的世界中存在AI構(gòu)成人類存在威脅?，F(xiàn)在，OpenAI 既不開放，也不完全是非營利性的，它也是一個(gè)與微軟有密切關(guān)系的營利性企業(yè)。看起來世界可能朝著微軟和谷歌之間的私人壟斷發(fā)展。您能夠解釋從非營利性轉(zhuǎn)向營利性的過程嗎？您在做出這一決定時(shí)是否考慮了道義問題？您如何看待自己作為首席科學(xué)官的角色起到的作用？或者您是否更多地把它視為其他人應(yīng)該處理的事情，而您主要只是負(fù)責(zé)推動(dòng)技術(shù)進(jìn)步？Ilya：這個(gè)問題有很多部分。讓我想想最好的方法來處理它。有幾個(gè)部分：開源與閉源的問題；非營利性與營利性的問題；與微軟的關(guān)系；以及如何看待伊隆·馬斯克最近的評論；然后是關(guān)于我如何看待這件事的問題。也許我會(huì)從這里開始，我認(rèn)為這更容易。我這樣看待我所擔(dān)任的角色：我對 OpenAI 所做的事情感到直接責(zé)任，盡管我的角色主要是推進(jìn)科學(xué)進(jìn)步，但事實(shí)上，我仍然是公司的創(chuàng)始人之一，最終，我非常關(guān)心 OpenAI 的總體影響。現(xiàn)在，我想繼續(xù)談?wù)撻_源與閉源，和非營利與營利，我想從開源與閉源開始。我認(rèn)為 AI 面臨的挑戰(zhàn)是全方位的，涵蓋了許多不同的挑戰(zhàn)和危險(xiǎn)，這些挑戰(zhàn)和危險(xiǎn)彼此矛盾。我認(rèn)為開源與閉源是一個(gè)很好的例子。為什么開源是理想的？讓我這么說吧，開源 AI 有什么好處？答案是：防止 AI 建設(shè)者手中集中權(quán)力。如果你生活在一個(gè)世界上，比如只有少數(shù)公司控制這種非常強(qiáng)大的技術(shù)，你可能會(huì)說這是一個(gè)不理想的世界，AI 應(yīng)該是開放的，任何人都可以使用 AI。這是開源的論點(diǎn)。當(dāng)然也有因?yàn)樯虡I(yè)激勵(lì)反對開源，但還有另一個(gè)長期的論點(diǎn)也反對開源：那就是如果我們相信，AI 最終會(huì)變得無與倫比的強(qiáng)大，如果我們達(dá)到一個(gè) AI 如此強(qiáng)大的程度，你可以簡單地告訴它：“你能主動(dòng)創(chuàng)建一個(gè)生物學(xué)研究實(shí)驗(yàn)室嗎？主動(dòng)完成所有的文書工作，運(yùn)營工作空間，招聘技術(shù)人員，聚合實(shí)驗(yàn)，主動(dòng)完成所有這些事情'。當(dāng) AI 開始變得令人難以置信的強(qiáng)大，難道這也應(yīng)該開源嗎？所以我對開源問題的立場是：我認(rèn)為可以考慮這些神經(jīng)網(wǎng)絡(luò)的能力。它們有多智能，能做多少事情。當(dāng)能力較低時(shí)，我認(rèn)為開源是一件好事，但在某個(gè)時(shí)候，(具體是哪個(gè)時(shí)候)可以辯論一下，但我會(huì)說，在某個(gè)時(shí)候，能力會(huì)變得如此巨大，以至于開源 AI 模型是明顯不負(fù)責(zé)任的。Ravi：閉源的決定是出于這個(gè)考量嗎？還是出于與微軟或其他人達(dá)成妥協(xié)以支持業(yè)務(wù)可行性的必要性？決定實(shí)際上是由這一理由驅(qū)使的，還是更多出于需求？Ilya：我要表達(dá)的意思是，在我看來，當(dāng)前 AI 的能力水平還不高，不至于因?yàn)榘踩剂慷]源模型。這種研究目前確實(shí)是競爭階段。我認(rèn)為，這些模型的能力如果繼續(xù)增強(qiáng)，將有一天，安全考量會(huì)成為不開源這些模型的明顯和直接的驅(qū)動(dòng)力。這是開源與閉源的問題，但您的問題還提出了另一個(gè)方面，即非營利性與營利性。我們也可以討論這個(gè)問題。事實(shí)上，從某種意義上講，如果 OpenAI 能夠一直保持非營利狀態(tài)，直到完成使命，那將是更可取的。然而，值得指出的一點(diǎn)是，這些數(shù)據(jù)中心的成本非常高昂。我相信你讀過各種 AI 初創(chuàng)公司籌集的資金數(shù)額，其中的絕大部分都流向云計(jì)算提供商。為什么會(huì)這樣？原因是訓(xùn)練這些大型神經(jīng)網(wǎng)絡(luò)需要大量計(jì)算資源，這是很明顯的。你可以看到目前學(xué)術(shù)界和 AI 公司之間正在發(fā)生的分化。長期以來，許多十年里，人工智能領(lǐng)域的尖端研究都在大學(xué)的學(xué)術(shù)部門進(jìn)行。這一情況一直持續(xù)到 2010 年代中期。但在某個(gè)時(shí)候，這些項(xiàng)目的復(fù)雜性和成本開始變得非常高昂，大學(xué)無法與業(yè)界競爭，現(xiàn)在大學(xué)需要找到其他方式來獲得(資源)。這些方式確實(shí)存在，只是和當(dāng)前公司獲得資源的方式不同。在這種背景下，非營利組織的問題是，向非營利組織捐款的人永遠(yuǎn)不會(huì)看到任何回報(bào)，這是真正的捐贈(zèng)。不管你信不信，讓人向非營利組織捐款實(shí)際上要困難得多。所以，我們在想，解決方案是什么，可以好的可以采取的行動(dòng)？所以我們想出了一個(gè)我所知世界上所有公司結(jié)構(gòu)中獨(dú)一無二的主意。OpenAI 的公司結(jié)構(gòu)是絕對獨(dú)一無二的。OpenAI 不是一家營利性公司，它是一家限制利潤的公司。我想解釋這意味著什么。這意味著 OpenAI 的股權(quán)更像債券而不是正常公司的股權(quán)。債券的主要特征是一旦支付就消失了。換句話說，OpenAI 對其投資者的義務(wù)是有限的，而不是正常公司對其投資者的無限義務(wù)。Ravi：這是否包括創(chuàng)始人？創(chuàng)始人是否持有 OpenAI 的股權(quán)？Ilya：薩姆·奧爾特曼沒有股權(quán)，但其他創(chuàng)始人有。Ravi：它是有限的還是無限的？Ilya：它是有限的。Ravi：這種限制是什么？因?yàn)閯?chuàng)始人我假設(shè)不是以名義股份價(jià)值入股的。Ilya：我不確定我是否精確理解這個(gè)問題，但我可以回答我理解的部分，就是肯定有不同。它與正常的創(chuàng)業(yè)公司股權(quán)不同，但也有一定相似之處，比如越早加入公司，限制越高，因?yàn)樾枰叩南拗苼砦跗谕顿Y者。隨著公司繼續(xù)成功，限制會(huì)降低。這為什么重要？這是因?yàn)檫@意味著當(dāng)公司向投資者和員工支付完所有義務(wù)后，OpenAI 會(huì)再次成為一家非營利組織。你可能會(huì)說這完全瘋狂，這不會(huì)改變?nèi)魏问虑椤５档每紤]的是我們期望什么，更重要的是考慮我們認(rèn)為 AI 將成為什么。我認(rèn)為 OpenAI 實(shí)現(xiàn)其使命，向投資者和員工支付義務(wù)，在計(jì)算機(jī)變得更強(qiáng)大的時(shí)期成為非營利組織，這時(shí)經(jīng)濟(jì)動(dòng)蕩會(huì)很大，這種轉(zhuǎn)變將非常有益，這并不令人難以置信。這是限制利潤與非營利的答案。你的問題還有最后一部分，我知道我講了一會(huì)兒，但最后一部分是與微軟的關(guān)系。在這里，非常幸運(yùn)的是，微軟正在以正確的方式思考這些問題，他們理解人工普遍智能的潛力和嚴(yán)重性。例如，在 OpenAI 的任何投資人簽署的所有投資文件上，包括微軟在內(nèi)，微軟是 OpenAI 的投資者，這與谷歌 DeepMind 的關(guān)系非常不同，任何簽署任何投資文件的人都會(huì)在投資文件頂部看到一個(gè)紫色的長方形，說明 OpenAI 的信托責(zé)任是 OpenAI 的使命，這意味著如果使命與之相悖，你就有可能損失所有的錢。但這是所有投資者都簽署的內(nèi)容。Ravi：讓我向大家清楚說明，因?yàn)楣雀枋召徚?DeepMind，所以 DeepMind 只是谷歌內(nèi)的一項(xiàng)資產(chǎn)，但是 OpenAI，微軟是投資者，所以對 OpenAI 使命的信托責(zé)任，這一責(zé)任由非營利組織持有，是有限合伙人還是普通合伙人？Ilya：我不能告訴你具體細(xì)節(jié)，但這就是總體圖景。 05
