新智元報道
超級AI智能會殺死所有人！
Sam Altman曾多次公開表態(tài)對AI未來的擔(dān)憂，甚至自己都夜不能寐。
如今，OpenAI組建了一個團(tuán)隊，試圖用20%算力，在未來4年解決「超級智能對齊問題」。
最新團(tuán)隊將由聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever和Jan Leike共同領(lǐng)導(dǎo)。
博客開篇，短短幾行，遍闡述了OpenAI對超級智能降臨時間的預(yù)判，以及具有「毀天滅地」能力的重度擔(dān)憂。
超級智能將是人類發(fā)明的最具影響力的技術(shù)，可以幫助我們解決世界上許多最重要的問題。但超級智能的巨大力量也可能非常危險，并可能導(dǎo)致人類喪失權(quán)力，甚至導(dǎo)致人類滅絕。
雖然有超級智能現(xiàn)在看來還很遙遠(yuǎn)，我們相信這可能在十年內(nèi)實(shí)現(xiàn)。
接下來4年，OpenAI要做的，就是防止超級智能殺死所有人類。
四年解決超級AI對齊問題
而Altman認(rèn)為，想要管理這些風(fēng)險，徹底解決對齊問題，就必須成立新的治理機(jī)構(gòu)。
他表示，目前還沒有一個像樣的解決方案來引導(dǎo)或控制潛在的超級AI。
當(dāng)前的技術(shù)，都依賴于人類的監(jiān)督，比如根據(jù)人類反饋進(jìn)行的強(qiáng)化學(xué)習(xí)（RLHF）等等。
但純靠人力來監(jiān)督比我們聰明得多的AI系統(tǒng)，總有一天會費(fèi)勁又吃力。而目前的對齊技術(shù)又無法擴(kuò)展到超級智能，所以對新技術(shù)突破的需要就提上了日程。
Altman在今天還發(fā)起了「英雄榜」。
OpenAI的目標(biāo)，就是建立一個大致?lián)碛腥祟愃降淖詣訉R研究員，然后用大量計算擴(kuò)展研究工作，迭代調(diào)整超級智能。
為了創(chuàng)建第一個「自動對齊研究員」，本質(zhì)上講創(chuàng)建一個AI，OpenAI分三步走。
第一，開發(fā)一種可擴(kuò)展的訓(xùn)練方法；
第二，驗證生成的模型；
第三，對整個對齊管道進(jìn)行壓力測試。
研究人員利用AI系統(tǒng)來協(xié)助評估其它AI系統(tǒng)（可擴(kuò)展的監(jiān)督），同時研究人員還希望了解并控制他們的模型是如何將監(jiān)督推廣到人類研究員無法監(jiān)督的任務(wù)上去的（有點(diǎn)繞嘴）。
之后，研究人員為了驗證系統(tǒng)的一致性，自動搜索了有問題的行為，以及存在問題的內(nèi)部結(jié)構(gòu)。
最后可以通過找到一個未對齊的模型來測試整個流程，確認(rèn)開發(fā)的框架可以檢測到各種不同的未對齊類型（稱為對抗性測試）。
OpenAI的研究人員預(yù)計，隨著對這個問題的研究越來越深入，研究重點(diǎn)也會發(fā)生變化，甚至還可能會有新的研究領(lǐng)域出現(xiàn)。
為此，OpenAI正式宣布，組建一個由頂級機(jī)器學(xué)習(xí)研究人員和工程師組成的團(tuán)隊——「Superalignment」。
在接下來的四年里，OpenAI將投入到目前為止獲得的計算資源中的20％，用于解決超級AI的對齊問題。
在這個過程中，預(yù)計將會有很多團(tuán)隊參與進(jìn)來，從開發(fā)新方法到將其擴(kuò)展至實(shí)際應(yīng)用。
OpenAI表示，自己的目標(biāo)是在四年內(nèi)解決超級智能對齊的核心技術(shù)挑戰(zhàn)。
雖然聽起來很大，實(shí)現(xiàn)起來也不一定100%成功，但OpenAI還是認(rèn)為只要集多方努力，還是可以解決的。
Ilya Sutskever作為OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家，已經(jīng)把這個目標(biāo)當(dāng)作其核心研究重點(diǎn)，并將與Jan Leike——對齊項目負(fù)責(zé)人，共同領(lǐng)導(dǎo)該團(tuán)隊。
團(tuán)隊成員包括此前負(fù)責(zé)對齊工作的研究人員和工程師，甚至還有其他團(tuán)隊的研究人員，可謂陣容龐大。
LeCun所言「狗級」AI，真會十年翻身？
可以說，OpenAI對超級智能AI系統(tǒng)的將在十年內(nèi)誕生，是一個非常大膽的預(yù)測。
首先，就拿ChatGPT來說，沒有人承認(rèn)它是一個能夠進(jìn)行人類思維的人工智能。
與之相反，ChatGPT作為一個類似于自動完成的大型語言模型，可以重新創(chuàng)建類似人類的反應(yīng)，但沒有完全理解單詞背后的含義。
因此，有時候它會編造明顯錯誤，或無法理解基本邏輯的答案。
前段時間，吳恩達(dá)在新開的課程中指出，ChatGPT不會反轉(zhuǎn)單詞直接登上Reddit熱榜。
比如，讓它反轉(zhuǎn)lollipop這個詞，輸出的是pilollol，簡直是完全混亂的。
究其原因，主要還是大模型采用token來處理文本，這樣好處是能降低內(nèi)存和時間復(fù)雜度。
但是，將單詞token化，明顯存在一個致命的問題，那就是模型很難學(xué)習(xí)到有意義的輸入，也就能理解為什么ChatGPT不能理解單詞含義的原因了。
當(dāng)讓它處理單詞反轉(zhuǎn)任務(wù)時，模型可能就是把每個token反轉(zhuǎn)過來，由此才出丑。
拋開ChatGPT，再廣泛地來講，一直以來圖靈獎的主Yann LeCun都把當(dāng)前人工智能稱作，連貓狗都不如的AI。
一句話總結(jié)，「論聰明程度，ChatGPT可能連條狗都不如?！?/span>
LeCun表示，當(dāng)前的AI系統(tǒng)，哪怕是ChatGPT，根本就不具備人類的智能水平。
在他看來，不必太過緊張，如今的AI智能水平遠(yuǎn)遠(yuǎn)沒到我們該擔(dān)憂的地步。
目前的生成式AI模型都是在LLM上訓(xùn)練的，而這種只接受語言訓(xùn)練的模型聰明不到哪去。這些模型的性能非常有限，它們對現(xiàn)實(shí)世界沒有任何理解。
由此，在一些人看來，OpenAI預(yù)測超級智能AI即將到來似乎很奇怪。
盡管如此，他們還是希望做好準(zhǔn)備，能夠以先發(fā)制人的優(yōu)勢，將AI滅絕人類的想法扼殺在搖籃中。
網(wǎng)友答疑
Stability AI的CEO表示，使AGI與ASI保持一致是我們的計劃。
我的觀點(diǎn)（提出你的意見）：我們不可能在沒有拿走自由的情況下絕對地對齊一個超級智能體。對齊和自由是正交的。我們不要建造那些可能會對人類造成 I）生存威脅和 II）剝奪人類權(quán)力的人工智能。
根據(jù)OpenAI博客介紹，未來要投入20%算力去做這件事，卻受到網(wǎng)友的質(zhì)疑。
現(xiàn)在是時候有人考慮超級智能的安全問題了。但讓我們現(xiàn)實(shí)一點(diǎn)，20%的計算量真的能解決問題嗎？對于這樣一個巨大的問題，似乎只是杯水車薪。
OpenAI的對齊團(tuán)隊領(lǐng)導(dǎo)人Jan Leike解釋道，
20%的計算量不是一個小數(shù)目，我對OpenAI愿意以這種規(guī)模分配資源感到非常印象深刻。
這是有史以來對對齊的最大投資，它可能比人類到目前為止在對齊研究上的總花費(fèi)還要多。
OpenAI將用4年的時間去完成這項任務(wù)，如何判斷是否失敗了，或者進(jìn)展不夠快？
我們會關(guān)注即將到來的實(shí)證數(shù)據(jù)：
3. 我們將密切關(guān)注技術(shù)的發(fā)展速度
其實(shí)大多數(shù)人還是很想知道，OpenAI是不是在真正解決對齊研究之前，不會再研發(fā)超級AI了。
其實(shí)，Jan Leike的話中，早已透露出了GPT-5正在研發(fā)中。
許多人還是比較支持OpenAI這么做的。
網(wǎng)友表示，希望機(jī)器的可解釋性是戰(zhàn)略的一部分，ASI不應(yīng)該是一個黑盒子。如果我們有一天在不了解它是如何工作的情況下建立一個ASI，我們將有很大的麻煩。
聯(lián)系客服
