Ilya Sutskever是OpenAI的聯(lián)合創(chuàng)始人和首席科學家。Ilya Sutskever與Alex Krizhevsky和Geoffrey共同發(fā)明了卷積神經(jīng)網(wǎng)絡AlexNet。Ilya Sutskever也是AlphaGo論文的眾多合著者之一，曾擔任Google Brain的研究科學家，參與TensorFlow的開發(fā)。
在兩者的對話中，Ilya Sutskever向斯坦福大學的Ravi Belani解釋了在openAI如何做出一些復雜決策，以及對深度學習、人工智能在未來發(fā)展的預測。
以下是9大要點總結(jié):
大型語言模型是如何工作的？它是通過訓練一個大型神經(jīng)網(wǎng)絡去預測下一個單詞,從而學習理解文本。
人工神經(jīng)元和生物神經(jīng)元沒有區(qū)別,如果一個神經(jīng)網(wǎng)絡能很好地預測下一個單詞,那它就能理解語言。大語言模型很擅長預測接下來會發(fā)生什么,這種預測能力就是實現(xiàn)理解的方式。
ChatGPT開源與否要看AI的能力水平。低能力時開源是好事,但高能力時可能會帶來安全風險,不應該開源。
OpenAI是利潤有限公司,計劃最終成為非營利組織。其目的在于獲得資金支持高成本的AI研究。
AI將會變得非常強大,需要設立明智的政府監(jiān)管來指導其發(fā)展。
意識是個難以定義的概念。AI能否獲得意識應該通過AI自身的描述來評價,而非僅僅從行為來判斷。
AI超越人類的時刻很難預測,可能需要取得一些技術突破。
需要重視在深度學習中研究其他人忽略的方向,認為這會帶來新進展。
通用的AI模型訓練和專業(yè)垂直的AI模型訓練都有價值。專業(yè)領域中的獨特數(shù)據(jù)集可能對性能有幫助,但通用的AI模型仍然有其優(yōu)勢。
下面是詳細內(nèi)容：
我可以解釋ChatGPT技術是什么，以及它為什么有效。我認為對它為什么有效的解釋既簡單又極其美麗。ChatGPT的工作原理如下：
人腦是世界上最好的智能。人腦是由大量的神經(jīng)元組成的，非常多的神經(jīng)元。神經(jīng)科學家已經(jīng)研究神經(jīng)元幾十年了，試圖理解它們是如何精確工作的。雖然生物神經(jīng)元的運作仍然神秘，但40年代最早的深度學習研究人員提出了一個非常大膽的猜想：計算機人工神經(jīng)網(wǎng)絡中的神經(jīng)元，有點類似于生物神經(jīng)元，這是一個假設。我們現(xiàn)在可以用這個假設來運行這些人工神經(jīng)元，它們要簡單得多，你可以用數(shù)學方法來研究它們。這是一個非常重要的突破。深度學習是反向傳播算法的發(fā)現(xiàn)所導致的，反向傳播算法是這些人工神經(jīng)網(wǎng)絡應該如何學習的數(shù)學方程。它為我們提供了一種使用大型計算機并在代碼中實現(xiàn)這種神經(jīng)網(wǎng)絡的方法。然后會有一個我們可以編寫的方程式，告訴我們這個神經(jīng)網(wǎng)絡應該如何調(diào)整它的連接以從經(jīng)驗中學習。盡管這是我們用計算機做的，它有點像實驗科學，有點像生物學，有點像生物實驗。因此，深度學習的許多進步基本上可以歸結(jié)為這一點：我們可以在大型計算機中構(gòu)建這些神經(jīng)網(wǎng)絡，我們可以在一些數(shù)據(jù)上訓練它們。我們可以訓練這些大型神經(jīng)網(wǎng)絡做我要求它們做的任何事情。
GPT這個大型語言模型的想法是，如果你有一個非常大的神經(jīng)網(wǎng)絡，我們訓練它們從文本中的一堆單詞中猜測下一個單詞是什么。你訓練一個大的神經(jīng)網(wǎng)絡從文本中的前一個單詞中猜測下一個單詞，你希望神經(jīng)網(wǎng)絡盡可能準確地猜測下一個單詞。
現(xiàn)在發(fā)生的事情是，我們需要回到我們最初的假設：也許生物神經(jīng)元和人造神經(jīng)元沒有什么不同。因此，如果你有一個像這樣的大型神經(jīng)網(wǎng)絡，可以很好地猜測下一個單詞，也許它與人們說話時所做的沒有什么不同。
現(xiàn)在當你和這樣的神經(jīng)網(wǎng)絡交談時，它對接下來會會出現(xiàn)什么單詞，有非常好的感覺。它可以縮小范圍。它看不見未來，卻能從自己的理解中準確的縮小可能性。能夠非常準確地猜測接下來會發(fā)生什么需要預測，這是AI實現(xiàn)理解人類語言的方式。神經(jīng)網(wǎng)絡層面上的理解意味著什么？AI很難對人類的提問想出一個準確的答案，但是測量和優(yōu)化AI神經(jīng)網(wǎng)絡對下一個單詞的預測誤差是非常容易的。所以說如果我們想要AI理解人類語言，我們可以通過讓AI優(yōu)化預測下一個單詞這個方法來實現(xiàn)。這就是ChatGPT所做的。GPT這些神經(jīng)網(wǎng)絡很大。他們用反向傳播算法訓練，訓練結(jié)果非常不錯。如果你讓自己想象人工神經(jīng)元和生物神經(jīng)元沒有什么不同，那么如果你非常仔細地觀察，我們的大腦同樣能夠很好地猜測下一個單詞。
在我們的人工神經(jīng)網(wǎng)絡和人的大腦之間進行直接比較有點困難，因為目前人們能夠從更少的數(shù)據(jù)中學習更多。這就是為什么像ChatGPT這樣的AI神經(jīng)網(wǎng)絡會在如此多的數(shù)據(jù)上進行訓練，以補償它們最初時緩慢的學習能力。當你訓練這些神經(jīng)網(wǎng)絡并使它們變得更好時，更快的學習能力開始出現(xiàn)。但總的來說，人類學習的方式與這些神經(jīng)網(wǎng)絡學習的方式是完全不同的。
一個例子是如要要讓這些神經(jīng)網(wǎng)絡非常擅長數(shù)學或編程，比如說要擅長像微積分，AI就需要輸入大量的相關書籍。而一個人只需要2本教科書和200個練習，就可以了。
當涉及到知識的廣度和這些神經(jīng)網(wǎng)絡擁有的大量尺度時，任何這樣的神經(jīng)網(wǎng)絡顯然都是非常超出人類的。例如，ChatGPT非常擅長詩歌，可以雄辯地談論任何話題，可以談論歷史事件和很多類似的事情。但是另一方面，人類可以對這些知識有更加深入的理解和認知。比如一個人，盡管只讀了少量的文件，但他對某些東西理解得很深。
AI超越人類智慧的奇點什么時候會到來呢？ 我不知道。我不知道什么時候會發(fā)生。我認為需要取得一些額外的進展，但我絕對不會預測這一點會在某個時候發(fā)生。我認為這件事的不確定性相當高，因為這些方面的AI技術發(fā)展，需要持續(xù)很長時間。也許會花很長時間，也許只需要幾年時間。但是很難給出一個精確的答案。
在意識問題上，我還是個孩子的時候，我想看著我的手，我想，這怎么可能是我能看到的手？像我一樣，這種性質(zhì)的東西？我不知道如何更好地解釋它。所以這是我很好奇的事情。意識這個問題非常困難非常棘手，你如何定義它呢？這是很長一段時間以來無法定義的東西。你如何在一個系統(tǒng)中測試它？也許有一個AI系統(tǒng)行為完美，完美地像你期望的那樣，但是就能說明它有意識嗎？我認為有一個非常簡單的方法，有一個實驗：們會非常仔細地處理數(shù)據(jù)，這樣我們就永遠不會提到任何關于意識的事情。我們只會說這里是是一個球，這里是一個城堡，這里就像一個小玩具。也許我們會有幾年的這種訓練數(shù)據(jù)。也許這樣一個AI系統(tǒng)會與許多不同的老師互動，向他們學習。但你從沒提過意識。然后在某個時候，你坐下來和AI說，我想告訴你關于意識的事情，但是我很難清晰的表達出來。想象一下，如果AI說：天啊，我也有同樣的感覺，但我不知道如何表達。如果它能以這種方式來討論意識問題，也許說明那時候的AI就真正的具有了意識。
我認為這更像是一種程度問題。比如說，如果一個人非常累，可能喝醉了，那么也許當某人處于那種狀態(tài)時，也許他們的意識已經(jīng)在某種程度上降低了。我可以想象動物有一種更簡化的意識形式。從昆蟲到老鼠、貓、狗、大型靈長類動物，他們的意識程度是不斷增加的，從有一些意識到很高的意識。
關于開源與閉源的問題。我認為AI面臨的挑戰(zhàn)是AI如此包羅萬象，它伴隨著許多不同的危險，這些危險相互沖突。開源AI的一些原因是什么？防止權(quán)力集中在那些正在開發(fā)AI的人手中。因此，如果你在一個只有少數(shù)公司控制著這項非常強大的技術的世界里，你可能會說這AI應該是開放的，任何人都可以使用AI。 這就是開源的論點。但是這個論點，有短期的商業(yè)動機。
但是還有另一個反對開源的長期論點，那就是如果一個人相信最終AI會變得難以置信的強大，比如能自主地創(chuàng)造一個生物。這也應該開源嗎？所以我對開源問題的立場是，我認為關鍵考量是AI的能力水平。你可以從能力的角度考慮這些神經(jīng)網(wǎng)絡，它們有多強大，它們有多聰明。當AI的能力水平還處于低端時，我認為開源是一件很棒的事情。但在某些時候，，AI能力會變得如此龐大，那么開源顯然是不負責任的。
我認為，當前的AI能力水平仍然沒有那么高，完全可以開源。而ChatGPT之所以閉源，是出于安全考慮。隨著AI模型的能力不斷提高，總有一天，安全考慮將成為明顯和直接的驅(qū)動力。
關于非營利和營利性的問題。從某種意義上說，如果OpenAI從現(xiàn)在開始只是一個非營利組織，直到OpenAI的通用人工智能使命完成，那將是更可取的。 然而，值得指出的一件事是這些數(shù)據(jù)中心的成本非常高。各種AI初創(chuàng)公司及其籌集的資金，其中大部分流向云提供商。那是為什么？之所以需要這么多錢，是因為這就是這些大型神經(jīng)網(wǎng)絡的本質(zhì)。他們需要大量的計算、算力。
幾十年來，AI的前沿研究都在學術部門和大學進行。但是當這些項目的復雜性和成本開始變得非常大的時候，大學不再具有競爭力?，F(xiàn)在大學需要研究AI需要找到其他方法來做出貢獻。這些方式是存在的，只是不同于他們習慣的方式。
說服人們給非營利組織捐款很困難。所以我們想，有什么解決方案？所以我們構(gòu)建出來獨一無二的公司架構(gòu)。Openai不是一家盈利公司，這是一家利潤有限的公司。這意味著，OpenaiI的股權(quán)可以被視為債券，而不是普通意義上的股權(quán)和一家普通公司。換句話說，openai對投資者負有有限的義務，而普通公司對投資者負有無限的義務。
Openai的股權(quán)不同于正常的創(chuàng)業(yè)公司股權(quán)，但也有一些相似之處，你越早加入公司，上限越高，因為隨著公司繼續(xù)成功，需要更大的上限來吸引初始投資者。這很重要，因為這意味著一旦公司對投資者和員工的所有義務都得到支付，openai就會再次成為非營利組織。我們可以看看今天的AI是什么，我認為OpenAI正在推動實現(xiàn)通用AI，向投資者和員工支付義務，在AI變得如此強大的時候會再次成為非營利組織。
關于OpenAI和微軟的關系。微軟了解AGI通用人工智能的潛力和嚴重性。微軟是開放AI的投資者。在openai的任何投資者簽署的所有投資者文件中，任何簽署任何文件的人，任何投資文件的頂部都有一個紫色的矩形，上面寫著OpenAI的信托責任是OpenAI的AGI使命，這意味著如果使命發(fā)生沖突，你有可能失去所有的錢。所以這是所有投資者都簽署的東西。
AI確實會變得非常強大，非常具有變革性。我確實認為，我們希望走向一個擁有明智的政府監(jiān)管AI的世界。我們希望在一個有明確規(guī)則的世界里，訓練更強大的神經(jīng)網(wǎng)絡。我們希望政府機構(gòu)對AI發(fā)展進行某種仔細的評估，比如我們期望這些神經(jīng)網(wǎng)絡今天能做什么，一年后可以做什么。
OpenAI用什么指標來度量是否成功呢？ 有幾個非常重要的kpi，非常重要的維度。一個是不可否認的技術進步。我們的研究做得好嗎？我們是否更了解我們的AI系統(tǒng)？我會更好地訓練他們嗎？我們能更好地控制它們嗎？我們的研究計劃執(zhí)行得好嗎？我們的安全計劃執(zhí)行得好嗎？我們對此有多高興？這是我對主要kpi的描述。當然還有圍繞產(chǎn)品的東西，但是，我認為AI技術是核心的，以及對AI技術的控制。
事情變化太快了，我不能就AI具體產(chǎn)品的發(fā)展做出任何關于5年或10年的預測。
未來5-10年深度學習、人工智能領域會如何發(fā)展呢？
我希望深度學習繼續(xù)取得進展，模型規(guī)模會繼續(xù)擴大。我們在從gpt 1到gpt 3的過程中最明顯地看到了這一點。但是事情會有一點變化。模型越來越大，原因是人們擁有數(shù)據(jù)中心，而這些數(shù)據(jù)中心不是用于一次訓練運行。因此，通過簡單地重新分配現(xiàn)有資源，您可以取得很大進展，并且重新分配現(xiàn)有資源不需要那么長時間。你只需要有人決定這樣做。現(xiàn)在不同了，因為AI訓練運行規(guī)模非常大，擴大規(guī)模不會像過去那樣快，因為構(gòu)建數(shù)據(jù)中心需要時間。但與此同時，我預計深度學習堆棧的許多層都會有所改進，它們?nèi)匀粫е路浅７€(wěn)健的進展。我確信我們將發(fā)現(xiàn)深度學習目前未知的新屬性，這些屬性將被利用，我完全期望5-10年后會比現(xiàn)在好得多。但是它到底會是什么樣子，我想這有點難回答。因為可能會有少量的大改進，也會有大量的小改進，所有這些都集成到一個大型復雜的工程工件中。
更大的神經(jīng)網(wǎng)絡會更好，但要做到這一點會很費力和成本。但是我認為會有很多不同的領域。
我們甚至可以達到這樣的點：神經(jīng)網(wǎng)絡可以被完全理解。只有當我們真正理解神經(jīng)網(wǎng)絡的運行機制時，我們才能真正從中受益。
所以我認為將應該AI發(fā)展視為多個因素的推動，每個因素都有貢獻。擁有特殊的數(shù)據(jù)是否更好？這是否有助于你在一組特定的任務中得到更好的結(jié)果？當然了。能力更強的通用基礎模型更好嗎？當然。通用AI模型和專用AI模型都有很好的發(fā)展前景，并不是非此即彼的關系。
聯(lián)系客服
