天天淙合插插美女视频,杨幂怼人视频,欧美在线美女视频

200萬上下文！月之暗面Kimi又長長長了，一次處理500個(gè)文件，還能讀懂甄嬛傳了

牧心小憩之 >《新的概念集》

2024.03.18 寧夏

關(guān)注

作者｜油醋
郵箱｜zhuzheng@pingwest.com

成立一年，拿了大把融資，大模型“長文本路線”代表人物月之暗面（Moonshot AI）現(xiàn)在最關(guān)心的是什么？

——依然是“長”。

去年10月，月之暗面發(fā)布支持20萬漢字輸入的Kimi智能助手（下簡稱Kimi），彼時(shí)Claude-100k支持約8萬字，GPT-4-32k支持約2.5萬字。Kimi是全球市場上能夠產(chǎn)品化使用的大模型服務(wù)中最長的上下文輸入長度。

20萬字的“胃口”，現(xiàn)在變成200萬了。

這是什么概念呢。舉個(gè)例子，目前微信讀書上單本超過200萬字的作品只有5部。

會(huì)議室里，月之暗面 AI Infra負(fù)責(zé)人許欣然拿出了一個(gè)全本《倚天屠龍記》的復(fù)印版本——A4紙打印，疊起來幾乎有一瓶350ml的怡寶純凈水的一半高，約100萬字——還有一整個(gè)《甄嬛傳》劇本，現(xiàn)在的Kimi Chat一次可以吃掉這倆。

這意味著什么？

如果把上下文長度理解成大模型的“精力”，那么現(xiàn)在Kimi能夠一口氣精讀500個(gè)甚至更多數(shù)量的文件，幫助用戶快速分析所有文件的內(nèi)容，并且支持通過自然語言進(jìn)行信息查詢和篩選。在Kimi還是20萬字輸入長度的時(shí)候，它的能力界限還在50個(gè)文件左右。

比如你可以直接扔給Kimi 500份簡歷，然后讓它把其中符合要求的人初篩出來。

圖源：月之暗面

每個(gè)文件也可以長一點(diǎn)。

英偉達(dá)GPT大會(huì)又要開場了，如果需要一些背景知識(shí)，你可以把英偉達(dá)過去幾年的完整財(cái)報(bào)一次性扔給Kimi，讓它成為一位臨時(shí)的英偉達(dá)財(cái)務(wù)研究專家，來幫你分析總結(jié)英偉達(dá)歷史上的重要發(fā)展節(jié)點(diǎn)。

甚至你可以把LLM庫的源代碼直接給Kimi，然后你將會(huì)收獲一個(gè)大概懂大模型是怎么回事的同事——它了解這個(gè)代碼庫里的所有細(xì)節(jié)，還能快速梳理出代碼的結(jié)構(gòu)。

圖源：月之暗面

“有個(gè)1萬小時(shí)定律，意思是投入1萬小時(shí)的話在任何領(lǐng)域你都會(huì)成為一個(gè)專家，我們希望Kimi可以用10分鐘完成同樣的事?！痹S欣然說。

當(dāng)然它也能做些不那么嚴(yán)肅的事，比如剛才提到的《甄嬛傳》。

當(dāng)我把全集幾十萬字的劇本傳給Kimi，然后提問劇本中有哪些細(xì)節(jié)表明甄嬛的孩子是果郡王的。Kimi竟然能在不同時(shí)間段、各個(gè)場景的故事情節(jié)里把甄嬛、果郡王的情感線以及關(guān)于孩子的真相理順，堪比一個(gè)看了好幾十遍電視劇的“甄”學(xué)家。

圖源：月之暗面

SimilarWeb數(shù)據(jù)顯示，去年12月Kimi的周訪問量還在10萬次上下，到了1月下旬才突破40萬，但是從春節(jié)開始訪問量疾速攀升，到現(xiàn)在周訪問量已經(jīng)超過160萬次。

然后Kimi收到的用戶反饋也越來越多，從這些反饋來看，20萬字很長，足夠做很多更有價(jià)值的事——但還不夠長。在嘗試更復(fù)雜的任務(wù)，解讀更長的文檔時(shí)依然會(huì)遇到對(duì)話長度超出限制的情況。這也是Kimi的上下文長度需要繼續(xù)提升的一個(gè)直接原因。

月之暗面相信長文本技術(shù)是大模型“登月計(jì)劃”的第一步，關(guān)于大模型幻覺的問題，實(shí)用價(jià)值低的問題，本質(zhì)上都是因?yàn)槔г谖谋鹃L度的限制里。甚至模型微調(diào)也只是目前文本長度有限情況下的權(quán)宜之計(jì)。

“所有問題都是文本長度的問題。如果你有10億的 context length（上下文長度），今天看到的問題都不是問題”。月之暗面CEO楊植麟在之前的采訪中表示。

如果單單只是為了“變長”，辦法很多。長文本最終要建立在lossless（信息不隨著文本長度增加而損失）上才有意義。而無損的?上下文將會(huì)是通往AGI的關(guān)鍵基礎(chǔ)技術(shù)。某種程度上，絕對(duì)的文本長度是花架子，無損壓縮的能力才能分模型的勝負(fù)。

“從word2vec到RNN、LSTM，再到Transformer，歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無損的上下文?度?！睏钪谗氪饲氨硎?。

月之暗面方面透露，這次上下文長度從20萬字?jǐn)U展到200萬字由于沒有采用常規(guī)的漸進(jìn)式提升路線，研發(fā)和技術(shù)團(tuán)隊(duì)遇到的技術(shù)難度也是指數(shù)級(jí)增加的。為了達(dá)到更好的?窗口無損壓縮性能，團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對(duì)?、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開發(fā)。許欣然所領(lǐng)導(dǎo)的AI Infra層目前效率已經(jīng)提升到了原來的3倍。

而無損上下文長度的線性變化最終會(huì)決定上層建筑的形態(tài)——也就是人們到底能用大模型做什么。

領(lǐng)域?qū)＜?、可完成?fù)雜多步任務(wù)的Agent、多模態(tài)模型。許欣然提到了這三個(gè)方向，或許這也會(huì)是忠于長文本路線的月之暗面未來的發(fā)展方向。

Kimi智能助手已支持200萬字超?無損上下文，并于即日起開啟產(chǎn)品“內(nèi)測”。對(duì)大模型超?無損上下文能力有需求的用戶，可到Kimi智能助手網(wǎng)?版kimi.ai首?申請(qǐng)搶先體驗(yàn)。之后，月之暗面會(huì)逐步開放更多用戶來體驗(yàn)具備超?無損上下文能力的Kimi智能助手。

本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊舉報(bào)。

打開APP，閱讀全文并永久保存查看更多類似文章

大模型開啟「長」時(shí)代，楊植麟的新公司把對(duì)話框容量做到了世界第一

月之暗面楊植麟：大模型進(jìn)入長文本時(shí)代，無損壓縮才是有效的規(guī)模化 | WISE2023商業(yè)之王大會(huì)

估值20億的kimi-Chat真香

AI掃盲指南！什么是大模型？什么prompt？什么是大模型參數(shù)？

LLaMA2上下文長度暴漲至100萬tokens，只需調(diào)整1個(gè)超參數(shù)｜復(fù)旦邱錫鵬團(tuán)隊(duì)出品

更多類似文章 >>

中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频