200萬上下文！月之暗面Kimi又長長長了，一次處理500個文件，還能讀懂甄嬛傳了
作者｜油醋
郵箱｜zhuzheng@pingwest.com成立一年，拿了大把融資，大模型“長文本路線”代表人物月之暗面（Moonshot AI）現(xiàn)在最關心的是什么？去年10月，月之暗面發(fā)布支持20萬漢字輸入的Kimi智能助手（下簡稱Kimi），彼時Claude-100k支持約8萬字，GPT-4-32k支持約2.5萬字。Kimi是全球市場上能夠產(chǎn)品化使用的大模型服務中最長的上下文輸入長度。20萬字的“胃口”，現(xiàn)在變成200萬了。這是什么概念呢。舉個例子，目前微信讀書上單本超過200萬字的作品只有5部。會議室里，月之暗面 AI Infra負責人許欣然拿出了一個全本《倚天屠龍記》的復印版本——A4紙打印，疊起來幾乎有一瓶350ml的怡寶純凈水的一半高，約100萬字——還有一整個《甄嬛傳》劇本，現(xiàn)在的Kimi Chat一次可以吃掉這倆。如果把上下文長度理解成大模型的“精力”，那么現(xiàn)在Kimi能夠一口氣精讀500個甚至更多數(shù)量的文件，幫助用戶快速分析所有文件的內容，并且支持通過自然語言進行信息查詢和篩選。在Kimi還是20萬字輸入長度的時候，它的能力界限還在50個文件左右。比如你可以直接扔給Kimi 500份簡歷，然后讓它把其中符合要求的人初篩出來。英偉達GPT大會又要開場了，如果需要一些背景知識，你可以把英偉達過去幾年的完整財報一次性扔給Kimi，讓它成為一位臨時的英偉達財務研究專家，來幫你分析總結英偉達歷史上的重要發(fā)展節(jié)點。甚至你可以把LLM庫的源代碼直接給Kimi，然后你將會收獲一個大概懂大模型是怎么回事的同事——它了解這個代碼庫里的所有細節(jié)，還能快速梳理出代碼的結構。“有個1萬小時定律，意思是投入1萬小時的話在任何領域你都會成為一個專家，我們希望Kimi可以用10分鐘完成同樣的事。”許欣然說。當然它也能做些不那么嚴肅的事，比如剛才提到的《甄嬛傳》。當我把全集幾十萬字的劇本傳給Kimi， 然后提問劇本中有哪些細節(jié)表明甄嬛的孩子是果郡王的。Kimi竟然能在不同時間段、各個場景的故事情節(jié)里把甄嬛、果郡王的情感線以及關于孩子的真相理順，堪比一個看了好幾十遍電視劇的“甄”學家。 SimilarWeb數(shù)據(jù)顯示，去年12月Kimi的周訪問量還在10萬次上下，到了1月下旬才突破40萬，但是從春節(jié)開始訪問量疾速攀升，到現(xiàn)在周訪問量已經(jīng)超過160萬次。然后Kimi收到的用戶反饋也越來越多，從這些反饋來看，20萬字很長，足夠做很多更有價值的事——但還不夠長。在嘗試更復雜的任務，解讀更長的文檔時依然會遇到對話長度超出限制的情況。這也是Kimi的上下文長度需要繼續(xù)提升的一個直接原因。月之暗面相信長文本技術是大模型“登月計劃”的第一步，關于大模型幻覺的問題，實用價值低的問題，本質上都是因為困在文本長度的限制里。甚至模型微調也只是目前文本長度有限情況下的權宜之計。“所有問題都是文本長度的問題。如果你有10億的 context length（上下文長度），今天看到的問題都不是問題”。月之暗面CEO楊植麟在之前的采訪中表示。如果單單只是為了“變長”，辦法很多。長文本最終要建立在lossless（信息不隨著文本長度增加而損失）上才有意義。而無損的?上下文將會是通往AGI的關鍵基礎技術。某種程度上，絕對的文本長度是花架子，無損壓縮的能力才能分模型的勝負。“從word2vec到RNN、LSTM，再到Transformer，歷史上所有的模型架構演進，本質上都是在提升有效的、無損的上下文?度?！睏钪谗氪饲氨硎尽?/span>月之暗面方面透露，這次上下文長度從20萬字擴展到200萬字由于沒有采用常規(guī)的漸進式提升路線，研發(fā)和技術團隊遇到的技術難度也是指數(shù)級增加的。為了達到更好的?窗口無損壓縮性能，團隊從模型預訓練到對?、推理環(huán)節(jié)均進行了原生的重新設計和開發(fā)。許欣然所領導的AI Infra層目前效率已經(jīng)提升到了原來的3倍。而無損上下文長度的線性變化最終會決定上層建筑的形態(tài)——也就是人們到底能用大模型做什么。領域專家、可完成復雜多步任務的Agent、多模態(tài)模型。許欣然提到了這三個方向，或許這也會是忠于長文本路線的月之暗面未來的發(fā)展方向。Kimi智能助手已支持200萬字超?無損上下文，并于即日起開啟產(chǎn)品“內測”。對大模型超?無損上下文能力有需求的用戶，可到Kimi智能助手網(wǎng)?版kimi.ai首?申請搶先體驗。之后，月之暗面會逐步開放更多用戶來體驗具備超?無損上下文能力的Kimi智能助手。
本站僅提供存儲服務，所有內容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內容，請
點擊舉報。
