2024年3月18日，通用人工智能創(chuàng)業(yè)公司——月之暗面（Moonshot AI）宣布在大模型長(zhǎng)上下文窗口技術(shù)上取得新的突破，Kimi 智能助手已支持200萬(wàn)字超長(zhǎng)無(wú)損上下文，并于即日起開(kāi)啟產(chǎn)品“內(nèi)測(cè)”。對(duì)大模型超長(zhǎng)無(wú)損上下文能力有需求的用戶，可到 Kimi 智能助手網(wǎng)頁(yè)版 kimi.ai首頁(yè)申請(qǐng)搶先體驗(yàn)。

據(jù)了解，Kimi智能助手是月之暗面（Moonshot AI）基于自研千億參數(shù)大模型打造的對(duì)話式AI助手產(chǎn)品，在2023年10月發(fā)布時(shí)支持約20萬(wàn)漢字無(wú)損上下文輸入。2023年11月，Kimi智能助手正式面向全社會(huì)開(kāi)放服務(wù)，出色的長(zhǎng)上下文處理能力，幫助用戶解鎖了很多新的使用場(chǎng)景，包括專業(yè)學(xué)術(shù)論文的翻譯和理解、輔助分析法律問(wèn)題、一次性整理幾十張發(fā)票、快速理解API開(kāi)發(fā)文檔等，獲得了良好的用戶口碑。

不到半年時(shí)間，月之暗面將Kimi智能助手的無(wú)損上下文長(zhǎng)度提升了一個(gè)數(shù)量級(jí)，從20萬(wàn)字到200萬(wàn)字。由于沒(méi)有采用常規(guī)的漸進(jìn)式提升路線，月之暗面團(tuán)隊(duì)遇到的技術(shù)難度也是指數(shù)級(jí)增加的。為了達(dá)到更好的長(zhǎng)窗口無(wú)損壓縮性能，月之暗面的研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對(duì)齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開(kāi)發(fā)，不走“滑動(dòng)窗口”“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點(diǎn)，才取得新突破。

媒體溝通會(huì)現(xiàn)場(chǎng)，月之暗面“拋磚引玉”，展示了一些超長(zhǎng)無(wú)損上下文的使用場(chǎng)景示例。例如，用戶上傳幾十萬(wàn)字的經(jīng)典德州撲克長(zhǎng)篇教程后，讓 Kimi扮演德?lián)鋵＜覟樽约禾峁┏雠撇呗缘闹笇?dǎo)。

上傳一份完整的近百萬(wàn)字中醫(yī)診療手冊(cè)，讓Kimi針對(duì)用戶的問(wèn)題給出診療建議。

上傳英偉達(dá)過(guò)去幾年的完整財(cái)報(bào)，讓Kimi成為英偉達(dá)財(cái)務(wù)研究專家，幫用戶分析總結(jié)英偉達(dá)歷史上的重要發(fā)展節(jié)點(diǎn)。

上傳一個(gè)代碼倉(cāng)庫(kù)里的源代碼，可以詢問(wèn) Kimi關(guān)于代碼庫(kù)的所有細(xì)節(jié)，即便是毫無(wú)注釋的陳年老代碼也能幫助你快速梳理出代碼的結(jié)構(gòu)。

過(guò)去要10000小時(shí)才能成為專家的領(lǐng)域，現(xiàn)在只需要10分鐘，Kimi就能接近一個(gè)新領(lǐng)域的初級(jí)專家水平。用戶可以跟Kimi 探討這個(gè)領(lǐng)域的問(wèn)題，讓Kimi幫助自己練習(xí)專業(yè)技能，或者啟發(fā)新的想法。有了支持200萬(wàn)字無(wú)損上下文的Kimi，快速學(xué)習(xí)任何一個(gè)新領(lǐng)域都會(huì)變得更加輕松。

快速整理大量的資料是很多用戶在工作中經(jīng)常遇到的挑戰(zhàn)?，F(xiàn)在 Kimi 能夠一口氣精讀500個(gè)，甚至更多數(shù)量的文件，幫助用戶快速分析所有文件的內(nèi)容，并且支持通過(guò)自然語(yǔ)言進(jìn)行信息查詢和篩選，大大提高了信息處理效率。例如，公司 HR 可以基于業(yè)務(wù)需求，快速?gòu)淖罱?00份簡(jiǎn)歷中，讓Kimi快速找出有某個(gè)行業(yè)從業(yè)經(jīng)歷，同時(shí)從計(jì)算機(jī)類專業(yè)畢業(yè)的求職者，更加高效地篩選和識(shí)別合適的候選人。

從長(zhǎng)篇小說(shuō)、故事或劇本中，重新發(fā)現(xiàn)值得玩味的蛛絲馬跡，進(jìn)行深層細(xì)節(jié)的挖掘，是很多影視娛樂(lè)IP的愛(ài)好者熱衷的事情。如果將甄嬛傳全集幾十萬(wàn)字的劇本傳給Kimi，然后提問(wèn)劇本中有哪些細(xì)節(jié)表明甄嬛的孩子是果郡王的。Kimi能在不同時(shí)間段、各個(gè)場(chǎng)景的故事情節(jié)中，深入挖掘甄嬛、果郡王的情感線以及和他們孩子的真相，堪比一個(gè)看了好幾十遍電視劇的“甄”學(xué)家。

“我們相信，大模型無(wú)損上下文長(zhǎng)度的數(shù)量級(jí)提升，也會(huì)進(jìn)一步幫助大家打開(kāi)對(duì)AI應(yīng)用場(chǎng)景的想象力，包括完整代碼庫(kù)的分析理解、可以自主幫我們完成多步驟復(fù)雜任務(wù)的智能體Agent、不會(huì)遺忘關(guān)鍵信息的終身助理、真正統(tǒng)一架構(gòu)的多模態(tài)模型等等?！痹轮得婀こ谈笨偛迷S欣然在媒體溝通會(huì)上表示，“無(wú)論是內(nèi)存、算力還是網(wǎng)絡(luò)帶寬，歷史上每一次基礎(chǔ)技術(shù)的升級(jí)，都會(huì)解鎖新的產(chǎn)品形態(tài)和應(yīng)用場(chǎng)景。我們對(duì)200萬(wàn)無(wú)損上下文的Kimi可以帶來(lái)哪些超出想象力的創(chuàng)新機(jī)遇充滿期待。”

“通往通用人工智能（AGI）的話，無(wú)損的長(zhǎng)上下文將會(huì)是一個(gè)很關(guān)鍵的基礎(chǔ)技術(shù)。從word2vec到RNN、LSTM，再到 Transformer，歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無(wú)損的上下文長(zhǎng)度?！痹轮得鎰?chuàng)始人楊植麟博士此前在接受采訪時(shí)表示，“上下文長(zhǎng)度可能存在摩爾定律，但需要同時(shí)優(yōu)化長(zhǎng)度和無(wú)損壓縮水平兩個(gè)指標(biāo)，才是有意義的規(guī)模化。”

從很多Kimi智能助手用戶的反饋來(lái)看，20萬(wàn)字的無(wú)損長(zhǎng)上下文幫助他們打開(kāi)了新的AI應(yīng)用世界，帶來(lái)了更大的價(jià)值，但隨著他們嘗試更復(fù)雜的任務(wù)、解讀更長(zhǎng)的文檔，依然會(huì)遇到對(duì)話長(zhǎng)度超出限制的情況。這也是大模型產(chǎn)品的無(wú)損上下文長(zhǎng)度需要繼續(xù)提升的一個(gè)直接原因。

此外，Kimi智能助手的智能搜索，更是離不開(kāi)大模型的無(wú)損長(zhǎng)上下文能力。Kimi主動(dòng)搜索得到的多篇資料，會(huì)作為上下文的一部分交給模型去推理。正是因?yàn)镵imi大模型支持的上下文窗口足夠長(zhǎng)，窗口內(nèi)的信息損失足夠低，Kimi智能助手才能輸出高質(zhì)量的結(jié)果，為用戶帶來(lái)截然不同的搜索體驗(yàn)——Kimi可以根據(jù)用戶的問(wèn)題，主動(dòng)去互聯(lián)網(wǎng)上搜索、分析和總結(jié)最相關(guān)的多個(gè)頁(yè)面，生成更直接、更準(zhǔn)確的答案。例如，用戶可以讓Kimi主動(dòng)去搜索和對(duì)比兩家同領(lǐng)域上市公司的最新財(cái)報(bào)數(shù)據(jù)，直接生成對(duì)比表格，節(jié)省大量的資料查找時(shí)間。而傳統(tǒng)的搜索引擎通常只能根據(jù)用戶的問(wèn)題，返回一些摻雜著廣告信息網(wǎng)頁(yè)鏈接。

另一項(xiàng)與大模型的無(wú)損上下文能力息息相關(guān)的指標(biāo)是指令遵循（Instruction Following）能力。指令遵循能力主要體現(xiàn)在兩個(gè)方面：第一，模型在多輪對(duì)話中是否能夠始終遵循用戶的指令，理解用戶的需求；第二，模型是否能夠遵循復(fù)雜指令，有時(shí)候復(fù)雜指令可能長(zhǎng)達(dá)幾千、上萬(wàn)字。從產(chǎn)品推出以來(lái)的用戶反饋來(lái)看，Kimi智能助手的多輪交互和超長(zhǎng)指令遵循能力，也同樣具備顯著優(yōu)勢(shì)。

伴隨模型能力的每日升級(jí)，iOS應(yīng)用、Android應(yīng)用、小程序、Web等多端平臺(tái)的上線，Kimi智能助手已成為越來(lái)越多用戶工作和生活離不開(kāi)的AI小助手。3月18日啟動(dòng)200萬(wàn)字超長(zhǎng)上下文的內(nèi)測(cè)申請(qǐng)后，月之暗面會(huì)逐步開(kāi)放更多用戶來(lái)體驗(yàn)具備超長(zhǎng)無(wú)損上下文能力的Kimi智能助手，期待與更多用戶共創(chuàng)智能。