2024年人工智能行業(yè)專題報(bào)告：從Kimi展望國(guó)產(chǎn)大模型和應(yīng)用-“月之暗面”的背后是星辰大海

2024年人工智能行業(yè)專題報(bào)告：從Kimi展望國(guó)產(chǎn)大模型和應(yīng)用_“月之暗面”的背后是星辰大海1.緊抓痛點(diǎn)+局部技術(shù)領(lǐng)先，帶來(lái)Kimi的高速增長(zhǎng)月之暗面(MoonshotAI)創(chuàng)立于2023年3月，致力于尋求將能源轉(zhuǎn)化為智能的最優(yōu)解，通過(guò)產(chǎn)品與用戶共創(chuàng)智能，2023年10月推出全球首個(gè)支持輸入20萬(wàn)漢字的智能助手產(chǎn)品Kimi。創(chuàng)始團(tuán)隊(duì)核心成員參與了GoogleGemini、GoogleBard、盤(pán)古NLP、悟道等多個(gè)大模型的研發(fā)，多項(xiàng)核心技術(shù)被GooglePaLM、MetaLLaMa、StableDiffusion等主流產(chǎn)品采用。根據(jù)21世紀(jì)經(jīng)濟(jì)報(bào)道官方百家號(hào)，月之暗面團(tuán)隊(duì)成立不到2個(gè)月就獲得了紅杉中國(guó)、今日資本、真格基金、礪思資本等知名VC投資，目前團(tuán)隊(duì)人數(shù)已超80人。創(chuàng)始人楊植麟被多家頭部VC寄予厚望飽受期待。楊植麟是Transformer-XL與XLNet等熱門(mén)論文的第一作者，兩者均為大語(yǔ)言模型領(lǐng)域的核心技術(shù)。同時(shí)也是中國(guó)35歲以下NLP領(lǐng)域引用最高的研究者；另外兩位聯(lián)合創(chuàng)始人周昕宇和吳育昕，則有超過(guò)10000+的GoogleScholar引用。根據(jù)月之暗面官微，Monolith礪思資本創(chuàng)始合伙人曹曦表示：“楊植麟是全球大模型領(lǐng)域里最被認(rèn)可的華人技術(shù)專家，其團(tuán)隊(duì)在人工智能技術(shù)，特別是大語(yǔ)言模型LLM領(lǐng)域擁有深厚的技術(shù)積累，并已在國(guó)際上獲得了廣泛認(rèn)可”。真格基金合伙人戴雨森也表示：“楊植麟作為XLNet等多項(xiàng)知名科研工作的第一作者，具備相當(dāng)豐富的科研和實(shí)踐經(jīng)驗(yàn)，多年來(lái)他一直堅(jiān)信通過(guò)大模型實(shí)現(xiàn)對(duì)高維數(shù)據(jù)的壓縮是人工智能發(fā)展的必經(jīng)之路，也團(tuán)結(jié)了一支人才密度超高，配合默契，又充滿挑戰(zhàn)巨頭搖滾精神的創(chuàng)業(yè)團(tuán)隊(duì)?！痹轮得嬖诙嗄B(tài)相關(guān)技術(shù)上多有儲(chǔ)備，團(tuán)隊(duì)成員曾發(fā)明了包括基于對(duì)比學(xué)習(xí)的視覺(jué)預(yù)訓(xùn)練范式MoCo、最高效的視覺(jué)網(wǎng)絡(luò)結(jié)構(gòu)之一ShuffleNet等，也有團(tuán)隊(duì)成員主導(dǎo)開(kāi)發(fā)了detectron2，后者是一個(gè)被廣泛使用的視覺(jué)開(kāi)源項(xiàng)目，曾被集成到Meta全線VR/AR產(chǎn)品中。創(chuàng)始人楊植麟畢業(yè)于清華大學(xué)，師從唐杰教授；之后獲得卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)博士學(xué)位，師從蘋(píng)果公司人工智能負(fù)責(zé)人RuslanSalakhutdinov。“月之暗面”這個(gè)名字，來(lái)源于搖滾樂(lè)隊(duì)PinkFloyd的著名專輯《TheDarkSideoftheMoon》（月之暗面）。據(jù)創(chuàng)始人楊植麟介紹，這個(gè)名字象征著神秘與未知，與公司在人工智能領(lǐng)域的探索精神相契合，此外公司成立的日期正好是這張專輯發(fā)行的50周年。根據(jù)鈦媒體AGI官微，融資方面，成立不到一年內(nèi)，月之暗面就已完成兩筆融資，總額超過(guò)13億美元，投資方包括紅杉中國(guó)、真格基金、小紅書(shū)、美團(tuán)、阿里等。2024年2月的一筆融資成為國(guó)內(nèi)AI大模型公司迄今獲得的單輪最大金額融資。兩輪投資后，目前，月之暗面公司估值或達(dá)25億美元。技術(shù)產(chǎn)品層面，成立至今，月之暗面已完成從通用大模型到上層應(yīng)用的布局。其中，大模型基礎(chǔ)層，月之暗面已訓(xùn)練千億級(jí)別的自研通用大模型，并獲得了國(guó)內(nèi)大模型備案審批。而在應(yīng)用層，2023年10月10日，月之暗面發(fā)布了首個(gè)支持輸入20萬(wàn)漢字的智能助手產(chǎn)品KimiChat。（注：KimiChat后改名為Kimi智能助手，下文KimiChat、Kimi、Kimi智能助手均指同一產(chǎn)品）根據(jù)月之暗面官微的口徑，20萬(wàn)漢字是當(dāng)時(shí)（2023年10月10日）全球市場(chǎng)上能夠產(chǎn)品化使用的大模型服務(wù)中所能支持的最長(zhǎng)上下文輸入長(zhǎng)度，標(biāo)志著月之暗面在“長(zhǎng)文本”這一重要技術(shù)上取得了世界領(lǐng)先水平。從技術(shù)視角看，參數(shù)量決定了大模型支持多復(fù)雜的“計(jì)算”，而能夠接收多少文本輸入（即長(zhǎng)文本技術(shù)）則決定了大模型有多大的“內(nèi)存”，兩者共同決定模型的應(yīng)用效果。支持更長(zhǎng)的上下文意味著大模型擁有更大的“內(nèi)存”，從而使得大模型的應(yīng)用更加深入和廣泛：比如通過(guò)多篇財(cái)報(bào)進(jìn)行市場(chǎng)分析、處理超長(zhǎng)的法務(wù)合同、快速梳理多篇文章或多個(gè)網(wǎng)頁(yè)的關(guān)鍵信息、基于長(zhǎng)篇小說(shuō)設(shè)定進(jìn)行角色扮演等等，都可以在超長(zhǎng)文本技術(shù)的加持下，成為人們工作和生活的一部分。相比當(dāng)前市面上以英文為基礎(chǔ)訓(xùn)練的大模型服務(wù)，KimiChat具備較強(qiáng)的多語(yǔ)言能力。例如，KimiChat在中文上具備顯著優(yōu)勢(shì)，實(shí)際使用效果能夠支持約20萬(wàn)漢字的上下文，2.5倍于Anthropic公司的Claude-100k（實(shí)測(cè)約8萬(wàn)字），8倍于OpenAI公司的GPT-4-32k（實(shí)測(cè)約2.5萬(wàn)字）。同時(shí)，KimiChat通過(guò)創(chuàng)新的網(wǎng)絡(luò)結(jié)構(gòu)和工程優(yōu)化，在千億參數(shù)下實(shí)現(xiàn)了無(wú)損的長(zhǎng)程注意力機(jī)制，不依賴于滑動(dòng)窗口、降采樣、小模型等對(duì)性能損害較大的“捷徑”方案。在月之暗面公司看來(lái)，當(dāng)前大模型輸入長(zhǎng)度普遍較低的現(xiàn)狀對(duì)其技術(shù)落地產(chǎn)生了很大制約。例如：目前大火的虛擬角色場(chǎng)景中，由于長(zhǎng)文本能力不足，虛擬角色會(huì)輕易忘記重要信息，例如在CharacterAI的社區(qū)中用戶經(jīng)常抱怨“因?yàn)榻巧诙噍唽?duì)話后忘記了自己的身份，所以不得不重新開(kāi)啟新的對(duì)話”。對(duì)于大模型開(kāi)發(fā)者來(lái)說(shuō)，輸入prompt長(zhǎng)度的限制約束了大模型應(yīng)用的場(chǎng)景和能力的發(fā)揮，比如基于大模型開(kāi)發(fā)劇本殺類游戲時(shí)，往往需要將數(shù)萬(wàn)字甚至超過(guò)十萬(wàn)字的劇情設(shè)定以及游戲規(guī)則作為prompt加入應(yīng)用，如果模型輸入長(zhǎng)度不夠，則只能削減規(guī)則和設(shè)定，從而無(wú)法達(dá)到預(yù)期游戲效果。在另一個(gè)大模型應(yīng)用的主要方向——Agent中，由于Agent運(yùn)行需要自動(dòng)進(jìn)行多輪規(guī)劃和決策，且每次行動(dòng)都需要參考?xì)v史記憶信息才能完成，這會(huì)帶來(lái)了模型輸入的快速增加，同時(shí)也意味著不能處理更長(zhǎng)上下文的模型將因?yàn)闊o(wú)法全面準(zhǔn)確的基于歷史信息進(jìn)行新的規(guī)劃和決策從而降低Agent運(yùn)行成功的概率。在使用大模型作為工作助理完成任務(wù)的過(guò)程中，幾乎每個(gè)深度用戶都遇到過(guò)輸入長(zhǎng)度超出限制的情況。尤其是律師、分析師、咨詢師等職業(yè)的用戶，由于常常需要分析處理較長(zhǎng)的文本內(nèi)容，使用大模型時(shí)受挫的情況發(fā)生頻率很高。而上述所有的問(wèn)題在大模型擁有足夠長(zhǎng)的上下文輸入后都將會(huì)迎刃而解。Kimi可以快速總結(jié)分析公眾號(hào)長(zhǎng)文；Kimi可以快速完成上市公司財(cái)報(bào)關(guān)鍵信息分析；Kimi可以快速整理多份發(fā)票中所需要的信息；發(fā)現(xiàn)了新的算法論文時(shí)，Kimi能夠直接幫你根據(jù)論文復(fù)現(xiàn)代碼；Kimi可以理解網(wǎng)頁(yè)內(nèi)容；Kimi還可以快速閱讀理解整本圖書(shū)。當(dāng)模型可以處理的上下文變得更長(zhǎng)后，大模型的能力能夠覆蓋到更多使用場(chǎng)景，真正在人們的工作、生活、學(xué)習(xí)中發(fā)揮作用，而且由于可以直接基于全文理解進(jìn)行問(wèn)答和信息處理，大模型生成的“幻覺(jué)”問(wèn)題也可以得到很大程度的解決。其實(shí)長(zhǎng)文本技術(shù)的開(kāi)發(fā)，存在一些對(duì)效果損害很大的“捷徑”，主要包含以下幾個(gè)方面：“金魚(yú)”模型，特點(diǎn)是容易“健忘”。通過(guò)滑動(dòng)窗口等方式主動(dòng)拋棄上文，只保留對(duì)最新輸入的注意力機(jī)制。模型無(wú)法對(duì)全文進(jìn)行完整理解，無(wú)法處理跨文檔的比較和長(zhǎng)文本的綜合理解（例如，無(wú)法從一篇10萬(wàn)字的用戶訪談錄音轉(zhuǎn)寫(xiě)中提取最有價(jià)值的10個(gè)觀點(diǎn)）?！懊鄯洹蹦Ｐ?，特點(diǎn)是只關(guān)注局部，忽略整體。通過(guò)對(duì)上下文的降采樣或者RAG（檢索增強(qiáng)的生成），只保留對(duì)部分輸入的注意力機(jī)制。模型同樣無(wú)法對(duì)全文進(jìn)行完整理解（例如，無(wú)法從50個(gè)簡(jiǎn)歷中對(duì)候選人的畫(huà)像進(jìn)行歸納和總結(jié)）?！膀蝌健蹦Ｐ停攸c(diǎn)是模型能力尚未發(fā)育完整。通過(guò)減少參數(shù)量（例如減少到百億參數(shù)）來(lái)提升上下文長(zhǎng)度，這種方法會(huì)降低模型本身的能力，雖然能支持更長(zhǎng)上下文，但是大量任務(wù)無(wú)法勝任。月之暗面公司認(rèn)為，走這些捷徑無(wú)法達(dá)到理想的產(chǎn)品化效果。為了真正做出可用、好用的產(chǎn)品，就應(yīng)該直面挑戰(zhàn)。具體來(lái)看。訓(xùn)練層面，想訓(xùn)練得到一個(gè)支持足夠長(zhǎng)上下文能力的模型，不可避免地要面對(duì)如下困難：如何讓模型能在幾十萬(wàn)的上下文窗口中，準(zhǔn)確的Attend到所需要的內(nèi)容，不降低其原有的基礎(chǔ)能力？已有的類似滑動(dòng)窗口和長(zhǎng)度外推等技術(shù)對(duì)模型性能的損害比較大，在很多場(chǎng)景下無(wú)法實(shí)現(xiàn)真正的上下文。在千億參數(shù)級(jí)別訓(xùn)練長(zhǎng)上下文模型，帶來(lái)了更高的算力需求和嚴(yán)重的顯存壓力，傳統(tǒng)的3D并行方案已經(jīng)難以無(wú)法滿足訓(xùn)練需求。缺乏充足的高質(zhì)量長(zhǎng)序列數(shù)據(jù)，如何提供更多的有效數(shù)據(jù)給模型訓(xùn)練？推理層面，在獲得了支持超長(zhǎng)上下文的模型后，如何讓模型能服務(wù)眾多用戶，同樣要面臨艱巨挑戰(zhàn)：Transformer模型中自注意力機(jī)制（SelfAttention）的計(jì)算量會(huì)隨著上下文長(zhǎng)度的增加呈平方級(jí)增長(zhǎng)，比如上下文增加32倍時(shí)，計(jì)算量實(shí)際會(huì)增長(zhǎng)1000倍，這意味著如果只是用樸素的方式實(shí)現(xiàn)，用戶需要等待相當(dāng)長(zhǎng)的時(shí)間才能獲得反饋。超長(zhǎng)上下文導(dǎo)致顯存需求進(jìn)一步增長(zhǎng)：以1750億參數(shù)的GPT-3為例，目前最高單機(jī)配置(80GiB*8)最多只能支持64k上下文長(zhǎng)度的推理，超長(zhǎng)文本對(duì)顯存的要求可見(jiàn)一斑。顯著的顯存帶寬壓力：英偉達(dá)A800或H800的顯存帶寬高達(dá)2-3TiB/s，但面對(duì)如此長(zhǎng)的上下文，樸素方法的生成速度只能達(dá)到2~5tokens/s，使用的體驗(yàn)相當(dāng)卡頓。在過(guò)去Kimi發(fā)布前半年多的時(shí)間里，月之暗面的技術(shù)團(tuán)隊(duì)進(jìn)行了極致的算法和工程優(yōu)化，克服上述重重困難，終于完成了大內(nèi)存模型的產(chǎn)品化，帶來(lái)了首個(gè)支持20萬(wàn)字輸入的千億參數(shù)LLM產(chǎn)品。月之暗面創(chuàng)始人楊植麟此前在接受采訪時(shí)曾表示，無(wú)論是文字、語(yǔ)音還是視頻，對(duì)海量數(shù)據(jù)的無(wú)損壓縮可以實(shí)現(xiàn)高程度的智能。無(wú)損壓縮的進(jìn)展曾深度依賴「參數(shù)為王」模式，該模式下壓縮比直接與參數(shù)量相關(guān)，這大大增加了模型的訓(xùn)練成本和應(yīng)用門(mén)檻，而月之暗面認(rèn)為：大模型的能力上限（即無(wú)損壓縮比）是由單步能力和執(zhí)行的步驟數(shù)共同決定的。單步能力與參數(shù)量正相關(guān)，而執(zhí)行步驟數(shù)即上下文長(zhǎng)度。月之暗面相信，更長(zhǎng)的上下文長(zhǎng)度可以為大模型應(yīng)用帶來(lái)全新的篇章，促使大模型從LLM時(shí)代進(jìn)入LongLLM(LLLM)時(shí)代：每個(gè)人都可以擁有一個(gè)具備終身記憶的虛擬伴侶，它可以在生命的長(zhǎng)河中記住與你交互的所有細(xì)節(jié)，建立長(zhǎng)期的情感連接。每個(gè)人都可以擁有一個(gè)在工作環(huán)境與你共生（co-inhabit）的助手，它知曉公域（互聯(lián)網(wǎng)）和私域（企業(yè)內(nèi)部文檔）的所有知識(shí)，并基于此幫助你完成OKR。每個(gè)人都可以擁有一個(gè)無(wú)所不知的學(xué)習(xí)向?qū)?，不僅能夠準(zhǔn)確的給你提供知識(shí)，更能夠引導(dǎo)你跨越學(xué)科間的壁壘，更加自由的探索與創(chuàng)新。當(dāng)然，更長(zhǎng)的上下文長(zhǎng)度只是月之暗面在下一代大模型技術(shù)上邁出的第一步。月之暗面計(jì)劃憑借該領(lǐng)域的領(lǐng)先技術(shù)，加速大模型技術(shù)的創(chuàng)新和應(yīng)用落地，不斷取得更多突破。Kimi智能助手初次亮相后，憑借約20萬(wàn)漢字的無(wú)損上下文能力，幫助用戶解鎖了很多新的使用場(chǎng)景，包括專業(yè)學(xué)術(shù)論文的翻譯和理解、輔助分析法律問(wèn)題、一次性整理幾十張發(fā)票、快速理解API開(kāi)發(fā)文檔等，獲得了良好的用戶口碑和用戶量的快速增長(zhǎng)。根據(jù)AI產(chǎn)品榜統(tǒng)計(jì)，Kimi的2月上榜訪問(wèn)量已經(jīng)達(dá)到305萬(wàn)，僅次于阿里通義千問(wèn)的365萬(wàn)和百度文心一言的1006萬(wàn)，排名國(guó)內(nèi)總榜第三。與此同時(shí)，Kimi訪問(wèn)量增速也在國(guó)內(nèi)超百萬(wàn)月上榜訪問(wèn)量的AI產(chǎn)品中位居第一，2月達(dá)到107.60%的環(huán)比增速，遠(yuǎn)超同級(jí)別產(chǎn)品。而在全球增速榜中，Kimi的上榜訪問(wèn)量增速依然排名第一。根據(jù)鈦媒體AGI官微，月之暗面工程副總裁許欣然更是表示，目前Kimi平均每個(gè)月可能都有100%以上的增速。2024年3月18日，月之暗面宣布Kimi智能助手在長(zhǎng)上下文窗口技術(shù)上再次取得突破，無(wú)損上下文長(zhǎng)度提升了一個(gè)數(shù)量級(jí)到200萬(wàn)字。與此同時(shí)，支持200萬(wàn)字上下文的Kimi已啟動(dòng)“內(nèi)測(cè)”。對(duì)大模型超長(zhǎng)無(wú)損上下文能力有需求的用戶，可到Kimi智能助手網(wǎng)頁(yè)版kimi.ai首頁(yè)申請(qǐng)搶先體驗(yàn)。從20萬(wàn)字到200萬(wàn)字，由于沒(méi)有采用常規(guī)的漸進(jìn)式提升路線，月之暗面團(tuán)隊(duì)遇到的技術(shù)難度也是指數(shù)級(jí)增加的。為了達(dá)到更好的長(zhǎng)窗口無(wú)損壓縮性能，月之暗面的研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對(duì)齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開(kāi)發(fā)，不走“滑動(dòng)窗口”、“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點(diǎn)。月之暗面相信，大模型無(wú)損上下文長(zhǎng)度的數(shù)量級(jí)提升，也會(huì)進(jìn)一步幫助大家打開(kāi)對(duì)AI應(yīng)用場(chǎng)景的想象力，包括完整代碼庫(kù)的分析理解、可以自主幫人類完成多步驟復(fù)雜任務(wù)的智能體Agent、不會(huì)遺忘關(guān)鍵信息的終身助理、真正統(tǒng)一架構(gòu)的多模態(tài)模型等等。月之暗面也放出了幾個(gè)超長(zhǎng)無(wú)損上下文的使用場(chǎng)景示例：用戶上傳幾十萬(wàn)字的經(jīng)典德州撲克長(zhǎng)篇教程后，讓Kimi扮演德?lián)鋵＜覟樽约禾峁┏雠撇呗缘闹笇?dǎo)；上傳一份完整的近百萬(wàn)字中醫(yī)診療手冊(cè)，讓Kimi針對(duì)用戶的問(wèn)題給出診療建議；上傳英偉達(dá)過(guò)去幾年的完整財(cái)報(bào)，讓Kimi成為英偉達(dá)財(cái)務(wù)研究專家，幫用戶分析總結(jié)英偉達(dá)歷史上的重要發(fā)展節(jié)點(diǎn)；上傳一個(gè)代碼倉(cāng)庫(kù)里的源代碼，可以詢問(wèn)Kimi關(guān)于代碼庫(kù)的所有細(xì)節(jié)，即便是毫無(wú)注釋的陳年老代碼也能幫助你快速梳理出代碼的結(jié)構(gòu)。根據(jù)月之暗面的口徑，過(guò)去要10000小時(shí)才能成為專家的領(lǐng)域，現(xiàn)在只需要10分鐘，Kimi就能接近任何一個(gè)新領(lǐng)域的初級(jí)專家水平。用戶可以跟Kimi探討這個(gè)領(lǐng)域的問(wèn)題，讓Kimi幫助自己練習(xí)專業(yè)技能，或者啟發(fā)新的想法。有了支持200萬(wàn)字無(wú)損上下文的Kimi，快速學(xué)習(xí)任何一個(gè)新領(lǐng)域都會(huì)變得更加輕松?？焖僬泶罅康馁Y料是很多用戶在工作中經(jīng)常遇到的挑戰(zhàn)?，F(xiàn)在Kimi能夠一口氣精讀500個(gè)，甚至更多數(shù)量的文件，幫助用戶快速分析所有文件的內(nèi)容，并且支持通過(guò)自然語(yǔ)言進(jìn)行信息查詢和篩選，大大提高了信息處理效率。例如，公司HR可以基于業(yè)務(wù)需求，快速?gòu)淖罱?00份簡(jiǎn)歷中，讓Kimi快速找出有某個(gè)行業(yè)從業(yè)經(jīng)歷，同時(shí)從計(jì)算機(jī)類專業(yè)畢業(yè)的求職者，更加高效地篩選和識(shí)別合適的候選人。從長(zhǎng)篇小說(shuō)、故事或劇本中，重新發(fā)現(xiàn)值得玩味的蛛絲馬跡，進(jìn)行深層細(xì)節(jié)的挖掘，是很多影視娛樂(lè)IP的愛(ài)好者熱衷的事情。如果將甄嬛傳全集幾十萬(wàn)字的劇本傳給Kimi，Kimi能在不同時(shí)間段、各個(gè)場(chǎng)景的故事情節(jié)中，深入挖掘甄嬛、果郡王的情感線以及和他們孩子的真相?！巴ㄍㄓ萌斯ぶ悄埽ˋGI）的話，無(wú)損的長(zhǎng)上下文將會(huì)是一個(gè)很關(guān)鍵的基礎(chǔ)技術(shù)。從word2vec到RNN、LSTM，再到Transformer，歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無(wú)損的上下文長(zhǎng)度?！痹轮得鎰?chuàng)始人楊植麟博士此前在接受采訪時(shí)表示，“上下文長(zhǎng)度可能存在摩爾定律，但需要同時(shí)優(yōu)化長(zhǎng)度和無(wú)損壓縮水平兩個(gè)指標(biāo)，才是有意義的規(guī)?；?。”從很多Kimi智能助手用戶的反饋來(lái)看，20萬(wàn)字的無(wú)損長(zhǎng)上下文幫助他們打開(kāi)了新的AI應(yīng)用世界，帶來(lái)了更大的價(jià)值，但隨著他們嘗試更復(fù)雜的任務(wù)、解讀更長(zhǎng)的文檔，依然會(huì)遇到對(duì)話長(zhǎng)度超出限制的情況。這也是大模型產(chǎn)品的無(wú)損上下文長(zhǎng)度需要繼續(xù)提升的一個(gè)直接原因。此外，Kimi智能助手的智能搜索，同樣離不開(kāi)大模型的無(wú)損長(zhǎng)上下文能力。Kimi主動(dòng)搜索得到的多篇資料，會(huì)作為上下文的一部分交給模型去推理。正是因?yàn)镵imi大模型支持的上下文窗口足夠長(zhǎng)，窗口內(nèi)的信息損失足夠低，Kimi智能助手才能輸出高質(zhì)量的結(jié)果，為用戶帶來(lái)截然不同的搜索體驗(yàn)。Kimi可以根據(jù)用戶的問(wèn)題，主動(dòng)去互聯(lián)網(wǎng)上搜索、分析和總結(jié)最相關(guān)的多個(gè)頁(yè)面，生成更直接、更準(zhǔn)確的答案。例如，用戶可以讓Kimi主動(dòng)去搜索和對(duì)比兩家同領(lǐng)域上市公司的最新財(cái)報(bào)數(shù)據(jù)，直接生成對(duì)比表格，節(jié)省大量的資料查找時(shí)間。而傳統(tǒng)的搜索引擎通常只能根據(jù)用戶的問(wèn)題，返回一些參雜著廣告信息網(wǎng)頁(yè)鏈接。另一項(xiàng)與大模型的無(wú)損上下文能力息息相關(guān)的指標(biāo)是指令遵循（InstructionFollowing）能力。指令遵循能力主要體現(xiàn)在兩個(gè)方面：第一，模型在多輪對(duì)話中是否能夠始終遵循用戶的指令，理解用戶的需求；第二，模型是否能夠遵循復(fù)雜指令，有時(shí)候復(fù)雜指令可能長(zhǎng)達(dá)幾千、上萬(wàn)字。從產(chǎn)品推出以來(lái)的用戶反饋來(lái)看，Kimi智能助手的多輪交互和超長(zhǎng)指令遵循能力，也是產(chǎn)品的一項(xiàng)核心優(yōu)勢(shì)。根據(jù)鈦媒體AGI官微，月之暗面方面表示，從很多Kimi智能助手用戶的反饋來(lái)看，20萬(wàn)字的無(wú)損長(zhǎng)上下文幫助他們打開(kāi)了新的AI應(yīng)用世界，帶來(lái)了更大的價(jià)值，但隨著他們嘗試更復(fù)雜的任務(wù)、解讀更長(zhǎng)的文檔，依然會(huì)遇到對(duì)話長(zhǎng)度超出限制的情況。這也是大模型產(chǎn)品的無(wú)損上下文長(zhǎng)度需要繼續(xù)提升的一個(gè)直接原因。此外，Kimi智能助手的智能搜索，更是離不開(kāi)大模型的無(wú)損長(zhǎng)上下文能力。月之暗面指出，正是因?yàn)橛脩魧?duì)Kimi發(fā)出的指令越來(lái)越復(fù)雜，因此團(tuán)隊(duì)也一直致力于提升Kimi能遵循的指令的復(fù)雜度、信息檢索能力。同時(shí)由于用戶的使用場(chǎng)景從工作逐漸擴(kuò)展到生活的方方面面，團(tuán)隊(duì)在網(wǎng)頁(yè)端之外補(bǔ)齊了微信小程序、iOS端以及安卓端等。月之暗面工程副總裁許欣然透露，Kimi充分發(fā)揮其作為“硅基生命”的優(yōu)勢(shì)，夜間也在持續(xù)不斷地自我進(jìn)化中。月之暗面聯(lián)合創(chuàng)始人周昕宇強(qiáng)調(diào)，出于用戶共創(chuàng)的考慮，Kimi的定位比起“聊天機(jī)器人”更像一個(gè)“智能助手”，因?yàn)槠胀▽?duì)話對(duì)大模型自身迭代的幫助有限。周昕宇表示，對(duì)于呼聲很高的提示詞教程，目前已經(jīng)在準(zhǔn)備當(dāng)中，預(yù)計(jì)在四月左右發(fā)布；同時(shí)，多模態(tài)模型也在不斷研發(fā)，而音頻處理能力、海外版同樣在需求池內(nèi)。月之暗面工程副總裁許欣然向鈦媒體App表示，月之暗面的AIInfra（基礎(chǔ)設(shè)施）團(tuán)隊(duì)也在持續(xù)提升能效比，均是采用自研技術(shù)。比起剛發(fā)布時(shí)，Kimi在完全相同的硬件條件下響應(yīng)速度提升了3倍。目前，Kimi智能助手仍完全免費(fèi)。但隨著用戶群體的擴(kuò)大和使用量的增長(zhǎng)，難免會(huì)出現(xiàn)算力不足的情況。月之暗面工程副總裁許欣然透露，2024年上半年預(yù)計(jì)開(kāi)啟商業(yè)化模式除了持續(xù)發(fā)展Kimi，根據(jù)界面新聞官方百家號(hào)，月之暗面聯(lián)合創(chuàng)始人周昕宇表示，在Sora發(fā)布之前月之暗面就已經(jīng)有多模態(tài)方面的研發(fā)，目前正在按照固有節(jié)奏推進(jìn)，預(yù)計(jì)在2024年將會(huì)有相關(guān)產(chǎn)品發(fā)布。我們認(rèn)為，月之暗面代表著中國(guó)AI另一種可能性，即初創(chuàng)公司在某個(gè)大模型的細(xì)分領(lǐng)域帶來(lái)的世界級(jí)領(lǐng)先，在2023年10月，月之暗面就在“長(zhǎng)文本”這一重要技術(shù)上取得了世界領(lǐng)先水平，而伴隨“200萬(wàn)字”級(jí)別Kimi的發(fā)布，月之暗面的領(lǐng)先也有望持續(xù)擴(kuò)大。而Kimi則是抓住了某個(gè)細(xì)分領(lǐng)域的“痛點(diǎn)”的產(chǎn)品，即長(zhǎng)文本的分析，這種實(shí)際的需求，疊加月之暗面自研的大模型在這個(gè)領(lǐng)域的領(lǐng)先技術(shù)，共同創(chuàng)造出了Kimi。月之暗面創(chuàng)始人兼CEO楊植麟在接受騰訊新聞《潛望》專訪中提到：“我肯定要做AGI嘛，這是接下來(lái)十年唯一有意義的事。但不是說(shuō)我們不做應(yīng)用?；蛘撸粦?yīng)該把它定義成一個(gè)‘應(yīng)用’?！畱?yīng)用’聽(tīng)起來(lái)好像你有一個(gè)技術(shù)，你想把它用在什么地方，有商業(yè)化閉環(huán)。但‘應(yīng)用’不是準(zhǔn)確的詞。它跟AGI是相輔相成的。它本身是實(shí)現(xiàn)AGI的手段，也是實(shí)現(xiàn)AGI的目的。反過(guò)來(lái)，你如果只關(guān)注應(yīng)用，不關(guān)注模型能力迭代，不關(guān)注AGI，貢獻(xiàn)也有限。”我們認(rèn)為，伴隨月之暗面在未來(lái)持續(xù)深耕AGI，其大模型的技術(shù)迭代和應(yīng)用的落地有望同步推進(jìn)，共同促進(jìn)國(guó)產(chǎn)AI的發(fā)展。2.國(guó)產(chǎn)大模型持續(xù)發(fā)展，性能逐漸接近世界第一梯隊(duì)我們認(rèn)為，好的AI應(yīng)用與好的AI大模型是分不開(kāi)的，除了Kimi背后的月之暗面自研大模型，國(guó)內(nèi)其他大模型目前也正在緊追海外的步伐，部分領(lǐng)軍者已經(jīng)基本達(dá)到了世界一流的水平。2024年1月30日，訊飛星火認(rèn)知大模型V3.5正式發(fā)布，訊飛星火V3.5實(shí)現(xiàn)了文本生成、語(yǔ)言理解、知識(shí)問(wèn)答、邏輯推理、數(shù)學(xué)能力、代碼能力、多模態(tài)能力等七大能力的全面提升。根據(jù)與長(zhǎng)三角人工智能產(chǎn)業(yè)鏈聯(lián)盟、中國(guó)科學(xué)院人工智能產(chǎn)學(xué)研創(chuàng)新聯(lián)盟等科研機(jī)構(gòu)以及企業(yè)共同形成的通用認(rèn)知智能大模型測(cè)評(píng)體系的481個(gè)維度，科大訊飛采用科學(xué)測(cè)評(píng)方法和隨機(jī)動(dòng)態(tài)數(shù)據(jù)對(duì)比檢測(cè)，訊飛星火V3.5的各項(xiàng)能力越來(lái)越逼近現(xiàn)在全球最好的GPT-4Turbo水平，并且訊飛星火V3.5已在語(yǔ)言理解、數(shù)學(xué)能力上超過(guò)了GPT-4Turbo。在代碼功能上，訊飛星火V3.5已經(jīng)達(dá)到了GPT-4Turbo的96%。在科研最常用的Python語(yǔ)言領(lǐng)域，不僅在HumanEval的測(cè)試集上，而且在真實(shí)的測(cè)試集上，訊飛星火V3.5技術(shù)測(cè)試效果已經(jīng)實(shí)現(xiàn)超過(guò)（GPT-4Turbo）。另外在多模態(tài)的理解上，訊飛星火V3.5達(dá)到了GPT-4V的91%，其中語(yǔ)音的多模態(tài)能力已經(jīng)超過(guò)GPT-4了。在要素抽取和問(wèn)題生成方面，訊飛星火V3.5已經(jīng)實(shí)現(xiàn)超越GPT-4Turbo，在概念理解、知識(shí)推理和圖文生成方面還有差距，但也在迎頭趕上，像概念理解這些關(guān)鍵的能力與GPT-4Turbo相比已經(jīng)差距很小。時(shí)空推理和邏輯推理方面，訊飛星火V3.5相比V3.0已經(jīng)有了顯著提升，盡管與GPT-4Turbo相比還存在一些差距，但差距并不是很大。如果將其限定在特定領(lǐng)域，并提供專業(yè)領(lǐng)域的知識(shí)進(jìn)行學(xué)習(xí)和訓(xùn)練，當(dāng)訊飛星火V3.5了解相對(duì)明確的應(yīng)用場(chǎng)景后，其評(píng)分可能從40-50分提高到90多分，甚至在部分應(yīng)用場(chǎng)景中可以保證萬(wàn)無(wú)一失?？偟膩?lái)講，訊飛星火V3.5在各個(gè)維度的能力都有提升，對(duì)標(biāo)國(guó)際最先進(jìn)水平。數(shù)學(xué)能力已經(jīng)超過(guò)了GPT-4Turbo，代碼能力在Python上超過(guò)了GPT-4Turbo，多模態(tài)能力相當(dāng)于GPT-4V的91%水平。百度則早在2023年3月16日發(fā)布知識(shí)增強(qiáng)大語(yǔ)言模型文心一言。文心一言從數(shù)萬(wàn)億數(shù)據(jù)和數(shù)千億知識(shí)中融合學(xué)習(xí)，得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強(qiáng)化學(xué)習(xí)、提示等技術(shù)，具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)的技術(shù)優(yōu)勢(shì)。文心一言的基礎(chǔ)模型2023年5月升級(jí)至文心大模型3.5，在基礎(chǔ)模型升級(jí)、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)、插件機(jī)制等方面創(chuàng)新突破，取得效果和效率的提升。根據(jù)百度官微援引人民數(shù)據(jù)發(fā)布的《AI大模型綜合能力測(cè)評(píng)報(bào)告》顯示，文心一言不僅綜合評(píng)分超越ChatGPT，位居全球第一，更在內(nèi)容生態(tài)、數(shù)據(jù)認(rèn)知、知識(shí)問(wèn)答三大維度評(píng)分超越ChatGPT，且六大維度評(píng)分均位列國(guó)內(nèi)大模型榜首。同時(shí)，文心一言近20項(xiàng)細(xì)分測(cè)評(píng)指標(biāo)排名全球第一，遙遙領(lǐng)先其他國(guó)產(chǎn)大模型。多個(gè)公開(kāi)測(cè)評(píng)顯示，文心大模型3.5版支持下的文心一言中文能力突出，甚至有超出GPT-4的表現(xiàn)；綜合能力在評(píng)測(cè)中超過(guò)ChatGPT，遙遙領(lǐng)先于其他大模型。例如，全球領(lǐng)先的IT市場(chǎng)研究和咨詢公司IDC最新發(fā)布的《AI大模型技術(shù)能力評(píng)估報(bào)告，2023》顯示，根據(jù)百度官微援引百度文心大模型3.5拿下12項(xiàng)指標(biāo)的7個(gè)滿分，得到“綜合評(píng)分第一，算法模型第一，行業(yè)覆蓋第一”三個(gè)絕對(duì)第一；根據(jù)百度官微援引新華網(wǎng)的《國(guó)內(nèi)LLM產(chǎn)品測(cè)試報(bào)告》中，百度文心一言整體領(lǐng)先，在內(nèi)容安全、閱讀理解、常識(shí)問(wèn)答，數(shù)學(xué)運(yùn)算等維度得分遠(yuǎn)超ChatGPT3.5、訊飛星火和ChatGLM。2023年10月17日，百度發(fā)布文心大模型4.0，相比3.5版本，理解、生成、邏輯、記憶四大能力都有顯著提升。其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達(dá)到理解的近3倍，記憶的提升幅度也達(dá)到了理解的2倍多。百度基于文心大模型研制了智能代碼助手Comate，從內(nèi)部應(yīng)用效果來(lái)看，整體的代碼采納率達(dá)到40%，高頻用戶的代碼采納率達(dá)到60%。文心大模型4.0在2023年9月已開(kāi)始小流量上線，2023年9月-2023年10月一個(gè)多月間，效果又提升了近30%。訓(xùn)練算法效率自2023年3月以來(lái)已累計(jì)提升3.6倍，周均的訓(xùn)練有效率超過(guò)98%。文心大模型4.0基本技術(shù)架構(gòu)與3.0和3.5版本一脈相承，并在多個(gè)關(guān)鍵技術(shù)方向上進(jìn)一步創(chuàng)新突破。此外，文心大模型4.0在輸入和輸出階段都進(jìn)行知識(shí)點(diǎn)增強(qiáng)。一方面，對(duì)用戶輸入的問(wèn)題進(jìn)行理解，并拆解出回答問(wèn)題所需的知識(shí)點(diǎn)，然后在搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫(kù)中查找準(zhǔn)確知識(shí)，最后把這些找到的知識(shí)組裝進(jìn)Prompt送入大模型，準(zhǔn)確率好，效率也高；另一方面，對(duì)大模型的輸出進(jìn)行反思，從生成結(jié)果中拆解出知識(shí)點(diǎn)，然后再利用搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫(kù)，以及大模型本身進(jìn)行確認(rèn)，進(jìn)而對(duì)有差錯(cuò)的點(diǎn)進(jìn)行修正。李彥宏在宣布文心大模型4.0發(fā)布時(shí)表示，這是迄今為止最強(qiáng)大的文心大模型，實(shí)現(xiàn)了基礎(chǔ)模型的全面升級(jí)，在理解、生成、邏輯和記憶能力上都有著顯著提升，綜合能力“與GPT-4相比毫不遜色”。2024年01月16日，智譜AI也推出新一代基座大模型GLM-4。GLM-4支持更長(zhǎng)上下文；更強(qiáng)的多模態(tài)；支持更快推理速度，更多并發(fā)，大大降低推理成本；同時(shí)GLM-4增強(qiáng)了智能體能力?；A(chǔ)能力（英文）：GLM-4在MMLU、GSM8K、MATH、BBH、HellaSwag、HumanEval等數(shù)據(jù)集上，分別達(dá)到GPT-494%、95%、91%、99%、90%、100%的水平。指令跟隨能力：GLM-4在IFEval的prompt級(jí)別上中、英分別達(dá)到GPT-4的88%、85%的水平，在Instruction級(jí)別上中、英分別達(dá)到GPT-4的90%、89%的水平。對(duì)齊能力：GLM-4在中文對(duì)齊能力上整體超過(guò)GPT-4。長(zhǎng)文本能力：在LongBench（128K）測(cè)試集上對(duì)多個(gè)模型進(jìn)行評(píng)測(cè)，GLM-4性能超過(guò)Claude2.1；在「大海撈針」（128K）實(shí)驗(yàn)中，GLM-4的測(cè)試結(jié)果為128K以內(nèi)全綠，做到100%精準(zhǔn)召回。GLM-4實(shí)現(xiàn)自主根據(jù)用戶意圖，自動(dòng)理解、規(guī)劃復(fù)雜指令，自由調(diào)用網(wǎng)頁(yè)瀏覽器、CodeInterpreter代碼解釋器和多模態(tài)文生圖大模型，以完成復(fù)雜任務(wù)。簡(jiǎn)單來(lái)講，即只需一個(gè)指令，GLM-4會(huì)自動(dòng)分析指令，結(jié)合上下文選擇決定調(diào)用合適的工具。AllTools-文生圖：GLM-4能夠結(jié)合上下文進(jìn)行AI繪畫(huà)創(chuàng)作（CogView3，其在文生圖多個(gè)評(píng)測(cè)指標(biāo)上，相比DALLE3約在91.4%~99.3%的水平之間。），如下圖所示，大模型能夠遵循人的指令來(lái)不斷修改生成圖片的結(jié)果。AllTools-代碼解釋器：GLM-4能夠通過(guò)自動(dòng)調(diào)用python解釋器，進(jìn)行復(fù)雜計(jì)算（例如復(fù)雜方程、微積分等），在GSM8K、MATH、Math23K等多個(gè)評(píng)測(cè)集上都取得了接近或同等GPT-4AllTools的水平。同樣GLM-4也可以完成文件處理、數(shù)據(jù)分析、圖表繪制等復(fù)雜任務(wù)，支持處理Excel、PDF、PPT等格式文件。AllTools-網(wǎng)頁(yè)瀏覽：GLM-4能夠自行規(guī)劃?rùn)z索任務(wù)、自行選擇信息源、自行與信息源交互，在準(zhǔn)確率上能夠達(dá)到78.08，是GPT-4AllTools的116%。AllTools-FunctionCall：GLM-4能夠根據(jù)用戶提供的Function描述，自動(dòng)選擇所需Function并生成參數(shù)，以及根據(jù)Function的返回值生成回復(fù)；同時(shí)也支持一次輸入進(jìn)行多次Function調(diào)用，支持包含中文及特殊符號(hào)的Function名字。這一方面GLM-4AllTools與GPT-4Turbo相當(dāng)。AllTools-多工具自動(dòng)調(diào)用：除了以上單項(xiàng)工具自動(dòng)調(diào)用外，GLM-4同樣能夠?qū)崿F(xiàn)多工具自動(dòng)調(diào)用，例如結(jié)合網(wǎng)頁(yè)瀏覽、CogView3、代碼解釋器等的調(diào)用方式。總體來(lái)講，GLM-4的整體性能相比上一代大幅提升，十余項(xiàng)指標(biāo)逼近或達(dá)到GPT-4。而阿里也在2023年10月31日發(fā)布了千億級(jí)參數(shù)大模型通義千問(wèn)2.0。在10個(gè)權(quán)威測(cè)評(píng)中，通義千問(wèn)2.0綜合性能超過(guò)GPT-3.5，正在加速追趕GPT-4。通義千問(wèn)2.0在性能上取得巨大飛躍，相比2023年4月發(fā)布的1.0版本，通義千問(wèn)2.0在復(fù)雜指令理解、文學(xué)創(chuàng)作、通用數(shù)學(xué)、知識(shí)記憶、幻覺(jué)抵御等能力上均有顯著提升。通義千問(wèn)的綜合性能已經(jīng)超過(guò)GPT-3.5，加速追趕GPT-4。在MMLU、C-Eval、GSM8K、HumanEval、MATH等10個(gè)主流Benchmark測(cè)評(píng)集上，通義千問(wèn)2.0的得分整體超越Meta的Llama-2-70B，相比OpenAI的Chat-3.5是九勝一負(fù)，相比GPT-4則是四勝六負(fù)，與GPT-4的差距進(jìn)一步縮小。中英文理解能力是大語(yǔ)言模型的基本功。英語(yǔ)任務(wù)方面，通義千問(wèn)2.0在MMLU基準(zhǔn)的得分是82.5，僅次于GPT-4，通過(guò)大幅增加參數(shù)量，通義千問(wèn)2.0能更好地理解和處理復(fù)雜的語(yǔ)言結(jié)構(gòu)和概念；中文任務(wù)方面，通義千問(wèn)2.0以明顯優(yōu)勢(shì)在C-Eval基準(zhǔn)獲得最高得分，這是由于模型在訓(xùn)練中學(xué)習(xí)了更多中文語(yǔ)料，進(jìn)一步強(qiáng)化了中文理解和表達(dá)能力。在數(shù)學(xué)推理、代碼理解等領(lǐng)域，通義千問(wèn)2.0進(jìn)步明顯。在推理基準(zhǔn)測(cè)試GSM8K中，通義千問(wèn)排名第二，展示了強(qiáng)大的計(jì)算和邏輯推理能力；在HumanEval測(cè)試中，通義千問(wèn)得分緊跟GPT-4和GPT-3.5，該測(cè)試主要衡量大模型理解和執(zhí)行代碼片段的能力，這一能力是大模型應(yīng)用于編程輔助、自動(dòng)代碼修復(fù)等場(chǎng)景的基礎(chǔ)。2024年3月14日，阿里通義千問(wèn)還推出了免費(fèi)的文檔解析功能，可解析網(wǎng)頁(yè)、文檔、論文、圖書(shū)，突破當(dāng)前大模型長(zhǎng)文檔處理的天花板。針對(duì)單個(gè)文檔，通義千問(wèn)能夠處理超萬(wàn)頁(yè)的超長(zhǎng)資料，換算成中文篇幅約1000萬(wàn)字；針對(duì)多個(gè)文檔，可一鍵速讀100份不同格式的資料；還可解析在線網(wǎng)頁(yè)。此外，商湯更是早在2023年6月便聯(lián)合多家國(guó)內(nèi)頂尖科研機(jī)構(gòu)發(fā)布了預(yù)訓(xùn)練大語(yǔ)言模型InternLM，成為國(guó)內(nèi)首個(gè)超越GPT-3.5-turbo性能的基模型。2024年2月2日，商湯發(fā)布了“日日新SenseNova4.0”，多維度全面升級(jí)大模型體系?！叭杖招耂enseNova4.0”擁有更全面的知識(shí)覆蓋、更可靠的推理能力，更優(yōu)越的長(zhǎng)文本理解力及更穩(wěn)定的數(shù)字推理能?和更強(qiáng)的代碼生成能力，并支持跨模態(tài)交互。日日新·商量大語(yǔ)言模型-通用版本（SenseChatV4），支持128K語(yǔ)境窗口長(zhǎng)度，綜合整體評(píng)測(cè)成績(jī)水平比肩GPT-4，相較GPT-3.5已經(jīng)實(shí)現(xiàn)全面超越。在大模型發(fā)展的背景下，各大科技公司也高度重視AI應(yīng)用的發(fā)展與落地。“大模型發(fā)展，應(yīng)用才是硬道理?！笨拼笥嶏w董事長(zhǎng)劉慶峰強(qiáng)調(diào)。訊飛星火自2023年5月誕生以來(lái)，不斷迭代升級(jí)其大模型能力，深耕千行百業(yè)的應(yīng)用剛需。星火賦能個(gè)人應(yīng)用打造，目前基于訊飛聽(tīng)見(jiàn)、訊飛星火APP、訊飛輸入法等應(yīng)用，已累計(jì)賦能億萬(wàn)用戶。為加速企業(yè)大模型應(yīng)用價(jià)值落地，訊飛星火V3.5將提供全棧自主可控的優(yōu)化套件?；谌珖?guó)產(chǎn)化算力打造的訊飛星火V3.5支持異構(gòu)算力調(diào)度，可實(shí)現(xiàn)行業(yè)大模型訓(xùn)練提效90%，支持23個(gè)企業(yè)應(yīng)用場(chǎng)景的敏捷優(yōu)化。截止2024年1月，星火開(kāi)發(fā)者超35萬(wàn)，生態(tài)增長(zhǎng)迅猛，打造個(gè)人應(yīng)用賦能億萬(wàn)用戶。訊飛星火賦能千行百業(yè)，攜手保險(xiǎn)、銀行、能源、汽車、通信等領(lǐng)域龍頭企業(yè)，打造大模型賦能的應(yīng)用標(biāo)桿。此外，深度適配國(guó)產(chǎn)算力的訊飛星火開(kāi)源大模型“星火開(kāi)源-13B”首次發(fā)布，場(chǎng)景應(yīng)用效果領(lǐng)先，昇思開(kāi)源社區(qū)聯(lián)合首發(fā)上線。百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏也表示：“我們一定要去卷AI原生應(yīng)用，要把這個(gè)東西做出來(lái)，模型才有價(jià)值?！?023年10月17日，百度發(fā)布了國(guó)內(nèi)首家一站式交易的AI原生應(yīng)用商店——百度智能云千帆AI原生應(yīng)用商店。千帆AI原生應(yīng)用商店上線百天時(shí)，累計(jì)上線AI原生應(yīng)用超100款，涵蓋文案智能創(chuàng)作、AI作畫(huà)、代碼生成、數(shù)字人等應(yīng)用場(chǎng)景，應(yīng)用數(shù)量指數(shù)級(jí)增長(zhǎng)中。一個(gè)個(gè)新生的AI原生應(yīng)用在這里實(shí)現(xiàn)商業(yè)化，月活躍用戶超40萬(wàn)，應(yīng)用周訂單量超300%增長(zhǎng)，部分優(yōu)質(zhì)應(yīng)用購(gòu)買轉(zhuǎn)化率達(dá)15%以上。商湯也將先進(jìn)的大模型能力轉(zhuǎn)化為落地實(shí)際場(chǎng)景的產(chǎn)品應(yīng)用，基于最新發(fā)布的日日新·商量大語(yǔ)言模型Functioncall&AssistantsAPI版本，完成開(kāi)發(fā)并發(fā)布數(shù)據(jù)分析工具“辦公小浣熊”。通過(guò)自然語(yǔ)言輸入，辦公小浣熊結(jié)合商湯大模型體系的意圖識(shí)別、邏輯理解、代碼生成能力，自動(dòng)將數(shù)據(jù)轉(zhuǎn)化為有意義的分析結(jié)果和可視化圖表。未來(lái)，商湯“日日新SenseNova”大模型體系及相關(guān)產(chǎn)品和工具將為實(shí)現(xiàn)通用人工智能(AGI)提供精準(zhǔn)著力點(diǎn)，助力全場(chǎng)景、多產(chǎn)業(yè)實(shí)現(xiàn)“大模型+”，拓寬大模型應(yīng)用邊界。我們認(rèn)為，2023年是國(guó)產(chǎn)大模型快速發(fā)展的元年，在過(guò)去一年多的發(fā)展時(shí)間中，部分領(lǐng)先的國(guó)產(chǎn)大模型目前已經(jīng)實(shí)現(xiàn)了對(duì)GPT-3.5的超越，正在接近世界第一梯隊(duì)GPT-4的水平。國(guó)產(chǎn)大模型目前仍在持續(xù)發(fā)展的過(guò)程中，例如科大訊飛董事長(zhǎng)劉慶峰就表示：“星火認(rèn)知大模型2024年將繼續(xù)保持快速升級(jí)，預(yù)計(jì)上半年達(dá)到GPT-4Turbo當(dāng)前最好水平”，而國(guó)產(chǎn)大模型在發(fā)展中對(duì)于算力、數(shù)據(jù)的需求仍將不斷擴(kuò)大，而伴隨大模型的升級(jí)迭代，應(yīng)用的落地也有望全面鋪開(kāi)。3.從Kimi展望國(guó)產(chǎn)大模型和應(yīng)用，“月之暗面”的背后是星辰大海我們認(rèn)為，通過(guò)針對(duì)長(zhǎng)文本的快速學(xué)習(xí)，大模型在某些細(xì)分領(lǐng)域能夠起到較為突出的輔助作用，正如月之暗面官微中的介紹：“過(guò)去要10000小時(shí)才能成為專家的領(lǐng)域，現(xiàn)在只需要10分鐘，Kimi就能接近任何一個(gè)新領(lǐng)域的初級(jí)專家水平。用戶可以跟Kimi探討這個(gè)領(lǐng)域的問(wèn)題，讓Kimi幫助自己練習(xí)專業(yè)技能，或者啟發(fā)新的想法。有了支持200萬(wàn)字無(wú)損上下文的Kimi，快速學(xué)習(xí)任何一個(gè)新領(lǐng)域都會(huì)變得更加輕松?！蔽覀兣袛啵殡S著大模型長(zhǎng)文本處理能力提升，以下多個(gè)行業(yè)有望成為AI技術(shù)升級(jí)的核心受益者：1、金融領(lǐng)域：根據(jù)新華網(wǎng)轉(zhuǎn)載的經(jīng)濟(jì)日?qǐng)?bào)的《大模型技術(shù)對(duì)金融業(yè)意味著什么》一文，從匹配度上看，金融業(yè)是典型的數(shù)據(jù)密集型產(chǎn)業(yè)，而大模型技術(shù)的一大特征就是具有強(qiáng)大的數(shù)據(jù)洞察理解能力，可以縮短數(shù)據(jù)間發(fā)生連接與被計(jì)算的時(shí)間，提高數(shù)據(jù)創(chuàng)造價(jià)值的效率。如果把大模型的能力放在金融業(yè)中去處理原有的一些任務(wù)，會(huì)對(duì)很多工作產(chǎn)生提質(zhì)增效的效果。我們認(rèn)為，在金融行業(yè)日常的工作中，信息處理是一項(xiàng)無(wú)可避免的流程，以投研領(lǐng)域?yàn)槔治鰩熗枰幚泶罅康男畔?，包括公司公告、行業(yè)新聞、市場(chǎng)交易數(shù)據(jù)等等，而許多信息都相當(dāng)繁雜，例如金山辦公2023年年報(bào)就長(zhǎng)達(dá)305頁(yè)，完整細(xì)讀將會(huì)消耗大量的時(shí)間，即使是選取年報(bào)中重點(diǎn)領(lǐng)域進(jìn)行有針對(duì)性的研究總結(jié)，在一份年報(bào)所花費(fèi)的時(shí)間也是以小時(shí)計(jì)的，這些基礎(chǔ)工作將會(huì)給分析師帶來(lái)繁重的負(fù)擔(dān)。而伴隨著大模型長(zhǎng)文本處理能力提升，金融領(lǐng)域信息整理歸納的效率也有望迅速提升，舉例來(lái)說(shuō)，Kimi智能助手目前處理能力上限高達(dá)200w字，我們簡(jiǎn)單做一個(gè)假設(shè)，一篇年報(bào)為10萬(wàn)字，則我們可以一次性讓Kimi分析20份年報(bào)，而通義千問(wèn)目前能夠處理超萬(wàn)頁(yè)的超長(zhǎng)資料，換算成中文篇幅約1000萬(wàn)字，即在我們的假設(shè)下其可以同時(shí)分析超過(guò)200份年報(bào)，這將大大提升分析師信息整理歸納的效率，從而最終提升整體工作效率。而且，根據(jù)月之暗面官微，過(guò)去要10000小時(shí)才能成為專家的領(lǐng)域，現(xiàn)在只需要10分鐘，Kimi就能接近任何一個(gè)新領(lǐng)域的初級(jí)專家水平。我們認(rèn)為，這對(duì)于需要提供大量C端用戶服務(wù)的金融領(lǐng)域?qū)?lái)全面的革新，以保險(xiǎn)領(lǐng)域?yàn)槔?，AI應(yīng)用能夠讀取和分析冗長(zhǎng)的保險(xiǎn)條款、索賠文件等，快速幫助保險(xiǎn)人員快速確定保險(xiǎn)責(zé)任和賠償范圍，簡(jiǎn)化理賠流程，提升客戶滿意度，可以說(shuō)，伴隨長(zhǎng)文本處理能力的升級(jí)，未來(lái)AI能夠在短時(shí)間內(nèi)學(xué)習(xí)更大量的知識(shí)，從而成為部分細(xì)分業(yè)務(wù)領(lǐng)域的“初級(jí)專家”，從而減少許多過(guò)去許多人類進(jìn)行的工作量。我們認(rèn)為，金融業(yè)作為數(shù)據(jù)密集型行業(yè)，在長(zhǎng)期業(yè)務(wù)發(fā)展中，金融機(jī)構(gòu)積累了海量的數(shù)據(jù)基礎(chǔ)，而且金融業(yè)良好的數(shù)據(jù)資源稟賦與下沉到C端用戶服務(wù)的特征決定了其很可能是大模型技術(shù)率先滲透的領(lǐng)域之一。此外，由于金融相關(guān)文檔通常包含大量的專業(yè)術(shù)語(yǔ)和復(fù)雜的數(shù)據(jù)，對(duì)文本處理的準(zhǔn)確性和理解能力提出了較高要求，伴隨著大模型長(zhǎng)文本處理能力提升，金融行業(yè)有望持續(xù)受益。2、法律領(lǐng)域我們認(rèn)為，由于法律的規(guī)范化程序和強(qiáng)制性規(guī)定，不可避免地產(chǎn)生很多事務(wù)性的工作，例如涉案人員信息的記錄、合同的審查、案件的處理順序、證據(jù)的概括、案件卷宗的整理歸檔等等。但是這背后帶來(lái)的是海量的卷宗，舉例來(lái)說(shuō)，司法部官網(wǎng)提及的山西李增虎案，僅僅這個(gè)案件中，專案組就完成了1500余冊(cè)卷宗的審查，形成13000余頁(yè)、650萬(wàn)字的辦案材料。這就使得法律行業(yè)各參與者在“閱卷”這一必要程序中需要花費(fèi)巨大的時(shí)間和精力。根據(jù)中共瑞安市委辦公室法治瑞安官微轉(zhuǎn)載的李杰（江蘇省泰州市中級(jí)人民法院）所撰寫(xiě)的《論刑事案件法官心證的形成——基于庭審實(shí)質(zhì)化視角下說(shuō)服責(zé)任的考察》一文，閱卷在審理過(guò)程中是相當(dāng)重要的一步。一些法官在發(fā)表的訪談和撰寫(xiě)的審判經(jīng)驗(yàn)文章里都會(huì)明確強(qiáng)調(diào)庭前閱卷的重要性，詳細(xì)的閱卷是庭前做好充分庭審準(zhǔn)備的必備功課，更是法官形成、驗(yàn)證心證的基本依賴和主要來(lái)源。但是閱卷往往需要花費(fèi)大量的時(shí)間，李杰調(diào)取了部分樣本案件的開(kāi)庭時(shí)間，如果將法定審限劃分為“前——中——后”三段來(lái)看，開(kāi)庭時(shí)間多集中在審限的中后段，占比高達(dá)92.86%。審限的大量時(shí)間用于閱卷和撰寫(xiě)文書(shū)，真正的庭審時(shí)間并不太長(zhǎng)，庭審的定案功能被虛化，這與庭審實(shí)質(zhì)化的要求相背離。我們認(rèn)為，小數(shù)量的文本信息可以通過(guò)人工來(lái)處理，但是面對(duì)成千上萬(wàn)的海量文件，如何進(jìn)行歸納整理，快速提取文件中的信息，這是現(xiàn)今法律行業(yè)面臨的巨大困擾。而伴隨著大模型長(zhǎng)文本處理能力提升，對(duì)海量數(shù)據(jù)的快速整理歸納卻成為了可能，舉例來(lái)說(shuō)，通義千問(wèn)目前能夠處理超萬(wàn)頁(yè)的長(zhǎng)資料，換算成中文篇幅約1000萬(wàn)字，上文提到的辦案材料高達(dá)13000余頁(yè)、650萬(wàn)字的山西李增虎案能夠一次性被通義千問(wèn)處理完畢，并在短時(shí)間內(nèi)給出歸納總結(jié)。而且，我國(guó)司法部門(mén)也認(rèn)識(shí)到了人工智能在法律界的重要意義，根據(jù)最高人民法院在2022年12月發(fā)布的《最高人民法院關(guān)于規(guī)范和加強(qiáng)人工智能司法應(yīng)用的意見(jiàn)