人工智能大模型市場分析

人工智能大模型市場分析AI趨勢明確，大模型為關(guān)鍵環(huán)節(jié)全球AI產(chǎn)業(yè)發(fā)展趨勢明確，波動中前行。自1956年約翰·麥卡錫首次提出“人工智能”的概念以來，全球人工智能產(chǎn)業(yè)逐漸進(jìn)入學(xué)術(shù)研究和產(chǎn)業(yè)實操并進(jìn)的階段。盡管在算力性能、數(shù)據(jù)量、硬件成本等多重因素影響下，人工智能產(chǎn)業(yè)經(jīng)歷了“三起兩落”的螺旋式發(fā)展，但全球人工智能發(fā)展的趨勢仍然明確，通用人工智能（AGI）仍然是人工智能行業(yè)發(fā)展的主線。ChatGPT加速推進(jìn)AI產(chǎn)業(yè)發(fā)展，需求爆發(fā)倒逼供給創(chuàng)新。ChatGPT在全球范圍內(nèi)快速傳播，在短時間內(nèi)完成了對企業(yè)和用戶的市場教育，需求端的爆發(fā)驅(qū)動著供給端加速創(chuàng)新，加快推動全球AI產(chǎn)業(yè)發(fā)展進(jìn)程。IDC預(yù)測，2026年全球AI市場規(guī)模有望達(dá)3082.8億美元，2023-2026年CAGR約26.7%。而AI作為下一代全球科技競速的重要領(lǐng)域，我國從頂層設(shè)計到科技企業(yè)均積極參與，有望進(jìn)一步帶動國內(nèi)AI產(chǎn)業(yè)發(fā)展。IDC預(yù)測，2026年，我國AI市場規(guī)模有望達(dá)264.4億美元，2023-2026年CAGR約21.5%。政策重點支持，人工智能有望維持高景氣。人工智能作為展現(xiàn)大國國際競爭力的重要領(lǐng)域，我國在頂層設(shè)計方面始終重視對人工智能產(chǎn)業(yè)發(fā)展的鼓勵和引導(dǎo)，在關(guān)鍵技術(shù)投入、人才培養(yǎng)、人工智能賦能實體經(jīng)濟(jì)、基本倫理要求等方面均推出相關(guān)政策。政策積極支持下，我國人工智能行業(yè)有望維持高景氣。9月1日，網(wǎng)信辦發(fā)布第二批境內(nèi)深度合成服務(wù)算法備案信息，百度文心大模型、抖音云雀大模型、京東言犀大模型、騰訊混元助手大模型等110款深度合成服務(wù)算法通過備案。隨著國產(chǎn)大模型陸續(xù)向公眾開放服務(wù)，有望加速產(chǎn)品落地進(jìn)程及模型迭代飛輪，并驅(qū)動AI的商業(yè)化變現(xiàn)。產(chǎn)業(yè)結(jié)構(gòu)：大模型是重要一環(huán)，AI時代的入口之爭。從AI產(chǎn)業(yè)結(jié)構(gòu)來看，大模型是連接底層算力和上層應(yīng)用的重要一環(huán)，成熟的大模型能力和生態(tài)是真正實現(xiàn)通用人工智能和未來應(yīng)用端繁榮的基礎(chǔ)，擁有更強(qiáng)計算和推理能力、更高通用性的大模型企業(yè)有望把握AI時代的流量入口和話語權(quán)。競爭態(tài)勢：格局明晰尚需時間，看好互聯(lián)網(wǎng)巨頭領(lǐng)先優(yōu)勢發(fā)展階段：國內(nèi)大模型百家爭鳴，格局明晰尚需時間全球：中美領(lǐng)先發(fā)展，但行業(yè)格局或?qū)⑾鄬Κ?dú)立。從全球范圍來看，中美在大模型領(lǐng)域引領(lǐng)全球發(fā)展。其中，基于在算法模型研發(fā)上的領(lǐng)先優(yōu)勢，美國大模型數(shù)量居全球首位，根據(jù)中國科學(xué)技術(shù)信息研究所、科技部新一代人工智能發(fā)展研究中心聯(lián)合發(fā)布的《中國人工智能大模型地圖研究報告》，截至2023年5月，美國已發(fā)布100個參數(shù)規(guī)模10億以上的大模型。中國亦積極跟進(jìn)全球大模型發(fā)展趨勢，自2021年以來加速產(chǎn)出，如2021年6月北京智源人工智能研究院發(fā)布1.75萬億參數(shù)量的悟道2.0、2021年11月阿里M6大模型參數(shù)量達(dá)10萬億等。截至2023年5月，我國已發(fā)布79個大模型，在全球范圍占據(jù)先發(fā)優(yōu)勢。但考慮到數(shù)據(jù)安全、隱私合規(guī)以及科技監(jiān)管等因素，我們認(rèn)為中美的大模型市場有望形成相對獨(dú)立的行業(yè)格局。海外：OpenAI及谷歌雙龍頭+Meta開源追趕+垂類特色廠商的格局已較為清晰。從海外大模型格局來看，目前已經(jīng)形成較為清晰的雙龍頭領(lǐng)先+Meta開源追趕+垂類繁榮的格局。同時，基于通用大模型能力已相對成熟可用，其上的應(yīng)用生態(tài)已逐漸繁榮。得益于對先進(jìn)算法模型的集成以及較早的產(chǎn)品化，OpenAI不僅展現(xiàn)了GPT在人機(jī)對話中的超預(yù)期表現(xiàn)，同時基于GPT的應(yīng)用生態(tài)也已逐漸繁榮，微軟數(shù)款產(chǎn)品（Bing、Windows操作系統(tǒng)、Office、瀏覽器、PowerPlatform等）、代碼托管平臺GitHub、AI營銷創(chuàng)意公司Jasper等均已接入GPT。谷歌在人工智能領(lǐng)域持續(xù)投入，其提出的IeNet卷積神經(jīng)網(wǎng)絡(luò)模型、Transformer語言架構(gòu)、BERT大語言模型等均對全球人工智能產(chǎn)業(yè)產(chǎn)生重要推動。但由于公司團(tuán)隊變動及更謹(jǐn)慎的產(chǎn)品化落地的態(tài)度，谷歌前期尚未大規(guī)模推出面向C端的AI產(chǎn)品。在ChatGPT快速流行的帶動下，谷歌亦推出聊天機(jī)器人Bard及PaLM2，并將接入谷歌的協(xié)作與生產(chǎn)力工具Workspace以及與Spotify、沃爾瑪、UberEats等外部應(yīng)用融合。Meta通過開源方式快速追趕，7月發(fā)布最新開源大模型LLaMA2，使用2萬億tokens訓(xùn)練，上下文長度翻倍，實現(xiàn)了更強(qiáng)大的表現(xiàn)能力和更廣泛的應(yīng)用場景。此外，Anthropic、Cohere、HuggingFace等基于各自的垂類特色和定制化服務(wù)也在海外AI市場中扮演著重要角色。國內(nèi)：大模型投入如火如荼，格局明晰仍需時間。ChatGPT獲得良好用戶反響并在全球范圍引發(fā)關(guān)注以來，中國頭部科技企業(yè)（阿里、百度、騰訊、華為、字節(jié)等）、新興創(chuàng)業(yè)公司（百川智能、MiniMax等）、傳統(tǒng)AI企業(yè)（科大訊飛、商湯科技等）以及高校研究院（復(fù)旦大學(xué)、中科院等）亦加速大模型領(lǐng)域投入。當(dāng)前國內(nèi)大模型仍處研發(fā)和迭代的早期階段，各個大模型的性能差異及易用性仍在市場檢驗的過程當(dāng)中，我們預(yù)計國內(nèi)大模型領(lǐng)域競爭格局的明晰仍需一定時間。競爭要素：技術(shù)投入、核心人才和應(yīng)用場景構(gòu)成核心壁壘技術(shù)投入、核心人才和應(yīng)用場景構(gòu)成核心壁壘。我們認(rèn)為，大模型是一個重資源稟賦、高進(jìn)入門檻的賽道，其對算法模型的有效性、高質(zhì)量的數(shù)據(jù)、算力的支撐能力均有極高要求，模型的優(yōu)化迭代亦有賴于資金和人才的持續(xù)投入。此外，大模型的實際落地和行業(yè)應(yīng)用能力也是市場檢驗的重要標(biāo)準(zhǔn)。模型架構(gòu)：理論創(chuàng)新與工程實踐有效分離，加速AI技術(shù)創(chuàng)新效率。2017年transformer模型的出現(xiàn)，以及引入的自注意力機(jī)制，推動AI在語言類問題（NLP等）上取得快速進(jìn)展的同時，亦先后擴(kuò)展至圖像生成、音視頻生成、計算機(jī)視覺等領(lǐng)域，并逐步成為眾多AI算法的底層基礎(chǔ)。各類算法輸入數(shù)據(jù)規(guī)模、模型參數(shù)的指數(shù)級增長，以及模型scale帶來更優(yōu)的計算精度、問題泛化求解能力等，推動大模型快速普及，據(jù)PercyLiang、RishiBommasani、李飛飛等人在2021年論文《OntheOpportunitiesandRiskofFoundationModels》中提及，具有“表達(dá)能力、可擴(kuò)展性、多模態(tài)性、記憶容量和組合性”特征的大模型將成為學(xué)術(shù)研究的核心方向，并成為AI產(chǎn)業(yè)的底層基礎(chǔ)模型（foundationmodel）。ChatGPT的成功表明，算法架構(gòu)+工程實踐的有效結(jié)合，經(jīng)過fine-tuning之后的基礎(chǔ)模型部署于各類應(yīng)用場景，將能顯著改善AI技術(shù)研發(fā)效率、產(chǎn)業(yè)化門檻。我們判斷，基礎(chǔ)模型理論創(chuàng)新將逐步回歸至科研機(jī)構(gòu)、科技巨頭等，而眾多算法企業(yè)的差異化能力將進(jìn)一步向工程實踐領(lǐng)域遷移，并成為下游應(yīng)用場景廠商緊密的合作伙伴。大模型訓(xùn)練對算力及資金均提出極高要求。我們對ChatGPT單次訓(xùn)練成本進(jìn)行測算，假定預(yù)訓(xùn)練單次，且訓(xùn)練過程中沒有出現(xiàn)錯誤時的成本。實際情形中，考慮到訓(xùn)練過程中出現(xiàn)工程類錯誤的可能性，實際成本會高于我們計算的理想情況成本。假設(shè)參數(shù)量為175B、訓(xùn)練數(shù)據(jù)500BTokens的情況下，根據(jù)《ScalingLawsforNeuralLanguageModels》（JaredKaplan,SamMcCandlish,TomHenighan等）的分析，在使用256個英偉達(dá)HGXA100服務(wù)器(包含2048個A100GPU卡）的情況下，模型FLOPsUtilization（MFU）假設(shè)為Megatron-LM的51.04%，我們推測單次訓(xùn)練時長約為30.7天，對應(yīng)約151萬GPU小時。假設(shè)訓(xùn)練使用成本價約為1美元/GPU小時的情況下，耗費(fèi)服務(wù)器端成本約為151萬美元。數(shù)據(jù)：高質(zhì)量的數(shù)據(jù)，能夠為模型自身的學(xué)習(xí)、迭代，以及對推理能力的訓(xùn)練帶來正向影響。按照當(dāng)前LLM的技術(shù)范式，數(shù)據(jù)集主要應(yīng)用于預(yù)訓(xùn)練和模型調(diào)優(yōu)階段。預(yù)訓(xùn)練階段需要大規(guī)模、多類別、高質(zhì)量的訓(xùn)練數(shù)據(jù)，在模型調(diào)優(yōu)階段，垂類小數(shù)據(jù)集、提示詞工程同樣重要。近年來全球數(shù)據(jù)量呈現(xiàn)爆發(fā)式增長，據(jù)IDC統(tǒng)計，2019年全球產(chǎn)生的數(shù)據(jù)量為41ZB，過去十年的CAGR接近50%，IDC預(yù)計到2025年全球數(shù)據(jù)量或高達(dá)175ZB，2019-2025年仍將維持近30%的復(fù)合增速，其中超過80%的數(shù)據(jù)都將是處理難度較大的文本、圖像、音視頻等非結(jié)構(gòu)化數(shù)據(jù)。從Bert開始到GPT-3再到谷歌的PALM，網(wǎng)絡(luò)中的公開語言數(shù)據(jù)源已經(jīng)在被盡可能地利用（論壇、新聞、維基百科等），但模型優(yōu)化仍需更多數(shù)據(jù)，這要求模型開發(fā)商有能力接觸到優(yōu)質(zhì)私有數(shù)據(jù)來源，從而才能在模型的數(shù)據(jù)底層取得差異性優(yōu)勢。場景：應(yīng)用落地時檢驗?zāi)Ｐ湍芰Φ闹匾獦?biāo)準(zhǔn)。一方面，通用大模型與行業(yè)場景結(jié)合，在帶來生產(chǎn)力和效率的實質(zhì)性提升后才能真正實現(xiàn)普及。另一方面，大模型結(jié)合行業(yè)應(yīng)用落地后，更多的真實用戶反饋也有望加速大模型的優(yōu)化迭代，從而不斷強(qiáng)化模型能力。格局推演：有望形成互聯(lián)網(wǎng)巨頭主導(dǎo)+垂類廠商共存的格局歷史積累：互聯(lián)網(wǎng)巨頭具備先發(fā)優(yōu)勢，芯片層、模型層、應(yīng)用層布局完備。互聯(lián)網(wǎng)巨頭在AI領(lǐng)域投入已久，百度2014年即成立人工智能實驗室，阿里、騰訊、字節(jié)跳動也于2016年成立人工智能實驗室，此后各家在芯片層、模型層及應(yīng)用層持續(xù)探索，不斷完善布局，在研發(fā)、模型、數(shù)據(jù)、應(yīng)用等方面已積累顯著的先發(fā)優(yōu)勢。算法模型：追隨海外技術(shù)進(jìn)展，研發(fā)突破是競爭關(guān)鍵。從技術(shù)路線來看，國內(nèi)大模型主要追隨海外進(jìn)展?；诠雀柙谌斯ぶ悄茴I(lǐng)域更高的影響力以及BERT開源代碼，前期我國企業(yè)在大模型領(lǐng)域的探索更多參考BERT路線。隨著ChatGPT在人機(jī)對話領(lǐng)域的超預(yù)期表現(xiàn)驗證了高質(zhì)量數(shù)據(jù)+反饋激勵（大模型預(yù)訓(xùn)練+小數(shù)據(jù)微調(diào)）的有效性，國內(nèi)大模型技術(shù)路線也逐漸向GPT方向收斂。我們認(rèn)為，盡管模型架構(gòu)設(shè)計的不同對特定任務(wù)上的表現(xiàn)有一定影響，但國內(nèi)大模型廠商在技術(shù)上基本同源，從而導(dǎo)致了現(xiàn)階段較為相似的模型能力，而下一階段對于GPT方向的研發(fā)突破將是競爭關(guān)鍵。算力：互聯(lián)網(wǎng)廠商在算力資源上具備優(yōu)勢。隨著模型參數(shù)和復(fù)雜度的提升，大模型對算力的需求也在加速增長。當(dāng)前國內(nèi)已發(fā)布的大模型中，參數(shù)規(guī)模達(dá)到千億及以上的廠商僅為10個左右，一定程度上體現(xiàn)出各廠商之間算力能力的差異。我們認(rèn)為，互聯(lián)網(wǎng)廠商在算力資源上具備相對優(yōu)勢，主要原因系：1）互聯(lián)網(wǎng)企業(yè)業(yè)務(wù)布局多元，用戶基數(shù)龐大，海量數(shù)據(jù)高頻更新，使得互聯(lián)網(wǎng)企業(yè)自身對算力有大量需求，阿里、字節(jié)、百度、騰訊等頭部互聯(lián)網(wǎng)企業(yè)是全球芯片及服務(wù)器領(lǐng)域的重要客戶。2）阿里云、百度云、騰訊云等為國內(nèi)頭部云廠商，在云計算中心、AI算力平臺、超算中心等新型高性能計算基礎(chǔ)設(shè)施上布局領(lǐng)先，如阿里云推出PAI靈駿智算服務(wù)，提供覆蓋AI開發(fā)全流程的平臺和分布式異構(gòu)計算優(yōu)化能力；騰訊云發(fā)布新一代HCC（High-PerformanceComputingCluster）高性能計算集群，算力性能較前代提升高達(dá)3倍。數(shù)據(jù)：優(yōu)質(zhì)開源中文數(shù)據(jù)集稀缺，自有數(shù)據(jù)及處理能力構(gòu)成模型訓(xùn)練壁壘。得益于開源共創(chuàng)的互聯(lián)網(wǎng)生態(tài)，海外已有大量優(yōu)質(zhì)、結(jié)構(gòu)化的開源數(shù)據(jù)庫，文本來源既包含嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)寫作、百科知識，也包含文學(xué)作品、新聞媒體、社交網(wǎng)站、流行內(nèi)容等，更加豐富的語料數(shù)據(jù)能夠提高模型在不同情景下的對話能力。而受制于搭建數(shù)據(jù)集較高的成本以及尚未成熟的開源生態(tài)，國內(nèi)開源數(shù)據(jù)集在數(shù)據(jù)規(guī)模和語料質(zhì)量上相比海外仍有較大差距，數(shù)據(jù)來源較為單一，且更新頻率較低，從而導(dǎo)致模型的訓(xùn)練效果受限。因此，大模型廠商的自有數(shù)據(jù)和處理能力構(gòu)成模型訓(xùn)練效果差異化的核心。受益于移動互聯(lián)網(wǎng)時代積累的海量用戶、應(yīng)用和數(shù)據(jù)，互聯(lián)網(wǎng)企業(yè)在自有數(shù)據(jù)上更具特色化和獨(dú)占性，疊加更強(qiáng)大的數(shù)據(jù)處理能力，從而能夠通過數(shù)據(jù)優(yōu)勢帶來模型訓(xùn)練成果的差異。例如，阿里在研發(fā)M6時，構(gòu)建了最大的中文多模態(tài)預(yù)訓(xùn)練數(shù)據(jù)集M6-Corpus，包含超過1.9TB圖像和292GB文本，涵蓋百科全書、網(wǎng)頁爬蟲、問答、論壇、產(chǎn)品說明等數(shù)據(jù)來源，并設(shè)計了完善的清潔程序以確保數(shù)據(jù)質(zhì)量。百度ERNIE模型的訓(xùn)練數(shù)據(jù)集中也運(yùn)用了大量百度百科、百度搜索以及百度知識圖譜等生態(tài)內(nèi)數(shù)據(jù)，通過更高質(zhì)量的數(shù)據(jù)保障了模型的訓(xùn)練效果。資源投入：互聯(lián)網(wǎng)廠商重研發(fā)投入，資金及人才實力領(lǐng)先。大模型的訓(xùn)練需要較高且可持續(xù)的研發(fā)投入，頭部互聯(lián)網(wǎng)企業(yè)兼具高資本密度和高人才密度優(yōu)勢。資金方面，2022年，騰訊/阿里/百度研發(fā)費(fèi)用達(dá)614/567/233億元，明顯領(lǐng)先于行業(yè)相關(guān)公司。人才方面，根據(jù)脈脈人才庫，在計算機(jī)視覺、深度學(xué)習(xí)、語音識別、自然語言處理4個人工智能重要的技術(shù)方向上，互聯(lián)網(wǎng)大廠是人才儲備最豐富的企業(yè)。持續(xù)的高研發(fā)投入以及極高的人才密度有望驅(qū)動頭部互聯(lián)網(wǎng)企業(yè)保持在AI及大模型領(lǐng)域的領(lǐng)先優(yōu)勢。場景：業(yè)務(wù)豐富多元，互聯(lián)網(wǎng)廠商天然具備落地實踐場景?？紤]到數(shù)據(jù)隱私和安全合規(guī)，初期通用大模型在行業(yè)落地時可能會面臨一定的信任問題，從而導(dǎo)致較高的獲客成本。而頭部互聯(lián)網(wǎng)平臺基于自身在電商、搜索、游戲、金融等領(lǐng)域豐富的業(yè)務(wù)積累，天然具備落地實踐場景。在提高產(chǎn)品效率的同時，也有望率先形成示范效應(yīng)，從而有助于外部客戶和應(yīng)用的拓展。格局推演：互聯(lián)網(wǎng)巨頭有望保持領(lǐng)先地位，中小廠商或?qū)⒚媾R路徑選擇。綜合上述分析，結(jié)合行業(yè)競爭要素，并參考海外當(dāng)前競爭格局，我們認(rèn)為，國內(nèi)大模型賽道有望形成與海外相似的產(chǎn)業(yè)趨勢，兼具技術(shù)、資金、人才和場景優(yōu)勢的頭部互聯(lián)網(wǎng)企業(yè)有望成為大模型領(lǐng)域的重要玩家，而中小廠商或?qū)⒚媾R路徑選擇。一方面，中小廠商可以利用自身在垂類場景和數(shù)據(jù)層面積累的優(yōu)勢，成為聚焦垂類的核心特色玩家；另一方面，基于訓(xùn)練和用戶調(diào)用帶來的算力需求的激增，考慮到資源優(yōu)勢和經(jīng)濟(jì)性，中小廠商或?qū)で笤茝S商的支持和合作?；ヂ?lián)網(wǎng)大模型對比：短看技術(shù)突破，長看生態(tài)壁壘歷史積累：百度、阿里技術(shù)積累深厚，大模型已實現(xiàn)良好性能本章節(jié)，我們對國內(nèi)頭部互聯(lián)網(wǎng)企業(yè)在AI領(lǐng)域的發(fā)展現(xiàn)狀、自研布局以及對外投資進(jìn)行了梳理。從時間線上看，國內(nèi)頭部互聯(lián)網(wǎng)企業(yè)阿里、百度、騰訊、字節(jié)均在2014-2016年間成立人工智能實驗室，但此后在發(fā)展思路和框架布局上各有側(cè)重。我們認(rèn)為，阿里、百度更偏重對底層技術(shù)的投入，兼具先發(fā)優(yōu)勢和完備自研布局，目前推出的大模型產(chǎn)品已實現(xiàn)良好的中文對話能力。騰訊在AI領(lǐng)域亦積極跟進(jìn)，并于2022年12月公布萬億中文NLP預(yù)訓(xùn)練模型混元的最新進(jìn)展；同時，騰訊在大模型領(lǐng)域也保持了開放的投資風(fēng)格，與企業(yè)共同成長。字節(jié)此前在AI領(lǐng)域的投入更多與自身業(yè)務(wù)相關(guān)，如音視頻識別、內(nèi)容創(chuàng)作、AR/VR等，算法能力突出，但在大模型領(lǐng)域的積累則相對薄弱，推出火山方舟，通過MaaS的方式積極參與行業(yè)競爭。阿里巴巴：AI自研投入已久，數(shù)據(jù)、算法及算力積累上已占據(jù)領(lǐng)先身位。作為國內(nèi)頭部科技企業(yè)，阿里在人工智能等前沿科技方向上早有投入，2014年即成立了數(shù)據(jù)科學(xué)與技術(shù)研究院，2016年成立人工智能實驗室，2017年成立達(dá)摩院，后續(xù)成立AI芯片自研團(tuán)隊作為算力支持，并陸續(xù)發(fā)布了中文社區(qū)最大規(guī)模預(yù)訓(xùn)練語言模型PLUG和多模態(tài)大模型M6。同時，阿里在電商、智慧城市等業(yè)務(wù)中積極運(yùn)用深度學(xué)習(xí)等智能化技術(shù)，通過技術(shù)進(jìn)步提升業(yè)務(wù)效率。我們認(rèn)為，基于在數(shù)據(jù)、算法和算力上的沉淀，阿里在國內(nèi)人工智能和大模型競速中已占據(jù)領(lǐng)先身位。對外投資：廣泛布局，打造AI生態(tài)圈實現(xiàn)共贏。除自研投入外，阿里也在AI核心產(chǎn)業(yè)環(huán)節(jié)積極進(jìn)行對外投資，在芯片領(lǐng)域投資寒武紀(jì)、深鑒科技等，機(jī)器視覺和深度學(xué)習(xí)領(lǐng)域投資商湯科技、曠視科技等，應(yīng)用領(lǐng)域投資小鵬、小i機(jī)器人等。通過AI領(lǐng)域的廣泛布局，阿里巴巴有望與相關(guān)企業(yè)形成協(xié)同效應(yīng)和戰(zhàn)略合作，進(jìn)一步實現(xiàn)效率提升和業(yè)務(wù)拓展，通過打造AI生態(tài)圈的方式實現(xiàn)共贏。技術(shù)架構(gòu)：IaaS+PaaS+MaaS重新定義AI架構(gòu)。面向新的AI時代，阿里云重新定義了IaaS+PaaS+MaaS的三層技術(shù)體系。IaaS層，阿里云專門為AI設(shè)計了云基礎(chǔ)設(shè)施，包括異構(gòu)計算、高效高速的網(wǎng)絡(luò)存儲等。同時，在訓(xùn)練方面提供靈駿計算集群，在推理方面提供彈性計算ECS集群，通過更加穩(wěn)定高效的基礎(chǔ)設(shè)施為AI發(fā)展提供堅實的基礎(chǔ)。PaaS層，阿里云基于長期的技術(shù)和軟件能力積累提供了豐富的大數(shù)據(jù)及機(jī)器學(xué)習(xí)產(chǎn)品，從數(shù)據(jù)清洗、特征工程訓(xùn)練等方面助力模型訓(xùn)練。此外，阿里云于2022年11月推出魔搭社區(qū)，提出MaaS（modelasaservice），通過打造大模型開源社區(qū)和生態(tài)共建的方式加速模型發(fā)展及迭代。百度：深耕十年，全棧自研構(gòu)筑核心壁壘?；谧陨順I(yè)務(wù)需求和濃厚的工程師文化，百度始終重視對AI的投入，2011年在硅谷開設(shè)辦公室，并在2017年提出“AllinAI”的公司戰(zhàn)略。從AI技術(shù)體系來看，百度是國內(nèi)少數(shù)在AI領(lǐng)域全棧自研布局的公司之一，在芯片層、框架層、模型層和應(yīng)用層均有自研投入，已形成一定的產(chǎn)業(yè)生態(tài)和影響力。對外投資：長期投入，加速布局大模型領(lǐng)域。百度長期關(guān)注人工智能賽道，堅持布局前沿科技領(lǐng)域，在芯片、大模型、AI+制藥、應(yīng)用等領(lǐng)域均有投資。2023年以來，隨著ChatGPT引發(fā)新一輪AI產(chǎn)業(yè)熱潮，百度亦加速在AIGC及多模態(tài)大模型領(lǐng)域的布局，先后投資text-to-video生成技術(shù)與社區(qū)的初創(chuàng)企業(yè)MorphStudio、人工智能公司西湖心辰及多模態(tài)大模型公司生數(shù)科技，有望進(jìn)一步完善公司的AI生態(tài)布局并加快協(xié)同發(fā)展。芯片+框架+模型+應(yīng)用全棧自研布局，強(qiáng)化內(nèi)部反饋迭代。百度在AI領(lǐng)域全棧自研布局，芯片層，百度已有兩代自研昆侖芯實現(xiàn)量產(chǎn)，預(yù)計第三代昆侖芯將于2024年初實現(xiàn)規(guī)模上市；框架層，百度飛槳經(jīng)過6年開發(fā)并逐漸成熟后，成為中國首個開源開放、功能完備的端到端深度學(xué)習(xí)平臺，截至2022年11月，百度飛槳已有535萬開發(fā)者，服務(wù)了20萬家企事業(yè)單位，創(chuàng)建了67萬個模型；模型層，百度最早于2019年推出文心大模型并不斷迭代，并于2021年發(fā)布百億級大模型文心ERNIE3.0和千億級大模型文心ERNIE3.0Titan；應(yīng)用層，百度推出生成式AI對話產(chǎn)品文心一言以及面向企業(yè)客戶的文心千帆大模型平臺，積極通過實踐場景驗證大模型能力。我們認(rèn)為，百度全棧自研布局的優(yōu)勢在于各層之間的反饋有望進(jìn)一步驅(qū)動技術(shù)能力的優(yōu)化，提升迭代效率。騰訊：重視AI發(fā)展，內(nèi)生+外延雙輪并驅(qū)。騰訊2016年成立AILab，并在2017年提出“makeAIeverywhere”的戰(zhàn)略愿景，2018年建立以人工智能與前沿科技為基礎(chǔ)的兩大實驗室矩陣。根據(jù)騰訊RoboticsX實驗室微信公眾號，截至2022年底，騰訊AILab已累計在AAAI、CVPR、ACL、ICML、NeurIPS等國際頂級AI學(xué)術(shù)會議或期刊發(fā)表超780篇文章，并持續(xù)推動AI與機(jī)器人、數(shù)字內(nèi)容生成、生命科學(xué)、醫(yī)療醫(yī)藥、游戲等行業(yè)應(yīng)用的結(jié)合。對外投資方面，根據(jù)IT桔子，截至2022年底，騰訊共投資53家國內(nèi)AI公司，多次投資AI算力芯片公司燧原科技、企業(yè)級認(rèn)知智能服務(wù)平臺明略科技等，并在2023年投資深言科技、MiniMax、光年之外等大模型企業(yè)。在大模型領(lǐng)域，騰訊仍然保持以投資見長的風(fēng)格，有望與企業(yè)共享成長果實。騰訊：從MaaS切入大模型賽道，算力支持及應(yīng)用工具完備。6月19日，騰訊云首次正式公布行業(yè)大模型研發(fā)進(jìn)展，并發(fā)布面向B端客戶的騰訊云MaaS服務(wù)解決方案。有別于阿里、百度等直接發(fā)布大模型產(chǎn)品，騰訊率先以MaaS的方式切入大模型賽道，在金融、文旅、政務(wù)、傳媒、教育等10大行業(yè)提供超50個解決方案，以更懂行業(yè)、更易落地的方式滿足企業(yè)需求。同時，騰訊TI平臺提供數(shù)據(jù)標(biāo)注、訓(xùn)練、測試、評估、部署等全套工具，技術(shù)底座提供HCC高性能計算集群、向量數(shù)據(jù)庫等算力支撐，以保障行業(yè)大模型的運(yùn)行效果。字節(jié)跳動：2023年成立大模型團(tuán)隊，搜索、智創(chuàng)兩部門牽頭。字節(jié)跳動于2016年成立人工智能實驗室，將其定位為公司內(nèi)部的研究所和技術(shù)服務(wù)商，為平臺輸出的海量內(nèi)容提供AI技術(shù)支持。此前公司AI研究成果主要與業(yè)務(wù)相結(jié)合，研發(fā)重點集中在機(jī)器翻譯、智能語音、視頻圖像和多模態(tài)等領(lǐng)域，而大模型相關(guān)積累相對薄弱。根據(jù)36氪，字節(jié)跳動語言大模型團(tuán)隊在今年組建，由搜索部門牽頭；圖片大模型團(tuán)隊則由產(chǎn)品研發(fā)與工程架構(gòu)部下屬的智能創(chuàng)作團(tuán)隊牽頭。字節(jié)跳動：從MaaS切入，應(yīng)用先行豐富行業(yè)經(jīng)驗。6月28日，火山引擎發(fā)布大模型服務(wù)平臺火山方舟，面向企業(yè)提供模型精調(diào)、評測、推理等全方位平臺服務(wù)，已接入百川智能、復(fù)旦大學(xué)MOSS、瀾舟科技、MiniMax、智譜AI等多家AI科技公司及科研院所的大模型，并已對外啟動邀測。我們認(rèn)為，由于前期在大模型領(lǐng)域的積累相對薄弱，通過MaaS的方式切入大模型賽道是更具可行性的方式。一方面，通過MaaS模式為需求方提供豐富多元、靈活選擇、具有性價比的大模型使用方式；另一方面，行業(yè)應(yīng)用的落地和行業(yè)經(jīng)驗的積累也有望反哺字節(jié)自身在大模型領(lǐng)域的積累和迭代。核心人才：關(guān)注人才密度與粘性，兼顧基礎(chǔ)研發(fā)與業(yè)務(wù)落地在人才方面，我們認(rèn)為，互聯(lián)網(wǎng)大廠的差異化競爭主要體現(xiàn)在兩方面：1）人才密度和人才質(zhì)量；2）人才粘性，而保障人才粘性的關(guān)鍵在于組織架構(gòu)與激勵機(jī)制的設(shè)置。由于人工智能的研發(fā)工作具有一定的前瞻研究和學(xué)術(shù)影響力的屬性，而在互聯(lián)網(wǎng)行業(yè)整體提質(zhì)增效背景下，對于研發(fā)產(chǎn)出和業(yè)務(wù)落地也有一定需求，因此如何平衡基礎(chǔ)研究和業(yè)務(wù)落地之間的關(guān)系、通過合理的組織體系保障人才粘性是互聯(lián)網(wǎng)大廠在架構(gòu)設(shè)置的關(guān)鍵。阿里巴巴：達(dá)摩院堅持前沿探索，高密度AI人才引領(lǐng)發(fā)展。組織架構(gòu)上，阿里在人工智能領(lǐng)域的研究主要由達(dá)摩院主導(dǎo)。達(dá)摩院于2017年成立，致力于探索科技未知，以人類愿景為驅(qū)動力，開展基礎(chǔ)科學(xué)和創(chuàng)新性技術(shù)研究。達(dá)摩院主要覆蓋機(jī)器智能、數(shù)據(jù)計算、機(jī)器人、金融科技、X實驗室（量子計算）5大領(lǐng)域，其中機(jī)器智能布局最為突出，下轄語音實驗室、視覺實驗室、語言技術(shù)實驗室、決策智能實驗室、城市大腦實驗室5大實驗室。人員構(gòu)成上，阿里大模型研發(fā)由阿里云智能CTO周靖人帶隊，其在大數(shù)據(jù)平臺及人工智能領(lǐng)域經(jīng)驗豐富，并在M6系列模型研發(fā)中發(fā)揮了重要作用。黃非和趙德麗分別擔(dān)任語言技術(shù)實驗室和基礎(chǔ)視覺實驗室負(fù)責(zé)人，分別領(lǐng)導(dǎo)NLP和CV領(lǐng)域的研究，黃非曾在自然語言處理和人工智能頂級會議和期刊發(fā)表文章40多篇，獲得美國專利10多項，并在IBM和Facebook從事自然語言處理的研發(fā)和技術(shù)管理等職位；趙德麗曾在微軟亞洲研究院的視覺計算組和香港中文大學(xué)的多媒體實驗室工作六年，從事機(jī)器視覺和機(jī)器學(xué)習(xí)的算法研究工作。此外，阿里達(dá)摩院團(tuán)隊廣納賢才，原貝殼技術(shù)副總裁兼首席科學(xué)家葉杰平、前京東數(shù)科AI實驗室首席科學(xué)家薄列峰等相繼于2022年加入阿里，有望進(jìn)一步推動阿里在大模型及AI領(lǐng)域的探索。百度：技術(shù)攻堅與產(chǎn)品承接并重，CTO王海峰統(tǒng)領(lǐng)AI研發(fā)。根據(jù)36氪，百度目前文心一言團(tuán)隊主要由TPG（技術(shù)中臺事業(yè)群）和MEG（移動生態(tài)事業(yè)群）兩大部門協(xié)同，前者負(fù)責(zé)技術(shù)攻堅，后者進(jìn)行搜索、內(nèi)容產(chǎn)品承接。團(tuán)隊人員上，百度CTO王海峰自2018年底開始統(tǒng)領(lǐng)TG和AIG，總體負(fù)責(zé)百度人工智能技術(shù)和算法、算力、數(shù)據(jù)、安全等基礎(chǔ)技術(shù)的研發(fā)，并擔(dān)任文心一言項目總指揮。騰訊：多團(tuán)隊并行，基礎(chǔ)研究與業(yè)務(wù)應(yīng)用并重。騰訊內(nèi)部多個團(tuán)隊均從事人工智能相關(guān)研發(fā)工作，其中，AILab和RoboticsX實驗室作為雙基礎(chǔ)研究部門，均隸屬于技術(shù)工程事業(yè)部。AILab專注計算機(jī)視覺、語音識別、自然語言處理和機(jī)器學(xué)習(xí)等方向的基礎(chǔ)研究，和內(nèi)容、社交、游戲等方向的應(yīng)用探索，截至2022年底，已有100多位頂尖研究科學(xué)家及300多位應(yīng)用工程師。同時，云與智慧產(chǎn)業(yè)事業(yè)群設(shè)立騰訊優(yōu)圖實驗室，專注于圖像技術(shù)的深入研究及應(yīng)用探索；微信事業(yè)部內(nèi)部孵化微信AI團(tuán)隊。2023年2月，針對類ChatGPT對話式產(chǎn)品，騰訊成立混元助手項目組，騰訊首席科學(xué)家張正友擔(dān)任項目owner，俞棟、王迪、劉田分別擔(dān)任PM，并已有至少7位組長和7位Sponsor。字節(jié)跳動：年初快速集結(jié)團(tuán)隊，多部門協(xié)作開發(fā)。根據(jù)36氪，字節(jié)跳動語言大模型團(tuán)隊在今年組建，由搜索部門牽頭；圖片大模型團(tuán)隊則由產(chǎn)品研發(fā)與工程架構(gòu)部下屬的智能創(chuàng)作團(tuán)隊牽頭。朱文佳是字節(jié)大模型的第一負(fù)責(zé)人，其在算法和搜索業(yè)務(wù)上經(jīng)驗深厚。此外，Data-AML負(fù)責(zé)人項亮、人工智能實驗室總監(jiān)李航、前阿里M6核心技術(shù)人員楊紅霞等也均為團(tuán)隊重要成員。技術(shù)投入：百度、阿里暫居第一梯隊，騰訊、字節(jié)加速追趕，關(guān)注迭代效率本章節(jié)，我們從技術(shù)角度對國內(nèi)頭部互聯(lián)網(wǎng)大模型進(jìn)行對比研究。前期基于相似的算法路線、架構(gòu)設(shè)計和訓(xùn)練語料，互聯(lián)網(wǎng)大模型尚未展現(xiàn)出顯著的能力差異。根據(jù)IDC，阿里的通義千問和百度的文心一言在算法模型、通用能力、創(chuàng)新能力等方面取得相近評分。展望后續(xù)，我們認(rèn)為，互聯(lián)網(wǎng)大模型在技術(shù)上的競爭要點在于：1）對GPT關(guān)鍵技術(shù)的研發(fā)突破；2）相似性能下的成本和效率優(yōu)勢；3）大規(guī)模、高質(zhì)量訓(xùn)練預(yù)料的搭建。算法模型：此前各家大模型架構(gòu)及路線主要參考BERT、LLaMA等開源模型，技術(shù)路線基本同源，但在模型設(shè)計和訓(xùn)練方式上各有側(cè)重，如阿里更強(qiáng)調(diào)多模態(tài)任務(wù)能力及效率，百度聚焦在NLP能力上的提升，騰訊兼顧模型規(guī)模增長與效率提升。隨著ChatGPT驗證了GPT路線及高質(zhì)量數(shù)據(jù)+反饋激勵的有效性，正驅(qū)動著大模型的技術(shù)路線向GPT方向收斂。我們認(rèn)為，后續(xù)互聯(lián)網(wǎng)大廠在算法模型上差異化競爭的核心在于：1）對GPT關(guān)鍵技術(shù)的研發(fā)突破；2）若在模型研發(fā)上較難取得突破，則通過模型設(shè)計和訓(xùn)練方法的優(yōu)化實現(xiàn)相似性能下更優(yōu)的成本和效率的廠商有望具備更大的競爭優(yōu)勢。算力：隨著大模型參數(shù)和數(shù)據(jù)量的飆升帶來對算力需求的快速增長，互聯(lián)網(wǎng)大廠均加速在AI算力平臺、超算中心等新型計算基礎(chǔ)設(shè)施上的建設(shè)?；诨ヂ?lián)網(wǎng)大廠充足的算力儲備及在新型計算基礎(chǔ)設(shè)施上的積極建設(shè)，我們認(rèn)為短期算力或?qū)⒉粫蔀橄拗苹ヂ?lián)網(wǎng)大模型發(fā)展的瓶頸，中長期具備芯片自研能力的公司有望具備更強(qiáng)的競爭優(yōu)勢。數(shù)據(jù)：高質(zhì)量數(shù)據(jù)源及數(shù)據(jù)處理能力是差異化競爭的核心。阿里在訓(xùn)練M6、百度在訓(xùn)練ERNIE3.0時，均自行搭建了TB級別的大規(guī)模數(shù)據(jù)庫，數(shù)據(jù)來源中包含了大量生態(tài)內(nèi)獨(dú)有數(shù)據(jù)，并設(shè)計了完善的清潔程序以確保數(shù)據(jù)質(zhì)量，有效提升了模型的訓(xùn)練效果和中文語境的對話表現(xiàn)。算法模型：底層路線逐漸向GPT方向收斂，模型設(shè)計和訓(xùn)練方式各有側(cè)重阿里巴巴：統(tǒng)一學(xué)習(xí)范式+模塊化設(shè)計，通義打造多模態(tài)統(tǒng)一底座。達(dá)摩院認(rèn)為一個全能模型應(yīng)當(dāng)具備三重屬性：①任務(wù)無關(guān)（Task-Agnostic）：不針對具體下游任務(wù)，而是更具通用性的模型。②模態(tài)無關(guān)（Modality-Agnostic）：對所有任務(wù)建立統(tǒng)一的輸入和輸出形式，從而實現(xiàn)不同模態(tài)的處理能力。③任務(wù)足夠豐富（TaskComprehensiveness）：需要設(shè)計足夠豐富的任務(wù)種類，以確保模型的穩(wěn)健性。為了打造多模態(tài)全任務(wù)的通用性大模型，達(dá)摩院通過統(tǒng)一學(xué)習(xí)范式和模塊化設(shè)計的方式，使M6-OFA可處理超30種跨模態(tài)任務(wù)，同時能夠靈活調(diào)用模塊從而實現(xiàn)高效率和高性能。M6-OFA實現(xiàn)架構(gòu)、模態(tài)和任務(wù)統(tǒng)一。①架構(gòu)統(tǒng)一：M6-OFA使用統(tǒng)一的TransformerEncoder-Decoder+ResNetBlocks的架構(gòu)進(jìn)行預(yù)訓(xùn)練和微調(diào)，從而不需要針對不同任務(wù)設(shè)計特定的模型層。②模態(tài)統(tǒng)一：M6-OFA將NLP、CV和多模態(tài)任務(wù)統(tǒng)一到同一個框架和訓(xùn)練范式，從而可以完成對不同任務(wù)的輸出。③任務(wù)統(tǒng)一：M6-OFA將涉及多模態(tài)和單模態(tài)的所有任務(wù)都統(tǒng)一建模成序列到序列（seq2seq）任務(wù)，模型可以同時學(xué)習(xí)多任務(wù)，從而讓模型通過一次預(yù)訓(xùn)練即可獲得文本生成、圖像生成、跨模態(tài)理解等多種能力。借鑒人腦運(yùn)行機(jī)制，模塊化設(shè)計提升多模態(tài)任務(wù)能力及效率。模塊化設(shè)計借鑒人腦的運(yùn)行機(jī)制，即人類大腦中擁有儲備各種知識和處理不同模態(tài)信息的能力模塊，人類思考時只調(diào)用與特定任務(wù)相關(guān)的模塊，從而保證了人腦的高速運(yùn)行。模塊化大模型采用模塊化TransformerEncoder-Decoder結(jié)構(gòu)來統(tǒng)一多模態(tài)的理解和生成，同時切分出不同的獨(dú)立模塊，包括基礎(chǔ)層、通用層（如不同模態(tài)）、任務(wù)層到功能性模塊（如推理），每個模塊間相互解耦，各司其職，從而通過靈活拆撥不同模塊進(jìn)行微調(diào)或者預(yù)訓(xùn)練實現(xiàn)大模型的輕量化和任務(wù)水平的提升。通義-M6：模型快速迭代，2年投入推出全球最大預(yù)訓(xùn)練模型。達(dá)摩院于2020年1月正式啟動中文多模態(tài)預(yù)訓(xùn)練模型M6項目，此后模型快速迭代升級，2021年3月/5月模型參數(shù)規(guī)模達(dá)千億/萬億。2021年11月模型參數(shù)規(guī)模達(dá)10萬億，成為全球最大預(yù)訓(xùn)練模型，通過阿里云PAI自研Whale框架上搭建MoE模型，疊加更細(xì)粒度的CPUoffload技術(shù)實現(xiàn)僅利用512張GPU即完成10萬億規(guī)模參數(shù)的訓(xùn)練；同時，M6團(tuán)隊設(shè)計了Pseudo-to-Real（共享解除）機(jī)制，大幅提升訓(xùn)練速度。2022年9月，達(dá)摩院發(fā)布通義大模型系列，打造業(yè)界首個AI統(tǒng)一底座，并宣布相關(guān)核心模型向全球開發(fā)者開源開放。通義-AliceMind：深度語言模型體系持續(xù)豐富，NLP（自然語言處理）能力突出。歷經(jīng)三年研發(fā)，目前深度語言模型體系A(chǔ)liceMind已包含通用語言模型StructBERT、多語言VECO、生成式PALM、多模態(tài)StructVBERT、結(jié)構(gòu)化StructuralLM、知識驅(qū)動LatticeBERT、機(jī)器閱讀理解UED、超大模型PLUG等。AliceMind先后登頂GLUE、CLUE、XTREME、VQAChallenge、DocVQA、MSMARCO等自然語言處理領(lǐng)域權(quán)威榜單，在多語言、生成式、多模態(tài)、結(jié)構(gòu)化、知識驅(qū)動等領(lǐng)域能力突出。通義-視覺大模型：專注CV（計算機(jī)視覺）領(lǐng)域的應(yīng)用落地。通義視覺大模型基于文本到視覺生成和特征到視覺生成兩個基礎(chǔ)模型，通過視頻處理、視覺問答、視覺算術(shù)、知識抽取等中層通用算法的支持，實現(xiàn)在電商、城市大腦、工業(yè)視覺等領(lǐng)域的產(chǎn)業(yè)應(yīng)用。例如，通義-視覺大模型可以在電商行業(yè)實現(xiàn)圖像搜索和萬物識別等場景應(yīng)用，并在文生圖以及交通和自動駕駛領(lǐng)域發(fā)揮作用。模型生態(tài)：MaaS先行者，魔搭社區(qū)快速迭代。阿里云于2022年11月提出MaaS，并推出開源社區(qū)魔搭，一方面，通過提供以模型為核心要素的一站式使用平臺，降低AI使用門檻；另一方面，通過開源方式吸引更多開發(fā)者共創(chuàng)共建，加速模型開發(fā)迭代。魔搭社區(qū)經(jīng)過數(shù)月時間快速發(fā)展，根據(jù)阿里巴巴財報，截至2023年7月，魔搭社區(qū)模型總數(shù)已超1000個，累計模型下載量超4500萬次。同時，通義大模型系列中語言大模型AliceMind-PLUG、多模態(tài)理解與生成統(tǒng)一模型AliceMind-mPLUG、多模態(tài)統(tǒng)一底座模型M6-OFA和超大模型落地關(guān)鍵技術(shù)S4框架等核心模型及能力也已在魔搭社區(qū)中面向全球開發(fā)者開源。我們認(rèn)為，魔搭作為國內(nèi)MaaS的先行者，開源社區(qū)帶來的更快的迭代速度和更豐富的應(yīng)用反饋有望使得魔搭在中長期模型生態(tài)建設(shè)中占得先機(jī)。百度：ERNIE系列模型不斷迭代，持續(xù)突破NLP任務(wù)表現(xiàn)ERNIE1.0：加入短語和實體掩碼策略，強(qiáng)化模型知識推理能力?；贐ERT模型，ERNIE1.0主要在掩碼策略上進(jìn)行了改進(jìn)。有別于BERT采用基礎(chǔ)mask類型，ERNIE1.0新增了短語mask和實體mask類型，從而使得模型表現(xiàn)出更強(qiáng)的語法學(xué)習(xí)和知識推理能力。在五類自然語言處理任務(wù)（自然語言推理、語義相似性、命名實體識別、情感分析和檢索問答）上，ERNIE表現(xiàn)優(yōu)于基準(zhǔn)模型BERT。同時，語料庫方面，預(yù)訓(xùn)練除使用中文維基百科外，還使用了大量百度百科、百度新聞和百度貼吧的數(shù)據(jù)，更豐富的訓(xùn)練數(shù)據(jù)提升了模型對中文語意的理解能力。此外，ERNIE在DLM（對話語言模型）任務(wù)上對查詢-響應(yīng)對話結(jié)構(gòu)進(jìn)行建模，通過多回合對話幫助ERNIE學(xué)習(xí)對話中的隱式關(guān)系，從而增強(qiáng)了模型學(xué)習(xí)的語義表示能力。ERNIE2.0：改進(jìn)多任務(wù)學(xué)習(xí)方式，實現(xiàn)多個NLP下游任務(wù)SOTA表現(xiàn)。多任務(wù)學(xué)習(xí)通常有同時學(xué)習(xí)和順序?qū)W習(xí)兩種方式，同時學(xué)習(xí)模式無法確保任務(wù)的不斷增加能夠帶來模型效果的持續(xù)提升，而順序?qū)W習(xí)模式下隨著不同任務(wù)的學(xué)習(xí)、模型參數(shù)的遞進(jìn)，可能會使得模型陷入遺忘。ERNIE2.0采用了交替式的多任務(wù)學(xué)習(xí)方式，當(dāng)出現(xiàn)新任務(wù)時，使用先前學(xué)習(xí)的參數(shù)來初始化模型，并同時訓(xùn)練新引入的任務(wù)和原始任務(wù)，從而有效緩解了遺忘現(xiàn)象并提高了模型訓(xùn)練的有效性。在多任務(wù)學(xué)習(xí)方式的優(yōu)化下，ERNIE2.0在多個NLP下游任務(wù)上取得了中英文SOTA（stateofthearts）表現(xiàn)。ERNIE3.0：引入大規(guī)模知識圖譜，提升模型的知識記憶和推理能力。由于已有大模型使用純文本進(jìn)行訓(xùn)練，而沒有引入知識，且傳統(tǒng)的自回歸微調(diào)方式在解決下游語言理解任務(wù)時表現(xiàn)出相對較弱的性能。因此，ERNIE3.0提出了用于大規(guī)模知識增強(qiáng)模型預(yù)訓(xùn)練的統(tǒng)一框架，通過引入4TB語料和10B參數(shù)的大規(guī)模知識圖譜，在大規(guī)模無監(jiān)督語料庫上對模型進(jìn)行預(yù)訓(xùn)練。同時，ERNIE3.0采用了單詞感知、結(jié)構(gòu)感知和知識感知等多種預(yù)訓(xùn)練任務(wù)，從而使得模型能夠更有效地學(xué)習(xí)不同層次的知識。上述改進(jìn)下，ERNIE3.0在情感分析、觀點抽取、閱讀理解、文本摘要、對話生成、數(shù)字運(yùn)算等54個中文NLP任務(wù)中實現(xiàn)SOTA表現(xiàn)。ERNIE3.0Titan：強(qiáng)化可控及可信，實現(xiàn)中文預(yù)訓(xùn)練最強(qiáng)表現(xiàn)。ERNIE3.0Titan在保留了ERNIE3.0海量無監(jiān)督文本與大規(guī)模知識圖譜的平行預(yù)訓(xùn)練算法的基礎(chǔ)上，進(jìn)一步設(shè)計了可控和可信學(xué)習(xí)算法，通過自監(jiān)督的對抗損失和可控的語言建模損失，達(dá)到不同類型的零樣本生成能力并顯著提升了生成結(jié)果的可信度，并實現(xiàn)文本分類、信息抽取、閱讀理解等68個NLP任務(wù)的SOTA表現(xiàn)。多模態(tài)大模型布局完善，文心系列模型滿足多元需求。百度除了在NLP領(lǐng)域持續(xù)升級ERNIE系列模型外，在視覺、跨模態(tài)和生物計算領(lǐng)域也積極布局。視覺領(lǐng)域，基于領(lǐng)先的視覺技術(shù)，利用海量圖像、視頻等數(shù)據(jù)，提供視覺基礎(chǔ)模型以及視覺任務(wù)定制與應(yīng)用能力；跨模態(tài)領(lǐng)域，基于知識增強(qiáng)的跨模態(tài)語義理解關(guān)鍵技術(shù)，實現(xiàn)跨模態(tài)檢索、圖文生成、圖片文檔的信息抽取等應(yīng)用的快速搭建；生物計算領(lǐng)域，將生物領(lǐng)域研究對象的特性融入模型，構(gòu)建面向化合物分子、蛋白分子的生物計算領(lǐng)域預(yù)訓(xùn)練模型。基于多模態(tài)大模型的完善布局，使得文心系列模型能夠滿足各行業(yè)在不同領(lǐng)域的多元需求。騰訊：關(guān)注效率提升，混元成為國內(nèi)首個低成本、可落地的NLP萬億大模型?；煸狝I大模型集CV、NLP和多模態(tài)理解能力于一體，2022年4月首次對外發(fā)布研發(fā)進(jìn)展，在MSR-VTT、MSVD等五大權(quán)威數(shù)據(jù)集榜單中登頂。2022年12月，混元在熱啟動和課程學(xué)習(xí)、MoE路由算法、模型結(jié)構(gòu)、訓(xùn)練加速等方面研究優(yōu)化，大幅降低了萬億大模型的訓(xùn)練成本，成為國內(nèi)首個低成本、可落地的NLP萬億大模型，并再次登頂自然語言理解任務(wù)榜單CLUE。熱啟動和課程學(xué)習(xí)：混元首先在小規(guī)模模型上訓(xùn)練收斂，然后將小模型的知識遷移到大模型，逐步增加模型的規(guī)模，從而使得當(dāng)模型規(guī)模指數(shù)型增長時，只需要較少的迭代即可達(dá)到較好的水平。MoE路由算法：有別于Dense模型在訓(xùn)練過程中激活所有FFN和SA層的參數(shù)，從而導(dǎo)致較高的訓(xùn)練成本，MoE通過引入路由，只激活部分FFN的參數(shù)參與計算，從而能夠?qū)崿F(xiàn)訓(xùn)練成本的節(jié)約。同時，在規(guī)模相同的情況下，使用MoE的大模型能夠具有更高的訓(xùn)練和推理效率。注意力權(quán)重復(fù)制：混元研究團(tuán)隊發(fā)現(xiàn)注意力權(quán)重在不同層之間的差異不大，因此改進(jìn)了注意力權(quán)重設(shè)置方式。在每一層隨機(jī)有p的概率重新計算注意力權(quán)重，1-p的概率復(fù)用上一層的注意力權(quán)重。通過實驗發(fā)現(xiàn)，當(dāng)p設(shè)置為50%，模型效果無損，注意力權(quán)重總的時間復(fù)雜度降低50%，大模型預(yù)訓(xùn)練提速約20%。詞向量路由機(jī)制：引入額外的詞向量用于專家的路由，把路由和注意力層輸出解耦，相同詞的路由向量相同，在保證路由穩(wěn)定性的同時加速了收斂。算力：積極布局新型高性能計算基礎(chǔ)設(shè)施，保障算力支撐阿里巴巴：PAI×靈駿智算支持10萬億參數(shù)大模型研發(fā)?；陟`駿智算，阿里云推出了PAI×靈駿智算服務(wù)，提供覆蓋AI開發(fā)全流程的平臺和分布式異構(gòu)計算優(yōu)化能力，能夠支撐10萬億參數(shù)規(guī)模的大型模型訓(xùn)練，單個訓(xùn)練任務(wù)可達(dá)到萬卡級別規(guī)模，訓(xùn)練性能提高近10倍，千卡規(guī)模的線性擴(kuò)展效率達(dá)92%，能夠深度支持通用大型模型的研發(fā)。百度：百度百舸構(gòu)建AI原生的智能計算基礎(chǔ)設(shè)施，同等配置下實現(xiàn)性能領(lǐng)先。2022年9月，百度云升級發(fā)布百度百舸2.0，在AI計算、AI存儲、AI容器等模塊上進(jìn)行了能力增強(qiáng)和功能豐富，并全新發(fā)布AI加速套件。①AI計算：發(fā)布了彈性RDMA網(wǎng)卡，其和VPC網(wǎng)絡(luò)進(jìn)行了融合，使得用戶的使用成本更低，且通信延時相比傳統(tǒng)TCP網(wǎng)絡(luò)降低了2-3倍。②AI存儲：發(fā)布并行文件存儲PFS的裸金屬版本，支持IB網(wǎng)絡(luò)，可將計算對數(shù)據(jù)的訪問延遲降低至百us級別。同時，對象存儲BOS新增了原生層級namespace，可以將元數(shù)據(jù)訪問速度提升4倍以上。③AI容器：在業(yè)界率先推出雙引擎GPU容器虛擬化方案，可以滿足各類場景的要求，提升GPU資源利用率。④AI加速套件：通過存訓(xùn)推一體化的方式，對數(shù)據(jù)的讀取和查詢、訓(xùn)練、推理進(jìn)行加速，進(jìn)一步提升AI作業(yè)速度。在MLPerfTrainningv2.0的榜單中，百度百舸2.0和百度飛槳聯(lián)合提交的BERTLarge模型GPU訓(xùn)練性能結(jié)果在同等GPU配置下排名第一，比其他結(jié)果快5%-11%。騰訊：最新HCC高性能計算集群算力提升3倍，4天完成萬億大模型訓(xùn)練。2023年4月，騰訊云推出全新HCC高性能計算集群，采用最新一代騰訊云星星海自研服務(wù)器，搭載了NVIDIAH800TensorCoreGPU，可提供業(yè)界目前最高的3.2T超高互聯(lián)帶寬。相較1.6T網(wǎng)絡(luò)，集群整體算力提升20%，將萬億參數(shù)的混元NLP大模型的訓(xùn)練時間縮短至4天，大幅提升了大模型的訓(xùn)練效率。字節(jié)跳動：自研DPU等系列云產(chǎn)品，提高大模型訓(xùn)練效率。4月18日，火山引擎發(fā)布自研DPU等系列云產(chǎn)品，并推出智能推薦-高速訓(xùn)練引擎，采取軟硬一體、細(xì)粒度算子優(yōu)化以及分布式訓(xùn)練和推理，以實現(xiàn)更快的訓(xùn)練速度和更低的訓(xùn)練成本。根據(jù)火山引擎微信公眾號：軟硬一體化：針對關(guān)鍵場景的超大模型，火山引擎智能推薦-高速訓(xùn)練引擎提供全GPU方案，可以支持100GB-10TB的超大模型的高速訓(xùn)練，綜合ROI是CPU的5倍；覆蓋更多場景的模型，提供了GPU+CPU混訓(xùn)方案，綜合ROI是CPU的2倍。細(xì)粒度算子優(yōu)化：針對搜索、推薦和營銷場景，優(yōu)化細(xì)粒度算子，使得在模型推理的過程中有更好的性能表現(xiàn)。在訓(xùn)練時，通過算子融合并精細(xì)調(diào)優(yōu)，性能提升20%；在推理時，通過算子優(yōu)化，性能提升40%。分布式訓(xùn)練和推理：智能推薦-高速訓(xùn)練引擎為了保障系統(tǒng)的穩(wěn)定性，支持訓(xùn)練和推理的全方位容錯，當(dāng)某一個節(jié)點故障時，可以快速恢復(fù)；支持分布式推理，包括多分片、多副本，從而保證線上服務(wù)的高可用。抖音、今日頭條等基于火山引擎高速訓(xùn)練引擎的業(yè)務(wù)，模型訓(xùn)練時間的速度相較以往快10倍-25倍，綜合成本降低25%-67%。數(shù)據(jù)：高質(zhì)量數(shù)據(jù)源及數(shù)據(jù)處理能力是差異化競爭核心。由于優(yōu)質(zhì)中文開源數(shù)據(jù)庫較少、數(shù)據(jù)規(guī)模較小，因此高質(zhì)量數(shù)據(jù)源及數(shù)據(jù)處理能力是競爭差異化的核心。阿里在訓(xùn)練M6、百度在ERNIE3.0時，均自行搭建了TB級別的大規(guī)模數(shù)據(jù)庫，數(shù)據(jù)來源中包含了大量生態(tài)內(nèi)獨(dú)有數(shù)據(jù)，并設(shè)計了完善的清潔程序以確保數(shù)據(jù)質(zhì)量，有效提升了模型的訓(xùn)練效果和中文語境的對話表現(xiàn)。資金：互聯(lián)網(wǎng)大廠均重視研發(fā)投入，百度10年投入AI超千億元?；ヂ?lián)網(wǎng)大廠均具備穩(wěn)健的現(xiàn)金流并重視研發(fā)投入，在資金實力上不存在顯著差異，但在行業(yè)整體降本增效趨勢下，或?qū)⒏幼⒅匮邪l(fā)的投入效率及產(chǎn)出。2022年，騰訊/阿里/百度研發(fā)費(fèi)用分別為614/567/233億元，研發(fā)費(fèi)用率分別為11.1%/6.5%/18.9%，并多次強(qiáng)調(diào)在人工智能領(lǐng)域的研發(fā)投入。根據(jù)阿里財報，F(xiàn)Y2022，阿里巴巴技術(shù)投入超過1200億元人民幣；近三年，阿里巴巴專利投入中超60%集中于云計算、人工智能、芯片等硬核科技領(lǐng)域。根據(jù)李彥宏在2022年世界人工智能大會上的發(fā)言，百度在人工智能領(lǐng)域10年間累計投入超過1000億元，其中核心研發(fā)投入在核心收入占比連續(xù)多個季度超過20%。同時，百度也持續(xù)在免費(fèi)算力開放、AI人才培養(yǎng)等方面提供資金和資源。應(yīng)用場景：內(nèi)部核心業(yè)務(wù)率先落地，積極探索行業(yè)場景自身核心業(yè)務(wù)及B端率先應(yīng)用，關(guān)注實際落地進(jìn)展。從場景上看，各公司均率先將大模型能力用于自身核心業(yè)務(wù)，在提升業(yè)務(wù)效率的同時，也打造了行業(yè)應(yīng)用的標(biāo)桿案例。外部應(yīng)用上，由于大模型提質(zhì)增效的能力天然契合B端需求，因此目前B端落地進(jìn)展相對較快。我們認(rèn)為，AI在數(shù)字化程度較高或人力密集型行業(yè)有望形成更大的應(yīng)用空間。根據(jù)IDC數(shù)據(jù)，我國專業(yè)服務(wù)、政府、制造業(yè)、銀行、通信有望成為AI應(yīng)用市場規(guī)模最大的行業(yè)，2026年市場規(guī)模有望達(dá)77.4/36.9/28.0/20.6/18.5億美元。行業(yè)覆蓋上，各公司展現(xiàn)出較強(qiáng)的自身業(yè)務(wù)屬性及此前產(chǎn)業(yè)互聯(lián)網(wǎng)領(lǐng)域的資源積累。參考各公司在云計算市場的客戶構(gòu)成，我們認(rèn)為隨著行業(yè)應(yīng)用-數(shù)據(jù)-模型的不斷迭代反饋，各公司在大模型領(lǐng)域也有望形成特定行業(yè)賽道的相對優(yōu)勢。C端，盡管目前尚未有爆款應(yīng)用的出現(xiàn)，但參考移動互聯(lián)網(wǎng)時代應(yīng)用類公司實現(xiàn)了更高的市值增長，我們認(rèn)為未來AI對C端應(yīng)用的顛覆式創(chuàng)新也有望帶來產(chǎn)業(yè)價值的爆發(fā)。阿里巴巴：產(chǎn)品全系接入，有望率先形成示范效應(yīng)。AI帶來生產(chǎn)效率的顯著提升，目前在文字歸納與生成、創(chuàng)意性內(nèi)容生成、代碼開發(fā)等領(lǐng)域已得到廣泛應(yīng)用。同時，大模型結(jié)合行業(yè)應(yīng)用落地后，更多的真實用戶反饋也有望加速大模型的優(yōu)化迭代，從而強(qiáng)化良性循環(huán)。根據(jù)2023阿里云峰會，阿里所有產(chǎn)品未來都將接入大模型全面升級，在提高產(chǎn)品效率的同時，也有望率先形成示范效應(yīng)，從而有助于外部客戶和應(yīng)用的拓展。辦公：釘釘全面接入通義千問，實現(xiàn)生產(chǎn)智能化。4月，釘釘總裁葉軍在2023春季釘峰會宣布，釘釘全面接入阿里巴巴通義千問大模型。用戶在使用釘釘時，可以通過斜杠“/”調(diào)用通義大模型能力，實現(xiàn)對群聊工作討論、推文創(chuàng)建、視頻會議、活動策劃、資料管理等場景協(xié)作效率的大幅提升。我們認(rèn)為，辦公場景中較多的文本工作及內(nèi)容創(chuàng)意天然適合通過AI的方式進(jìn)行生產(chǎn)力改造。辦公：通義聽悟全新上線，全面提升音視頻向圖文轉(zhuǎn)化效率。6月1日，阿里云發(fā)布聚焦音視頻的AI新品通義聽悟，成為國內(nèi)首個開放公測的大模型應(yīng)用產(chǎn)品。通義聽悟接入了通義千問大模型的理解與摘要能力，幫助用戶在工作學(xué)習(xí)中完成對音視頻內(nèi)容的轉(zhuǎn)寫、檢索、摘要和整理。同時，通義聽悟也可嵌入各類音視頻平臺，形成實時字幕、智能摘要等，如釘釘?shù)摹搬旈W記”便集成了通義聽悟，未來通義聽悟也有望接入夸克APP、阿里云盤等端口提供服務(wù)。電商：用戶端優(yōu)化購物體驗，商家端提升經(jīng)營效率。由于電商鏈路中存在大量人機(jī)交互、內(nèi)容生成等場景，因此適合與AI結(jié)合實現(xiàn)早期應(yīng)用落地。阿里電商業(yè)務(wù)與AI能力結(jié)合后，用戶端，將通過智能推薦、輔助決策等方式優(yōu)化消費(fèi)者購物體驗，降低決策成本；商家端，既能通過AI輔助創(chuàng)意生成降低營銷成本，也能通過智能客服等方式降低運(yùn)營成本，同時AI帶來更精準(zhǔn)的用戶洞察也有望提升商家的經(jīng)營產(chǎn)出，從而打開未來潛在的貨幣化空間；平臺端，消費(fèi)者及商家更好的使用體驗及經(jīng)營成果有望提升用戶及商家對平臺的心智和粘性，從而進(jìn)一步保障平臺的市場份額。智能終端：通義千問賦能天貓精靈，有望成為一站式家庭生活服務(wù)入口。2023阿里云峰會展示了通義千問在智能居家方面帶來的體驗提升，接入通義千問的天貓精靈Demo版本也展現(xiàn)了其理解用戶需求成功下單外賣以及語言能力和推理能力的增強(qiáng)。我們認(rèn)為，未來天貓精靈在通義千問賦能下，并接入淘寶、天貓、餓了么、飛豬等應(yīng)用后，有望優(yōu)化交互體驗，成為一站式家庭生活服務(wù)入口。通義千問積極與企業(yè)展開合作，共創(chuàng)企業(yè)專屬大模型滿足個性化需求。除阿里系內(nèi)部應(yīng)用將全面接入大模型外，通義千問也將與各行業(yè)合作生成行業(yè)專屬和企業(yè)專屬大模型，滿足企業(yè)個性化需求并提升業(yè)務(wù)效率。目前，阿里云已和多家企業(yè)在大模型相關(guān)場景展開技術(shù)合作探索和共創(chuàng)，首批合作企業(yè)包括OPPO安迪斯智能云、太平洋保險、吉利汽車、奇瑞新能源、波司登等。根據(jù)2023阿里云峰會，阿里發(fā)布通義千問兩周后，超20萬家企業(yè)申請接入。百度：內(nèi)部廣泛應(yīng)用，有望重塑主業(yè)搜索體驗。目前，文心大模型已大規(guī)模應(yīng)用于搜索、信息流、小度智能屏、百度地圖等百度內(nèi)部的各類產(chǎn)品，顯著提升了產(chǎn)品智能化體驗。尤其對于百度的搜索主業(yè)來講，傳統(tǒng)搜索模式下存在信息冗余繁雜、用戶篩選成本較高等痛點，結(jié)合AI能力后，百度搜索以對話方式生成回答，并列示資料來源，有望大幅優(yōu)化用戶搜索體驗，從而進(jìn)一步帶來用戶規(guī)模及使用頻率的提升。行業(yè)應(yīng)用：深入實體經(jīng)濟(jì)，行業(yè)生態(tài)不斷豐富。在通用文心大模型的基礎(chǔ)之上，結(jié)合行業(yè)數(shù)據(jù)和知識圖譜，文心已累計發(fā)布電力、燃?xì)?、金融、航天、傳媒、城市、影視、制造、社科等領(lǐng)域的11個行業(yè)大模型，不斷通過大模型賦能千行百業(yè)的數(shù)字化和智能化進(jìn)程。文心一言發(fā)布首日，即與5家企業(yè)完成首批簽約，與650家企業(yè)啟動簽約，超6.5萬企業(yè)申請調(diào)用，產(chǎn)業(yè)化進(jìn)程領(lǐng)先。文心一格：AI輔助藝術(shù)和創(chuàng)意生成，有望釋放AIGC生產(chǎn)力。文心一格是百度基于文心大模型技術(shù)推出的AI藝術(shù)和創(chuàng)意輔助平臺，可以根據(jù)用戶輸入的文本描述，自動生成畫作，同時可以根據(jù)用戶需求進(jìn)行編輯和二次創(chuàng)作。截至2023年5月底，文心一格官網(wǎng)的注冊用戶數(shù)已超600萬，參與文心一格測試的生態(tài)伙伴超過900家。隨著文心一格模型能力的不斷優(yōu)化和迭代，有望大幅提升游戲原畫、廣告營銷素材、工業(yè)設(shè)計及建筑設(shè)計等領(lǐng)域的生產(chǎn)效率，在實現(xiàn)內(nèi)容創(chuàng)作能力突破的同時，也能促進(jìn)公司的降本增效。騰訊：多核心業(yè)務(wù)落地，行業(yè)大模型推動生態(tài)共建游戲：降低制作成本，豐富玩家體驗。AI技術(shù)在游戲全鏈路中均可充分運(yùn)用，一方面，AI可以輔助游戲制作、運(yùn)用及周邊生態(tài)開發(fā)，降低游戲創(chuàng)造門檻和成本，同時提升游戲品質(zhì)；另一方面，AI也能拓展更加多元的游戲品類，如圍棋、麻將等棋牌類，足球等體育類，以及多人在線戰(zhàn)術(shù)競技（MOBA）、第一人稱射擊（FPS）等復(fù)雜策略類游戲，不斷豐富玩家體驗。廣告：提升理解和運(yùn)算能力，兼顧起量、成本和穩(wěn)定性。混元AI大模型幫助騰訊廣告系統(tǒng)實現(xiàn)升級，在廣告內(nèi)容理解、廣告智能創(chuàng)作、廣告智能審核和廣告指紋系統(tǒng)4個方面分別打造解決方案，大幅提升了系統(tǒng)在廣告內(nèi)容理解、行業(yè)特征挖掘、文案創(chuàng)意生成等方面的能力，在助力廣告主達(dá)成起量、成本和穩(wěn)定性三大效果指標(biāo)、實現(xiàn)生意增字節(jié)跳動：8月發(fā)布大模型對話產(chǎn)品“豆包”，加速研發(fā)進(jìn)展。8月，字節(jié)發(fā)布大模型對話類產(chǎn)品豆包、超愛聊天的小寧、英語學(xué)習(xí)助手、英文寫作潤色、全能寫作助手，已具備基本的問答對話、智能創(chuàng)作等能力。根據(jù)SuperCLUE測評，目前豆包在不同維度的能力上差異較大，在邏輯推理及計算方面具有較強(qiáng)表現(xiàn)，而在代碼、上下文對話等方面仍存在一定短