2023年國內(nèi)人工智能大模型發(fā)展現(xiàn)狀研究

2023年國內(nèi)人工智能大模型發(fā)展現(xiàn)狀研究01020304052目錄CONTENTS國內(nèi)大模型發(fā)展百度：文心大模型騰訊：混元大模型阿里：通義大模型華為：盤古大模型301國內(nèi)大模型發(fā)展4國內(nèi)應(yīng)用層面的需求推動AI產(chǎn)業(yè)的加速發(fā)展，或?qū)硎袌龅谋l(fā)性增長。根據(jù)IDC數(shù)據(jù)預(yù)測，2021年中國人工智能軟件及應(yīng)用市場規(guī)模為51億美元，預(yù)計2026年將會達(dá)到211億美元。數(shù)據(jù)、算法、算力是AI發(fā)展的驅(qū)動力，其中數(shù)據(jù)是AI發(fā)展的基石，中國數(shù)據(jù)規(guī)模增速或排名全球第一。據(jù)IDC統(tǒng)計，中國數(shù)據(jù)規(guī)模將從2021年的18.51ZB增長至2026年的56.16ZB，年均增長速度CAGR為24.9%，增速位居1.1

國內(nèi)AI市場迅速發(fā)展，數(shù)據(jù)量增速或?qū)⑷虻谝粓D1全：2球02第1年一-20。26年，中國人工智能軟件及應(yīng)用市場規(guī)模預(yù)測圖2：2021-2026全球數(shù)據(jù)圈（單位：ZB）資料來源：《2022中國大模型發(fā)展白皮書》，德邦研究所資料來源：《2022中國大模型發(fā)展白皮書》，德邦研究所5082.66467.89160.412840.616801.121077.027%42%40%31%25%0%10%20%30%40%50%05,00010,00015,00020,00025,00020212022 2023202420252026市場規(guī)模（百萬美元）同比（%）18.5122.7328.3735.6444.4656.1621.7726.5232.2939.2648.5858.9942.1949.7259.2870.6384.56100.8423%25%26%25%26%20%21%21%22%22%0%5%10%15%20%25%30%05010015020025020252026其他地區(qū)2021 2022中國中國同比增速（%）2023 2024北美全球同比增速(%)1.2

國家政策的關(guān)注與引導(dǎo)有望推動AI產(chǎn)業(yè)發(fā)展5表1：部分人工智能相關(guān)政策梳理發(fā)布時間發(fā)布方政策名稱相關(guān)內(nèi)容2023年2月北京市經(jīng)濟和信息化局《2022年北京人工智能產(chǎn)業(yè)發(fā)展白皮書》白皮書顯示，北京持續(xù)保持人工智能領(lǐng)先優(yōu)勢。同時，北京將支持頭部企業(yè)打造對標(biāo)ChatGPT的大模型，著力構(gòu)建開源框架和通用大模型的應(yīng)用生態(tài)。2022年8月科技部《關(guān)于支持建設(shè)新一代人工智能示范應(yīng)用場景的通知》堅持面向世界科技前沿、面向經(jīng)濟主戰(zhàn)場、面向國家重大需求、面向人民生命健康，充分發(fā)揮人工智能賦能經(jīng)濟社會發(fā)展的作用，圍繞構(gòu)建全鏈條、全過程的人工智能行業(yè)應(yīng)用生態(tài)，支持一批基礎(chǔ)較好的人工智能應(yīng)用場景，加強研發(fā)上下游配合與新技術(shù)集成，打造形成一批可復(fù)制、可推廣的標(biāo)桿型示范應(yīng)用場景。首批支持建設(shè)十個示范應(yīng)用場景。2022年7月科技部等六部門《關(guān)于加快場景創(chuàng)新以人工智能高水平應(yīng)用促進經(jīng)濟高質(zhì)量發(fā)展的指導(dǎo)意見》場景創(chuàng)新成為人工智能技術(shù)升級、產(chǎn)業(yè)增長的新路徑，場景創(chuàng)新成果持續(xù)涌現(xiàn)，推動新一代人工智能發(fā)展上水平。鼓勵在制造、農(nóng)業(yè)、物流、金融、商務(wù)、家居等重點行業(yè)深入挖掘人工智能技術(shù)應(yīng)用場景，促進智能經(jīng)濟高端高效發(fā)展。2021年12月上海市經(jīng)濟和信息化委員會《上海市人工智能產(chǎn)業(yè)發(fā)展“十四五”規(guī)劃》1）基本建成具有國際影響力的人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展高地。加快培育人工智能龍頭企業(yè)，形成10個以上百億級細(xì)分領(lǐng)域產(chǎn)業(yè)集群，到2025年，上海人工智能規(guī)上產(chǎn)業(yè)規(guī)模年均增長12%以上，達(dá)到4000億元。2）基本形成與國際數(shù)字之都相適應(yīng)的廣泛深度賦能格局。到2025年，形成10大類100個人工智能深度應(yīng)用案例，培育500家智能化示范企業(yè)。3）基本建成創(chuàng)新活躍、開放協(xié)同的人工智能發(fā)展生態(tài)軟環(huán)境。持續(xù)提升世界人工智能大會影響力，完善人才鏈、資金鏈，集聚20個以上國際頂尖人工智能團隊，建成20個左右人才培養(yǎng)與實訓(xùn)基地，完善人工智能產(chǎn)業(yè)人才梯隊建設(shè)，力爭到2025年上海人工智能人才規(guī)模達(dá)到30萬人。4）基本形成可復(fù)制推廣的人工智能敏捷治理的制度供給。加快建立人工智能技術(shù)標(biāo)準(zhǔn)、知識產(chǎn)權(quán)、風(fēng)險評估、測試認(rèn)證、安全監(jiān)管體系，參與10個國家或國際標(biāo)準(zhǔn)編制，年均申請發(fā)明專利1000件，探索建立人工智能賦能產(chǎn)業(yè)發(fā)展和城市管理指標(biāo)體系，打造上海人工智能“融合生態(tài)”標(biāo)志性品牌。2021年10月廣州市科學(xué)技術(shù)局《廣州市人工智能產(chǎn)業(yè)鏈高質(zhì)量發(fā)展三年行動計劃（2021—2023年）》構(gòu)建廣州市人工智能產(chǎn)業(yè)“鏈長制”，通過開展“十百千”戰(zhàn)略發(fā)展計劃，建設(shè)10個人工智能產(chǎn)業(yè)園，開展100

個人工智能典型場景應(yīng)用示范，培育

1000

家左右人工智能企業(yè)。實施“2+4+N”產(chǎn)業(yè)培育工程，將人工智能與數(shù)字經(jīng)濟廣東省實驗室、粵港澳大灣區(qū)國家技術(shù)創(chuàng)新中心作為產(chǎn)業(yè)鏈原始創(chuàng)新、產(chǎn)業(yè)孵化主陣地，遴選我市“造車健城”4

條人工智能優(yōu)勢賽道（“造”—AI+先進制造、“車”—AI+車輛交通、“健”—AI+健康醫(yī)療、“城”—AI+城市治理），每條賽道遴選一批重點培育企業(yè)，包括產(chǎn)業(yè)龍頭企業(yè)、高成長性企業(yè)、頂尖團隊創(chuàng)業(yè)企業(yè)等，形成百花齊放、相互使能的人工智能產(chǎn)業(yè)新生態(tài)。2021年8月北京市人民政府《北京市“十四五”時期高精尖產(chǎn)業(yè)發(fā)展規(guī)劃》《規(guī)劃》重點關(guān)注：全面突破智能芯片、開源框架等核心技術(shù)，構(gòu)建自主可控的產(chǎn)業(yè)鏈體系；建設(shè)國家級人工智能前沿研究中心、超大規(guī)模人工智能模型訓(xùn)練平臺；融合人工智能和產(chǎn)業(yè)應(yīng)用。2021年3月全國人大《中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》瞄準(zhǔn)人工智能、量子信息、集成電路、生命健康、腦科學(xué)、生物育種、空天科技、深地深海等前沿領(lǐng)域，實施一批具有前瞻性、戰(zhàn)略性的國家重大科技項目。聚焦高端芯片、操作系統(tǒng)、人工智能關(guān)鍵算法、傳感器等關(guān)鍵領(lǐng)域，加快推進基礎(chǔ)理論、基礎(chǔ)算法、裝備材料等研發(fā)突破與選代應(yīng)用。資料來源：Wind，全國人大，科技部、教育部、工信部，中國政府網(wǎng)等，德邦研究所圖3：中國大模型生態(tài)資料來源：《2022中國大模型發(fā)展白皮書》，德邦研究所1.3

國內(nèi)各大科技企業(yè)紛紛入局AI大模型大模型增強了AI技術(shù)的通用性，助力普惠AI的實現(xiàn)。未來，大模型有望于場景深度融合，配合專業(yè)工具和平臺支持應(yīng)用落地，開放的生態(tài)來激發(fā)創(chuàng)新，形成良性循環(huán)。頭部企業(yè)均采取“模型+工具平臺+生態(tài)”三層共建模式，有助于業(yè)務(wù)的良性循環(huán)，也更容易借助長期積累形成競爭壁壘。大模型廠商主要包括百度、騰訊、阿里、商湯、華為等企業(yè)，也有智源研究院、中科院自動化所等研究機構(gòu)，同時英偉達(dá)等芯片廠商也紛紛入局。表2：部分大模型廠商梳理公司大模型模型底座NLP大模型CV大模型多模態(tài)大模型特色文心大模型飛槳PaddlePaddle深度學(xué)習(xí)平臺文心NLP大模型（ERNIE3.0）文心CV大模型（VIMER系列）文心跨模態(tài)大模型（ERNIE變體）構(gòu)建了文心大模型層、工具平臺層、產(chǎn)品與社區(qū)三層體系混元大模型太極機器學(xué)習(xí)平臺HunYuan-NLPHunYuan-vcrHunYuan_tvr、太極文生圖廣告類應(yīng)用表現(xiàn)出色通義大模型M6-OFA通義

–AliceMind通義

-視覺通義

-M6構(gòu)建了AI統(tǒng)一底座盤古大模型ModelArts盤古NLP大模型盤古CV大模型暫未上線發(fā)揮Model-as-a-service商業(yè)價值資料來源：各公司官網(wǎng)，德邦研究所6表3：部分國內(nèi)外大模型參數(shù)量對比7公司NLPCV多模態(tài)模型參數(shù)量模型參數(shù)量模型參數(shù)量國產(chǎn)模型百度ERNIE

3.0-Titan260BVIMER-UFO

2.017BERNIE-ViLG

2.024B騰訊HunYuan-NLP1THunYuan-vcr-HunYuan_tvr-阿里AliceMind-Plug27B通義

-視覺-M610T華為盤古語義大模型200B盤古視覺大模型3B盤古多模態(tài)大模型-海外模型OpenAIGPT-3175BImage

GPT6.8BDALL·E

23.5B谷歌PaLM540BV-MoE15BPaLI17BViT-22B22B微軟TuringULR

v65.4BSwinTransformer

V23BBEiT-31.9B資料來源：各公司官網(wǎng)，CLUE，GLUE，ShuohuanWangetal.《ERNIE3.0TITAN:EXPLORINGLARGER-SCALE

KNOWLEDGEENHANCEDPRE-TRAININGFORLANGUAGEUNDERSTANDINGANDGENERATION》，ZhidaFengetal.《ERNIE-ViLG

2.0:ImprovingText-to-ImageDiffusionModelwithKnowledge-Enhanced

Mixture-of-Denoising-Experts》等模型相關(guān)論文，德邦研究所1.4

圍繞大模型，國內(nèi)外科技龍頭展開競爭圖4：中美之間圍繞大模型的研發(fā)和落地展開競爭資料來源：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所028百度：文心大模型2.1

百度文心大模型：模型+平臺+產(chǎn)品構(gòu)成全套體系百度文心構(gòu)建了文心大模型層、工具平臺層、產(chǎn)品與社區(qū)三層體系。產(chǎn)品能力：文心大模型+飛槳PaddlePaddle深度學(xué)習(xí)平臺，滿足市場大規(guī)模落地需求。應(yīng)用能力：百度已在金融、能源、制造、城市、傳媒、互聯(lián)網(wǎng)等行業(yè)擁有實際落地的標(biāo)桿案例。生態(tài)能力：在社區(qū)用戶的基礎(chǔ)上，可以實現(xiàn)與開發(fā)者、行業(yè)用戶、上下游產(chǎn)業(yè)的正向互動。圖5：百度文心大模型全景圖資料來源：文心大模型官網(wǎng)，德邦研究所9圖6：飛槳部分重點產(chǎn)品圖7：飛槳在深度學(xué)習(xí)開源框架中的份額較高資料來源：飛槳PaddlePaddle官網(wǎng)，德邦研究所資料來源：IDC，德邦研究所2.2

百度飛槳：深度學(xué)習(xí)平臺為大模型研發(fā)基石飛槳（Paddle-Paddle）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件、豐富的工具組件于一體，是國內(nèi)功能豐富、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺。截止2022年底，共服務(wù)企事業(yè)單位20萬家，創(chuàng)建模型67萬個。飛槳深度學(xué)習(xí)平臺解決大模型研發(fā)和部署的各類問題，文心大模型是飛槳模型庫的重要組成部分，與飛槳共享生態(tài)，包含產(chǎn)業(yè)級知識增強大模型體系，以及工具平臺、API和創(chuàng)意社區(qū)助力大模型的高效應(yīng)用。102.3

文心大模型在市場格局中處于第一梯隊百度率先在2019年3月發(fā)布預(yù)訓(xùn)練模型ERNIE1.0，文心大模型構(gòu)建了“基礎(chǔ)+任務(wù)+行業(yè)”的三級模型體系，基礎(chǔ)大模型支撐任務(wù)與行業(yè)大模型的建設(shè)，任務(wù)和行業(yè)大模型結(jié)合真實場景與數(shù)據(jù)反哺基礎(chǔ)大模型優(yōu)化，目前已有36個大模型?；A(chǔ)大模型：聚焦技術(shù)挑戰(zhàn)、通用性、泛化性探索，包括含NLP大模型、CV大模型和跨模態(tài)大模型。任務(wù)大模型：包含對話、搜索、信息抽取、生物計算等多個典型任務(wù)。行業(yè)大模型：包含與來自8個行業(yè)的頭部企業(yè)或機構(gòu)共建的11個行業(yè)大模型。IDC評估結(jié)果顯示，百度文心大模型處于第一梯隊，產(chǎn)品能力、生態(tài)能力達(dá)到L4水平，應(yīng)用能力達(dá)到L3水平。圖8：百度大模型發(fā)展歷史圖9：IDC中國大模型市場2022年百度文心大模型評估結(jié)果資料來源：文心大模型公眾號，德邦研究所資料來源：IDC，德邦研究所

11圖10：ERNIE3.0融合了自回歸網(wǎng)絡(luò)和自編碼網(wǎng)絡(luò)圖11：VIMER-UFO2.0是170億參數(shù)視覺多任務(wù)模型，支持各類任務(wù)資料來源：YuSunetal.《ERNIE3.0:LARGE-SCALEKNOWLEDGEENHANCED

PRE-TRAININGFORLANGUAGEUNDERSTANDINGAND

GENERATION》，德邦研究所資料來源：文心大模型官網(wǎng)，德邦研究所

12.3.1

基礎(chǔ)大模型：聚焦技術(shù)挑戰(zhàn)、通用性、泛化性探索文心基礎(chǔ)大模型覆蓋了NLP、CV、跨模態(tài)三大方向。文心NLP大模型：ERNIE3.0基于知識增強的多范式統(tǒng)一預(yù)訓(xùn)練框架，深入融合的千億級知識，具備強大的語言理解能力與小說、摘要、文案創(chuàng)意、歌詞、詩歌等文學(xué)創(chuàng)作能力；與鵬城實驗室合作發(fā)布了知識增強千億大模型“鵬城-百度·文心“。文心CV大模型：VIMER系列的CV大模型，包括視覺自監(jiān)督預(yù)訓(xùn)練大模型VIMER-CAE，多任務(wù)學(xué)習(xí)模型VIMER-UFO2.0，端到端文檔OCR表征學(xué)習(xí)預(yù)訓(xùn)練模型VIMER-StrucTexT2.0等。文心跨模態(tài)大模型：ERNIE-ViLG2.0文生圖大模型、ERNIE-ViL視覺-語言大模型、ERNIE-Layout文檔智能大模型等。2圖12：部分任務(wù)大模型資料來源：《2022中國大模型發(fā)展白皮書》，德邦研究所2.3.2

任務(wù)大模型：面向多個經(jīng)典下游任務(wù)推出的模型任務(wù)大模型包括，對話大模型PLATO、搜索大模型ERNIE-Search、信息抽取大模型ERNIE-UIE、代碼生成大模型ERNIE-Code、生物計算大模型等。PLATO：基于隱變量的生成式開放域?qū)υ挻竽Ｐ?，具備接近真人水平的多輪流暢對話能力，開放域?qū)υ捫Ч_(dá)到世界領(lǐng)先水平。ERNIE-UIE：支持多種類型的開放抽取任務(wù)，用戶可以使用自然語言自定義抽取目標(biāo)，無需訓(xùn)練即可抽取輸入文本中的對應(yīng)信息。ERNIE-Code：基于海量代碼和文本數(shù)據(jù)進行預(yù)訓(xùn)練，引入聯(lián)合學(xué)習(xí)，具備跨多種自然語言和編程語言的語義理解和生成能力。文心生物計算大模型構(gòu)建面向化合物分子、蛋白分子的生物計算領(lǐng)域預(yù)訓(xùn)練模型，賦能生物醫(yī)藥行業(yè)，包括單序列蛋白質(zhì)結(jié)構(gòu)預(yù)測模型HelixFold、蛋白質(zhì)結(jié)構(gòu)預(yù)測模型HelixFold-Single、化和表征學(xué)習(xí)模型HelixGEM-2。132.3.3

行業(yè)大模型：深入產(chǎn)業(yè)落地的重要舉措行業(yè)大模型是百度與行業(yè)頭部企業(yè)、機構(gòu)聯(lián)合研發(fā)的融合行業(yè)數(shù)據(jù)、知識以及專家經(jīng)驗的大模型，在各行業(yè)的技術(shù)效果突破、產(chǎn)品創(chuàng)新、生產(chǎn)流程變革、降本增效等維度產(chǎn)生價值。與國網(wǎng)合作的NLP大模型：探索研發(fā)電力人工智能聯(lián)合大模型，不僅提升了傳統(tǒng)電力專用模型的精度，而且大幅降低了研發(fā)門檻，實現(xiàn)了算力、數(shù)據(jù)、技術(shù)等資源的統(tǒng)籌優(yōu)化。與人民網(wǎng)的合作的NLP大模型：引入輿情數(shù)據(jù)中心積淀的行業(yè)知識來更好訓(xùn)練知識增強的傳媒行業(yè)大模型，實現(xiàn)更少的標(biāo)注數(shù)據(jù)下大幅提升傳媒行業(yè)自然語言處理任務(wù)效果，如新聞內(nèi)容審核分類、輿情分析、摘要生成等。與TCL合作的CV大模型：在TCL幾個產(chǎn)線檢測mAP指標(biāo)平均提升10%+，訓(xùn)練樣本減少到原有訓(xùn)練樣本30%～40%，產(chǎn)線指標(biāo)即可達(dá)到原有產(chǎn)線效果，新產(chǎn)線冷啟動效率可提升3倍，產(chǎn)線上線開發(fā)周期降低30%。圖13：百度行業(yè)大模型圖14：百度文心行業(yè)大模型覆蓋多個領(lǐng)域資料來源：《2022中國大模型發(fā)展白皮書》，百度，德邦研究所資料來源：《2022中國大模型發(fā)展白皮書》，百度，德邦研究所

142.4

應(yīng)用：平臺及產(chǎn)品面向B端C端齊發(fā)力百度文心圍繞大模型產(chǎn)業(yè)應(yīng)用的不同研發(fā)環(huán)節(jié)，面向各階段不同技術(shù)、業(yè)務(wù)背景的開發(fā)者或用戶，打造系列工具平臺與場景化產(chǎn)品。面向開發(fā)者：擁有面向NLP工程師的大模型套件ERNIEKit，包括數(shù)據(jù)標(biāo)注與處理、大模型精調(diào)、大模型壓縮、高性能部署、場景化工具五大模塊能力；AI開發(fā)平臺，包括零門檻AI開放平臺EasyDL，和面向AI算法開發(fā)者提供全功能AI開發(fā)平臺BML。面向下游應(yīng)用：文心開放了API接口，包括NLP大模型ERNIE3.0、跨模態(tài)大模型ERNIE-ViLG、對話大模型PLATO。面向用戶：推出了基于大模型驅(qū)動的新一代產(chǎn)業(yè)級搜索系統(tǒng)文心百中，以及AI藝術(shù)與創(chuàng)意輔助平臺文心一格。圖15：文心大模型產(chǎn)品矩陣圖16：文心百中覆蓋大量搜索場景，輕松助力產(chǎn)業(yè)應(yīng)用資料來源：《2022中國大模型發(fā)展白皮書》，百度，德邦研究所資料來源：飛槳PaddlePaddle官網(wǎng)，德邦研究所

15表4：部分官宣加入“文心一言”生態(tài)圈企業(yè)梳理公司領(lǐng)域時間內(nèi)容創(chuàng)夢天地游戲02/20將把百度智能對話技術(shù)成果應(yīng)用在精品游戲體驗及Fanbook社區(qū)用戶服務(wù)中手游游戲02/21將把百度的智能對話技術(shù)成果應(yīng)用在開放世界游戲領(lǐng)域。巨人網(wǎng)絡(luò)游戲02/21共同打造游戲行業(yè)聯(lián)合解決方案。百度地圖互聯(lián)網(wǎng)（在線地圖）02/14百度地圖宣布將全面融合文心一言，發(fā)布交通大模型，升級為具備自學(xué)習(xí)、自進化能力的“下一代AI

導(dǎo)航”攜程互聯(lián)網(wǎng)（旅游服務(wù)）02/15雙方將在旅行智能規(guī)劃、旅行內(nèi)容滲透等多個領(lǐng)域展開深化合作，為用戶打造在線旅游服務(wù)場景人工智能解決方案，引領(lǐng)“AI＋旅行”產(chǎn)業(yè)應(yīng)用升級。風(fēng)語筑互聯(lián)網(wǎng)（元宇宙）02/14表示將把文心一言應(yīng)用在數(shù)字化體驗和元宇宙相關(guān)的業(yè)務(wù)中，有望在線上元宇宙空間中的數(shù)字人導(dǎo)覽，線下沉浸式場景中的VR/AR導(dǎo)覽、對話交互等領(lǐng)域持續(xù)落地。愛奇藝互聯(lián)網(wǎng)（在線視頻）02/15雙方共同探索將AIGC技術(shù)應(yīng)用于愛奇藝內(nèi)容搜索、內(nèi)容宣發(fā)、內(nèi)容創(chuàng)作工具、小說創(chuàng)作等業(yè)務(wù)。火狐互聯(lián)網(wǎng)（瀏覽器）02/15火狐瀏覽器、火狐主頁的搜索位將陸續(xù)接入百度“文心一言”值得買科技互聯(lián)網(wǎng)（消費服務(wù)）02/17值得買科技會逐步把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在消費內(nèi)容領(lǐng)域。印象筆記互聯(lián)網(wǎng)（筆記app）02/17結(jié)合印象筆記多年自研的AI能力以及印象筆記對國內(nèi)外領(lǐng)先大語言模型(LLM)的研究和應(yīng)用，將形成獨具特色的印象AI產(chǎn)品與服務(wù)Moka互聯(lián)網(wǎng)（SaaS服務(wù)）02/17將優(yōu)先體驗并接入“文心一言”，以此來打造更創(chuàng)新、更智能的人力資源數(shù)字化服務(wù)。返利科技互聯(lián)網(wǎng)（電商）02/21開展電商垂直領(lǐng)域人工智能應(yīng)用的大場景探索。航天宏圖科技02/20將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在衛(wèi)星遙感領(lǐng)域，標(biāo)志著對話式語言模型技術(shù)在PIE-Engine時空遙感云平臺及各行業(yè)衛(wèi)星應(yīng)用場景中的首次著陸。掌閱科技內(nèi)容創(chuàng)作02/15探索提升公司內(nèi)容創(chuàng)作效率、降低內(nèi)容創(chuàng)作成本的有效路徑，持續(xù)創(chuàng)新人工智能與閱讀行業(yè)相結(jié)合的行之有效的產(chǎn)品形態(tài)和商業(yè)模式。澎湃新聞媒體02/14對話式語言模型技術(shù)在媒體行業(yè)內(nèi)容生態(tài)場景的首次著陸。每日經(jīng)濟新聞媒體02/14通過技術(shù)共享、培訓(xùn)賦能、聯(lián)合營銷等方式，強化競爭力，為用戶打造全場景、高頻次、互動性人工智能解決方案及服務(wù)上游新聞媒體02/14重慶日報報業(yè)集團旗下上游新聞將智能對話技術(shù)應(yīng)用在內(nèi)容生產(chǎn)；集團將聯(lián)手百度共同打造AI智能編輯中心項目，將Al用于新聞專題、短視頻編輯、數(shù)字人新聞采訪播報等領(lǐng)域。經(jīng)濟觀察報媒體02/14經(jīng)濟觀察報將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在全新財經(jīng)媒體數(shù)字化平臺——經(jīng)觀APP。證券之星、格隆匯媒體02/14將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在金融信息服務(wù)領(lǐng)域新潮傳媒媒體02/14加速電梯廣告媒體的數(shù)字化升級。華爾街見聞媒體02/15華爾街見聞及全天候科技將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在金融和商業(yè)信息領(lǐng)域。中國基金報媒體02/16中國基金報將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在媒體融合領(lǐng)域。鳳凰網(wǎng)媒體02/16鳳凰網(wǎng)將全面體驗并接入文心一言的能力。新京報媒體02/17將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在新聞選題、策劃、創(chuàng)意展示等領(lǐng)域豆語星辰教育02/15豆語星辰將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在教育科技化升級領(lǐng)域。高途教育02/17進一步拓展AI在教學(xué)練測評等教學(xué)和服務(wù)環(huán)節(jié)落地的深度和廣度，大幅提升用戶學(xué)習(xí)體驗和學(xué)習(xí)效率，為學(xué)生成長高效助力。少林寺文化02/14將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在內(nèi)容生態(tài)、智慧寺院、文化保護與傳承等領(lǐng)域，為用戶打造全場景內(nèi)容生態(tài)人工智能解決方案及服務(wù)。集度汽車制造業(yè)02/14集度汽車機器人將融合百度文心一言的全面能力，打造全球首個針對智能汽車場景的大模型人工智能交互體驗，支持汽車機器人實現(xiàn)自然交流的能力。聯(lián)想制造業(yè)02/15聯(lián)想小新產(chǎn)品將在系統(tǒng)桌面助手中，接入百度“文心一言”，用戶在電腦的桌面即可與AI

對話。長虹制造業(yè)02/17標(biāo)志著長虹8K電視優(yōu)先獲得領(lǐng)先AI技術(shù)的加持，也意味著對話式語言模型技術(shù)在國內(nèi)智能感知交互場景的進一步探索。紅旗汽車制造業(yè)02/17紅旗汽車將在汽車生態(tài)領(lǐng)域全面接入文心一言的能力。東風(fēng)日產(chǎn)制造業(yè)02/17東風(fēng)日產(chǎn)將接入文心一言，可優(yōu)先內(nèi)測試用該產(chǎn)品。美的集團制造業(yè)02/20攜手百度推進智能家居領(lǐng)域人機對話能力的進一步升級；將百度文心一言的智能對話技術(shù)成果應(yīng)用在智能家居、家庭服務(wù)機器人等領(lǐng)域。郵儲銀行商業(yè)銀行02/16通過“郵儲大腦”接入并應(yīng)用“文心一言”的能力；百度“文心一言”首次在國有大型商業(yè)銀行落地。興業(yè)銀行商業(yè)銀行02/22在智慧網(wǎng)點、智能服務(wù)、智能風(fēng)控、智能運營、智能營銷、智能投研等金融場景開展人工智能大模型技術(shù)應(yīng)用廣發(fā)證券券商02/20資料來源：新京報，上海證券報，中國證券網(wǎng)，IT之家，東方財富網(wǎng)等，德邦研究所通過探索大語言模型融入金融應(yīng)用場景，嘗試金融需求挖掘和服務(wù)支持等，為客戶提供更智能的財富管理服務(wù)體系。162.4.1

已官宣加入百度文心一言生態(tài)圈的企業(yè)超過400家0317騰訊：混元大模型3.1

騰訊HunYuan大模型：深入產(chǎn)業(yè)落地的重要舉措2022年4月，騰訊首次對外披露HunYuan大模型，協(xié)同了騰訊預(yù)訓(xùn)練研發(fā)力量，完整覆蓋NLP大模型、CV大模型、多模態(tài)大模型及眾多行業(yè)/領(lǐng)域任務(wù)模型。HunYuan-NLP：萬億級別中文NLP預(yù)訓(xùn)練模型，參數(shù)量達(dá)1T，排名CLUE1.1總排行榜第一。HunYuan-vcr：排名VCR（VisualCommonsense

Reasoning）榜單第一。HunYuan_tvr：跨模態(tài)文字-視頻檢索AI大模型圖17：騰訊HunYuan大模型全景圖 圖18：HunYuan-NLP

1T排名CLUE1.1總排行榜第一18資料來源：CLUE官網(wǎng)，德邦研究所圖19：太極AngelPTM為預(yù)訓(xùn)練加速組件圖20：太極-HCF

ToolKit加速大模型落地資料來源：量子位公眾號，德邦研究所資料來源：量子位公眾號，德邦研究所3.2

太極機器學(xué)習(xí)平臺：HunYuan大模型的底層支持太極是騰訊自主研發(fā)的一站式機器學(xué)習(xí)生態(tài)服務(wù)平臺，為AI工程師打造從數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型評估到模型服務(wù)的全流程高效開發(fā)工具，為大模型的訓(xùn)練提供了有力保障。太極AngelPTM：預(yù)訓(xùn)練加速組件，單機最大可容納55B模型，需要192張卡就可以訓(xùn)練萬億模型。太極-HCF

ToolKit：大模型壓縮和分布式推理組件，包含了從模型蒸餾、壓縮量化到模型加速的完整能力。太極-HCFdistributed為大模型分布式推理組件，使得HunYuan-NLP1T大模型推理只需96張A100(4G)

卡，相比于“威震天”資源設(shè)備占用減少了

40%。太極–

SNIP為大模型壓縮組件，從蒸餾框架和壓縮加速算法兩方面，實現(xiàn)了迭代更快，效果更好，成本更低的大模型壓縮。19圖21：HunYuan大模型對話生成案例圖22：HunYuan大模型廣告文案生成案例資料來源：量子位公眾號，德邦研究所資料來源：量子位公眾號，德邦研究所

23.3

應(yīng)用：為騰訊生態(tài)降本增效，廣告類應(yīng)用表現(xiàn)出色HunYuan先后支持了包括微信、QQ、游戲、騰訊廣告、騰訊云等眾多產(chǎn)品和業(yè)務(wù)，降本增效。依靠HunYuan的多模態(tài)理解能力，在廣告內(nèi)容理解、行業(yè)特征挖掘、文案創(chuàng)意生成等方面的應(yīng)用，在為騰訊廣告帶來大幅GMV提升的同時，也初步驗證了大模型的商業(yè)化潛力。HunYuan大模型和騰訊廣告精排大模型基于太極機器學(xué)習(xí)平臺，共同完善優(yōu)化了廣告理解、用戶理解、廣告和用戶匹配的整個流程，提升對廣告理解、匹配效率、精準(zhǔn)度和轉(zhuǎn)化效率。HunYuan大模型的生成能力，可以提升廣告制作的效率：“圖生視頻”功能，可以將靜態(tài)的圖片自動生成不同樣式的視頻廣告；“文案助手”功能，可以為廣告自動生成更恰當(dāng)?shù)臉?biāo)題，提升廣告的效果；“文生視頻”功能，未來只需要提供一句廣告文案，就可以自動生成與之匹配的視頻廣告。00421阿里：通義大模型圖23：通義大模型架構(gòu)資料來源：機器之心公眾號，2022年世界人工智能大會，德邦研究所

224.1

通義大模型：讓AI更通用2022年9月，在阿里巴巴達(dá)摩院主辦的世界人工智能大會“大規(guī)模預(yù)訓(xùn)練模型”主題論壇上，發(fā)布

“通義”大模型系列，并宣布相關(guān)核心模型向全球開發(fā)者開源開放。阿里達(dá)摩院基于其AI

統(tǒng)一底座構(gòu)建了通用模型與專業(yè)模型協(xié)同的層次化人工智能體系。統(tǒng)一底座層：M6-OFA模型作為單一模型，在不引入新增結(jié)構(gòu)的情況下，可處理超過30種跨模態(tài)任務(wù)。通用模型層：NLP模型“通義–AliceMind”；CV模型“通義-視覺”；多模態(tài)模型“通義-

M6”。專業(yè)模型層：深入電商、醫(yī)療、娛樂、設(shè)計、金融、工業(yè)、制造業(yè)等行業(yè)。4.2.1

底座層：實現(xiàn)模態(tài)表示、任務(wù)表示、模型結(jié)構(gòu)統(tǒng)一通義大模型背后的核心技術(shù)為統(tǒng)一學(xué)習(xí)范式OFA，使其具備了多種任務(wù)的“大一統(tǒng)”能力。單一模型即可同時處理圖像描述、視覺定位、文生圖、視覺蘊含、文檔摘要等10余項單模態(tài)和跨模態(tài)任務(wù)；升級后更是可以處理超過包括語音和動作在內(nèi)的30多種跨模態(tài)任務(wù)。架構(gòu)統(tǒng)一：使用Transformer架構(gòu)，統(tǒng)一進行預(yù)訓(xùn)練和微調(diào)，無需在應(yīng)對不同任務(wù)時，增加任何特定的模型層。模態(tài)統(tǒng)一：不管是NLP、CV這種單模態(tài)，還是圖文等多模態(tài)任務(wù)，全都采用同一個框架和訓(xùn)練思路。任務(wù)統(tǒng)一：將所有單模態(tài)、多模態(tài)任務(wù)統(tǒng)一表達(dá)成序列到序列（Seq2seq）生成的形式，同類任務(wù)的輸入幾乎就是“一個模子里刻出來的”。圖24：OFA具備多種任務(wù)的“大一統(tǒng)”能力圖25：編碼器實現(xiàn)模態(tài)間的特征匹配；解碼器通過自回歸的方式輸出資料來源：PengWangetal.《OFA:UNIFYINGARCHITECTURES,TASKS,AND

MODALITIESTHROUGHASIMPLESEQUENCE-TO-SEQUENCELEARNING

FRAMEWORK》，德邦研究所資料來源：機器之心公眾號，德邦研究所

234.2.2

通用模型層：趨向于統(tǒng)一大模型的演化圖26：通義-

M6發(fā)展歷史圖27：編碼器實現(xiàn)模態(tài)間的特征匹配；解碼器通過自回歸的方式輸出資料來源：機器之心公眾號，2022年世界人工智能大會，德邦研究所資料來源：CLUE官網(wǎng)，德邦研究所

24通義

-

M6為多模態(tài)大模型，

已經(jīng)從

2020

年

6

月的

3

億參數(shù)基礎(chǔ)模型發(fā)展到

2021

年

10

月的

10

萬億參數(shù)全球最大預(yù)訓(xùn)練模型到2022年1月的業(yè)界首個通用統(tǒng)一大模型

M6-OFA。2021年3月，發(fā)布通義–

AliceMind，為達(dá)摩院開源的深度語言模型體系，CLUE1.1總排行榜第二。AliceMind生態(tài)體系包括：通用語言模型StructBERT、多模態(tài)語言模型StructVBERT、多語言模型VECO、生成式模型PALM、文檔圖像理解模型Structural

LM、表格理解模型SDCUP、超大中文理解與生成模型PLUG（24層StructBERT編碼器+“24-6”層的PALM編碼器-解碼器）、超大圖像-文本模型mPLUG等。圖28：通義-視覺大模型架構(gòu)圖29：通義大模型文生圖效果資料來源：機器之心公眾號，2022年世界人工智能大會，德邦研究所資料來源：機器之心公眾號，阿里云公眾號，德邦研究所

254.2.2

通用模型層：趨向于統(tǒng)一大模型的演化通義-

視覺大模型分為了底層統(tǒng)一算法架構(gòu)、中層通用算法和上層產(chǎn)業(yè)應(yīng)用。通義-

視覺大模型可以在電商行業(yè)實現(xiàn)圖像搜索和萬物識別等場景應(yīng)用，并在文生圖以及交通和自動駕駛領(lǐng)域發(fā)揮作用。應(yīng)用方面，通義大模型依靠其領(lǐng)先的跨模態(tài)能力，為下游任務(wù)提質(zhì)增效。在淘寶服飾類搜索場景中實現(xiàn)了以文搜圖的跨模態(tài)搜索、在AI輔助審判中司法卷宗的事件抽取、文書分類等場景任務(wù)中實現(xiàn)

3～5%

的應(yīng)用效果提升、在開放域人機對話領(lǐng)域通過建立初步具備“知識、情感以及個性、記憶”的中文開放域?qū)υ挻竽Ｐ蛯崿F(xiàn)了主動對話、廣泛話題、緊跟熱點等對話體驗。0526華為：盤古大模型5.1

華為盤古大模型：深耕大模型的行業(yè)應(yīng)用華為云團隊于2020年立項AI大模型，并且于2021年4月發(fā)布“盤古大模型”。受益于華為的全棧式AI

解決方案，大模型與昇騰（Ascend）芯片、昇思（MindSpore）語言、ModelArts

平臺深度結(jié)合。盤古大模型已經(jīng)發(fā)展出包括基礎(chǔ)大模型（L0）、行業(yè)大模型（L1）、行業(yè)細(xì)分場景模型（L2）三大階段的成熟體系。2022年11月，在華為全聯(lián)接大會2022中國站上，華為云進一步迭代盤古大模型的技術(shù)能力，擴展盤古大模型的服務(wù)范圍，發(fā)布盤古氣象大模型、盤古礦山大模型、盤古OCR大模型三項重磅服務(wù)。圖30：盤古大模型架構(gòu)圖31：盤古NLP大模型參數(shù)量達(dá)到2000億，高于GPT-3的1750億資料來源：中國信通院“2022可信AI峰會”，德邦研究所資料來源：華為云官網(wǎng)，德邦研究所275.2

ModelArts：大模型研發(fā)的平臺支持28ModelArts

是面向開發(fā)者的一站式AI平臺，為機器學(xué)習(xí)與深度學(xué)習(xí)提供海量數(shù)據(jù)預(yù)處理及交互式智能標(biāo)注、大規(guī)模分布式訓(xùn)練、自動化模型生成，及端-邊-云模型按需部署能力，幫助用戶快速創(chuàng)建和部署模型，管理全周期AI

工作流。ModelArts的主要能力包括數(shù)據(jù)處理、算法開發(fā)、模型訓(xùn)練、AI應(yīng)用管理和部署；功能模塊涵蓋了強化學(xué)習(xí)、天籌(OptVerse)AI求解器、盤古大模型、AIGallery（人工智能知識與實訓(xùn)專區(qū)）、IDE（云原生

Notebook）等。圖32：ModelArts為開發(fā)者提供一站式服務(wù)資料來源：華為云官網(wǎng)，德邦研究所5.3.1

基礎(chǔ)大模型：將Transformer應(yīng)用于各模態(tài)盤古語音語義大模型：語義模型是業(yè)界首個千億中文大模型；語音模型擁有超過4

億參數(shù),是當(dāng)前最大的中文語音模型之一。語義部分，基于Transformer搭建基礎(chǔ)架構(gòu)，針對理解能力，使用類似BERT的MLM方式訓(xùn)練；針對生成能力，使用回歸語言模型作為訓(xùn)練目標(biāo)，即給定一句話的上半部分，讓模型預(yù)測下半部分。2022年，華為在鵬城云腦Ⅱ上訓(xùn)練了全球首個全開源2000億參數(shù)的自回歸中文預(yù)訓(xùn)練語言大模型——鵬程·盤古。語音部分，使用卷積與Transformer

結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，解碼器與文本類似；音頻編碼器部分，預(yù)訓(xùn)練時采取將音頻中挖掉一個片段，再隨機采樣一些片段作為負(fù)例，讓模型從中找出正確的被挖掉的片段。盤古視覺大模型：最大擁有30億參數(shù)，兼顧判別與生成能力；在小樣本學(xué)習(xí)性能領(lǐng)先。融合了卷積網(wǎng)絡(luò)和Transformer

架構(gòu)，分開或按需結(jié)合達(dá)到更好效果；業(yè)界首創(chuàng)基于等級化語義聚集的對比度自監(jiān)督學(xué)習(xí)，以減少樣本選取過程中的噪聲影響。盤古多模態(tài)大模型：使用LOUPE

算法預(yù)訓(xùn)練所得的模型，在多項下游任務(wù)中表現(xiàn)出了更好的精度。采用了雙塔架構(gòu)，利用不同的神經(jīng)網(wǎng)絡(luò)來完成不同模態(tài)的信息抽取，然后僅在最后一層做信息交互和融合，具有模型獨立性強、訓(xùn)練效率高等優(yōu)勢。實現(xiàn)方式為：分別抽取圖像和文本特征，然后將一個批次的圖像和文本特征送入判別器，使得配對的跨模態(tài)特征聚集在一起，而不配對跨模態(tài)特征被拉遠(yuǎn)，大數(shù)據(jù)充分迭代后，模型就能學(xué)會將圖像和文本對齊到同一空間。此時，圖像和文本的編碼器可以獨立用于各自下游任務(wù)，或協(xié)同用于跨模態(tài)理解類下游任務(wù)。圖33：自然語言處理和語音處理都可以分為理解和生成兩個部分圖34：盤古多模態(tài)大模型在多模態(tài)的各項下游任務(wù)上均取得了業(yè)界領(lǐng)先水平資料來源：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所資料來源：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所

293