互聯(lián)網(wǎng)行業(yè)AIGC專題分析報(bào)告：國內(nèi)大模型

2023年3月7日證券研究報(bào)告|行業(yè)專題AIGC專題三：國內(nèi)大模型概覽投資要點(diǎn)：國產(chǎn)大模型有望將迎來爆發(fā)式成長

自ChatGPT推出以來，國內(nèi)學(xué)術(shù)界和科技企業(yè)相繼宣布或?qū)⑼瞥鲱愃茩C(jī)器人對話模型，有望推動(dòng)大模型發(fā)展。2月7日，百度官宣“文心一言”。2

月

20日，復(fù)旦大學(xué)發(fā)布了類

ChatGPT

模型

“MOSS”，并面向大眾公開邀請內(nèi)測，國產(chǎn)大模型有望迎來爆發(fā)式增長。

需求和政策兩方面，合力推動(dòng)AI產(chǎn)業(yè)增長。國內(nèi)應(yīng)用層面的需求推動(dòng)AI產(chǎn)業(yè)的加速發(fā)展。根據(jù)IDC數(shù)據(jù)預(yù)測，2021年中國人工智能軟件及應(yīng)用市場規(guī)模為51億美元，預(yù)計(jì)2026年將會(huì)達(dá)到211億美元。數(shù)據(jù)、算法、算力是AI發(fā)展的驅(qū)動(dòng)力，其中數(shù)據(jù)是AI發(fā)展的基石，中國數(shù)據(jù)規(guī)模增速有望排名全球第一。政策方面，“十四五”規(guī)劃中提到“瞄準(zhǔn)人工智能”，“聚焦人工智能關(guān)鍵算法”，加快推進(jìn)“基礎(chǔ)算法”的“突破與迭代應(yīng)用”；北京、上海、廣州等城市發(fā)布相關(guān)規(guī)劃。

頭部企業(yè)采取“模型+工具平臺(tái)+生態(tài)”

三層共建模式，有助于業(yè)務(wù)的良性循環(huán)，也更容易借助長期積累形成競爭壁壘。大模型廠商主要包括百度（文心大模型）、騰訊（HunYuan大模型）、阿里（通義大模型）、商湯、（盤古大模型）等企業(yè)，也有智源研究院、中科院自動(dòng)化所等研究機(jī)構(gòu)，同時(shí)英偉達(dá)等芯片廠商也紛紛入局。大模型增強(qiáng)了AI技術(shù)的通用性，助力普惠AI的實(shí)現(xiàn)。未來，大模型有望于場景深度融合，配合專業(yè)工具和平臺(tái)支持應(yīng)用落地，開放的生態(tài)來激發(fā)創(chuàng)新，形成良性循環(huán)。

技術(shù)發(fā)展有望促進(jìn)生產(chǎn)效率提升，并進(jìn)一步創(chuàng)造新的消費(fèi)和需求，有利于文娛內(nèi)容和互聯(lián)網(wǎng)行業(yè)。在AIGC和ChatGPT方面，我們建議持續(xù)關(guān)注技術(shù)發(fā)展和應(yīng)用情況，把握技術(shù)催化和商業(yè)化落地帶來的投資機(jī)會(huì)：1）具備AIGC和ChatGPT的技術(shù)探索和應(yīng)用的公司：百度集團(tuán)-SW、商湯-W、萬興科技、拓爾思等；2）具有海量內(nèi)容素材且具有AIGC探索布局的，圖片/文字/音樂/視頻內(nèi)容及平臺(tái)公司騰訊控股，閱文集團(tuán)、美圖公司、昆侖萬維、湯姆貓、神州泰岳、視覺中國、中文在線、漢儀股份、天娛數(shù)科、風(fēng)語筑等。

風(fēng)險(xiǎn)提示：技術(shù)發(fā)展不及預(yù)期、監(jiān)管政策變化、知識(shí)產(chǎn)權(quán)等相關(guān)問題。1。目錄CONTENTS0102030405國內(nèi)大模型發(fā)展百度：文心大模型騰訊：混元大模型阿里：通義大模型：盤古大模型06

投資建議&風(fēng)險(xiǎn)提示2。01國內(nèi)大模型發(fā)展31.1國內(nèi)AI市場迅速發(fā)展，數(shù)據(jù)量增速或?qū)⑷虻谝?/p>

國內(nèi)應(yīng)用層面的需求推動(dòng)AI產(chǎn)業(yè)的加速發(fā)展，或?qū)硎袌龅谋l(fā)性增長。

根據(jù)IDC數(shù)據(jù)預(yù)測，2021年中國人工智能軟件及應(yīng)用市場規(guī)模為51億美元，預(yù)計(jì)2026年將會(huì)達(dá)到211億美元。

數(shù)據(jù)、算法、算力是AI發(fā)展的驅(qū)動(dòng)力，其中數(shù)據(jù)是AI發(fā)展的基石，中國數(shù)據(jù)規(guī)模增速或排名全球第一。

據(jù)IDC統(tǒng)計(jì)，中國數(shù)據(jù)規(guī)模將從2021年的18.51ZB增長至2026年的56.16ZB，年均增長速度CAGR為24.9%，增速位居圖1全：2球02第1年一-20。26年，中國人工智能軟件及應(yīng)用市場規(guī)模預(yù)測圖2：2021-2026全球數(shù)據(jù)圈（單位：ZB）25,00050%40%30%20%10%0%25030%25%20%15%10%5%26%26%21%42%25%23%25%22%40%20,00015,00010,0005,00002001501005022%21%20%31%100.8427%25%84.5648.5870.6321077.059.2858.9956.1616801.149.7212840.6202442.1939.2635.64202432.2928.379160.4202326.5222.736467.8202221.7718.515082.6202144.46202500%202120222023202620252026中國中國同比增速（%）北美全球同比增速(%)其他地區(qū)市場規(guī)模（百萬美元）同比（%）資料：《2022中國大模型發(fā)展白皮書》，德邦研究所資料：《2022中國大模型發(fā)展白皮書》，德邦研究所4。1.2國家政策的關(guān)注與引導(dǎo)有望推動(dòng)AI產(chǎn)業(yè)發(fā)展表1：部分人工智能相關(guān)政策梳理發(fā)布時(shí)間發(fā)布方政策名稱相關(guān)內(nèi)容北京市經(jīng)濟(jì)和信息化局《2022年北京人工智能產(chǎn)業(yè)發(fā)展白皮書》2023年2月白皮書顯示，北京持續(xù)保持人工智能領(lǐng)先優(yōu)勢。同時(shí)，北京將支持頭部企業(yè)打造對標(biāo)ChatGPT的大模型，著力構(gòu)建開源框架和通用大模型的應(yīng)用生態(tài)。堅(jiān)持面向世界科技前沿、面向經(jīng)濟(jì)主戰(zhàn)場、面向國家重大需求、面向人民生命健康，充分發(fā)揮人工智能賦能經(jīng)濟(jì)社會(huì)發(fā)展的作用，圍繞構(gòu)建全鏈條、全過程的人工智能行業(yè)應(yīng)用生態(tài)，支持一批基礎(chǔ)較好的人工智能應(yīng)用場景，加強(qiáng)研發(fā)上下游配合與新技術(shù)集成，打造形成一批可復(fù)制、可推廣的標(biāo)桿型示范應(yīng)用場景。首批支持建設(shè)十個(gè)示范應(yīng)用場景。《關(guān)于支持建設(shè)新一代人工智能示范應(yīng)用場景的通知》2022年8月2022年7月科技部《關(guān)于加快場景創(chuàng)新以人工智能高水平應(yīng)用促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展的指導(dǎo)意見》場景創(chuàng)新成為人工智能技術(shù)升級、產(chǎn)業(yè)增長的新路徑，場景創(chuàng)新成果持續(xù)涌現(xiàn)，推動(dòng)新一代人工智能發(fā)展上水平。鼓勵(lì)在制造、農(nóng)業(yè)、物流、金融、商務(wù)、家居等重點(diǎn)行業(yè)深入挖掘人工智能技術(shù)應(yīng)用場景，促進(jìn)智能經(jīng)濟(jì)高端高效發(fā)展?？萍疾康攘块T1）基本建成具有國際影響力的人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展高地。加快培育人工智能龍頭企業(yè)，形成10個(gè)以上百億級細(xì)分領(lǐng)域產(chǎn)業(yè)集群，到2025年，上海人工智能規(guī)上產(chǎn)業(yè)規(guī)模年均增長12%以上，達(dá)到4000億元。2）基本形成與國際數(shù)字之都相適應(yīng)的廣泛深度賦能格局。到2025年，形成10大類100個(gè)人工智能深度應(yīng)用案例，培育500家智能化示范企業(yè)。3）基本建成創(chuàng)新活躍、開放協(xié)同的人工智能發(fā)展生態(tài)軟環(huán)境。持續(xù)提升世界人工智能大會(huì)影響力，完善人才鏈、資金鏈，集聚20個(gè)以上國際頂尖人工智能團(tuán)隊(duì)，建成20個(gè)左右人才培養(yǎng)與實(shí)訓(xùn)基地，完善人工智能產(chǎn)業(yè)人才梯隊(duì)建設(shè)，力爭到2025年上海人工智能人才規(guī)模達(dá)到30萬人。4）基本形成可復(fù)制推廣的人工智能敏捷治理的制度供給。加快建立人工智能技術(shù)標(biāo)準(zhǔn)、知識(shí)產(chǎn)權(quán)、風(fēng)險(xiǎn)評估、測試認(rèn)證、安全監(jiān)管體系，參與10個(gè)國家或國際標(biāo)準(zhǔn)編制，年均申請發(fā)明專利1000件，探索建立人工智能賦能產(chǎn)業(yè)發(fā)展和城市管理指標(biāo)體系，打造上海人工智能“融合生態(tài)”標(biāo)志性品牌。上海市經(jīng)濟(jì)和信息化委員會(huì)《上海市人工智能產(chǎn)業(yè)發(fā)展“十四五”規(guī)劃》2021年12月2021年10月構(gòu)建廣州市人工智能產(chǎn)業(yè)“鏈長制”，通過開展“十百千”戰(zhàn)略發(fā)展計(jì)劃，建設(shè)

10

個(gè)人工智能產(chǎn)業(yè)園，開展

100

個(gè)人工智能典型場景應(yīng)用示范，培《廣州市人工智能產(chǎn)業(yè)鏈高質(zhì)量

育

1000

家左右人工智能企業(yè)。實(shí)施“2+4+N”產(chǎn)業(yè)培育工程，將人工智能與數(shù)字經(jīng)濟(jì)廣東省實(shí)驗(yàn)室、粵港澳大灣區(qū)國家技術(shù)創(chuàng)新中心作為產(chǎn)業(yè)鏈原始廣州市科學(xué)技術(shù)局

發(fā)展三年行動(dòng)計(jì)劃（2021—2023

創(chuàng)新、產(chǎn)業(yè)孵化主陣地，遴選我市“造車健城”4

條人工智能優(yōu)勢賽道（“造”—AI+先進(jìn)制造、“車”—AI+車輛交通、“健”—AI+健康醫(yī)療、年）》“城”—AI+城市治理），每條賽道遴選一批重點(diǎn)培育企業(yè)，包括產(chǎn)業(yè)龍頭企業(yè)、高成長性企業(yè)、頂尖團(tuán)隊(duì)創(chuàng)業(yè)企業(yè)等，形成百花齊放、相互使能的人工智能產(chǎn)業(yè)新生態(tài)?！侗本┦小笆奈濉睍r(shí)期高精尖

《規(guī)劃》重點(diǎn)關(guān)注：全面突破智能芯片、開源框架等核心技術(shù)，構(gòu)建自主可控的產(chǎn)業(yè)鏈體系；建設(shè)國家級人工智能前沿研究中心、超大規(guī)模人工智能產(chǎn)業(yè)發(fā)展規(guī)劃》

模型訓(xùn)練平臺(tái)；融合人工智能和產(chǎn)業(yè)應(yīng)用。2021年8月2021年3月北京市人民政府全國人大《中華人民共和國國民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》瞄準(zhǔn)人工智能、量子信息、集成電路、生命健康、腦科學(xué)、生物育種、空天科技、深地深海等前沿領(lǐng)域，實(shí)施一批具有前瞻性、戰(zhàn)略性的國家重大科技項(xiàng)目。聚焦高端芯片、操作系統(tǒng)、人工智能關(guān)鍵算法、傳感器等關(guān)鍵領(lǐng)域，加快推進(jìn)基礎(chǔ)理論、基礎(chǔ)算法、裝備材料等研發(fā)突破與選代應(yīng)用。資料：Wind，全國人大，科技部、教育部、工信部，中國政府網(wǎng)等，德邦研究所51.3國內(nèi)各大科技企業(yè)紛紛入局AI大模型

大模型增強(qiáng)了AI技術(shù)的通用性，助力普惠AI的實(shí)現(xiàn)。未來，大模型有望于場景深度融合，配合專業(yè)工具和平臺(tái)支持應(yīng)用落地，開放的生態(tài)來激發(fā)創(chuàng)新，形成良性循環(huán)。

頭部企業(yè)均采取“模型+工具平臺(tái)+生態(tài)”

三層共建模式，有助于業(yè)務(wù)的良性循環(huán)，也更容易借助長期積累形成競爭壁壘。

大模型廠商主要包括百度、騰訊、阿里、商湯、廠商也紛紛入局。等企業(yè)，也有智源研究院、中科院自動(dòng)化所等研究機(jī)構(gòu)，同時(shí)英偉達(dá)等芯片圖3：中國大模型生態(tài)表2：部分大模型廠商梳理公司大模型模型底座NLP大模型CV大模型多模態(tài)大模型特色構(gòu)建了文心飛槳文心跨模態(tài)大

大模型層、模型（ERNIE

工具平臺(tái)層、文心NLP大模型

文心CV大模型（ERNIE3.0）

（VIMER系列）文心大模型

PaddlePaddle深度學(xué)習(xí)平臺(tái)變體）產(chǎn)品與社區(qū)三層體系太極機(jī)器學(xué)習(xí)HunYuan_tvr、

廣告類應(yīng)用混元大模型通義大模型HunYuan-NLPHunYuan-vcr平臺(tái)太極文生圖表現(xiàn)出色構(gòu)建了AI

統(tǒng)一底座M6-OFA通義

–

AliceMind通義

-視覺通義

-M6發(fā)揮Model-as-a-service商業(yè)價(jià)值盤古大模型ModelArts盤古NLP大模型

盤古CV大模型暫未上線資料：各公司官網(wǎng)，德邦研究所6資料：《2022中國大模型發(fā)展白皮書》，德邦研究所1.4圍繞大模型，國內(nèi)外科技龍頭展開競爭圖4：中美之間圍繞大模型的研發(fā)和落地展開競爭表3：部分國內(nèi)外大模型參數(shù)量對比NLPCV多模態(tài)模型公司模型參數(shù)量模型參數(shù)量參數(shù)量國產(chǎn)模型VIMER-UFO

2.0HunYuan-vcr通義

-視覺盤古視覺大模型海外模型百度騰訊阿里ERNIE3.0-Titan

260B17B-ERNIE-ViLG

2.0HunYuan_tvrM624B-HunYuan-NLPAliceMind-Plug1T27B-10T-盤古語義大模型

200B3B盤古多模態(tài)大模型OpenAI谷歌GPT-3PaLM175B540BImage

GPTV-MoE6.8B15B22B3BDALL·E2PaLI3.5B17BViT-22B微軟Turing

ULRv65.4B

Swin

Transformer

V2BEiT-31.9B資料：各公司官網(wǎng)，CLUE，GLUE，Shuohuan

Wang

et

al.《ERNIE

3.0

TITAN:

EXPLORING

LARGER-SCALE

KNOWLEDGEENHANCED

PRE-TRAINING

FOR

LANGUAGE

UNDERSTANDING

AND

GENERATION》，Zhida

Feng

et

al.《ERNIE-ViLG

2.0:Improving

Text-to-Image

Diffusion

Model

with

Knowledge-Enhanced

Mixture-of-Denoising-Experts》等模型相關(guān)論文，德邦研究所7資料：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所02百度：文心大模型82.1百度文心大模型：模型+平臺(tái)+產(chǎn)品構(gòu)成全套體系

百度文心構(gòu)建了文心大模型層、工具平臺(tái)層、產(chǎn)品與社區(qū)三層體系。

產(chǎn)品能力：文心大模型+飛槳PaddlePaddle深度學(xué)習(xí)平臺(tái)，滿足市場大規(guī)模落地需求。

應(yīng)用能力：百度已在金融、能源、制造、城市、傳媒、互聯(lián)網(wǎng)等行業(yè)擁有實(shí)際落地的標(biāo)桿案例。

生態(tài)能力：在社區(qū)用戶的基礎(chǔ)上，可以實(shí)現(xiàn)與開發(fā)者、行業(yè)用戶、上下游產(chǎn)業(yè)的正向互動(dòng)。圖5：百度文心大模型全景圖9資料：文心大模型官網(wǎng)，德邦研究所2.2百度飛槳：深度學(xué)習(xí)平臺(tái)為大模型研發(fā)基石

飛槳（Paddle-Paddle）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件、豐富的工具組件于一體，是國內(nèi)功能豐富、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺(tái)。截止2022年底，共服務(wù)企事業(yè)單位20萬家，創(chuàng)建模型67萬個(gè)。

飛槳深度學(xué)習(xí)平臺(tái)解決大模型研發(fā)和部署的各類問題，文心大模型是飛槳模型庫的重要組成部分，與飛槳共享生態(tài)，包含產(chǎn)業(yè)級知識(shí)增強(qiáng)大模型體系，以及工具平臺(tái)、API和創(chuàng)意社區(qū)助力大模型的高效應(yīng)用。圖6：飛槳部分重點(diǎn)產(chǎn)品圖7：飛槳在深度學(xué)習(xí)開源框架中的份額較高10資料：飛槳PaddlePaddle官網(wǎng)，德邦研究所資料：IDC，德邦研究所2.3文心大模型在市場格局中處于第一梯隊(duì)

百度率先在2019年3月發(fā)布預(yù)訓(xùn)練模型ERNIE1.0，文心大模型構(gòu)建了“基礎(chǔ)+任務(wù)+行業(yè)”的三級模型體系，基礎(chǔ)大模型支撐任務(wù)與行業(yè)大模型的建設(shè)，任務(wù)和行業(yè)大模型結(jié)合真實(shí)場景與數(shù)據(jù)反哺基礎(chǔ)大模型優(yōu)化，目前已有36個(gè)大模型。

基礎(chǔ)大模型：聚焦技術(shù)挑戰(zhàn)、通用性、泛化性探索，包括含NLP大模型、CV大模型和跨模態(tài)大模型。

任務(wù)大模型：包含對話、搜索、信息抽取、生物計(jì)算等多個(gè)典型任務(wù)。

行業(yè)大模型：包含與來自8個(gè)行業(yè)的頭部企業(yè)或機(jī)構(gòu)共建的11個(gè)行業(yè)大模型。

IDC評估結(jié)果顯示，百度文心大模型處于第一梯隊(duì)，產(chǎn)品能力、生態(tài)能力達(dá)到L4水平，應(yīng)用能力達(dá)到L3水平。圖8：百度大模型發(fā)展歷史圖9：IDC中國大模型市場2022年百度文心大模型評估結(jié)果11資料：文心大模型公眾號，德邦研究所資料：IDC，德邦研究所2.3.1基礎(chǔ)大模型：聚焦技術(shù)挑戰(zhàn)、通用性、泛化性探索

文心基礎(chǔ)大模型覆蓋了NLP、CV、跨模態(tài)三大方向。

文心NLP大模型：ERNIE3.0基于知識(shí)增強(qiáng)的多范式統(tǒng)一預(yù)訓(xùn)練框架，深入融合的千億級知識(shí)，具備強(qiáng)大的語言理解能力與小說、摘要、文案創(chuàng)意、歌詞、詩歌等文學(xué)創(chuàng)作能力；與鵬城實(shí)驗(yàn)室合作發(fā)布了知識(shí)增強(qiáng)千億大模型“鵬城-百度·文心“。

文心CV大模型：VIMER系列的CV大模型，包括視覺自監(jiān)督預(yù)訓(xùn)練大模型VIMER-CAE，多任務(wù)學(xué)習(xí)模型VIMER-UFO2.0，端到端文檔OCR表征學(xué)習(xí)預(yù)訓(xùn)練模型VIMER-StrucTexT2.0等。

文心跨模態(tài)大模型：ERNIE-ViLG2.0文生圖大模型、ERNIE-ViL視覺-語言大模型、ERNIE-Layout文檔智能大模型等。圖10：ERNIE3.0融合了自回歸網(wǎng)絡(luò)和自編碼網(wǎng)絡(luò)圖11：VIMER-UFO2.0是170億參數(shù)視覺多任務(wù)模型，支持各類任務(wù)資料：Yu

Sun

et

al.《ERNIE

3.0:

LARGE-SCALE

KNOWLEDGE

ENHANCED

PRE-12資料：文心大模型官網(wǎng)，德邦研究所TRAINING

FOR

LANGUAGE

UNDERSTANDING

AND

GENERATION》，德邦研究所2.3.2任務(wù)大模型：面向多個(gè)經(jīng)典下游任務(wù)推出的模型

任務(wù)大模型包括，對話大模型PLATO、搜索大模型ERNIE-Search、信息抽取大模型ERNIE-UIE、代碼生成大模型ERNIE-Code、生物計(jì)算大模型等。

PLATO：基于隱變量的生成式開放域?qū)υ挻竽Ｐ停邆浣咏嫒怂降亩噍喠鲿硨υ捘芰?，開放域?qū)υ捫Ч_(dá)到世界領(lǐng)先水平。

ERNIE-UIE：支持多種類型的開放抽取任務(wù)，用戶可以使用自然語言自定義抽取目標(biāo)，無需訓(xùn)練即可抽取輸入文本中的對應(yīng)信息。

ERNIE-Code：基于海量代碼和文本數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，引入聯(lián)合學(xué)習(xí)，具備跨多種自然語言和編程語言的語義理解和生成能力。

文心生物計(jì)算大模型構(gòu)建面向化合物分子、蛋白分子的生物計(jì)算領(lǐng)域預(yù)訓(xùn)練模型，賦能生物醫(yī)藥行業(yè)，包括單序列蛋白質(zhì)結(jié)構(gòu)預(yù)測模型HelixFold、蛋白質(zhì)結(jié)構(gòu)預(yù)測模型HelixFold-Single、化和表征學(xué)習(xí)模型HelixGEM-2。圖12：部分任務(wù)大模型資料：《2022中國大模型發(fā)展白皮書》，德邦研究所132.3.3行業(yè)大模型：深入產(chǎn)業(yè)落地的重要舉措

行業(yè)大模型是百度與行業(yè)頭部企業(yè)、機(jī)構(gòu)聯(lián)合研發(fā)的融合行業(yè)數(shù)據(jù)、知識(shí)以及專家經(jīng)驗(yàn)的大模型，在各行業(yè)的技術(shù)效果突破、產(chǎn)品創(chuàng)新、生產(chǎn)流程變革、降本增效等維度產(chǎn)生價(jià)值。

與國網(wǎng)合作的NLP大模型：探索研發(fā)電力人工智能聯(lián)合大模型，不僅提升了傳統(tǒng)電力專用模型的精度，而且大幅降低了研發(fā)門檻，實(shí)現(xiàn)了算力、數(shù)據(jù)、技術(shù)等資源的統(tǒng)籌優(yōu)化。

與人民網(wǎng)的合作的NLP大模型：引入輿情數(shù)據(jù)中心積淀的行業(yè)知識(shí)來更好訓(xùn)練知識(shí)增強(qiáng)的傳媒行業(yè)大模型，實(shí)現(xiàn)更少的標(biāo)注數(shù)據(jù)下大幅提升傳媒行業(yè)自然語言處理任務(wù)效果，如新聞內(nèi)容審核分類、輿情分析、摘要生成等。

與TCL合作的CV大模型：在TCL幾個(gè)產(chǎn)線檢測mAP指標(biāo)平均提升10%+，訓(xùn)練樣本減少到原有訓(xùn)練樣本30%～40%，產(chǎn)線指標(biāo)即可達(dá)到原有產(chǎn)線效果，新產(chǎn)線冷啟動(dòng)效率可提升3倍，產(chǎn)線上線開發(fā)周期降低30%。圖13：百度行業(yè)大模型圖14：百度文心行業(yè)大模型覆蓋多個(gè)領(lǐng)域14資料：《2022中國大模型發(fā)展白皮書》，百度，德邦研究所資料：《2022中國大模型發(fā)展白皮書》，百度，德邦研究所2.4應(yīng)用：平臺(tái)及產(chǎn)品面向B端C端齊發(fā)力

百度文心圍繞大模型產(chǎn)業(yè)應(yīng)用的不同研發(fā)環(huán)節(jié)，面向各階段不同技術(shù)、業(yè)務(wù)背景的開發(fā)者或用戶，打造系列工具平臺(tái)與場景化產(chǎn)品。

面向開發(fā)者：擁有面向NLP工程師的大模型套件ERNIEKit，包括數(shù)據(jù)標(biāo)注與處理、大模型精調(diào)、大模型壓縮、高性能部署、場景化工具五大模塊能力；AI開發(fā)平臺(tái)，包括零門檻AI開放平臺(tái)EasyDL，和面向AI算法開發(fā)者提供全功能AI開發(fā)平臺(tái)BML。

面向下游應(yīng)用：文心開放了API接口，包括NLP大模型ERNIE3.0、跨模態(tài)大模型ERNIE-ViLG、對話大模型PLATO。

面向用戶：推出了基于大模型驅(qū)動(dòng)的新一代產(chǎn)業(yè)級搜索系統(tǒng)文心百中，以及AI藝術(shù)與創(chuàng)意輔助平臺(tái)文心一格。圖15：文心大模型產(chǎn)品矩陣圖16：文心百中覆蓋大量搜索場景，輕松助力產(chǎn)業(yè)應(yīng)用資料：《2022中國大模型發(fā)展白皮書》，百度，德邦研究所資料：飛槳PaddlePaddle官網(wǎng)，德邦研究所152.4.1已官宣加入百度文心一言生態(tài)圈的企業(yè)超過400家表4：部分官宣加入“文心一言”生態(tài)圈企業(yè)梳理公司領(lǐng)域游戲游戲游戲時(shí)間內(nèi)容創(chuàng)夢天地中手游巨人網(wǎng)絡(luò)百度地圖攜程02/20

將把百度智能對話技術(shù)成果應(yīng)用在精品游戲體驗(yàn)及Fanbook社區(qū)用戶服務(wù)02/21

將把百度的智能對話技術(shù)成果應(yīng)用在開放世界游戲領(lǐng)域。02/21

共同打造游戲行業(yè)聯(lián)合解決方案。02/14

百度地圖宣布將全面融合文心一言，發(fā)布交通大模型，升級為具備自學(xué)習(xí)、自進(jìn)化能力的“下一代

AI導(dǎo)航”02/15

雙方將在旅行智能規(guī)劃、旅行內(nèi)容滲透等多個(gè)領(lǐng)域展開深化合作，為用戶打造在線旅游服務(wù)場景人工智能解決方案，引領(lǐng)“AI＋旅行”產(chǎn)業(yè)應(yīng)用升級。02/14

表示將把文心一言應(yīng)用在數(shù)字化體驗(yàn)和元宇宙相關(guān)的業(yè)務(wù)中，有望在線上元宇宙空間中的數(shù)字人導(dǎo)覽，線下沉浸式場景中的VR/AR

導(dǎo)覽、對話交互等領(lǐng)域持續(xù)落地。02/15

雙方共同探索將AIGC技術(shù)應(yīng)用于02/15

火狐瀏覽器、火狐主頁的搜索位將陸續(xù)接入百度“文心一言”02/17

值得買科技會(huì)逐步把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在消費(fèi)內(nèi)容領(lǐng)域。02/17

結(jié)合印象筆記多年自研的AI能力以及印象筆記對國內(nèi)外領(lǐng)先大語言模型(LLM)的研究和應(yīng)用，將形成獨(dú)具特色的印象AI產(chǎn)品與服務(wù)02/17

將優(yōu)先體驗(yàn)并接入“文心一言”，以此來打造更創(chuàng)新、更智能的人力資源數(shù)字化服務(wù)。02/21

開展電商垂直領(lǐng)域人工智能應(yīng)用的大場景探索。02/20

將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在衛(wèi)星遙感領(lǐng)域，標(biāo)志著對話式語言模型技術(shù)在PIE-Engine時(shí)空遙感云平臺(tái)及各行業(yè)衛(wèi)星應(yīng)用場景中的首次著陸。02/15

探索提升公司內(nèi)容創(chuàng)作效率、降低內(nèi)容創(chuàng)作成本的有效路徑，持續(xù)創(chuàng)新人工智能與閱讀行業(yè)相結(jié)合的行之有效的產(chǎn)品形態(tài)和商業(yè)模式。02/14

對話式語言模型技術(shù)在媒體行業(yè)內(nèi)容生態(tài)場景的首次著陸?；ヂ?lián)網(wǎng)（在線地圖）互聯(lián)網(wǎng)（旅游服務(wù)）互聯(lián)網(wǎng)（元宇宙）互聯(lián)網(wǎng)（在線視頻）互聯(lián)網(wǎng)（瀏覽器）互聯(lián)網(wǎng)（消費(fèi)服務(wù)）互聯(lián)網(wǎng)（筆記app）互聯(lián)網(wǎng)（SaaS服務(wù)）互聯(lián)網(wǎng)（電商）科技風(fēng)語筑內(nèi)容搜索、內(nèi)容宣發(fā)、內(nèi)容創(chuàng)作工具、小說創(chuàng)作等業(yè)務(wù)?；鸷档觅I科技印象筆記Moka返利科技航天宏圖掌閱科技澎湃新聞每日經(jīng)濟(jì)新聞內(nèi)容創(chuàng)作媒體媒體02/14

通過技術(shù)共享、培訓(xùn)賦能、聯(lián)合營銷等方式，強(qiáng)化競爭力，為用戶打造全場景、高頻次、互動(dòng)性人工智能解決方案及服務(wù)上游新聞媒體02/14

重慶日報(bào)報(bào)業(yè)集團(tuán)旗下上游新聞將智能對話技術(shù)應(yīng)用在內(nèi)容生產(chǎn)；集團(tuán)將聯(lián)手百度共同打造AI智能編輯中心項(xiàng)目，將Al用于新聞專題、短視頻編輯、數(shù)字人新聞采訪播報(bào)等領(lǐng)域。經(jīng)濟(jì)觀察報(bào)證券之星、格隆匯新潮傳媒華爾街見聞中國基金報(bào)鳳凰網(wǎng)媒體媒體媒體媒體媒體媒體02/14

經(jīng)濟(jì)觀察報(bào)將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在全新財(cái)經(jīng)媒體數(shù)字化平臺(tái)——經(jīng)觀APP。02/14

將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在金融信息服務(wù)領(lǐng)域02/14

加速電梯廣告媒體的數(shù)字化升級。02/15

華爾街見聞及全天候科技將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在金融和商業(yè)信息領(lǐng)域。02/16

中國基金報(bào)將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在媒體融合領(lǐng)域。02/16

鳳凰網(wǎng)將全面體驗(yàn)并接入文心一言的能力。新京報(bào)媒體教育教育文化制造業(yè)制造業(yè)制造業(yè)制造業(yè)制造業(yè)制造業(yè)商業(yè)銀行商業(yè)銀行券商02/17

將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在新聞選題、策劃、創(chuàng)意展示等領(lǐng)域02/15

豆語星辰將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在教育科技化升級領(lǐng)域。豆語星辰高途少林寺集度汽車聯(lián)想長虹紅旗汽車東風(fēng)日產(chǎn)美的集團(tuán)郵儲(chǔ)銀行興業(yè)銀行廣發(fā)證券02/17

進(jìn)一步拓展AI在教學(xué)練測評等教學(xué)和服務(wù)環(huán)節(jié)落地的深度和廣度，大幅提升用戶學(xué)習(xí)體驗(yàn)和學(xué)習(xí)效率，為學(xué)生成長高效助力。02/14

將把百度領(lǐng)先的智能對話技術(shù)成果應(yīng)用在內(nèi)容生態(tài)、智慧寺院、文化保護(hù)與傳承等領(lǐng)域，為用戶打造全場景內(nèi)容生態(tài)人工智能解決方案及服務(wù)。02/14

集度汽車機(jī)器人將融合百度文心一言的全面能力，打造全球首個(gè)針對智能汽車場景的大模型人工智能交互體驗(yàn)，支持汽車機(jī)器人實(shí)現(xiàn)自然交流的能力。02/15

聯(lián)想小新產(chǎn)品將在系統(tǒng)桌面助手中，接入百度“文心一言”，用戶在電腦的桌面即可與

AI對話。02/17

標(biāo)志著長虹8K電視優(yōu)先獲得領(lǐng)先AI技術(shù)的加持，也意味著對話式語言模型技術(shù)在國內(nèi)智能感知交互場景的進(jìn)一步探索。02/17

紅旗汽車將在汽車生態(tài)領(lǐng)域全面接入文心一言的能力。02/17

東風(fēng)日產(chǎn)將接入文心一言，可優(yōu)先內(nèi)測試用該產(chǎn)品。02/20

攜手百度推進(jìn)智能家居領(lǐng)域人機(jī)對話能力的進(jìn)一步升級；將百度文心一言的智能對話技術(shù)成果應(yīng)用在智能家居、家庭服務(wù)機(jī)器人等領(lǐng)域。02/16

通過“郵儲(chǔ)大腦”接入并應(yīng)用“文心一言”的能力；百度“文心一言”首次在國有大型商業(yè)銀行落地。02/22

在智慧網(wǎng)點(diǎn)、智能服務(wù)、智能風(fēng)控、智能運(yùn)營、智能營銷、智能投研等金融場景開展人工智能大模型技術(shù)應(yīng)用02/20

通過探索大語言模型融入金融應(yīng)用場景，嘗試金融需求挖掘和服務(wù)支持等，為客戶提供更智能的財(cái)富管理服務(wù)體系。16資料：新京報(bào)，上海證券報(bào)，中國證券網(wǎng)，IT之家，東方財(cái)富網(wǎng)等，德邦研究所03騰訊：混元大模型173.1騰訊HunYuan大模型：深入產(chǎn)業(yè)落地的重要舉措

2022年4月，騰訊首次對外披露HunYuan大模型，協(xié)同了騰訊預(yù)訓(xùn)練研發(fā)力量，完整覆蓋NLP大模型、CV大模型、多模態(tài)大模型及眾多行業(yè)/領(lǐng)域任務(wù)模型。

HunYuan-NLP：萬億級別中文NLP預(yù)訓(xùn)練模型，參數(shù)量達(dá)1T，排名CLUE1.1總排行榜第一。

HunYuan-vcr：排名VCR（Visual

Commonsense

Reasoning）榜單第一。

HunYuan_tvr：跨模態(tài)文字-視頻檢索AI大模型圖17：騰訊HunYuan大模型全景圖圖18：HunYuan-NLP

1T排名CLUE1.1總排行榜第一18資料：量子位公眾號，德邦研究所資料：CLUE官網(wǎng)，德邦研究所3.2太極機(jī)器學(xué)習(xí)平臺(tái)：HunYuan大模型的底層支持

太極是騰訊自主研發(fā)的一站式機(jī)器學(xué)習(xí)生態(tài)服務(wù)平臺(tái)，為AI工程師打造從數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型評估到模型服務(wù)的全流程高效開發(fā)工具，為大模型的訓(xùn)練提供了有力保障。

太極AngelPTM：預(yù)訓(xùn)練加速組件，單機(jī)最大可容納55B模型，需要192張卡就可以訓(xùn)練萬億模型。太極-HCF

ToolKit：大模型壓縮和分布式推理組件，包含了從模型蒸餾、壓縮量化到模型加速的完整能力。

太極

-HCF

distributed為大模型分布式推理組件，使得HunYuan-NLP

1T大模型推理只需

96張A100(4G)

卡，相比于“威震天”資源設(shè)備占用減少了

40%。

太極

–

SNIP為大模型壓縮組件，從蒸餾框架和壓縮加速算法兩方面，實(shí)現(xiàn)了迭代更快，效果更好，成本更低的大模型壓縮。圖19：太極AngelPTM為預(yù)訓(xùn)練加速組件圖20：太極-HCF

ToolKit加速大模型落地19資料：量子位公眾號，德邦研究所資料：量子位公眾號，德邦研究所3.3應(yīng)用：為騰訊生態(tài)降本增效，廣告類應(yīng)用表現(xiàn)出色

HunYuan先后支持了包括微信、QQ、游戲、騰訊廣告、騰訊云等眾多產(chǎn)品和業(yè)務(wù)，降本增效。

依靠HunYuan的多模態(tài)理解能力，在廣告內(nèi)容理解、行業(yè)特征挖掘、文案創(chuàng)意生成等方面的應(yīng)用，在為騰訊廣告帶來大幅GMV提升的同時(shí)，也初步驗(yàn)證了大模型的商業(yè)化潛力。

HunYuan大模型和騰訊廣告精排大模型基于太極機(jī)器學(xué)習(xí)平臺(tái)，共同完善優(yōu)化了廣告理解、用戶理解、廣告和用戶匹配的整個(gè)流程，提升對廣告理解、匹配效率、精準(zhǔn)度和轉(zhuǎn)化效率。

HunYuan大模型的生成能力，可以提升廣告制作的效率：“圖生視頻”功能，可以將靜態(tài)的圖片自動(dòng)生成不同樣式的視頻廣告；“文案助手”功能，可以為廣告自動(dòng)生成更恰當(dāng)?shù)臉?biāo)題，提升廣告的效果；“文生視頻”功能，未來只需要提供一句廣告文案，就可以自動(dòng)生成與之匹配的視頻廣告。圖21：HunYuan大模型對話生成案例圖22：HunYuan大模型廣告文案生成案例資料：量子位公眾號，德邦研究所資料：量子位公眾號，德邦研究所2004阿里：通義大模型214.1通義大模型：讓AI更通用

2022年9月，在阿里巴巴達(dá)摩院主辦的世界人工智能大會(huì)“大規(guī)模預(yù)訓(xùn)練模型”主題論壇上，發(fā)布

“通義”大模型系列，并宣布相關(guān)核心模型向全球開發(fā)者開源開放。

阿里達(dá)摩院基于其

AI

統(tǒng)一底座構(gòu)建了通用模型與專業(yè)模型協(xié)同的層次化人工智能體系。

統(tǒng)一底座層：M6-OFA模型作為單一模型，在不引入新增結(jié)構(gòu)的情況下，可處理超過30種跨模態(tài)任務(wù)。

通用模型層：NLP模型“通義

–

AliceMind”；CV模型“通義

-

視覺”；多模態(tài)模型“通義

-

M6”。

專業(yè)模型層：深入電商、醫(yī)療、娛樂、設(shè)計(jì)、金融、工業(yè)、制造業(yè)等行業(yè)。圖23：通義大模型架構(gòu)資料：機(jī)器之心公眾號，2022年世界人工智能大會(huì)，德邦研究所224.2.1底座層：實(shí)現(xiàn)模態(tài)表示、任務(wù)表示、模型結(jié)構(gòu)統(tǒng)一

通義大模型背后的核心技術(shù)為統(tǒng)一學(xué)習(xí)范式OFA，使其具備了多種任務(wù)的“大一統(tǒng)”能力。

單一模型即可同時(shí)處理圖像描述、視覺定位、文生圖、視覺蘊(yùn)含、文檔摘要等10余項(xiàng)單模態(tài)和跨模態(tài)任務(wù)；升級后更是可以處理超過包括語音和動(dòng)作在內(nèi)的30多種跨模態(tài)任務(wù)。

架構(gòu)統(tǒng)一：使用Transformer架構(gòu)，統(tǒng)一進(jìn)行預(yù)訓(xùn)練和微調(diào)，無需在應(yīng)對不同任務(wù)時(shí)，增加任何特定的模型層。

模態(tài)統(tǒng)一：不管是NLP、CV這種單模態(tài)，還是圖文等多模態(tài)任務(wù)，全都采用同一個(gè)框架和訓(xùn)練思路。

任務(wù)統(tǒng)一：將所有單模態(tài)、多模態(tài)任務(wù)統(tǒng)一表達(dá)成序列到序列（Seq2seq）生成的形式，同類任務(wù)的輸入幾乎就是“一個(gè)模子里刻出來的”。圖24：OFA具備多種任務(wù)的“大一統(tǒng)”能力圖25：編碼器實(shí)現(xiàn)模態(tài)間的特征匹配；解碼器通過自回歸的方式輸出23資料：Peng

Wang

et

al.

《OFA:

UNIFYING

ARCHITECTURES,

TASKS,

AND

MODALITIES資料：機(jī)器之心公眾號，德邦研究所THROUGH

A

SIMPLE

SEQUENCE-TO-SEQUENCE

LEARNING

FRAMEWORK》，德邦研究所4.2.2通用模型層：趨向于統(tǒng)一大模型的演化

通義

-

M6為多模態(tài)大模型，

已經(jīng)從

2020

年

6月的

3億參數(shù)基礎(chǔ)模型發(fā)展到

2021

年

10月的

10萬億參數(shù)全球最大預(yù)訓(xùn)練模型到

2022

年

1

月的業(yè)界首個(gè)通用統(tǒng)一大模型

M6-OFA。

2021年3月，發(fā)布通義

–

AliceMind，為達(dá)摩院開源的深度語言模型體系，CLUE1.1總排行榜第二。

AliceMind生態(tài)體系包括：通用語言模型

StructBERT、多模態(tài)語言模型

StructVBERT

、多語言模型VECO、生成式模型

PALM、文檔圖像理解模型Structural

LM、表格理解模型SDCUP、超大中文理解與生成模型PLUG（24層StructBERT編碼器+“24-6”層的PALM編碼器-解碼器）、超大圖像-文本模型mPLUG等。圖26：通義

-M6發(fā)展歷史圖27：編碼器實(shí)現(xiàn)模態(tài)間的特征匹配；解碼器通過自回歸的方式輸出資料：機(jī)器之心公眾號，2022年世界人工智能大會(huì)，德邦研究所資料：CLUE官網(wǎng)，德邦研究所244.2.2通用模型層：趨向于統(tǒng)一大模型的演化

通義

-

視覺大模型分為了底層統(tǒng)一算法架構(gòu)、中層通用算法和上層產(chǎn)業(yè)應(yīng)用。

通義

-視覺大模型可以在電商行業(yè)實(shí)現(xiàn)圖像搜索和萬物識(shí)別等場景應(yīng)用，并在文生圖以及交通和自動(dòng)駕駛領(lǐng)域發(fā)揮作用。

應(yīng)用方面，通義大模型依靠其領(lǐng)先的跨模態(tài)能力，為下游任務(wù)提質(zhì)增效。

在淘寶服飾類搜索場景中實(shí)現(xiàn)了以文搜圖的跨模態(tài)搜索、在

AI輔助審判中司法卷宗的事件抽取、文書分類等場景任務(wù)中實(shí)現(xiàn)

3～5%

的應(yīng)用效果提升、在開放域人機(jī)對話領(lǐng)域通過建立初步具備“知識(shí)、情感以及個(gè)性、記憶”的中文開放域?qū)υ挻竽Ｐ蛯?shí)現(xiàn)了主動(dòng)對話、廣泛話題、緊跟熱點(diǎn)等對話體驗(yàn)。圖28：通義

-視覺大模型架構(gòu)圖29：通義大模型文生圖效果25資料：機(jī)器之心公眾號，2022年世界人工智能大會(huì)，德邦研究所資料：機(jī)器之心公眾號，阿里云公眾號，德邦研究所05：盤古大模型265.1盤古大模型：深耕大模型的行業(yè)應(yīng)用

云團(tuán)隊(duì)于2020

年立項(xiàng)AI

大模型，并且于2021

年4月發(fā)布“盤古大模型”。受益于的全棧式AI

解決方案，大模型與昇騰（Ascend）芯片、昇思（MindSpore）語言、ModelArts

平臺(tái)深度結(jié)合。

盤古大模型已經(jīng)發(fā)展出包括基礎(chǔ)大模型（L0）、行業(yè)大模型（L1）、行業(yè)細(xì)分場景模型（L2）三大階段的成熟體系。

2022年11月，在全聯(lián)接大會(huì)2022中國站上，云進(jìn)一步迭代盤古大模型的技術(shù)能力，擴(kuò)展盤古大模型的服務(wù)范圍，發(fā)布盤古氣象大模型、盤古礦山大模型、盤古OCR大模型三項(xiàng)重磅服務(wù)。圖30：盤古大模型架構(gòu)圖31：盤古NLP大模型參數(shù)量達(dá)到2000億，高于GPT-3的1750億資料：中國信通院“2022可信AI峰會(huì)”，德邦研究所資料：云官網(wǎng)，德邦研究所275.2ModelArts：大模型研發(fā)的平臺(tái)支持

ModelArts是面向開發(fā)者的一站式AI平臺(tái)，為機(jī)器學(xué)習(xí)與深度學(xué)習(xí)提供海量數(shù)據(jù)預(yù)處理及交互式智能標(biāo)注、大規(guī)模分布式訓(xùn)練、自動(dòng)化模型生成，及端-邊-云模型按需部署能力，幫助用戶快速創(chuàng)建和部署模型，管理全周期

AI

工作流。

ModelArts的主要能力包括數(shù)據(jù)處理、算法開發(fā)、模型訓(xùn)練、AI應(yīng)用管理和部署；功能模塊涵蓋了強(qiáng)化學(xué)習(xí)、天籌(OptVerse)AI求解器、盤古大模型、AI

Gallery（人工智能知識(shí)與實(shí)訓(xùn)專區(qū)）、IDE（云原生

Notebook）等。圖32：ModelArts為開發(fā)者提供一站式服務(wù)資料：云官網(wǎng)，德邦研究所285.3.1基礎(chǔ)大模型：將Transformer應(yīng)用于各模態(tài)

盤古語音語義大模型：語義模型是業(yè)界首個(gè)千億中文大模型；語音模型擁有超過4

億參數(shù),是當(dāng)前最大的中文語音模型之一。

語義部分，基于Transformer搭建基礎(chǔ)架構(gòu)，針對理解能力，使用類似BERT的MLM方式訓(xùn)練；針對生成能力，使用回歸語言模型作為訓(xùn)練目標(biāo)，即給定一句話的上半部分，讓模型預(yù)測下半部分。2022年，

在鵬城云腦Ⅱ上訓(xùn)練了全球首個(gè)全開源2000億參數(shù)的自回歸中文預(yù)訓(xùn)練語言大模型——鵬程·盤古。語音部分，使用卷積與Transformer

結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，解碼器與文本類似；音頻編碼器部分，預(yù)訓(xùn)練時(shí)采取將音頻中挖掉一個(gè)片段，再隨機(jī)采樣一些片段作為負(fù)例，讓模型從中找出正確的被挖掉的片段。

盤古視覺大模型：最大擁有30億參數(shù)，兼顧判別與生成能力；在小樣本學(xué)習(xí)性能領(lǐng)先。

融合了卷積網(wǎng)絡(luò)和Transformer架構(gòu)，分開或按需結(jié)合達(dá)到更好效果；業(yè)界首創(chuàng)基于等級化語義聚集的對比度自監(jiān)督學(xué)習(xí)，以減少樣本選取過程中的噪聲影響。

盤古多模態(tài)大模型：使用LOUPE

算法預(yù)訓(xùn)練所得的模型，在多項(xiàng)下游任務(wù)中表現(xiàn)出了更好的精度。

采用了雙塔架構(gòu)，利用不同的神經(jīng)網(wǎng)絡(luò)來完成不同模態(tài)的信息抽取，然后僅在最后一層做信息交互和融合，具有模型獨(dú)立性強(qiáng)、訓(xùn)練效率高等優(yōu)勢。實(shí)現(xiàn)方式為：分別抽取圖像和文本特征，然后將一個(gè)批次的圖像和文本特征送入判別器，使得配對的跨模態(tài)特征聚集在一起，而不配對跨模態(tài)特征被拉遠(yuǎn)，大數(shù)據(jù)充分迭代后，模型就能學(xué)會(huì)將圖像和文本對齊到同一空間。此時(shí)，圖像和文本的編碼器可以獨(dú)立用于各自下游任務(wù)，或協(xié)同用于跨模態(tài)理解類下游任務(wù)。圖33：自然語言處理和語音處理都可以分為理解和生成兩個(gè)部分圖34：盤古多模態(tài)大模型在多模態(tài)的各項(xiàng)下游任務(wù)上均取得了業(yè)界領(lǐng)先水平29資料：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所資料：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所5.3.1基礎(chǔ)大模型：科學(xué)計(jì)算大模型協(xié)助大體量數(shù)據(jù)處理

業(yè)界涌現(xiàn)出了AI+

科學(xué)計(jì)算類方法，即使用嵌入各類科學(xué)方程的深度神經(jīng)網(wǎng)絡(luò)，從觀測數(shù)據(jù)和仿真數(shù)據(jù)中直接學(xué)習(xí)問題蘊(yùn)含的規(guī)律，以對復(fù)雜的科學(xué)數(shù)據(jù)進(jìn)行分析，了解科學(xué)過程的內(nèi)部機(jī)理。

科學(xué)計(jì)算大模型與其他AI通用預(yù)訓(xùn)練大模型有若干相似之處：1）建立在大規(guī)模數(shù)據(jù)集上；2）需要設(shè)計(jì)大參數(shù)量的神經(jīng)網(wǎng)絡(luò)；3）需要復(fù)雜的優(yōu)化過程；4）知識(shí)存儲(chǔ)在網(wǎng)絡(luò)的參數(shù)之中。

盤古氣象大模型，基于Transformer，提供秒級天氣預(yù)報(bào)且支持廣泛的下游預(yù)報(bào)方案。

盤古氣象大模型在氣象預(yù)測中利用了與之相近的CV技術(shù)，使用Transformer的圖像數(shù)據(jù)處理變體，將圖像數(shù)據(jù)以

2D/3D立方體形式出現(xiàn)，較原本NWP(數(shù)值天氣預(yù)報(bào))方法成本更低，效率更高。圖35：科學(xué)計(jì)算大模型結(jié)局大體量、高維度的數(shù)據(jù)處理問題圖36：盤古氣象大模型的3D

Earth-Specific

Transformer資料：Kaifeng

Bi

et

al.《Pangu-Weather:

A

3D

High-Resolution

System

for

Fast

and資料：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所Accurate

Global

Weather

Forecast》，德邦研究所305.3.2行業(yè)大模型：發(fā)揮Model-as-a-service商業(yè)價(jià)值

圖網(wǎng)絡(luò)大模型以圖網(wǎng)絡(luò)對通用數(shù)據(jù)建模，以利用圖結(jié)構(gòu)來表達(dá)數(shù)據(jù)相關(guān)性，適應(yīng)不同下游任務(wù)，幫助AI進(jìn)入千行百業(yè)。

除圖像、文本等常見數(shù)據(jù)形態(tài)外，還存在大量極度異質(zhì)化的數(shù)據(jù)，如公司

ERP

數(shù)據(jù)、分子基因、交通網(wǎng)絡(luò)、股票等。這些數(shù)據(jù)很難通過標(biāo)準(zhǔn)的卷積、Transformer

等模塊進(jìn)行處理，因而需要適應(yīng)不同任務(wù)和不同模態(tài)的神經(jīng)網(wǎng)絡(luò)，以達(dá)到量化的效果。

盤古圖網(wǎng)絡(luò)大模型的目標(biāo)是統(tǒng)一大模型在通用數(shù)據(jù)域上的構(gòu)造方案，從而實(shí)現(xiàn)不同任務(wù)場景下端到端的大模型訓(xùn)練、優(yōu)化、微調(diào)和部署。

1）高精度：可自適應(yīng)構(gòu)建不同基模型和圖網(wǎng)絡(luò)，實(shí)現(xiàn)更高的精度；2）高泛化：自動(dòng)學(xué)習(xí)能力可以適用于不同行業(yè)和領(lǐng)域中的不同任務(wù)；3）高可解釋性：可基于圖網(wǎng)絡(luò)提供更強(qiáng)可解釋性，以適應(yīng)敏感場景（如工業(yè)、醫(yī)療、金融等）的需求；4）終身學(xué)習(xí)：通過刪減、增加基模型，實(shí)現(xiàn)盤古圖網(wǎng)絡(luò)大模型的終身學(xué)習(xí)；5）冷啟動(dòng)：通過選擇基模型或者微調(diào)圖網(wǎng)絡(luò)，直接將盤古圖網(wǎng)絡(luò)大模型遷移至新場景使用。

盤古行業(yè)大模型基于行業(yè)數(shù)據(jù)預(yù)訓(xùn)練和無監(jiān)督訓(xùn)練，應(yīng)用于工業(yè)生產(chǎn)等方向，賦能產(chǎn)業(yè)實(shí)現(xiàn)提質(zhì)增效。圖37：適配于焦化行業(yè)的圖網(wǎng)絡(luò)大模型圖38：盤古圖網(wǎng)絡(luò)大模型應(yīng)用于水泥生產(chǎn)系統(tǒng)，實(shí)現(xiàn)節(jié)能增產(chǎn)的目標(biāo)資料：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所資料：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所315.4應(yīng)用：憑借理解與生成能力，降低企業(yè)運(yùn)營成本

盤古語音語義與視覺大模型廣泛應(yīng)用到金融、電商、物流等多個(gè)行業(yè)。

盤古語音語義大模型：利用文檔信息抽取、情感分類、文檔自動(dòng)摘要等能力，實(shí)現(xiàn)精準(zhǔn)輿情分析、企業(yè)運(yùn)營軟件分析；利用文本匹配，問答和對話系統(tǒng)、意圖識(shí)別等能力，取代目前逐漸上升的人力成本和低成功率的智能客服與營銷系統(tǒng)。

盤古視覺大模型：智能巡檢方面，應(yīng)用于無人機(jī)智能巡檢，解決巡檢系統(tǒng)中數(shù)據(jù)標(biāo)注工作量大和缺陷種類繁多問題；智能物流方面，1個(gè)模型覆蓋9種物流場景，監(jiān)測收貨、入庫、在庫和出庫全流程。圖39：語音語義模型賦能銀行、保險(xiǎn)的銷售場景，提升人員產(chǎn)能圖40：基于盤古行業(yè)預(yù)訓(xùn)練模型的鐵路TFDS

開發(fā)方案32資料：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所資料：《預(yù)訓(xùn)練大模型白皮書》，德邦研究所06投資建議&風(fēng)險(xiǎn)提示336.投資建議：把握AIGC技術(shù)催化和商業(yè)落地的投資機(jī)會(huì)

2月

20

日，復(fù)旦大學(xué)發(fā)布了類

ChatGPT

模型

“MOSS”，并面向大眾公開邀請內(nèi)測，國產(chǎn)大模型有望迎來爆發(fā)式增長。

技術(shù)發(fā)展有望促進(jìn)生產(chǎn)效率提升，并進(jìn)一步創(chuàng)造新的消費(fèi)和需求，有利于文娛內(nèi)容和互聯(lián)網(wǎng)行業(yè)。

在AIGC和ChatGPT方面，我們建議持續(xù)關(guān)注技術(shù)發(fā)展和應(yīng)用情況，把握技術(shù)催化和商業(yè)化落地帶來的投資機(jī)會(huì)：1）具備AIGC和ChatGPT的技術(shù)探索和應(yīng)用的公司：百度集團(tuán)-SW、商湯-W、萬興科技、拓爾思等；2）具有海量內(nèi)容素材且具有AIGC探索布局的，圖片/文字/音樂/視頻內(nèi)容及平臺(tái)公司騰訊控股，閱文集團(tuán)、美圖公司、昆侖萬維、湯姆貓、神州泰岳、視覺中國、中文在線、漢儀股份、天娛數(shù)科、風(fēng)語筑等。圖41：MOSS具備對話生成能力圖42：MOSS具備代碼理解和生成能力34資料：MOSS，德邦研究所資料：MOSS，德邦研究所6.投資建議：把握AIGC技術(shù)催化和商業(yè)落地的投資機(jī)會(huì)表5：部分公司在AIGC領(lǐng)域的布局（截至2023/3/5）港股公司總市值PE(TTM)PS(TTM)證券代碼證券簡稱主要研究領(lǐng)域相關(guān)應(yīng)用/布局飛漿Paddle

Paddle（億元，HKD）深度學(xué)習(xí)開源框架9888.HK百度集團(tuán)-SW全棧AI基礎(chǔ)設(shè)施AI應(yīng)用場景全覆蓋的大模型AI基礎(chǔ)設(shè)施百度AI大底座4,13048.83.0文心大模型（NLP、CV、跨模態(tài)、生物計(jì)算、及各種行業(yè)大模型）Sense

Core商湯AI大裝置0020.HK0700.HK商湯-W900-4.617.35.8CV（2D/3D關(guān)鍵點(diǎn)捕捉；3D關(guān)鍵點(diǎn)驅(qū)動(dòng)；肖像風(fēng)格化；圖像/視頻編輯）；虛擬穿戴；數(shù)字人--AI實(shí)驗(yàn)室覆蓋CV、NLP、機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等方面研究騰訊控股35,17218.0騰訊云TI平臺(tái)；人工智能服務(wù)平臺(tái)；騰訊智能對話平臺(tái)；IP

虛擬人；音視頻字幕平臺(tái)AI平臺(tái)服務(wù)NLP聯(lián)合微軟(亞洲)互聯(lián)網(wǎng)工程院開啟AI賦能網(wǎng)絡(luò)文學(xué)0772.HK1357.HK閱文集團(tuán)美圖公司37713332.53.86.1CV美圖秀秀上新AI繪畫功能-62.6資料：各公司官網(wǎng)，各公司公告，Wind，同花順等，德邦研究所

注：CV（Computer

Vision，計(jì)算機(jī)視覺）356.投資建議：把握AIGC技術(shù)催化和商業(yè)落地的投資機(jī)會(huì)表5：部分公司在AIGC領(lǐng)域的布局（截至2023/3/5，續(xù)前）A股公司總市值（億元，CNY）PE(TTM)PS(TTM)證券代碼證券簡稱主要研究領(lǐng)域相關(guān)應(yīng)用/布局旗下首款A(yù)IGC產(chǎn)品“萬興AI繪畫”將開啟公測；產(chǎn)品包括F