2023人工智能AIGC行業(yè)綜述

人工智能系列深度報(bào)告：AIGC行業(yè)綜述篇——開(kāi)啟AI新篇章1核心提要本篇報(bào)告主要解答了以下問(wèn)題：AI、AIGC當(dāng)下發(fā)展處于什么階段？未來(lái)將呈現(xiàn)怎樣的趨勢(shì)？AIGC的核心生產(chǎn)要素是什么？各生產(chǎn)要素的發(fā)展趨勢(shì)如何？NLP、CV、ASR、TTS算法及發(fā)展？ChatGPT為何“火爆出圈”？AIGC包括什么？已有哪些產(chǎn)品？應(yīng)用現(xiàn)狀及前景如何?有哪些企業(yè)進(jìn)行了布局？商業(yè)模式如何？行業(yè)發(fā)展：人工智能步入新發(fā)展階段，逐步邁向AGI；AIGC擁抱人類(lèi)，創(chuàng)造人機(jī)交互新變革，將迎來(lái)更多新機(jī)遇。人工智能從理論發(fā)展分為四個(gè)階段：規(guī)則導(dǎo)向、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自主學(xué)習(xí)階段，目前處于深度學(xué)習(xí)階段；從應(yīng)用成熟度可分為三個(gè)階段：弱人工智能階段（ANI）、強(qiáng)人工智能階段（AGI）、超人工智能階段（ASI），目前處于ANI階段；從應(yīng)用類(lèi)型可分為四種：感知式AI與分析式A應(yīng)用較成熟，決策式I近年來(lái)發(fā)展迅速，生成式A迎來(lái)突破。生成式AI，即AIGC，較傳統(tǒng)內(nèi)容創(chuàng)作模式UGC、PGC可實(shí)現(xiàn)更大數(shù)量、更高質(zhì)量、更低單位成本，未來(lái)將從輔助創(chuàng)作生成趨向高度自動(dòng)化自主創(chuàng)造。此外，AIGC將賦能多領(lǐng)域，加速人機(jī)共生的建設(shè)，迎接更多機(jī)遇與挑戰(zhàn)。技術(shù)進(jìn)步：算力是支撐，數(shù)據(jù)是瓶頸，算法迎來(lái)突破。算力層，近年來(lái)大模型流行，模型參數(shù)量迅速膨脹，所需計(jì)算資源越來(lái)越大，算力是AIGC核心生產(chǎn)要素；而AI芯片全球短缺，美對(duì)華芯片制裁升級(jí)，我們認(rèn)為國(guó)內(nèi)短期算力充足，長(zhǎng)期仍需要逐步實(shí)現(xiàn)AI芯片國(guó)產(chǎn)化替代。數(shù)據(jù)是機(jī)器學(xué)習(xí)的核心，AI發(fā)展的瓶頸,數(shù)據(jù)決定模型質(zhì)量的上限；大模型訓(xùn)練需要海量且優(yōu)質(zhì)數(shù)據(jù)，AI越來(lái)越高，我們認(rèn)為加速商業(yè)化，實(shí)現(xiàn)數(shù)據(jù)反哺是對(duì)提高數(shù)據(jù)量、降成本的重要解決辦法。算法層，近年來(lái)迎來(lái)不少突破，過(guò)去NLP領(lǐng)域以RNN及其變體為主，CV領(lǐng)域以CNN及其變體為主，但各有優(yōu)劣，Transformer架構(gòu)突破了RNN不能并行計(jì)算的限制，較CNN有更好的計(jì)算局部特征間的關(guān)聯(lián)等，自2017年開(kāi)始在NLP領(lǐng)域應(yīng)用、變種升級(jí)，Tansfomer在多模態(tài)的發(fā)展和應(yīng)用將讓I越來(lái)越多的向人類(lèi)推理方式靠近，以實(shí)現(xiàn)I。IC包括文本/音頻/圖像/視頻/代碼3D/數(shù)字人/跨膜態(tài)生成等，目前文本、音頻和圖像領(lǐng)域都迎來(lái)較大突破，圖像生成的突破是Difusso的出現(xiàn)，文本生成的突破則是GPT的出現(xiàn)，AGC基本采用GA算法，算法及產(chǎn)品越來(lái)越豐富多元，因AG的蓬勃發(fā)展，已開(kāi)啟技術(shù)與應(yīng)用的新篇章。應(yīng)用概覽：技術(shù)突破實(shí)現(xiàn)應(yīng)用創(chuàng)新。AI小模型是過(guò)去主流的研究和應(yīng)用方向，在B端部分行業(yè)、賽道已有不少企業(yè)布局，預(yù)計(jì)未來(lái)仍將依托其細(xì)分行業(yè)、細(xì)分賽道的先發(fā)優(yōu)勢(shì)和數(shù)據(jù)、項(xiàng)目實(shí)施經(jīng)驗(yàn)、產(chǎn)品優(yōu)勢(shì)等壁壘仍將有較好的發(fā)展。但大模型尚未實(shí)現(xiàn)商業(yè)價(jià)值閉環(huán)，未來(lái)需要重點(diǎn)關(guān)注數(shù)據(jù)、算法層面的突破與變革，探索新的商業(yè)模式，目前已在影視、傳媒、電商、C端娛樂(lè)規(guī)模應(yīng)用，游戲領(lǐng)域逐步應(yīng)用，金融、工業(yè)、醫(yī)療、法律、設(shè)計(jì)等專(zhuān)業(yè)領(lǐng)域還在持續(xù)拓展。產(chǎn)業(yè)布局：科技巨頭全面布局，中下游廠(chǎng)商百花齊放。國(guó)外主要以微軟、谷歌、Meta為主，國(guó)內(nèi)以百度、騰訊、阿里、華為等為主，既擁有充足的算力支撐，又有優(yōu)秀的人才團(tuán)隊(duì)，多年算法、數(shù)據(jù)積累，在大模型領(lǐng)域的發(fā)展及應(yīng)用具備天然優(yōu)勢(shì)。上游除云廠(chǎng)商外，還有光通信廠(chǎng)商、數(shù)據(jù)服務(wù)商、算力相關(guān)設(shè)備廠(chǎng)商，行業(yè)細(xì)分賽道深耕，相關(guān)技術(shù)、數(shù)據(jù)儲(chǔ)備豐富。下游主要是受益于AIGC對(duì)業(yè)務(wù)的驅(qū)動(dòng)、降本增效，空間較大，多行業(yè)公司均將逐步受益。商業(yè)模式：商業(yè)化初啟，期待產(chǎn)業(yè)生態(tài)、技術(shù)與產(chǎn)品發(fā)展完善。小模型在B端已應(yīng)用多年，大模型商業(yè)剛剛開(kāi)始，主要是MaaS，包括大模型廠(chǎng)商自用，實(shí)現(xiàn)增量或降本增效；云廠(chǎng)商“MaaS+IaaS”打包輸出；替代翻譯、美工、原畫(huà)師、程序員、分析師、設(shè)計(jì)師等繁瑣重復(fù)的低端工作等。大模型商業(yè)價(jià)值閉環(huán)未成，國(guó)內(nèi)SaaS生態(tài)、付費(fèi)意識(shí)較差，商業(yè)落地還需要各行各業(yè)共同發(fā)展、相互奔赴，共建良好產(chǎn)業(yè)生態(tài)。2風(fēng)險(xiǎn)提示：人工智能發(fā)展不及預(yù)期，AIGC發(fā)展不及預(yù)期；技術(shù)發(fā)展不及預(yù)期；商業(yè)化拓展不及預(yù)期；行業(yè)競(jìng)爭(zhēng)加劇風(fēng)險(xiǎn)；中美科技競(jìng)爭(zhēng)不確定性風(fēng)險(xiǎn)。2目錄目錄PAGE3PAGE3核心分析框架 6核心分析框架：每一輪人機(jī)交互的變革都會(huì)帶來(lái)產(chǎn)業(yè)級(jí)投資機(jī)會(huì)核心分析框架：期待算力、數(shù)據(jù)、算法的突破，邁向強(qiáng)人工智能AGI階段核心分析框架：AIGC與PGC、UGC內(nèi)容創(chuàng)作模式對(duì)比核心分析框架：機(jī)器學(xué)習(xí)分為訓(xùn)練和推理，數(shù)據(jù)決定上限，算法逼近上限核心分析框架：數(shù)據(jù)是機(jī)器學(xué)習(xí)的核心，也是機(jī)器學(xué)習(xí)的瓶頸核心分析框架：隨著模型參數(shù)量的提升，算力需求顯著增加核心分析框架：AIGC——生產(chǎn)力的革命核心分析框架：ChatGPT史上用戶(hù)數(shù)增長(zhǎng)最快核心分析框架：當(dāng)模型規(guī)模達(dá)到某個(gè)閾值時(shí)，模型出現(xiàn)涌現(xiàn)能力核心分析框架：ChatGPT采用RLHF學(xué)習(xí)機(jī)制，效果優(yōu)于GPT-3的無(wú)監(jiān)督學(xué)習(xí)核心分析框架：AIGC何時(shí)突破工業(yè)紅線(xiàn)？關(guān)注數(shù)據(jù)、算法和商業(yè)模式破局核心分析框架：互聯(lián)網(wǎng)大廠(chǎng)全面布局，中小廠(chǎng)商主要發(fā)力中下游環(huán)節(jié)核心分析框架：產(chǎn)業(yè)鏈各環(huán)節(jié)發(fā)展趨勢(shì)核心分析框架：大模型商業(yè)化初啟，小模型在部分領(lǐng)域已實(shí)現(xiàn)商業(yè)價(jià)值閉環(huán)核心分析框架：總成本持續(xù)提升，但同級(jí)別參數(shù)消耗量將顯著下降一、行業(yè)篇：人工智能發(fā)展步入新階段，AIGC創(chuàng)造新機(jī)遇 22每一輪人機(jī)交互的變革都會(huì)帶來(lái)產(chǎn)業(yè)級(jí)投資機(jī)會(huì)AI發(fā)展歷程：期待算力、數(shù)據(jù)、算法的突破，邁向強(qiáng)人工智能AGI階段AIGC發(fā)展歷程：文本、代碼生成技術(shù)較成熟，圖片、視頻生成值得期待內(nèi)容創(chuàng)作模式進(jìn)化：去中心化↑連接數(shù)量↑創(chuàng)作速度↑創(chuàng)作規(guī)?！鼉?nèi)容創(chuàng)作模式進(jìn)化：從供給轉(zhuǎn)變?yōu)樾枨髮?dǎo)向，從單次轉(zhuǎn)變?yōu)槎啻紊a(chǎn)內(nèi)容創(chuàng)作模式對(duì)比：AIGCAIGC演進(jìn)趨勢(shì)：輔助生產(chǎn)自動(dòng)化獨(dú)立創(chuàng)作二、技術(shù)篇：算力是支撐，數(shù)據(jù)是核心，算法逐步迎來(lái)突破 30機(jī)器學(xué)習(xí)：分為訓(xùn)練和推理，數(shù)據(jù)決定上限，算法逼近上限數(shù)據(jù)：機(jī)器學(xué)習(xí)的核心，也是機(jī)器學(xué)習(xí)的瓶頸算力：隨著模型參數(shù)量的提升，算力需求顯著增加AIGC：生產(chǎn)力的革命AIGC模型：參數(shù)量持續(xù)提升、開(kāi)源模型逐漸豐富NLP算法：迎來(lái)突破，但算力、數(shù)據(jù)需求過(guò)高等問(wèn)題待解決NLP算法：Transformer開(kāi)辟NLPChatGPT：史上用戶(hù)數(shù)增長(zhǎng)最快，源于算法的突破、高質(zhì)量的數(shù)據(jù)庫(kù)ChatGPT-算法：當(dāng)模型規(guī)模達(dá)到某個(gè)閾值時(shí)，模型出現(xiàn)涌現(xiàn)能力ChatGPT-算法：采用RLHF學(xué)習(xí)機(jī)制，效果優(yōu)于GPT-3的無(wú)監(jiān)督學(xué)習(xí)ChatGPT-反思：站在巨人的肩膀之上，開(kāi)源開(kāi)放期待更多可能和變革三、應(yīng)用篇：技術(shù)突破實(shí)現(xiàn)應(yīng)用創(chuàng)新，已在多領(lǐng)域落地 42AIGC何時(shí)突破工業(yè)紅線(xiàn)：重點(diǎn)關(guān)注數(shù)據(jù)、算法的突破和商業(yè)模式的發(fā)展AIGC應(yīng)用：已在影視、傳媒領(lǐng)域規(guī)模應(yīng)用AIGC應(yīng)用：已在電商、C端娛樂(lè)規(guī)模應(yīng)用AIGC應(yīng)用：已在游戲領(lǐng)域逐步應(yīng)用AIGC應(yīng)用：在金融、計(jì)算機(jī)、教育、工業(yè)、醫(yī)療等專(zhuān)業(yè)領(lǐng)域還在持續(xù)拓展AIGC應(yīng)用：在法律、農(nóng)業(yè)、設(shè)計(jì)等專(zhuān)業(yè)領(lǐng)域還在持續(xù)拓展四、企業(yè)布局：科技巨頭全面布局，中下游廠(chǎng)商百花齊放 49廠(chǎng)商布局：互聯(lián)網(wǎng)大廠(chǎng)全面布局，中小廠(chǎng)商主要發(fā)力中下游環(huán)節(jié)產(chǎn)業(yè)鏈各環(huán)節(jié)發(fā)展趨勢(shì)AIGC相關(guān)標(biāo)的——AIGC相關(guān)標(biāo)的——AIGC相關(guān)標(biāo)的——PAGE6PAGE6核心分析框架核心分析框架核心分析框架：每一輪人機(jī)交互的變革都會(huì)帶來(lái)產(chǎn)業(yè)級(jí)投資機(jī)會(huì)核心分析框架：每一輪人機(jī)交互的變革都會(huì)帶來(lái)產(chǎn)業(yè)級(jí)投資機(jī)會(huì)PAGE7PAGE7變革 PC操作系統(tǒng)節(jié) Macintosh、Windows點(diǎn)

瀏覽器器等

搜索引擎Yahoo、Google等

智能手機(jī)

ARVROculusQuest、HTCVive、Hololens等

人機(jī)共生人形機(jī)器人、AIGC等1984年蘋(píng)果推出劃時(shí)代的Macintosh計(jì)算機(jī)，不僅首次采用圖形界面的操作系統(tǒng)，并第一次使個(gè)人計(jì)算機(jī)具有了多媒體處理能力；1985年微軟推出Windows系統(tǒng)操作系統(tǒng)、早期郵箱、早期超級(jí)計(jì)算中心等光纜/運(yùn)營(yíng)商、瀏覽器、門(mén)戶(hù)網(wǎng)站、通訊軟件等搜索引擎、眾多PC互聯(lián)網(wǎng)網(wǎng)頁(yè)應(yīng)用等操作系統(tǒng)、早期郵箱、早期超級(jí)計(jì)算中心等光纜/運(yùn)營(yíng)商、瀏覽器、門(mén)戶(hù)網(wǎng)站、通訊軟件等搜索引擎、眾多PC互聯(lián)網(wǎng)網(wǎng)頁(yè)應(yīng)用等手機(jī)硬件產(chǎn)業(yè)鏈、應(yīng)用商店、各大手機(jī)APP應(yīng)用等VRAR硬件產(chǎn)業(yè)鏈、云計(jì)算/邊緣計(jì)算、視頻&直播&用等機(jī)器人硬件產(chǎn)業(yè)鏈、AI產(chǎn)業(yè)鏈（模型算力數(shù)據(jù)等）、下游應(yīng)用等鼠標(biāo)+鍵盤(pán)，可點(diǎn)擊，但交互模式單一且不智能，人較為被動(dòng)鼠標(biāo)+鍵盤(pán)，瀏覽器本鼠標(biāo)+鍵盤(pán)，搜索引擎的檢索功能以人為中心，降低精準(zhǔn)信息獲取門(mén)檻觸屏+鍵盤(pán)，人機(jī)交互更加直觀(guān)便捷，人處于主動(dòng)地位手勢(shì)追蹤、Inside-out、Outside-in、眼球追蹤等，交互方式多元化，沉浸感強(qiáng)人機(jī)共生，文字、音頻、視頻、3D、策略等交互模式融合，智能化程度顯著提升產(chǎn)業(yè)機(jī)會(huì)

1993年NCSA中Mosaic項(xiàng)目的負(fù)責(zé)人辭職并建立了網(wǎng)景通訊公司，推出網(wǎng)景瀏覽器；1995年微軟推出IE1.0瀏覽器，作為Windows95的默認(rèn)瀏覽器，改變了用戶(hù)網(wǎng)上沖浪方式

1995年Yahoo公司正式成立，2002年收購(gòu)Inktomi并將其網(wǎng)頁(yè)搜索技術(shù)融入雅虎官網(wǎng)；1998年Google成立，后NetScape放棄Excite，開(kāi)始使用Google的搜索數(shù)據(jù)，具備里程碑意義

2007年蘋(píng)果發(fā)布自以來(lái)最具變革性的產(chǎn)品——iphone2G，大部分操作都將由用戶(hù)觸控屏幕實(shí)現(xiàn)；iPhone4芯片均大幅改善，并提供六軸動(dòng)作感應(yīng)

2016年Facebook正式發(fā)售Oculusrift消費(fèi)者版本，被稱(chēng)為消費(fèi)級(jí)VR設(shè)備元年；2015年索尼推出PlayStationVR；2015年微軟發(fā)布混合現(xiàn)實(shí)的智能眼鏡Hololens

2013年，波士頓動(dòng)力發(fā)布初代Atlas；2022預(yù)計(jì)發(fā)布Optimus原型機(jī)；2022年月Open布人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具ChatGPT核心分析框架：期待算力、數(shù)據(jù)、算法的突破，邁向強(qiáng)人工智能核心分析框架：期待算力、數(shù)據(jù)、算法的突破，邁向強(qiáng)人工智能AGI階段規(guī)則導(dǎo)向1950s-1980s感知機(jī)、專(zhuān)家系統(tǒng)

機(jī)器學(xué)習(xí)1980s-21世紀(jì)初期支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、決策樹(shù)

深度學(xué)習(xí)21世紀(jì)初期至今多層神經(jīng)網(wǎng)絡(luò)模型

自主學(xué)習(xí)未來(lái)發(fā)展方向基于大規(guī)模數(shù)據(jù)識(shí)別、預(yù)測(cè)、學(xué)習(xí)、決策資料來(lái)源：智東西，國(guó)海證券研究所8理論發(fā)展 硬件奠基算法展 核心硬件展，法突破 算力、數(shù)、算全面資料來(lái)源：智東西，國(guó)海證券研究所8始于1950s始于1950s，讓計(jì)算機(jī)感知和理解現(xiàn)實(shí)世界，興盛于計(jì)算機(jī)硬件發(fā)展與大數(shù)據(jù)出現(xiàn)。感知式AI分析式AI始于1960s，利用邏輯推理等方法進(jìn)行分析和解決；興盛于機(jī)器學(xué)習(xí)、數(shù)字挖掘技術(shù)興起。決策式AI始于1970s，分析之后，進(jìn)行智能決策；近年來(lái)才開(kāi)始真正興盛。始于1980s，起源于分析式2022年迎來(lái)突破。生成式AI生成式生成各種數(shù)據(jù)、圖像、語(yǔ)音等內(nèi)容后，決策式對(duì)生成內(nèi)容進(jìn)行分析和決策，實(shí)現(xiàn)更加全面和智能的應(yīng)用。文本識(shí)別、語(yǔ)音識(shí)別、圖像識(shí)別等。自然語(yǔ)言生成、圖像生成、音樂(lè)生成等。運(yùn)營(yíng)營(yíng)銷(xiāo)決策、金融風(fēng)險(xiǎn)評(píng)估、醫(yī)療診斷等。弱人工智能階段ANI強(qiáng)人工智能階段AGI超人工智能階段ASI核心分析框架：核心分析框架：AIGC與PGC、UGC內(nèi)容創(chuàng)作模式對(duì)比PGCUGC模式受到規(guī)模、質(zhì)量和成本的制約，而AIGCPGCUGC場(chǎng)景下的主要內(nèi)容生成模式，從而為元宇宙建設(shè)提供內(nèi)容支撐。 內(nèi)容生成的數(shù)量 內(nèi)容生成的質(zhì)量 數(shù)量 PGC UGC AIGC

PGC UGC AIGC隨著算法與模型不斷優(yōu)化，AIGC生成內(nèi)容的質(zhì)量將會(huì)逐漸超過(guò)UGC與隨著算法與模型不斷優(yōu)化，AIGC生成內(nèi)容的質(zhì)量將會(huì)逐漸超過(guò)UGC與PGCPGC生產(chǎn)者的專(zhuān)業(yè)性保證了內(nèi)容質(zhì)量UGC模式下內(nèi)容生產(chǎn)質(zhì)量良莠不齊在算力與算法支撐下，在算力與算法支撐下，AIGC內(nèi)容生成規(guī)模所受到的限制遠(yuǎn)低于PGC與UGC，AIGC可以在極短時(shí)間內(nèi)生成大量?jī)?nèi)容用戶(hù)成為內(nèi)容創(chuàng)作的主角內(nèi)容生產(chǎn)來(lái)源于專(zhuān)業(yè)組織或個(gè)人，內(nèi)容規(guī)模有限Web1.0 Web2.0 Web3.0 階段 Web1.0 Web2.0 Web3.0 階段 內(nèi)容生成的總成本 內(nèi)容生成的單位成本 PGC UGC AIGC PGC UGC AIGC總成本

成本支出隨著內(nèi)容規(guī)模的增加而同比增長(zhǎng)，但總成本增長(zhǎng)速度PCG>UGC>AIGC

單位成本

AIGC模式具有顯著的規(guī)模遞減優(yōu)勢(shì)，9其成本支出主要在于模型算法開(kāi)發(fā)與硬件等固定成本領(lǐng)域，所以在元宇宙場(chǎng)景下，AIGC生成內(nèi)容規(guī)模越大，其單位內(nèi)容生成的邊際成本將會(huì)逐漸下降且無(wú)限逼近于零PGC與UGC模式下單位內(nèi)容生產(chǎn)成本下降幅度有限9其成本支出主要在于模型算法開(kāi)發(fā)與硬件等固定成本領(lǐng)域，所以在元宇宙場(chǎng)景下，AIGC生成內(nèi)容規(guī)模越大，其單位內(nèi)容生成的邊際成本將會(huì)逐漸下降且無(wú)限逼近于零PGC與UGC模式下單位內(nèi)容生產(chǎn)成本下降幅度有限PAGE10PAGE10批處理部署容器化部署批處理部署容器化部署核心分析框架：機(jī)器學(xué)習(xí)分為訓(xùn)練和推理，數(shù)據(jù)決定上限，算法逼近上限核心分析框架：機(jī)器學(xué)習(xí)分為訓(xùn)練和推理，數(shù)據(jù)決定上限，算法逼近上限包括數(shù)據(jù)收集、預(yù)處理、存儲(chǔ)；數(shù)據(jù)的質(zhì)量和梳理對(duì)算法效果至關(guān)重要；也是機(jī)器學(xué)習(xí)的瓶頸之一。從原始數(shù)據(jù)提取有代表性、可解釋的特征。無(wú)監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)根據(jù)分類(lèi)、回歸、聚類(lèi)等各種問(wèn)題有相應(yīng)評(píng)估指標(biāo)。自己寫(xiě)代碼實(shí)現(xiàn)模型或使用現(xiàn)成的框架。網(wǎng)格搜索、隨機(jī)搜索、貝葉斯優(yōu)化、梯度優(yōu)化、集成方法等選取最優(yōu)參數(shù)組合，提高模型性能。API部署邊緣部署包括數(shù)據(jù)收集、預(yù)處理、存儲(chǔ)；數(shù)據(jù)的質(zhì)量和梳理對(duì)算法效果至關(guān)重要；也是機(jī)器學(xué)習(xí)的瓶頸之一。從原始數(shù)據(jù)提取有代表性、可解釋的特征。無(wú)監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)根據(jù)分類(lèi)、回歸、聚類(lèi)等各種問(wèn)題有相應(yīng)評(píng)估指標(biāo)。自己寫(xiě)代碼實(shí)現(xiàn)模型或使用現(xiàn)成的框架。網(wǎng)格搜索、隨機(jī)搜索、貝葉斯優(yōu)化、梯度優(yōu)化、集成方法等選取最優(yōu)參數(shù)組合，提高模型性能。API部署邊緣部署模型封裝后，導(dǎo)入生產(chǎn)環(huán)境進(jìn)行推理。部署訓(xùn)練 收集數(shù)據(jù)訓(xùn)練收集數(shù)據(jù)數(shù)據(jù)準(zhǔn)備特征工程模型選擇模型訓(xùn)練模型評(píng)估模型調(diào)優(yōu)模型部署和應(yīng)用推理數(shù)據(jù)預(yù)處理推理數(shù)據(jù)預(yù)處理模型加載輸入轉(zhuǎn)換模型推理輸出轉(zhuǎn)換結(jié)果后處理結(jié)果展示深度學(xué)習(xí)框架開(kāi)發(fā)者發(fā)布/開(kāi)源時(shí)間GitHubStar功能特點(diǎn)受眾TensorFlowGoogle2015.11172k端到端開(kāi)源機(jī)器學(xué)習(xí)平臺(tái)，擁有全面而靈活的生態(tài)系統(tǒng)，其中包含各種工具、庫(kù)和社區(qū)資源，包括自定義、分布式訓(xùn)練、圖像、文本、音頻、結(jié)構(gòu)化數(shù)據(jù)、生成式、模型理解、強(qiáng)化學(xué)習(xí)、tfEstimator等。是工業(yè)型框架，自成立以來(lái)一直是面向部署的應(yīng)用程序的首選框架，Serving和Lite可讓用IoT備上進(jìn)行部署。谷歌、英特爾、ARM、GE醫(yī)療、PayPal、推特、聯(lián)想、中國(guó)移動(dòng)、WPS等。PytorchMeta2016.963.6k基于的Python計(jì)算機(jī)視覺(jué)模型、自然語(yǔ)言處理模型（聊天機(jī)器人，文本生成）1.具有強(qiáng)大的GPU加速的張量計(jì)算（如Numpy）2.包含自動(dòng)求導(dǎo)系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)。不僅能夠?qū)崿F(xiàn)強(qiáng)大的GPU加速，同時(shí)還支持動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，這一點(diǎn)是現(xiàn)在很多主流框架如TensorFlow都不支持的；簡(jiǎn)單易用可以實(shí)現(xiàn)快速驗(yàn)證，因此科研人員更為偏愛(ài)，各大期刊發(fā)表論文約80%使用Pytorch。Meta、Amazon、Salesforce、StanfordUniversity等。PaddlePaddle百度2016.819.8k集深度學(xué)習(xí)核心框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件、型庫(kù)、模型預(yù)訓(xùn)練/壓縮工具及部署框架和引擎。等，服務(wù)406萬(wàn)開(kāi)發(fā)者。英特爾、英偉達(dá)、浪潮、華為、寒武紀(jì)比特大陸、深交所、千千音樂(lè)等。核心分析框架：數(shù)據(jù)是機(jī)器學(xué)習(xí)的核心，也是機(jī)器學(xué)習(xí)的瓶頸核心分析框架：數(shù)據(jù)是機(jī)器學(xué)習(xí)的核心，也是機(jī)器學(xué)習(xí)的瓶頸PAGE11PAGE11數(shù)據(jù)決定了機(jī)器學(xué)習(xí)算法的性能、泛化能力、應(yīng)用效果；數(shù)據(jù)獲取、標(biāo)注、清洗、存儲(chǔ)也是機(jī)器學(xué)習(xí)瓶頸之一。步驟定義成本占比特點(diǎn)展望數(shù)據(jù)通過(guò)爬蟲(chóng)、API接口、數(shù)據(jù)采購(gòu)等方式，從不同的數(shù)據(jù)源中獲取數(shù)據(jù)，例如文本、圖像、視頻、音頻等。30%主要來(lái)源：1）（API接口等）；2）（訪(fǎng)談等）；3）4）5）隨著AI商用化提速加碼，數(shù)據(jù)反哺，可用數(shù)據(jù)將越來(lái)越多，數(shù)據(jù)獲取邊際成本將逐步降低。數(shù)據(jù)（。1）3）專(zhuān)業(yè)領(lǐng)域、圖像等復(fù)雜數(shù)據(jù)基本仍需人工標(biāo)注。無(wú)監(jiān)督學(xué)習(xí)逐漸流行，自動(dòng)化程度逐步升高，對(duì)于簡(jiǎn)單數(shù)據(jù)集標(biāo)注需求下降；但專(zhuān)業(yè)領(lǐng)域和復(fù)雜數(shù)據(jù)集仍需要人工標(biāo)注，且人工單位成本更高；隨著人工智能快速發(fā)展，智能化程度的提升，數(shù)據(jù)標(biāo)注全面自動(dòng)化也是有可能的。40%-50%數(shù)據(jù)清洗根據(jù)數(shù)據(jù)類(lèi)型和需求，進(jìn)行缺失值處理、異常值處理、噪聲處理、重復(fù)數(shù)據(jù)處理、數(shù)據(jù)格式轉(zhuǎn)換等。減少錯(cuò)誤和不準(zhǔn)確數(shù)據(jù)對(duì)模型的干擾，提高模型準(zhǔn)確性和可靠性。目前數(shù)據(jù)清洗仍以手動(dòng)為主，但在某些數(shù)據(jù)較為標(biāo)準(zhǔn)化的場(chǎng)景中（如日志數(shù)據(jù)、網(wǎng)絡(luò)流量分析），一般可以通過(guò)編寫(xiě)自動(dòng)化的腳本或者使用一些現(xiàn)成的工具來(lái)實(shí)現(xiàn)，以去除無(wú)效或者重復(fù)的數(shù)據(jù)；隨著人工智能快速發(fā)展，智能化程度的提升，數(shù)據(jù)清洗全面自動(dòng)化也是有可能的。20%-30%數(shù)據(jù)存儲(chǔ)將機(jī)器學(xué)習(xí)算法需要用到的數(shù)據(jù)保存到磁盤(pán)或內(nèi)存中，以便后續(xù)的訓(xùn)練、測(cè)試和預(yù)測(cè)。數(shù)據(jù)分為訓(xùn)練集（約60%）、驗(yàn)證集（約20%）、測(cè)試集（約20%）；需要選擇合適的數(shù)據(jù)格式存儲(chǔ)，不同格式會(huì)影響讀取速度、空間占比等；大規(guī)模數(shù)據(jù)集需要進(jìn)行分割后存儲(chǔ)。需要選擇合適的數(shù)據(jù)格式存儲(chǔ)，不同格式會(huì)影響讀取速度、空間占比等；大規(guī)模數(shù)據(jù)集需要進(jìn)行分割后存儲(chǔ)。核心分析框架：隨著模型參數(shù)量的提升，算力需求顯著增加核心分析框架：隨著模型參數(shù)量的提升，算力需求顯著增加大模型的參數(shù)量整體呈上升趨勢(shì) 訓(xùn)練大模型的算力消耗上升，且增速變快算力消耗每2個(gè)月翻倍算力消耗每3.4個(gè)月翻倍算力消耗每24個(gè)月翻倍（摩爾定律）←Pre-GPU計(jì)算

→GPU計(jì)算12核心分析框架：核心分析框架：AIGC——生產(chǎn)力的革命PAGE13PAGE13類(lèi)型任務(wù)應(yīng)用算法類(lèi)型任務(wù)應(yīng)用算法文本生成交互文本：閑聊機(jī)器人、文本交互游戲；非交互文本：結(jié)構(gòu)化/非結(jié)構(gòu)化、輔助性寫(xiě)作。生成式對(duì)抗網(wǎng)絡(luò)（GAN）2014年提出，由生成器網(wǎng)絡(luò)（Generator）和判別器網(wǎng)絡(luò)文本生成交互文本：閑聊機(jī)器人、文本交互游戲；非交互文本：結(jié)構(gòu)化/非結(jié)構(gòu)化、輔助性寫(xiě)作。生成式對(duì)抗網(wǎng)絡(luò)（GAN）2014年提出，由生成器網(wǎng)絡(luò)（Generator）和判別器網(wǎng)絡(luò)（Discriminator）組成，相互博弈、對(duì)抗，不斷提高生成樣本真實(shí)性和判別器準(zhǔn)確性。優(yōu)點(diǎn)：生成樣本質(zhì)量高，無(wú)需大量數(shù)據(jù)標(biāo)注，適用于多種數(shù)據(jù)類(lèi)型，可用于數(shù)據(jù)增強(qiáng)。缺點(diǎn)：訓(xùn)練不穩(wěn)定、容易崩潰，生成樣本難控制，需要大量計(jì)算資源，容易過(guò)擬合。音頻生成 音頻生成Deepmusic、AIVA、Landr、IBMWatsonMusic、Magenta、網(wǎng)易-有靈智能創(chuàng)作平臺(tái)等。圖像生成圖像編輯/圖像生成圖像編輯/修復(fù)、風(fēng)格轉(zhuǎn)化、圖像生成（AI繪畫(huà)）等。GLIDE、DiscoDiffusion、BigSleep、StarryAl、VOMBODream、百度文心ERNIE-VLG等。視頻生成視頻編輯（AI換臉、特效、刪除特定主體、跟蹤剪輯等）、自動(dòng)剪輯等。視頻生成視頻編輯（AI換臉、特效、刪除特定主體、跟蹤剪輯等）、自動(dòng)剪輯等。Gliacloud、Pencil、VideoGPT、百度智能視頻合成平臺(tái)VidPress、慧川智能等。多模態(tài)預(yù)訓(xùn)練模型3D生成2019年提出，多模態(tài)數(shù)據(jù)預(yù)訓(xùn)練，實(shí)現(xiàn)多種模態(tài)數(shù)據(jù)的聯(lián)合表示。優(yōu)點(diǎn)：泛化能力、數(shù)據(jù)利用率、模型魯棒性和可遷移性高。缺點(diǎn)：數(shù)據(jù)、算力需求大，特定任務(wù)需調(diào)參。目前主要是基于圖像、文本生成3D建模；AR3D生成2019年提出，多模態(tài)數(shù)據(jù)預(yù)訓(xùn)練，實(shí)現(xiàn)多種模態(tài)數(shù)據(jù)的聯(lián)合表示。優(yōu)點(diǎn)：泛化能力、數(shù)據(jù)利用率、模型魯棒性和可遷移性高。缺點(diǎn)：數(shù)據(jù)、算力需求大，特定任務(wù)需調(diào)參。VR；3D打印等。數(shù)字人生成視頻生成、實(shí)時(shí)交互騰訊、網(wǎng)易、影譜科技、硅基智能、倒映有聲等。擴(kuò)散模型（數(shù)字人生成視頻生成、實(shí)時(shí)交互騰訊、網(wǎng)易、影譜科技、硅基智能、倒映有聲等。擴(kuò)散模型（Diffusion）代碼生成代碼補(bǔ)全、自動(dòng)注釋、根據(jù)上下文/注釋自動(dòng)生成代碼等。游戲生成NPC策略生成：對(duì)戰(zhàn)策略等。Codex、、代碼生成代碼補(bǔ)全、自動(dòng)注釋、根據(jù)上下文/注釋自動(dòng)生成代碼等。游戲生成NPC策略生成：對(duì)戰(zhàn)策略等。等。跨模態(tài)生成目前主要是文本生成圖像、視頻，根據(jù)圖像視頻生成文本等；未來(lái)將有更多跨模態(tài)應(yīng)用?？缒B(tài)生成目前主要是文本生成圖像、視頻，根據(jù)圖像視頻生成文本等；未來(lái)將有更多跨模態(tài)應(yīng)用。

2021年提出，相較于GAN，是圖像生成領(lǐng)域的一大進(jìn)步，不需要明確地計(jì)算數(shù)據(jù)的先驗(yàn)概率分布。通 rctAI、超參數(shù)、騰訊 rctAI、超參數(shù)、騰訊AILab、網(wǎng)易伏羲等。ChatGPT4、百度文心、阿里M6等。缺點(diǎn)：數(shù)據(jù)、算力需求大，過(guò)程復(fù)雜，模型魯棒性低。 核心分析框架：核心分析框架：ChatGPT史上用戶(hù)數(shù)增長(zhǎng)最快PAGE1462019-2-142020-5-282022-1-272022-11-302023.3OpenAI宣布成立初期為非盈利研究公司性質(zhì)；啟動(dòng)資金10億美元。

GPT-1發(fā)布參數(shù)量1.17；BooksCorpus數(shù)據(jù)集作為語(yǔ)料庫(kù)，為1.3B；有監(jiān)督的微調(diào)。

GPT-2發(fā)布參數(shù)量15億；Tokens為15B；學(xué)習(xí)在無(wú)明確監(jiān)督情況下執(zhí)行多種任務(wù)。

GPT-3發(fā)布參數(shù)量1750；499B；結(jié)合少樣本學(xué)習(xí)及無(wú)監(jiān)督學(xué)習(xí)。

InstructGPT發(fā)布參數(shù)量13億；運(yùn)用RHLF，利用獎(jiǎng)勵(lì)模型訓(xùn)練學(xué)習(xí)模型；在遵循指令及輸出內(nèi)容等性能方面優(yōu)于。

ChatGPT發(fā)布基于預(yù)訓(xùn)練模型；截至2023年1月末，活躍用戶(hù)超過(guò)1億成為史上用戶(hù)增長(zhǎng)最快的應(yīng)用。

預(yù)計(jì)推出ChatGPT4預(yù)計(jì)為多模態(tài)大模型（語(yǔ)音、圖像、視頻）；新必應(yīng)已集成ChatGPT4。杰出的用戶(hù)體驗(yàn)

ChatGPT發(fā)布后市場(chǎng)反應(yīng)熱烈表象 主因 背后算法的突破 算力、數(shù)、人、資的投入ChatGPT功能點(diǎn)清晰；真正做到LLM（largelanguagemodel）（Unsupervisedpre-training）CoT(ChainofThought)思維鏈RLHF(ReinforcementLearningFromHumanFeedback)人類(lèi)反饋強(qiáng)化學(xué)習(xí)：ChatGPT能夠憑借強(qiáng)化學(xué)習(xí)的方式不斷優(yōu)化人類(lèi)反饋的語(yǔ)言模型。

算力、資金的投入：GPT3.5訓(xùn)練階段總算力消耗約3640PF-days，約使用10000個(gè)GPU+285000個(gè)CPU，OpenAI耗費(fèi)10億美元租用Azure；截止202301月,ChatGPT預(yù)計(jì)花費(fèi)公司1200萬(wàn)美元；數(shù)據(jù)：ChatGPT1訓(xùn)練數(shù)據(jù)來(lái)自公開(kāi)的電子書(shū)；ChatGPT2訓(xùn)練數(shù)據(jù)來(lái)自RedditChatGPT2訓(xùn)練數(shù)據(jù)來(lái)自82.2%預(yù)處理的CommonCrawl語(yǔ)料庫(kù)、13.5%的線(xiàn)上圖書(shū)（GPT1數(shù)據(jù)集及Bibliotik,）、3.8%Reddit。OpenAI創(chuàng)始人、技術(shù)團(tuán)隊(duì)：OpenAI人才，現(xiàn)有375名正式員工，OpenAI一年人員支出高達(dá)8931萬(wàn)美元，人均約為23.8萬(wàn)美元/年/人。核心分析框架：當(dāng)模型規(guī)模達(dá)到某個(gè)閾值時(shí)，模型出現(xiàn)涌現(xiàn)能力核心分析框架：當(dāng)模型規(guī)模達(dá)到某個(gè)閾值時(shí)，模型出現(xiàn)涌現(xiàn)能力PAGE15PAGE15模型誤差算力消耗 PF-days訓(xùn)練數(shù)據(jù)規(guī)模模型誤差算力消耗 PF-days訓(xùn)練數(shù)據(jù)規(guī)模tokens參數(shù)量parameters2020年1月，OpenAl發(fā)表論文《ScalingLawsforNeuralLanguageModels》，探討模型效果與模型規(guī)模之間的關(guān)系。結(jié)論是：模型的表現(xiàn)與模型的規(guī)模之間服從PowerLaw，即隨著模型規(guī)模指數(shù)級(jí)上升，模型性能實(shí)現(xiàn)線(xiàn)性增長(zhǎng)。而在2022年8月，Google發(fā)表論文《EmergentAbilitiesofLargeLanguageModels》，重新探討了模型效果與模型規(guī)模之間的關(guān)系。結(jié)論是：當(dāng)模型規(guī)模達(dá)到某個(gè)閾值時(shí)，模型對(duì)某些問(wèn)題的處理性能突然呈現(xiàn)快速增長(zhǎng)。作者將這種現(xiàn)象稱(chēng)為EmergentAbilities，即涌現(xiàn)能力。數(shù)學(xué)運(yùn)算音標(biāo)標(biāo)注填字謎波斯語(yǔ)問(wèn)答準(zhǔn)確率 事實(shí)信息問(wèn)答 繪制地圖 多任務(wù)自然語(yǔ)言理解 上下文理解準(zhǔn)確率模型規(guī)模核心分析框架：ChatGPT采用RLHF學(xué)習(xí)機(jī)制，效果優(yōu)于GPT-3的無(wú)監(jiān)督學(xué)習(xí)GPT-3采用無(wú)監(jiān)督學(xué)習(xí)機(jī)制，優(yōu)點(diǎn)在于無(wú)需人工進(jìn)行數(shù)據(jù)標(biāo)注，可以節(jié)省模型訓(xùn)練成本，模型泛化能力更強(qiáng)。而ChatGPT采用RLHF學(xué)習(xí)機(jī)制，即人工反饋的強(qiáng)化學(xué)習(xí)，屬于強(qiáng)化學(xué)習(xí)。不同于傳統(tǒng)的相比于傳統(tǒng)的有監(jiān)督學(xué)習(xí)機(jī)制，ChatGPT無(wú)需提前對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)注，而只需要對(duì)人工對(duì)模型輸出的結(jié)果進(jìn)行評(píng)分，從而可以節(jié)省人力。雖然相比于GPT-3，ChatGPT需要消耗一定的人力，但是模型結(jié)果會(huì)更加符合人類(lèi)偏好。 有監(jiān)督學(xué)習(xí)vs無(wú)監(jiān)督學(xué)習(xí) 數(shù)據(jù)標(biāo)注成本模型精度

階段1

階段2

階段3使用PPO強(qiáng)化學(xué)習(xí)法優(yōu)化回報(bào)模型-根據(jù)RM評(píng)分結(jié)果更新預(yù)訓(xùn)練模型的參數(shù)標(biāo)注一批模型產(chǎn)出及提示使用PPO強(qiáng)化學(xué)習(xí)法優(yōu)化回報(bào)模型-根據(jù)RM評(píng)分結(jié)果更新預(yù)訓(xùn)練模型的參數(shù)標(biāo)注一批模型產(chǎn)出及提示模型所有數(shù)據(jù)都有標(biāo)簽通過(guò)人工標(biāo)注訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練回報(bào)模型收集演示數(shù)據(jù)并訓(xùn)練隨機(jī)從信息庫(kù)抽取指令隨機(jī)從信息庫(kù)抽取指令從用戶(hù)提交的指令/問(wèn)題中隨機(jī)抽取一批新的命令專(zhuān)業(yè)人員用標(biāo)注數(shù)據(jù)來(lái)調(diào)優(yōu)GPT-3.5排序無(wú)標(biāo)簽數(shù)據(jù)模型含標(biāo)簽數(shù)據(jù)PPO模型生成回答答，得到分?jǐn)?shù)專(zhuān)業(yè)人員用標(biāo)注數(shù)據(jù)來(lái)調(diào)優(yōu)GPT-3.5排序無(wú)標(biāo)簽數(shù)據(jù)模型含標(biāo)簽數(shù)據(jù)PPO模型生成回答答，得到分?jǐn)?shù)回報(bào)分?jǐn)?shù)/梯度可以更新模型參數(shù)由監(jiān)督模型初始化PPO數(shù)模型無(wú)標(biāo)簽的數(shù)據(jù)型高質(zhì)量回答無(wú)監(jiān)督學(xué)習(xí) 低 低16核心分析框架：核心分析框架：AIGC何時(shí)突破工業(yè)紅線(xiàn)？關(guān)注數(shù)據(jù)、算法和商業(yè)模式破局PAGE17PAGE17解決問(wèn)題數(shù)據(jù)是瓶頸：數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)、數(shù)據(jù)合成、數(shù)據(jù)要素市場(chǎng)實(shí)現(xiàn)數(shù)據(jù)共享、數(shù)據(jù)反哺加速商業(yè)化飛輪。算力是支撐：短期-國(guó)內(nèi)云廠(chǎng)商等均早有囤貨布局；長(zhǎng)期-硬件進(jìn)步、算法優(yōu)化、并行計(jì)算、量子計(jì)算。人才是關(guān)鍵：“挖角”、企業(yè)高校合作。解決問(wèn)題數(shù)據(jù)是瓶頸：數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)、數(shù)據(jù)合成、數(shù)據(jù)要素市場(chǎng)實(shí)現(xiàn)數(shù)據(jù)共享、數(shù)據(jù)反哺加速商業(yè)化飛輪。算力是支撐：短期-國(guó)內(nèi)云廠(chǎng)商等均早有囤貨布局；長(zhǎng)期-硬件進(jìn)步、算法優(yōu)化、并行計(jì)算、量子計(jì)算。人才是關(guān)鍵：“挖角”、企業(yè)高校合作。大模型往往需要大量計(jì)算資源，且模型參數(shù)仍在快速膨脹；但AI芯片全球短缺，英偉達(dá)A100、H100被禁止向中國(guó)供貨。商業(yè)價(jià)值閉環(huán)：技術(shù)突破、AI企業(yè)深耕垂直細(xì)分行業(yè)（know-how、先發(fā)優(yōu)勢(shì)）、規(guī)模效應(yīng)+飛輪效應(yīng)雙輪驅(qū)動(dòng)。專(zhuān)業(yè)領(lǐng)域、長(zhǎng)尾場(chǎng)景數(shù)據(jù)較少。CV）Meta撐起中國(guó)AI“半壁江山”。技術(shù)成本（前期訓(xùn)練成本、數(shù)據(jù)成本、人才成本，后期使用的推理成本），與帶來(lái)的增量或給企業(yè)實(shí)現(xiàn)降本增效相比，還不足以驅(qū)動(dòng)企業(yè)投入AI。商業(yè)價(jià)值閉環(huán)：技術(shù)進(jìn)步、國(guó)家支持、巨頭推動(dòng)、生態(tài)建設(shè)、市場(chǎng)化教育。/價(jià)值觀(guān)、倫理、政治風(fēng)險(xiǎn)等：從技術(shù)層面讓AI更可控，不要發(fā)展的那么快。大模型：通用型、任務(wù)型、行業(yè)級(jí)小模型：專(zhuān)業(yè)領(lǐng)域，細(xì)分行業(yè)大模型：通用型、任務(wù)型、行業(yè)級(jí)小模型：專(zhuān)業(yè)領(lǐng)域，細(xì)分行業(yè)參與方大模型技術(shù)巨頭+參與方大模型技術(shù)巨頭+第三方服務(wù)商巨頭：微軟、谷歌、meta、百度、阿里、華為、騰訊等；第三方服務(wù)商：SaaS廠(chǎng)商、其他技術(shù)廠(chǎng)商等。AI企業(yè)核心分析框架：互聯(lián)網(wǎng)大廠(chǎng)全面布局，中小廠(chǎng)商主要發(fā)力中下游環(huán)節(jié)核心分析框架：互聯(lián)網(wǎng)大廠(chǎng)全面布局，中小廠(chǎng)商主要發(fā)力中下游環(huán)節(jié)PAGE18PAGE18虛擬人托爾思（002467.SZ虛擬人托爾思（002467.SZ）二六三（688088.SH）虹軟科技（002362.SZ）漢王科技（300113.SZ）順網(wǎng)科技（未上市）小冰公司（未上市）倒映有聲（未上市）相芯科技（未上市）心識(shí)宇宙芯片（300474.SZ）景嘉微（9888.HK）百度集團(tuán)（NVDA.O）英偉達(dá)（9988.HK）阿里巴巴（688256.SH）寒武紀(jì)（002405.SZ）四維圖新（688981.SH）中芯國(guó)際（未上市）地平線(xiàn)視頻生成（688039.SH）當(dāng)虹科技（0020.HK）商湯（未上市）邁吉客（未上市）影譜科技云計(jì)算（000977.SZ）浪潮信息（9988.HK）阿里（9888.HK）百度集團(tuán)（0700.HK）騰訊（未上市）華為IDC奧飛數(shù)據(jù)（603019.SH）中科曙光（9698.HK）萬(wàn)國(guó)數(shù)據(jù)（CD.US）秦淮數(shù)據(jù)光模塊（300308.SZ）中際旭創(chuàng)（300502.SZ）新易盛（220081.SZ）光迅科技服務(wù)器液冷（600756.SH）浪潮信息網(wǎng)宿科技（000938.SZ）紫光股份數(shù)據(jù)供給方（688787.SH）海天瑞聲多模態(tài)NLP（9888.HK）百度（9988.HK）阿里巴巴（9988.HK）阿里巴巴（002230.SZ）科大訊飛（0700.HK）騰訊控股（9888.HK）百度集團(tuán)（300612.SZ）宣亞國(guó)際（002230.SZ）科大訊飛（300418.SZ）昆侖萬(wàn)維（688111.SH）金山辦公（603466.SH）風(fēng)語(yǔ)筑（300058.SZ）藍(lán)色光標(biāo)（688327.SH）云從科技（002292.SZ）奧飛娛樂(lè)（2121.HK）創(chuàng)新奇智（學(xué)術(shù)機(jī)構(gòu)）清華大學(xué)（MSFT.O）微軟（GOOGL.O）谷歌（NVDA.O）英偉達(dá)（META.O）Meta3D生成（未上市）珍島（未上市）聚力維度（未上市）中科聞歌（未上市）瀾舟科技代碼生成（MSFT.O）微軟策略生成（學(xué)術(shù)機(jī)構(gòu)）清華大學(xué)（未上市）rctAI（學(xué)術(shù)機(jī)構(gòu)）中國(guó)科學(xué)技（未上市）超參數(shù)科技術(shù)大學(xué)（學(xué)術(shù)機(jī)構(gòu)）哈爾濱工業(yè)大學(xué)電商游戲（300785.SZ）值得買(mǎi)（002624.SZ）完美世界（0700.HK）騰訊控股傳媒（300459.SZ）湯姆貓（301270.SZ）漢儀股份（300364.SZ）中文在線(xiàn)政務(wù)（000681.SZ）視覺(jué)中國(guó)（300075.SZ）數(shù)字政通（300781.SZ）因賽集團(tuán)（002530.SZ）金財(cái)互聯(lián)（300624.SZ）萬(wàn)興科技C端應(yīng)用營(yíng)銷(xiāo)（MSFT.O）微軟（301052.SZ）果麥文化（GOOGL.O）谷歌（002803.SZ）吉宏股份（未上市）寫(xiě)作貓（301171.SZ）易點(diǎn)天下（未上市）寫(xiě)作狐（未上市）盜夢(mèng)師教育（未上市）詩(shī)云科技（300081.SZ）恒信東方（未上市）ZMO.ai（未上市）影譜科技虛擬人（未上市）帝視科技（300182.SZ）捷成股份（未上市）不咕剪輯（002354.SZ）天娛數(shù)科AIGCAIGC產(chǎn)業(yè)鏈圖譜上游上游中游下游核心分析框架：產(chǎn)業(yè)鏈各環(huán)節(jié)發(fā)展趨勢(shì)核心分析框架：產(chǎn)業(yè)鏈各環(huán)節(jié)發(fā)展趨勢(shì)PAGE19PAGE19類(lèi)型代表機(jī)構(gòu)上游中游下游競(jìng)爭(zhēng)優(yōu)勢(shì)算力數(shù)據(jù)大模型小模型行業(yè)合作內(nèi)部賦能互聯(lián)網(wǎng)大廠(chǎng)（全面布局）百度百度云昆侖芯片百度各產(chǎn)品數(shù)據(jù)行業(yè)合作伙伴數(shù)據(jù)文心大模型包括在文心大模型中的各類(lèi)行業(yè)模型與B端企業(yè)有廣泛合作百度搜索百度各類(lèi)產(chǎn)品的內(nèi)容推薦先發(fā)優(yōu)勢(shì)識(shí)數(shù)據(jù)阿里阿里云平頭哥芯片淘寶、天貓電商數(shù)據(jù)阿里云B端數(shù)據(jù)阿里M6大模型-合作較多電商搜索阿里云和企業(yè)服務(wù)在大模型研發(fā)上具有資金和人才優(yōu)勢(shì)騰訊騰訊云微信用戶(hù)數(shù)據(jù)騰訊視頻、新聞數(shù)據(jù)騰訊游戲數(shù)據(jù)混元大模型騰訊游戲AI合作較少騰訊游戲AINPC內(nèi)容推薦具有較多的用戶(hù)數(shù)據(jù)和娛樂(lè)內(nèi)容數(shù)據(jù)華為華為云海思芯片手機(jī)用戶(hù)數(shù)據(jù)盤(pán)古大模型盤(pán)古大模型中的各類(lèi)行業(yè)模型合作較少較少深耕上游和中游賦能下游廠(chǎng)商谷歌谷歌云搜索數(shù)據(jù)谷歌學(xué)術(shù)YoutubeImagen、ExTS、PaLM等-合作較少Bard+GoogleAI賦能搜索業(yè)務(wù)，同時(shí)快速積累新用戶(hù)微軟Azure云Office用戶(hù)數(shù)據(jù)Bing搜索數(shù)據(jù)LayoutLM、DiT以及OpenAI旗下的大模型-較多企業(yè)接入chatGPT接口chatGPT+BingchatGPT+OfficeAI賦能搜索和辦公業(yè)務(wù)，同時(shí)快速積累新用戶(hù)學(xué)術(shù)機(jī)構(gòu)（中游為主）清華大學(xué)濱工業(yè)大學(xué)等主要通過(guò)外購(gòu)互聯(lián)網(wǎng)公開(kāi)數(shù)據(jù)√√合作方向主要為學(xué)術(shù)研究-政府支持人才儲(chǔ)備中小廠(chǎng)商（中下游為主）中游小模型廠(chǎng)商主要通過(guò)外購(gòu)垂直行業(yè)數(shù)據(jù)-垂直行業(yè)模型√√行業(yè)know-how積累行業(yè)數(shù)據(jù)下游應(yīng)用廠(chǎng)商主要通過(guò)外購(gòu)垂直行業(yè)數(shù)據(jù)--√√客戶(hù)粘性用戶(hù)粘性產(chǎn)業(yè)鏈核心競(jìng)爭(zhēng)要素規(guī)模效應(yīng)政府補(bǔ)助前期研發(fā)投入數(shù)據(jù)規(guī)模數(shù)據(jù)質(zhì)量數(shù)據(jù)獲取成本資金能力技術(shù)能力人才儲(chǔ)備行業(yè)Know-how行業(yè)數(shù)據(jù)先發(fā)優(yōu)勢(shì)行業(yè)內(nèi)部用戶(hù)規(guī)模和業(yè)務(wù)數(shù)據(jù)積累；業(yè)務(wù)和AI的可行性產(chǎn)業(yè)鏈未來(lái)發(fā)展方向↑邊際成本↓通用類(lèi)數(shù)據(jù)集中于大廠(chǎng)，而垂直行業(yè)數(shù)據(jù)分散頭部效應(yīng)↑百花齊放通用型內(nèi)容生成集中于方案百花齊放大廠(chǎng)對(duì)外提供服務(wù)的同時(shí)內(nèi)部賦能，小廠(chǎng)采取外購(gòu)的方式更加經(jīng)濟(jì)核心分析框架：大模型商業(yè)化初啟，小模型在部分領(lǐng)域已實(shí)現(xiàn)商業(yè)價(jià)值閉環(huán)核心分析框架：大模型商業(yè)化初啟，小模型在部分領(lǐng)域已實(shí)現(xiàn)商業(yè)價(jià)值閉環(huán)2020大模型小模型商業(yè)模式MaaS（ModelasaService）垂直行業(yè)解決方案1)按調(diào)用次數(shù)或調(diào)用量等收費(fèi)；2）按年/月訂閱套餐收費(fèi)；3）定制服務(wù)，特定領(lǐng)域再包，按項(xiàng)目收費(fèi)。1）純軟件及平臺(tái)；1）一站式解決方案面向用戶(hù)企業(yè)、機(jī)構(gòu)、個(gè)人企業(yè)、機(jī)構(gòu)細(xì)分行業(yè)企業(yè)毛利率推理算力成本，毛利率可達(dá)80%+。含再開(kāi)發(fā)項(xiàng)目實(shí)施費(fèi)用。標(biāo)準(zhǔn)化產(chǎn)品，毛利率可達(dá)90%+。含外購(gòu)硬件，毛利率30%-70%。提供商O(píng)penAI、微軟、谷歌、Meta科大訊飛、字節(jié)、京東等?？拼笥嶏w、商湯、曠視、云從、依圖、虹軟、格靈深瞳、云天勵(lì)飛、拓爾思、?？低暤取Ｉ虡I(yè)模式大模型廠(chǎng)商自用，實(shí)現(xiàn)增量或降本增效。云廠(chǎng)商“MaaS+IaaS”打IaaS收入增長(zhǎng)和增量服務(wù)收入。垂直行業(yè)解決方案，包括SDK產(chǎn)品、一站式落地解決方案。程序員、分析師、設(shè)計(jì)師等繁瑣重復(fù)的低端工作。付費(fèi)邏輯谷歌、微軟必應(yīng)搜索引擎，大模型廠(chǎng)商+SaaS廠(chǎng)商，打造更多可直接面向C端的產(chǎn)品，SaaS廠(chǎng)商根據(jù)調(diào)用情況付費(fèi)。1）企業(yè)開(kāi)發(fā)者調(diào)用后自用或個(gè)人用戶(hù)自行調(diào)用，基于自身需求調(diào)用付費(fèi)；2）為SaaS廠(chǎng)商提供產(chǎn)品付費(fèi)。智慧生活、智能制造等多領(lǐng)域均有企業(yè)布局，在過(guò)去主要是感知、分析、決策式AI，部分存在生成式AI，已有部分行業(yè)實(shí)現(xiàn)商業(yè)價(jià)值閉環(huán)，主要是傳統(tǒng)軟件收費(fèi)邏輯，不同行業(yè)略有不同。視頻創(chuàng)作等，阿里電商營(yíng)銷(xiāo)產(chǎn)品，騰訊企業(yè)微信、騰訊會(huì)議相關(guān)產(chǎn)品等，字節(jié)內(nèi)容創(chuàng)作等；基于C中美差距差距不大且均有較大需求，甚至國(guó)內(nèi)廠(chǎng)商的產(chǎn)品更加豐富多元。生態(tài)差距較大，美國(guó)SaaS廠(chǎng)商面向全球，中國(guó)SaaS行業(yè)尚在快速發(fā)展中。海外付費(fèi)意識(shí)更高。中美企業(yè)格局略有差異，美國(guó)頭部效應(yīng)更為明顯，主要由細(xì)分行業(yè)龍頭或者科技巨頭提供相關(guān)AI驅(qū)動(dòng)的解決方案；中國(guó)不局限于科技巨頭和行業(yè)龍頭，還有眾多AI企業(yè)在眾多細(xì)分行業(yè)、領(lǐng)域布局。核心分析框架：總成本持續(xù)提升，但同級(jí)別參數(shù)消耗量將顯著下降核心分析框架：總成本持續(xù)提升，但同級(jí)別參數(shù)消耗量將顯著下降數(shù)據(jù)標(biāo)注：有兩個(gè)方向，一是無(wú)監(jiān)督學(xué)習(xí)流行、標(biāo)注自動(dòng)化提升，數(shù)據(jù)標(biāo)注成本下降；而是對(duì)于數(shù)據(jù)標(biāo)注：有兩個(gè)方向，一是無(wú)監(jiān)督學(xué)習(xí)流行、標(biāo)注自動(dòng)化提升，數(shù)據(jù)標(biāo)注成本下降；而是對(duì)于成本項(xiàng)占比算力成本40%-70%設(shè)備折舊14%-24.5%存儲(chǔ)10-17.5%電費(fèi)12%-21%寬帶4%-7%數(shù)據(jù)成本20%-35%數(shù)據(jù)收集6%-10.5%數(shù)據(jù)標(biāo)注8%-17.5%數(shù)據(jù)清洗4%-7%數(shù)據(jù)存儲(chǔ)人力成本10%-25%AI注：參考ChatGPT、百度文心、阿里M6AI表：各大模型全局訓(xùn)練成本概覽模型算力成本占比數(shù)據(jù)成本占比人力成本占比單次完整訓(xùn)練價(jià)格（萬(wàn)美元/次）全年完整訓(xùn)練次數(shù)（次）全年訓(xùn)練成本（萬(wàn)美元）已投入金額（萬(wàn)美元）ChatGPT370%20%10%400-10001-22000左右4300左右ChatGPT3.560%25%15%400-10001-2不到200022一、行業(yè)篇：人工智能發(fā)展步入新階段，22一、行業(yè)篇：人工智能發(fā)展步入新階段，AIGC創(chuàng)造新機(jī)遇每一輪人機(jī)交互的變革都會(huì)帶來(lái)產(chǎn)業(yè)級(jí)投資機(jī)會(huì)變革 PC操作系統(tǒng)節(jié) Macintosh、Windows點(diǎn)

瀏覽器器等

搜索引擎Yahoo、Google等

智能手機(jī)

ARVROculusQuest、HTCVive、Hololens等

人機(jī)共生人形機(jī)器人、AIGC等1984年蘋(píng)果推出劃時(shí)代的Macintosh計(jì)算機(jī)，不僅首次采用圖形界面的操作系統(tǒng)，并第一次使個(gè)人計(jì)算機(jī)具有了多媒體處理能力；1985年微軟推出Windows系統(tǒng)操作系統(tǒng)、早期郵箱、早期超級(jí)計(jì)算中心等光纜/運(yùn)營(yíng)商、瀏覽器、門(mén)戶(hù)網(wǎng)站、通訊軟件等搜索引擎、眾多PC互聯(lián)網(wǎng)網(wǎng)頁(yè)應(yīng)用等操作系統(tǒng)、早期郵箱、早期超級(jí)計(jì)算中心等光纜/運(yùn)營(yíng)商、瀏覽器、門(mén)戶(hù)網(wǎng)站、通訊軟件等搜索引擎、眾多PC互聯(lián)網(wǎng)網(wǎng)頁(yè)應(yīng)用等手機(jī)硬件產(chǎn)業(yè)鏈、應(yīng)用商店、各大手機(jī)APP應(yīng)用等VRAR硬件產(chǎn)業(yè)鏈、云計(jì)算/邊緣計(jì)算、視頻&直播&用等機(jī)器人硬件產(chǎn)業(yè)鏈、AI產(chǎn)業(yè)鏈（模型算力數(shù)據(jù)等）、下游應(yīng)用等鼠標(biāo)+鍵盤(pán)，可點(diǎn)擊，但交互模式單一且不智能，人較為被動(dòng)鼠標(biāo)+鍵盤(pán)，瀏覽器本鼠標(biāo)+鍵盤(pán)，搜索引擎的檢索功能以人為中心，降低精準(zhǔn)信息獲取門(mén)檻觸屏+鍵盤(pán)，人機(jī)交互更加直觀(guān)便捷，人處于主動(dòng)地位手勢(shì)追蹤、Inside-out、Outside-in、眼球追蹤等，交互方式多元化，沉浸感強(qiáng)人機(jī)共生，文字、音頻、視頻、3D、策略等交互模式融合，智能化程度顯著提升23產(chǎn)業(yè)機(jī)會(huì)23

1993年NCSA中Mosaic項(xiàng)目的負(fù)責(zé)人辭職并建立了網(wǎng)景通訊公司，推出網(wǎng)景瀏覽器；1995年微軟推出IE1.0瀏覽器，作為Windows95的默認(rèn)瀏覽器，改變了用戶(hù)網(wǎng)上沖浪方式

1995年Yahoo公司正式成立，1998年開(kāi)始轉(zhuǎn)向使用Inktomi的搜索數(shù)據(jù)；1998年Google成立，后NetScrpe放棄Excite，開(kāi)始使用Google的搜索數(shù)據(jù)，具備里程碑意義

2007年蘋(píng)果發(fā)布自以來(lái)最具變革性的產(chǎn)品——iphone2G，大部分操作都將由用戶(hù)觸控屏幕實(shí)現(xiàn)；iPhone4芯片均大幅改善，并提供六軸動(dòng)作感應(yīng)

2016年Facebook正式發(fā)售Oculusrift消費(fèi)者版本，被稱(chēng)為消費(fèi)級(jí)VR設(shè)備元年；2015年索尼推出PlayStationVR；2015年微軟發(fā)布混合現(xiàn)實(shí)的智能眼鏡Hololens

2014年，波士頓動(dòng)力發(fā)布初代Atlas(2021已實(shí)現(xiàn)跑酷)；2022年，Tesla預(yù)計(jì)發(fā)布Optimus原型機(jī)；2022年11月OpenAI發(fā)布人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具ChatGPTPAGE24PAGE24AI發(fā)展歷程：期待算力、數(shù)據(jù)、算法的突破，邁向強(qiáng)人工智能AGI階段AI發(fā)展歷程：期待算力、數(shù)據(jù)、算法的突破，邁向強(qiáng)人工智能AGI階段1950s-1980s感知機(jī)、專(zhuān)家系統(tǒng)

機(jī)器學(xué)習(xí)1980s-21世紀(jì)初期支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、決策樹(shù)

深度學(xué)習(xí)21世紀(jì)初期至今多層神經(jīng)網(wǎng)絡(luò)模型

自主學(xué)習(xí)未來(lái)發(fā)展方向基于大規(guī)模數(shù)據(jù)識(shí)別、預(yù)測(cè)、學(xué)習(xí)、決策理論發(fā)展 硬件奠基算法展 核心硬件展，法突破 算力、數(shù)、算全面破始于1950s始于1950s，讓計(jì)算機(jī)感知和理解現(xiàn)實(shí)世界，興盛于計(jì)算機(jī)硬件發(fā)展與大數(shù)據(jù)出現(xiàn)。感知式AI分析式AI始于1960s，利用邏輯推理等方法進(jìn)行分析和解決；興盛于機(jī)器學(xué)習(xí)、數(shù)字挖掘技術(shù)興起。決策式AI始于1970s，分析之后，進(jìn)行智能決策；近年來(lái)才開(kāi)始真正興盛。始于1980s，起源于分析式2022年迎來(lái)突破。生成式AI生成式生成各種數(shù)據(jù)、圖像、語(yǔ)音等內(nèi)容后，決策式對(duì)生成內(nèi)容進(jìn)行分析和決策，實(shí)現(xiàn)更加全面和智能的應(yīng)用。文本識(shí)別、語(yǔ)音識(shí)別、圖像識(shí)別等。自然語(yǔ)言生成、圖像生成、音樂(lè)生成等。運(yùn)營(yíng)營(yíng)銷(xiāo)決策、金融風(fēng)險(xiǎn)評(píng)估、醫(yī)療診斷等。弱人工智能階段ANI強(qiáng)人工智能階段AGI超人工智能階段ASIAIGCAIGC發(fā)展歷程：文本、代碼生成技術(shù)較成熟，圖片、視頻生成值得期待PAGE25PAGE25受限于科技水平，AIGC僅限于小范圍實(shí)驗(yàn)1950s~1990s早期萌芽階段

AIGC從實(shí)驗(yàn)性轉(zhuǎn)向?qū)嵱眯裕芟抻谒惴ㄆ款i，無(wú)法直接進(jìn)行內(nèi)容生成1990s~2010s沉淀積累階段

深度學(xué)習(xí)算法不斷迭代效果逐漸逼真2010s至今快速發(fā)展階段1950年，艾倫·圖靈提出著名的“圖靈測(cè)試”，給出判定機(jī)器是否具有“智能”的試驗(yàn)方法2007年，世界第一部完全由人工智能創(chuàng)作的小說(shuō)《ITheRoad》問(wèn)世2014年，IanJ.Goodfellow提出生成式對(duì)抗網(wǎng)絡(luò)GAN2018年，人工智能生成的畫(huà)作在佳士得拍賣(mài)行得以43.25萬(wàn)美元成交，成為首個(gè)出售的人工智能藝術(shù)品1957年，第一支由計(jì)算機(jī)創(chuàng)作的弦樂(lè)四重奏《依利亞克組曲》完成2012年，微軟展示全自動(dòng)同聲傳譯系統(tǒng)，可將英文演講內(nèi)容自動(dòng)翻譯為中文語(yǔ)音2017年，微軟“小冰”提出世界首部100%由人工智能創(chuàng)作的詩(shī)集《陽(yáng)光失了玻璃窗》2019年，DeepMind發(fā)布DVD-GAN模型用以生成連續(xù)視頻1966年，世界第一款可人機(jī)對(duì)話(huà)的機(jī)器人“Eliza”問(wèn)世2018年，英偉達(dá)發(fā)布StyleGAN模型可以自動(dòng)生成高質(zhì)量圖片2021年，OpenAI提出了DALL-E，主要用于文本與圖像交互生成內(nèi)容2020年前202020222025E2030E2050E文本生成垃圾郵件識(shí)別翻譯基礎(chǔ)問(wèn)答基礎(chǔ)文案寫(xiě)作草稿撰寫(xiě)長(zhǎng)文本寫(xiě)作專(zhuān)業(yè)文本寫(xiě)作（如科研、金融、醫(yī)療）終稿寫(xiě)作均水平終稿寫(xiě)作業(yè)人士代碼生成單行代碼生成多行代碼生成長(zhǎng)代碼寫(xiě)作準(zhǔn)確率提升支持更多代碼語(yǔ)言支持更多垂直行業(yè)輸入文本即可自動(dòng)生成產(chǎn)品原型輸入文本即可自動(dòng)生成最終產(chǎn)品圖片生成藝術(shù)生成Logo生成照片編輯與合成建筑原型設(shè)計(jì)建筑最終設(shè)計(jì)定稿專(zhuān)業(yè)設(shè)計(jì)師、專(zhuān)業(yè)攝影師視頻/3D生成視頻初稿視頻初稿與修改機(jī)器人游戲AI個(gè)性化的游戲內(nèi)容創(chuàng)作模式進(jìn)化：去中心化內(nèi)容創(chuàng)作模式進(jìn)化：去中心化↑連接數(shù)量↑創(chuàng)作速度↑創(chuàng)作規(guī)?！黀AGE26PAGE26創(chuàng)作主體現(xiàn)在 平臺(tái)用戶(hù) 創(chuàng)作主體現(xiàn)在 平臺(tái)用戶(hù) 戶(hù)+AI 未來(lái) AI 專(zhuān)業(yè)機(jī)構(gòu)生產(chǎn)關(guān)系內(nèi)容消費(fèi)者內(nèi)容消費(fèi)者內(nèi)容創(chuàng)作者內(nèi)容消費(fèi)者內(nèi)容消費(fèi)者內(nèi)容消費(fèi)者內(nèi)容共創(chuàng)者內(nèi)容共創(chuàng)者內(nèi)容共創(chuàng)者內(nèi)容共創(chuàng)者內(nèi)容共創(chuàng)者內(nèi)容共創(chuàng)者內(nèi)容消費(fèi)者創(chuàng)作過(guò)程溝通 加工創(chuàng)意 設(shè)備 渲染鏡頭所見(jiàn) 拍攝 演繹創(chuàng)意鏡頭所想創(chuàng)作規(guī)模內(nèi)容創(chuàng)作模式進(jìn)化：從供給轉(zhuǎn)變?yōu)樾枨髮?dǎo)向，從單次轉(zhuǎn)變?yōu)槎啻紊a(chǎn)內(nèi)容創(chuàng)作模式進(jìn)化：從供給轉(zhuǎn)變?yōu)樾枨髮?dǎo)向，從單次轉(zhuǎn)變?yōu)槎啻紊a(chǎn)PAGE27PAGE27供給導(dǎo)向的真實(shí)世界→需求導(dǎo)向的虛擬世界供給導(dǎo)向的真實(shí)世界→需求導(dǎo)向的虛擬世界供給導(dǎo)向：真實(shí)世界信息的“數(shù)字化”+創(chuàng)意“數(shù)字化”真實(shí)世界虛擬世界需求導(dǎo)向：虛擬世界數(shù)字信息的傳遞原生的現(xiàn)實(shí)化的數(shù)字化的原生的虛擬世界穿著書(shū)籍社交/社區(qū)電子游戲飲食桌游電商/交易影視/動(dòng)畫(huà)出行手辦流媒體/媒體設(shè)計(jì)/特效住宿Cosplay協(xié)作/辦公訓(xùn)練/模擬形產(chǎn)品利用虛擬資源生產(chǎn)和消耗虛擬產(chǎn)品低效率的單次生產(chǎn)→高效率的多次生產(chǎn)角色形象生成生產(chǎn)文字驅(qū)動(dòng)視頻生成3D姿態(tài)建模物體生成音頻驅(qū)動(dòng)視頻生成動(dòng)作生成場(chǎng)景創(chuàng)作表情驅(qū)動(dòng)再生產(chǎn)嘴型同步AI換裝圖片視頻形象遷移姿態(tài)轉(zhuǎn)移場(chǎng)景二次創(chuàng)作人臉屬性編輯階段一圍繞人臉的生成階段二圍繞人體的生成階段三內(nèi)容創(chuàng)作模式對(duì)比：內(nèi)容創(chuàng)作模式對(duì)比：AIGC實(shí)現(xiàn)內(nèi)容創(chuàng)作呈高質(zhì)量、大數(shù)量、低成本趨勢(shì)PGCUGC模式受到規(guī)模、質(zhì)量和成本的制約，而AIGCPGCUGC場(chǎng)景下的主要內(nèi)容生成模式，從而為元宇宙建設(shè)提供內(nèi)容支撐。 內(nèi)容生成的數(shù)量 內(nèi)容生成的質(zhì)量 數(shù)量 PGC UGC AIGC

PGC UGC AIGC隨著算法與模型不斷優(yōu)化，AIGC生成內(nèi)容的質(zhì)量將會(huì)逐漸超過(guò)UGC與隨著算法與模型不斷優(yōu)化，AIGC生成內(nèi)容的質(zhì)量將會(huì)逐漸超過(guò)UGC與PGCPGC生產(chǎn)者的專(zhuān)業(yè)性保證了內(nèi)容質(zhì)量UGC模式下內(nèi)容生產(chǎn)質(zhì)量良莠不齊在算力與算法支撐下，在算力與算法支撐下，AIGC內(nèi)容生成規(guī)模所受到的限制遠(yuǎn)低于PGC與UGC，AIGC可以在極短時(shí)間內(nèi)生成大量?jī)?nèi)容用戶(hù)成為內(nèi)容創(chuàng)作的主角內(nèi)容生產(chǎn)來(lái)源于專(zhuān)業(yè)組織或個(gè)人，內(nèi)容規(guī)模有限Web1.0 Web2.0 Web3.0 階段 Web1.0 Web2.0 Web3.0 階段 內(nèi)容生成的總成本 內(nèi)容生成的單位成本 PGC UGC AIGC PGC UGC AIGC總成本

成本支出隨著內(nèi)容規(guī)模的增加而同比增長(zhǎng)，但總成本增長(zhǎng)速度PCG>UGC>AIGC

單位成本

AIGC模式具有顯著的規(guī)模遞減優(yōu)勢(shì)，28其成本支出主要在于模型算法開(kāi)發(fā)與硬件等固定成本領(lǐng)域，所以在元宇宙場(chǎng)景下，AIGC生成內(nèi)容規(guī)模越大，其單位內(nèi)容生成的邊際成本將會(huì)逐漸下降且無(wú)限逼近于零PGC與UGC模式下單位內(nèi)容生產(chǎn)成本下降幅度有限28其成本支出主要在于模型算法開(kāi)發(fā)與硬件等固定成本領(lǐng)域，所以在元宇宙場(chǎng)景下，AIGC生成內(nèi)容規(guī)模越大，其單位內(nèi)容生成的邊際成本將會(huì)逐漸下降且無(wú)限逼近于零PGC與UGC模式下單位內(nèi)容生產(chǎn)成本下降幅度有限AIGCAIGC演進(jìn)趨勢(shì)：輔助生產(chǎn)自動(dòng)化獨(dú)立創(chuàng)作PAGE29PAGE29隨著人工智能算法的進(jìn)步和算力的提升，AIGCPGCUGC滿(mǎn)足未來(lái)消費(fèi)者對(duì)內(nèi)容數(shù)量及質(zhì)量的雙重剛性需求。分級(jí)0級(jí)1級(jí)2級(jí)3級(jí)4級(jí)5級(jí)發(fā)展趨勢(shì)生產(chǎn)模式生產(chǎn)人生產(chǎn)內(nèi)容機(jī)器輔助審核機(jī)器輔助加工機(jī)器有條件自動(dòng)生產(chǎn)內(nèi)容機(jī)器高度自動(dòng)生產(chǎn)內(nèi)容機(jī)器完全自動(dòng)生產(chǎn)內(nèi)容AI滲透率↑采集生產(chǎn)人生產(chǎn)人生產(chǎn)人生產(chǎn)人和機(jī)器生產(chǎn)人和機(jī)器機(jī)器AI滲透率↑生產(chǎn)主體加工生產(chǎn)人生產(chǎn)人生產(chǎn)人和機(jī)器生產(chǎn)人和機(jī)器機(jī)器機(jī)器AI滲透率↑審核生產(chǎn)人生產(chǎn)人和機(jī)器生產(chǎn)人和機(jī)器機(jī)器機(jī)器機(jī)器AI滲透率↑采集受限受限受限部分受限部分受限不受限生產(chǎn)力↑生產(chǎn)力限制加工受限受限部分受限部分受限不受限不受限生產(chǎn)力↑審核受限部分受限部分受限不受限不受限不受限生產(chǎn)力↑技術(shù)要求檢索、權(quán)限設(shè)置字規(guī)范性核查，人物機(jī)構(gòu)/地域等實(shí)體屬性核查等自動(dòng)標(biāo)題、自動(dòng)摘要、智能字幕、文本生成抓取線(xiàn)上數(shù)據(jù)采集素材的規(guī)范性與準(zhǔn)確性審核備進(jìn)行數(shù)據(jù)采集支持可移動(dòng)設(shè)備自動(dòng)進(jìn)行數(shù)據(jù)采集斷是否需要進(jìn)一步采集動(dòng)生成內(nèi)容技術(shù)能力↑PAGE30PAGE30二、技術(shù)篇：算力是支撐，數(shù)據(jù)是核心，算法逐步迎來(lái)突破二、技術(shù)篇：算力是支撐，數(shù)據(jù)是核心，算法逐步迎來(lái)突破機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)分為訓(xùn)練和推理，數(shù)據(jù)決定上限，算法逼近上限機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)分為訓(xùn)練和推理，數(shù)據(jù)決定上限，算法逼近上限PAGE31PAGE31批處理部署容器化部署批處理部署容器化部署包括數(shù)據(jù)收集、預(yù)處理、存儲(chǔ)；數(shù)據(jù)的質(zhì)量和梳理對(duì)算法效果至關(guān)重要；也是機(jī)器學(xué)習(xí)的瓶頸之一。從原始數(shù)據(jù)提取有代表性、可解釋的特征。無(wú)監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)根據(jù)分類(lèi)、回歸、聚類(lèi)等各種問(wèn)題有相應(yīng)評(píng)估指標(biāo)。自己寫(xiě)代碼實(shí)現(xiàn)模型或使用現(xiàn)成的框架。網(wǎng)格搜索、隨機(jī)搜索、貝葉斯優(yōu)化、梯度優(yōu)化、集成方法等選取最優(yōu)參數(shù)組合，提高模型性能。API部署邊緣部署包括數(shù)據(jù)收集、預(yù)處理、存儲(chǔ)；數(shù)據(jù)的質(zhì)量和梳理對(duì)算法效果至關(guān)重要；也是機(jī)器學(xué)習(xí)的瓶頸之一。從原始數(shù)據(jù)提取有代表性、可解釋的特征。無(wú)監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)根據(jù)分類(lèi)、回歸、聚類(lèi)等各種問(wèn)題有相應(yīng)評(píng)估指標(biāo)。自己寫(xiě)代碼實(shí)現(xiàn)模型或使用現(xiàn)成的框架。網(wǎng)格搜索、隨機(jī)搜索、貝葉斯優(yōu)化、梯度優(yōu)化、集成方法等選取最優(yōu)參數(shù)組合，提高模型性能。API部署邊緣部署模型封裝后，導(dǎo)入生產(chǎn)環(huán)境進(jìn)行推理。部署訓(xùn)練 收集數(shù)據(jù)訓(xùn)練收集數(shù)據(jù)數(shù)據(jù)準(zhǔn)備特征工程模型選擇模型訓(xùn)練模型評(píng)估模型調(diào)優(yōu)模型部署和應(yīng)用推理數(shù)據(jù)預(yù)處理推理數(shù)據(jù)預(yù)處理模型加載輸入轉(zhuǎn)換模型推理輸出轉(zhuǎn)換結(jié)果后處理結(jié)果展示深度學(xué)習(xí)框架開(kāi)發(fā)者發(fā)布/開(kāi)源時(shí)間GitHubStar功能特點(diǎn)受眾TensorFlowGoogle2015.11172k端到端開(kāi)源機(jī)器學(xué)習(xí)平臺(tái)，擁有全面而靈活的生態(tài)系統(tǒng)，其中包含各種工具、庫(kù)和社區(qū)資源，包括自定義、分布式訓(xùn)練、圖像、文本、音頻、結(jié)構(gòu)化數(shù)據(jù)、生成式、模型理解、強(qiáng)化學(xué)習(xí)、tfEstimator等。是工業(yè)型框架，自成立以來(lái)一直是面向部署的應(yīng)用程序的首選框架，Serving和Lite可讓用IoT備上進(jìn)行部署。谷歌、英特爾、ARM、GE醫(yī)療、PayPal、推特、聯(lián)想、中國(guó)移動(dòng)、WPS等。PytorchMeta2016.963.6k基于的Python計(jì)算機(jī)視覺(jué)模型、自然語(yǔ)言處理模型（聊天機(jī)器人，文本生成）1.具有強(qiáng)大的GPU加速的張量計(jì)算（如Numpy）2.包含自動(dòng)求導(dǎo)系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)。不僅能夠?qū)崿F(xiàn)強(qiáng)大的GPU加速，同時(shí)還支持動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)，這一點(diǎn)是現(xiàn)在很多主流框架如TensorFlow都不支持的；簡(jiǎn)單易用可以實(shí)現(xiàn)快速驗(yàn)證，因此科研人員更為偏愛(ài)，各大期刊發(fā)表論文約80%使用Pytorch。Meta、Amazon、Salesforce、StanfordUniversity等。PaddlePaddle百度2016.819.8k集深度學(xué)習(xí)核心框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件、型庫(kù)、模型預(yù)訓(xùn)練/壓縮工具及部署框架和引擎。等，服務(wù)406萬(wàn)開(kāi)發(fā)者。英特爾、英偉達(dá)、浪潮、華為、寒武紀(jì)比特大陸、深交所、千千音樂(lè)等。數(shù)據(jù)：機(jī)器學(xué)習(xí)的核心，也是機(jī)器學(xué)習(xí)的瓶頸數(shù)據(jù)：機(jī)器學(xué)習(xí)的核心，也是機(jī)器學(xué)習(xí)的瓶頸PAGE32PAGE32數(shù)據(jù)決定了機(jī)器學(xué)習(xí)算法的性能、泛化能力、應(yīng)用效果；數(shù)據(jù)獲取、標(biāo)注、清洗、存儲(chǔ)也是機(jī)器學(xué)習(xí)瓶頸之一。步驟定義成本占比特點(diǎn)展望數(shù)據(jù)通過(guò)爬蟲(chóng)、API接口、數(shù)據(jù)采購(gòu)等方式，從不同的數(shù)據(jù)源中獲取數(shù)據(jù)，例如文本、圖像、視頻、音頻等。30%主要來(lái)源：1）（API接口等）；2）（訪(fǎng)談等）；3）4）5）隨著AI商用化提速加碼，數(shù)據(jù)反哺，可用數(shù)據(jù)將越來(lái)越多，數(shù)據(jù)獲取邊際成本將逐步降低。數(shù)據(jù)（。1）3）專(zhuān)業(yè)領(lǐng)域、圖像等復(fù)雜數(shù)據(jù)基本仍需人工標(biāo)注。無(wú)監(jiān)督學(xué)習(xí)逐漸流行，自動(dòng)化程度逐步升高，對(duì)于簡(jiǎn)單數(shù)據(jù)集標(biāo)注需求下降；但專(zhuān)業(yè)領(lǐng)域和復(fù)雜數(shù)據(jù)集仍需要人工標(biāo)注，且人工單位成本更高；隨著人工智能快速發(fā)展，智能化程度的提升，數(shù)據(jù)標(biāo)注全面自動(dòng)化也是有可能的。40%-50%數(shù)據(jù)清洗根據(jù)數(shù)據(jù)類(lèi)型和需求，進(jìn)行缺失值處理、異常值處理、噪聲處理、重復(fù)數(shù)據(jù)處理、數(shù)據(jù)格式轉(zhuǎn)換等。減少錯(cuò)誤和不準(zhǔn)確數(shù)據(jù)對(duì)模型的干擾，提高模型準(zhǔn)確性和可靠性。目前數(shù)據(jù)清洗仍以手動(dòng)為主，但在某些數(shù)據(jù)較為標(biāo)準(zhǔn)化的場(chǎng)景中（如日志數(shù)據(jù)、網(wǎng)絡(luò)流量分析），一般可以通過(guò)編寫(xiě)自動(dòng)化的腳本或者使用一些現(xiàn)成的工具來(lái)實(shí)現(xiàn)，以去除無(wú)效或者重復(fù)的數(shù)據(jù)；隨著人工智能快速發(fā)展，智能化程度的提升，數(shù)據(jù)清洗全面自動(dòng)化也是有可能的。20%-30%數(shù)據(jù)存儲(chǔ)將機(jī)器學(xué)習(xí)算法需要用到的數(shù)據(jù)保存到磁盤(pán)或內(nèi)存中，以便后續(xù)的訓(xùn)練、測(cè)試和預(yù)測(cè)。數(shù)據(jù)分為訓(xùn)練集（約60%）、驗(yàn)證集（約20%）、測(cè)試集（約20%）；需要選擇合適的數(shù)據(jù)格式存儲(chǔ)，不同格式會(huì)影響讀取速度、空間占比等；大規(guī)模數(shù)據(jù)集需要進(jìn)行分割后存儲(chǔ)。需要選擇合適的數(shù)據(jù)格式存儲(chǔ)，不同格式會(huì)影響讀取速度、空間占比等；大規(guī)模數(shù)據(jù)集需要進(jìn)行分割后存儲(chǔ)。算力：隨著模型參數(shù)量的提升，算力需求顯著增加算力：隨著模型參數(shù)量的提升，算力需求顯著增加大模型的參數(shù)量整體呈上升趨勢(shì) 訓(xùn)練大模型的算力消耗上升，且增速變快算力消耗每2個(gè)月翻倍算力消耗每3.4個(gè)月翻倍算力消耗每24個(gè)月翻倍（摩爾定律）←Pre-GPU計(jì)算

→GPU計(jì)算33AIGCAIGC：生產(chǎn)力的革命PAGE34PAGE34類(lèi)型任務(wù)應(yīng)用算法類(lèi)型任務(wù)應(yīng)用算法文本生成交互文本：閑聊機(jī)器人、文本交互游戲；非交互文本：結(jié)構(gòu)化/非結(jié)構(gòu)化、輔助性寫(xiě)作。生成式對(duì)抗網(wǎng)絡(luò)（GAN）2014年提出，由生成器網(wǎng)絡(luò)（Generator）和判別器網(wǎng)絡(luò)文本生成交互文本：閑聊機(jī)器人、文本交互游戲；非交互文本：結(jié)構(gòu)化/非結(jié)構(gòu)化、輔助性寫(xiě)作。生成式對(duì)抗網(wǎng)絡(luò)（GAN）2014年提出，由生成器網(wǎng)絡(luò)（Generator）和判別器網(wǎng)絡(luò)（Discriminator）組成，相互博弈、對(duì)抗，不斷提高生成樣本真實(shí)性和判別器準(zhǔn)確性。優(yōu)點(diǎn)：生成樣本質(zhì)量高，無(wú)需大量數(shù)據(jù)標(biāo)注，適用于多種數(shù)據(jù)類(lèi)型，可用于數(shù)據(jù)增強(qiáng)。缺點(diǎn)：訓(xùn)練不穩(wěn)定、容易崩潰，生成樣本難控制，需要大量計(jì)算資源，容易過(guò)擬合。音頻生成 音頻生成Deepmusic、AIVA、Landr、IBMWatsonMusic、Magenta、網(wǎng)易-有靈智能創(chuàng)作平臺(tái)等。圖像生成圖像編輯/圖像生成圖像編輯/修復(fù)、風(fēng)格轉(zhuǎn)化、圖像生成（AI繪畫(huà)）等。GLIDE、DiscoDiffusion、BigSleep、StarryAl、VOMBODream、百度文心ERNIE-VLG等。視頻生成視頻編輯（AI換臉、特效、刪除特定主體、跟蹤剪輯等）、自動(dòng)剪輯等。視頻生成視頻編輯（AI換臉、特效、刪除特定主體、跟蹤剪輯等）、自動(dòng)剪輯等。Gliacloud、Pencil、VideoGPT、百度智能視頻合成平臺(tái)VidPress、慧川智能等。多模態(tài)預(yù)訓(xùn)練模型3D生成2019年提出，多模態(tài)數(shù)據(jù)預(yù)訓(xùn)練，實(shí)現(xiàn)多種模態(tài)數(shù)據(jù)的聯(lián)合表示。優(yōu)點(diǎn)：泛化能力、數(shù)據(jù)利用率、模型魯棒性和可遷移性高。缺點(diǎn)：數(shù)據(jù)、算力需求大，特定任務(wù)需調(diào)參。目前主要是基于圖像、文本生成3D建模；AR3D生成2019年提出，多模態(tài)數(shù)據(jù)預(yù)訓(xùn)練，實(shí)現(xiàn)多種模態(tài)數(shù)據(jù)的聯(lián)合表示。優(yōu)點(diǎn)：泛化能力、數(shù)據(jù)利用率、模型魯棒性和可遷移性高。缺點(diǎn)：數(shù)據(jù)、算力需求大，特定任務(wù)需調(diào)參。VR；3D打印等。數(shù)字人生成視頻生成、實(shí)時(shí)交互騰訊、網(wǎng)易、影譜科技、硅基智能、倒映有聲等。擴(kuò)散模型（數(shù)字人生成視頻生成、實(shí)時(shí)交互騰訊、網(wǎng)易、影譜科技、硅基智能、倒映有聲等。擴(kuò)散模型（Diffusion）代碼生成代碼補(bǔ)全、自動(dòng)注釋、根據(jù)上下文/注釋自動(dòng)生成代碼等。游戲生成NPC策略生成：對(duì)戰(zhàn)策略等。Codex、、代碼生成代碼補(bǔ)全、自動(dòng)注釋、根據(jù)上下文/注釋自動(dòng)生成代碼等。游戲生成NPC策略生成：對(duì)戰(zhàn)策略等。等?？缒B(tài)生成目前主要是文本生成圖像、視頻，根據(jù)圖像視頻生成文本等；未來(lái)將有更多跨模態(tài)應(yīng)用?？缒B(tài)生成目前主要是文本生成圖像、視頻，根據(jù)圖像視頻生成文本等；未來(lái)將有更多跨模態(tài)應(yīng)用。

2021年提出，相較于GAN，是圖像生成領(lǐng)域的一大進(jìn)步，不需要明確地計(jì)算數(shù)據(jù)的先驗(yàn)概率分布。通 rctAI、超參數(shù)、騰訊 rctAI、超參數(shù)、騰訊AILab、網(wǎng)易伏羲等。ChatGPT4、百度文心、阿里M6等。缺點(diǎn)：數(shù)據(jù)、算力需求大，過(guò)程復(fù)雜，模型魯棒性低。 AIGCAIGC模型：參數(shù)量持續(xù)提升、開(kāi)源模型逐漸豐富PAGE35PAGE35參數(shù)量

谷歌PaLM(540B)

國(guó)內(nèi)企業(yè)非開(kāi)源模型 開(kāi)源模型國(guó)內(nèi)企業(yè)Goper(280B)

谷歌LaMDA(280B)百度百度Ernie3.0Titan(260B)GPT-3(175B)

NAVERLABSHyperCLOVA(204B)華為華為盤(pán)古(200B)GPT-j(6B)

A121LabsJurassic-1(204B)谷歌FLAN(137B)

InspurYuan1.0(246B)MegatronTuring-NLG(137B)

BigScienceBLOOM(176B)Meta清華大學(xué)GLM(130B)清華大學(xué)GLM(130B)2020 2021 2022 時(shí)間2010-2015小模型階段小模型（smallmodels）占主導(dǎo)地位，小模型擅于分析任務(wù)，可以用于交貨時(shí)間預(yù)測(cè)、欺詐分類(lèi)等工作。但是表達(dá)能力不夠，無(wú)法生成人類(lèi)級(jí)別的寫(xiě)作。

2015-2021規(guī)模競(jìng)賽階段GoogleResearch的一篇里程碑式的論文提出了一種新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以生成高質(zhì)量的語(yǔ)言模型，需要的訓(xùn)練時(shí)間更少，而且可以相對(duì)容易地針對(duì)特定領(lǐng)域進(jìn)行定制。

2022之后更好、更快和更便宜算力變得更便宜，新技術(shù)降低了訓(xùn)練和運(yùn)行所需的成本。開(kāi)發(fā)人員的NLPNLP算法：迎來(lái)突破，但算力、數(shù)據(jù)需求過(guò)高等問(wèn)題待解決PAGE36PAGE36循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）1990s興起，可處理任一長(zhǎng)度輸入序列，同時(shí)具有記憶功能；但容易出現(xiàn)梯度消失或梯度爆炸。長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）1997年提出，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）1990s興起，可處理任一長(zhǎng)度輸入序列，同時(shí)具有記憶功能；但容易出現(xiàn)梯度消失或梯度爆炸。長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）1997年提出，RNN的變體，控制信息的流動(dòng)，并引入記憶單元，解決了梯度消失問(wèn)題，可處理更長(zhǎng)序列。門(mén)控循環(huán)單元（GRU）2014年提出，LSTM的簡(jiǎn)化和改進(jìn)，相對(duì)LSTM處理長(zhǎng)序列能力略遜一籌，但參數(shù)較少，訓(xùn)練速度更快。卷積神經(jīng)網(wǎng)絡(luò)（CNN）1998年正式提出，具備參數(shù)共享和平移不變性，因此可以有效處理具有局部相關(guān)性的數(shù)據(jù)，可以處理文本分類(lèi)和匹配任務(wù)；但不擅長(zhǎng)捕捉序列中的長(zhǎng)期依賴(lài)關(guān)系，需要結(jié)合CNN或自注意力機(jī)制。???詞性標(biāo)注文本預(yù)測(cè)文本分類(lèi)對(duì)話(huà)系統(tǒng)問(wèn)答系統(tǒng)情感分析2017年由谷歌提出；自注意力機(jī)制+注意力機(jī)制+經(jīng)網(wǎng)絡(luò)；適用NLP、CV、領(lǐng)域；可并行計(jì)算，更長(zhǎng)的依賴(lài)關(guān)系，更好的泛目前主要問(wèn)題模型參數(shù)量大，計(jì)算和存儲(chǔ)成本高；所需數(shù)據(jù)量較大；模型復(fù)雜，可解釋性問(wèn)題；語(yǔ)言多樣性問(wèn)題；目前主要是無(wú)監(jiān)督學(xué)習(xí)，因此對(duì)于文本處理和理解還不夠智能；數(shù)據(jù)隱私、版權(quán)等問(wèn)題。發(fā)展性多模態(tài)融合，多語(yǔ)言處理，真正的理解和推模型發(fā)布時(shí)間發(fā)布者特點(diǎn)GPT2018OpenAI單向自回歸方式來(lái)預(yù)訓(xùn)練模型，可以生成連貫的文本，但可能存在信息丟失的問(wèn)題BERT2018谷歌雙向訓(xùn)練架構(gòu)，從而可以適應(yīng)各種下游任務(wù)，但需要更多的文本數(shù)據(jù)和訓(xùn)練資源。RoBERTa2019MetaBERT的改進(jìn)，去掉了下一句預(yù)測(cè)任務(wù)，更大規(guī)模的數(shù)據(jù)集和動(dòng)態(tài)掩碼，較BERT升模型魯棒性和泛化能力，但訓(xùn)練和推理的計(jì)算成本更高，訓(xùn)練時(shí)間更長(zhǎng)，訓(xùn)練數(shù)據(jù)要更多。XLNet2019CMU、谷歌BERT的改進(jìn)，自回歸+自編碼訓(xùn)練，較BERT具有更好的建模能力、更強(qiáng)泛化能力，但需要更多的訓(xùn)練數(shù)據(jù)和更高的計(jì)算成本。T52019谷歌NLP任務(wù)，但需要大量計(jì)算資源和時(shí)間，在某些任務(wù)上的性能略遜于特定領(lǐng)域模型。SwitchTransformer2021谷歌1.6萬(wàn)億參數(shù)（2021.1），目前參數(shù)量最大的NLP模型；基于T5模型，采用創(chuàng)新的簡(jiǎn)化稀疏路由機(jī)制，相較傳統(tǒng)自回歸模型，在效率、可擴(kuò)展性和生成質(zhì)量等都具備較大優(yōu)勢(shì)，但需要更大的模型和更多的訓(xùn)練數(shù)據(jù)。異質(zhì)圖神經(jīng)網(wǎng)絡(luò)（HGNN）異質(zhì)圖神經(jīng)網(wǎng)絡(luò)（HGNN）近年來(lái)逐步發(fā)展，基于GNN，引入異質(zhì)性注意力機(jī)制，捕捉不同類(lèi)型的節(jié)點(diǎn)和邊之間的關(guān)系，可以處理具有異質(zhì)性的文本數(shù)據(jù)。文本分類(lèi)情感分析問(wèn)答任務(wù)自注意力機(jī)制（Self-Attention）Transformer自注意力機(jī)制（Self-Attention）Transformer架構(gòu)2017年提出，相比傳統(tǒng)的RNN、CNN，可以處理變長(zhǎng)的序列輸入，不需要將序列進(jìn)行填充或截?cái)?；可以自適應(yīng)地學(xué)習(xí)不同位置的重要性，從而更好地捕捉文本中的重要信息；可以并行計(jì)算，因此可以加速模型的訓(xùn)練和推斷過(guò)程。???語(yǔ)言建模句子相似度計(jì)算機(jī)器翻譯NLPNLP算法：Transformer開(kāi)辟NLP新路徑，架構(gòu)優(yōu)化促成衍生模型Transformer模型——特征提取器2017年6月，Google發(fā)布論文《Attentionisallyouneed》，提出了解決seq2seq（sequencetosequence）問(wèn)題的Transformer模型。該模型引入自注意力機(jī)制（Self-Attention）代替了長(zhǎng)短期記憶網(wǎng)絡(luò)模型（LSTM），拋棄了之前在Encoder-Decoder模式下必須結(jié)合CNN或RNN的傳統(tǒng)模式。Self-Attention（自注意力機(jī)制）：例：翻譯Theanimaldidn’tcrossthestreetbecauseitwastootired.三層多頭自注意力機(jī)制以前的模型在處理該句子時(shí)，無(wú)法像人類(lèi)一樣根據(jù)上下文判斷it指代animal還是而Self-Attention機(jī)制的引入使得模型不僅能夠關(guān)注當(dāng)前位置的詞，而且能夠關(guān)注句子中其他位置的詞，從而在翻譯時(shí)關(guān)聯(lián)it和animal，提高翻譯質(zhì)量。三層多頭自注意力機(jī)制點(diǎn)乘注意力機(jī)制 多頭注意力機(jī)制

Transformer架構(gòu)不斷優(yōu)化，對(duì)比神經(jīng)網(wǎng)絡(luò)模型優(yōu)勢(shì)顯著：Transformer的衍生模型仍在不斷優(yōu)化。研究者們正通過(guò)引入知識(shí)圖譜及知識(shí)庫(kù)、增加特定任務(wù)等方式不斷優(yōu)化Transformer的架構(gòu)。國(guó)際機(jī)器翻譯評(píng)價(jià)指標(biāo)采用BLEU（BilingualEvaluationUnderstudy）的測(cè)試方法。在英譯德測(cè)試中，TransformerBase/Big及三款Transformer的衍生模型的值顯著高于兩款基于RNN和CNN的模型，體現(xiàn)出Transformer模型優(yōu)異的值顯著高于RNN、CNN模型。Transformer與早期模型的機(jī)器翻譯BLEU值對(duì)比454035302520151050英譯德 英譯法編碼器 解碼器（Encoder） （Decoder）

ByteNet Deep-Att+PosUnk GNMT+RLConvS2S MoE Deep-Att+PosUnkGNMT+RLEnsemble ConvS2SEnsemble Transformer(base)Trasnformer(big)Transformer模型結(jié)構(gòu)37ChatGPTChatGPT：史上用戶(hù)數(shù)增長(zhǎng)最快，源于算法的突破、高質(zhì)量的數(shù)據(jù)庫(kù)PAGE3862019-2-142020-5-282022-1-272022-11-302023.3OpenAI宣布成立初期為非盈利研究公司性質(zhì)；啟動(dòng)資金10億美元。

GPT-1發(fā)布參數(shù)量1.17；BooksCorpus數(shù)據(jù)集作為語(yǔ)料庫(kù)，為1.3B；有監(jiān)督的微調(diào)。

GPT-2發(fā)布參數(shù)量15億；Tokens為15B；學(xué)習(xí)在無(wú)明確監(jiān)督情況下執(zhí)行多種任務(wù)。

GPT-3發(fā)布參數(shù)量1750；499B；結(jié)合少樣本學(xué)習(xí)及無(wú)監(jiān)督學(xué)習(xí)。

InstructGPT發(fā)布參數(shù)量13億；運(yùn)用RHLF，利用獎(jiǎng)勵(lì)模型訓(xùn)練學(xué)習(xí)模型；在遵循指令及輸出內(nèi)容等性能方面優(yōu)于。

ChatGPT發(fā)布基于預(yù)訓(xùn)練模型；截至2023年1月末，活躍用戶(hù)超過(guò)1億成為史上用戶(hù)增長(zhǎng)最快的應(yīng)用。

預(yù)計(jì)推出ChatGPT4預(yù)計(jì)為多模態(tài)大模型（語(yǔ)音、圖像、視頻）；新必應(yīng)已集成ChatGPT4。杰出的用戶(hù)體驗(yàn)

ChatGPT發(fā)布后市場(chǎng)反應(yīng)熱烈表象 主因 背后算法的突破 算力、數(shù)、人、資的投入ChatGPT功能點(diǎn)清晰；真正做到LLM（largelanguagemodel）（Unsupervisedpre-training）CoT(ChainofThought)思維鏈RLHF(ReinforcementLearningFromHumanFeedback)人類(lèi)反饋強(qiáng)化學(xué)習(xí)：ChatGPT能夠憑借強(qiáng)化學(xué)習(xí)的方式不斷優(yōu)化人類(lèi)反饋的語(yǔ)言模型。

算力、資金的投入：GPT3.5訓(xùn)練階段總算力消耗約3640PF-days，約使用10000個(gè)GPU+285000個(gè)CPU，OpenAI耗費(fèi)10億美元租用Azure；截止202301月,ChatGPT預(yù)計(jì)花費(fèi)公司1200萬(wàn)美元；數(shù)據(jù)：ChatGPT1訓(xùn)練數(shù)據(jù)來(lái)自公開(kāi)的電子書(shū)；ChatGPT2訓(xùn)練數(shù)據(jù)來(lái)自RedditChatGPT2訓(xùn)練數(shù)據(jù)來(lái)自82.2%預(yù)處理的CommonCrawl語(yǔ)料庫(kù)、13.5%的線(xiàn)上圖書(shū)（GPT1數(shù)據(jù)集及Bibliotik,）、3.8%Reddit。OpenAI創(chuàng)始人、技術(shù)團(tuán)隊(duì)：OpenAI人才，現(xiàn)有375名正式員工，OpenAI一年人員支出高達(dá)8931萬(wàn)美元，人均約為23.8萬(wàn)美元/年/人。ChatGPT-ChatGPT-算法：當(dāng)模型規(guī)模達(dá)到某個(gè)閾值時(shí)，模型出現(xiàn)涌現(xiàn)能力PAGE39PAGE39模型誤差算力消耗 PF-days訓(xùn)練數(shù)據(jù)規(guī)模模型誤差算力消耗 PF-days訓(xùn)練數(shù)據(jù)規(guī)模tokens參數(shù)量parameters2020年1月，OpenAl發(fā)表論文《ScalingLawsforNeuralLanguageModels》，探討模型效果與模型規(guī)模之間的關(guān)系。結(jié)論是：模型的表現(xiàn)與模型的規(guī)模之間服從PowerLaw，即隨著模型規(guī)模指數(shù)級(jí)上升，模型性能實(shí)現(xiàn)線(xiàn)性增長(zhǎng)。而在2022年8月，Google發(fā)表論文《EmergentAbilitiesofLargeLanguageModels》，重新探討了模型效果與模型規(guī)模之間的關(guān)系。結(jié)論是：當(dāng)模型規(guī)模達(dá)到某個(gè)閾值時(shí)，模型對(duì)某些問(wèn)題的處理性能突然呈現(xiàn)快速增長(zhǎng)。作者將這種現(xiàn)象稱(chēng)為EmergentAbilities，即涌現(xiàn)能力。數(shù)學(xué)運(yùn)算音標(biāo)標(biāo)注填字謎波斯語(yǔ)問(wèn)答準(zhǔn)確率 事實(shí)信息問(wèn)答 繪制地圖 多任務(wù)自然語(yǔ)言理解 上下文理解準(zhǔn)確率模型規(guī)模算法：采用RLHF學(xué)習(xí)機(jī)制，效果優(yōu)于的無(wú)監(jiān)督學(xué)習(xí)GPT-3采用無(wú)監(jiān)督學(xué)習(xí)機(jī)制，優(yōu)點(diǎn)在