ChatGPT 研究框架(2023版)課件

行業(yè)專題研究2023年02月07日ChatGPT研究框架(2023)摘要ChatGPT市場反應熱烈，國內外巨頭紛紛入場據(jù)統(tǒng)計，ChatGPT日活躍用戶數(shù)的增速遠超Instagram，1月份平均每天有超過1300萬名獨立訪問者使用ChatGPT，是去年12月份的

兩倍多；國內外科技巨頭都非常重視ChatGPT引發(fā)的科技浪潮，積極布局生成式AI，國內廠商(百度、騰訊等)也高度關注ChatGPT

，

積極探索前沿技術，相關深度應用也即將推出。ChatGPT經(jīng)歷多類技術路線演化，逐步成熟與完善ChatGPT所能實現(xiàn)的人類意圖，來自于機器學習、神經(jīng)網(wǎng)絡以及Transformer模型的多種技術模型積累。Transformer建模方法成熟

以后，使用一套統(tǒng)一的工具來開發(fā)各種模態(tài)的基礎模型這種理念得以成熟，隨后GPT-1、GPT-2、GPT-3模型持續(xù)演化升級，最終孵化出ChatGPT文本對話應用。AIGC跨模態(tài)產(chǎn)業(yè)生態(tài)逐步成熟，商用落地未來可期AIGC產(chǎn)業(yè)生態(tài)當前在文本、音頻、視頻等多模態(tài)交互功能上持續(xù)演化升級，奠定了多場景的商用基礎?？缒B(tài)生成技術也有望成為真正實現(xiàn)認知和決策智能的轉折點。ChatGPT乘東風，商業(yè)架構日益清晰隨著ChatGPT

Plus發(fā)布，商業(yè)化序幕已經(jīng)拉開。ChatGPT在傳媒、影視、營銷、娛樂以及數(shù)實共生助力產(chǎn)業(yè)升級等領域均可產(chǎn)生極大助益，提升生產(chǎn)力曲線，多維度賦能虛擬經(jīng)濟和實體經(jīng)濟。01020304ChatGPT——生成式AI迎來拐點，商用落地前景可期誠信·責任·親和·專業(yè)·創(chuàng)新

201市場概況：

ChatGPT——AI平民化里程碑02技術路徑：基于人類反饋系統(tǒng)，

ChatGPT助力跨模態(tài)AI生成應用03行業(yè)進程：

AIGC多模態(tài)交互功能持續(xù)演化，奠定多場景商用基礎03商業(yè)方向：多領域多功能應用密集落地，ChatGPT商用前景可期目錄/CONTENTSChatGPT——生成式AI迎來拐點，商用落地前景可期誠信·責任·親和·專業(yè)·創(chuàng)新

301市場概況：

ChatGPT——AI平

民化的里程碑ChatGPT——生成式AI迎來拐點，商用落地前景可期

4ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

OpenAI在成立之初便備受資本矚目，與微軟合作加速商業(yè)化進程

ChatGPT是由OpenAI

團隊研發(fā)創(chuàng)造，

OpenAI是由創(chuàng)業(yè)家埃隆·馬斯克、美國創(chuàng)業(yè)孵化器Y

Combinator總裁阿爾特曼、全球在線支付平臺PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等人于2015年在舊金山創(chuàng)立的一家非盈利的AI研究公司，擁有多位硅谷重量級人物的資

金支持，啟動資金高達10億美金；

OpenAI的創(chuàng)立目標是與其它機構合作進行AI的相關研究，并開放研究成果以促進AI技術的2019年3月2019年7月2020年6月2020年9月微軟向OpenAI投資了10億美金，并獲得了OpenAI技術的商業(yè)化授權。從此，

OpenAI的一些技術開始出現(xiàn)在微軟的產(chǎn)品和業(yè)務上OpenAI宣布從”非盈利“性質過度到”封頂盈利“性質，利潤上限為任何投資的100倍(創(chuàng)立了OpenAIOpenAI發(fā)布了OpenAIAPI

，這是OpenAI第一個商業(yè)化產(chǎn)品，

OpenAI正式開始了商業(yè)化運作LP公司)誠信·責任·親和·專業(yè)·創(chuàng)新OpenAI授權微軟使用GPT-3模型，微軟成為全球首個享用GPT-3能力的公司OpenAI發(fā)展的里程碑圖1：OpenAI發(fā)展勢頭強勁，商業(yè)化趨勢明顯資料來源：OpenAI官網(wǎng)，國泰君安證券研究發(fā)展5ChatGPT——生成式AI迎來拐點，商用落地前景可期OpenAI

的ChatGPT是生成式人工智能技術(

AIGC

)浪潮的一部分

誠信·責任·親和·專業(yè)·創(chuàng)新

6資料來源：中國信息通信研究院，國泰君安證券研究2014年，LanJ.Goodfellow提出生成式對抗網(wǎng)絡GAN2018年，英偉達發(fā)布StyleGAN模型用于自動生成高質量圖片2019年，DeepMind發(fā)布DVD-GAN模型用于生成連續(xù)性視頻1966年，世界第一款可人機對話機器人“Eliza”問世80年代中期，IBM創(chuàng)造語音控制打字機“Tangora”AIGC從實驗性向實用性轉變，受限于算法瓶頸，無法直接進行內容生成沉淀積累階段(20世紀90年代-21世紀10年代中期)深度學習算法不斷迭代，人工智能生成內容百花齊放1950年，艾倫·圖靈提出著名的“圖靈測試”，給出判斷機器是否具有“智能”的方法2007年，世界上

第一部完全由人工智能創(chuàng)作的小說《1TheRoad》問世2012年，微軟展示語全自動同聲傳譯系統(tǒng)，可將英文語音自動翻譯成中文語音2022年，OpenAI發(fā)布ChatGPT模型用于生成自然能語言文本受限于技術水平，AIGC僅限于小范圍實驗早期萌芽階段

(20世紀50年代-90年代中期)快速發(fā)展階段

(21世紀10年代中期-至今)圖2：隨著算法的不斷迭代，生成式人工智能技術(AIGC)不斷發(fā)展01人工智能總

體階段AIGC典型

事件AIGC發(fā)展

特點誠信·責任·親和·專業(yè)·創(chuàng)新資料來源：CSDN，國泰君安證券研究GPT-1(1.17億參數(shù))有一定的泛化能力，能夠用于和監(jiān)督任務無關的NLP任務中InstructGPTInstructGPT是一個經(jīng)過微調

的新版GPT-3，可以將有害

的、不真實的和有偏差的輸

出最小化2022.012022.12ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

ChatGPT是在GPT基礎上進一步開發(fā)的自然語言處理模型

GPT模型是一種自然語言處理(

NLP

)模型，使用多層變換器(Transformer)來預測下一個單詞的概率分布，通過訓練在大型文本語料庫上學習到的語言模式來生成自然語言文本

從

GPT-1

到

GPT-3

智能化程度不斷提升，

ChatGPT

的到來也是

GPT-4

正式推出之前的序章圖3：ChatGPT由GPT-1到InstructGPT模型的不斷成熟而逐步形成GPT-3(1750億參數(shù))GPT-3作為一個自監(jiān)督模型

，可以完成自然語言處理的絕大

部分任務：將網(wǎng)頁描述轉換為

相應代碼、模仿人類敘事、

創(chuàng)作定制詩歌、生成游戲劇本，甚至模仿已故的哲學家預測生

命的真諦除了理解能力外，GPT-2在生成方面表現(xiàn)出了

強大的天賦：閱讀摘要、聊天、續(xù)寫、編故事，甚至可以生成假新聞、釣魚郵件或在線進行角

色扮演ChatGPTChatGPT是InstructGPT

的

衍生產(chǎn)品，它將人類的反饋

納入訓練過程，更好地使模

型輸出與用戶意圖保持一致2019GPT-2(15億參數(shù))2018GPT-120207ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

ChatGPT發(fā)布后用戶數(shù)持續(xù)暴漲，市場影響力迅速提升

根據(jù)UBS發(fā)布的研究報告顯示，

ChatGPT在1月份的月活躍用戶數(shù)已達1億，成為史上用戶數(shù)增長最快的消費者應用

相比之下，TikTok花了九個月的時間月活躍用戶數(shù)才破億，而Instagram則花費了兩年半的時間，同時，根據(jù)Similar

Web的披露信息，Spotify在四年半后僅積累了1億月活躍用戶

根據(jù)Similar

Web的數(shù)據(jù)，

1月份平均每天有超過1300萬名獨立訪問者使用ChatGPT

，是去年12月份的兩倍多

誠信·責任·親和·專業(yè)·創(chuàng)新資料來源：UBS，SimilarWeb，ARKInvest，第一財經(jīng)，國泰君安證券研究資料來源：第一財經(jīng)，國泰君安證券研究

8圖5：對比各大熱門平臺月活躍用戶數(shù)破億所需時長，ChatGPT的成長速度驚人圖4：ChatGPT日活躍用戶數(shù)的增速遠超Instagram54個月42個月2個月54個月90個月9個月30個月誠信·責任·親和·專業(yè)·創(chuàng)新用藏文、俄羅斯語、韓語和日文說一句話用C++寫一段爬蟲代碼代碼閱讀理解和DebugChatGPT——生成式AI迎來拐點，商用落地前景可期

01

ChatGPT已能覆蓋較多能力域

由于ChatGPT包含了更多主題的數(shù)據(jù)，能夠處理更多小眾主題。ChatGPT能力范圍可以覆蓋回答問題、撰寫文章、文本摘要、語言翻譯和生成計算機代碼等任務。

圖6

：ChatGPT的使用案例如下所示

9用魯迅口吻寫一篇評價新冠疫情的散文用Python寫一段CCI量化投資策略資料來源：ChatGPT，國泰君安證券研究寫一篇信創(chuàng)產(chǎn)業(yè)的研究報告ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

ChatGPT具備諸多先進性特征

ChatGPT嵌入了人類反饋強化學習以及人工監(jiān)督微調，因而具備了理解上下文、連貫性等諸多先進特征，解鎖了海量應用場景

當前，ChatGPT所利用的數(shù)據(jù)集只截止到2021年。在對話中，ChatGPT會主動記憶先前的對話內容信息(上下文理解)，用來輔助假設性的問題的回復，因而ChatGPT也可實現(xiàn)連續(xù)對話，提升了交互模式下的用戶體驗。同時，ChatGPT也會屏蔽敏感信息，對于不能回答的內容也能給予相關ChatGPT人類意圖連續(xù)對話算法屏蔽

誠信·責任·親和·專業(yè)·創(chuàng)新

10資料來源：知乎，國泰君安證券研究

用戶意圖有效捕捉圖7：ChatGPT提升的核心點如下所示

連續(xù)對話能力

上下文理解承認不知道提升準確度敢于質疑建議。

1月18日，微軟宣布將于3月底前在全球裁員1萬人，約占公司員工總數(shù)的5% 1月23日，微軟宣布對ChatGPT創(chuàng)建者OpenAI進行第三輪投資，將向OpenAI進行為期多年、金額達數(shù)十億美元的投資，以加速其在人工智能領域的技術突破

此外，微軟還計劃在未來幾周內發(fā)布其Bing搜索引擎的GPT-4版本，預計該版本將比ChatGPT模型更快、更強大ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

科技巨頭不斷下注AI行業(yè)，

ChatGPT帶動新一輪AI發(fā)展浪潮

2023年初，微軟和谷歌均宣布裁員計劃，但都加大了在AI行業(yè)的投入圖8：科技巨頭紛紛加大ChatGPT相關投入

1月20日，谷歌母公司Alphabet宣布將裁員約1.2萬人，占公司員工總數(shù)的6%以上，同時公司CEO表示，公司將會進一步聚焦AI技術核心業(yè)務的研發(fā)投入 2月4日，谷歌注資3億美元投資ChatGPT競品——Anthropic，和Open

AI一樣，Anthropic也在開發(fā)生成式人工智能資料來源：UBS，《財富》，華爾街見聞，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新

11國外公司公司名稱相關布局谷歌面對ChatGPT構成的威脅，注資3億美元投資競品Anthropic微軟作為OpenAI的最大投資方，利用ChatGPT提高產(chǎn)品競爭力亞馬遜ChatGPT受到重點關注，已廣泛運用在各種工作職能中國內公司百度預計在3月份完成其ChatGPT產(chǎn)品——文心一言(ERNIE

Bot)的內測，并面向公眾開放騰訊目前已經(jīng)公布一項人機對話專利，能夠實現(xiàn)機器與用戶之間自然且順暢的溝通ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

國內外科技巨頭積極布局生成式AI

，部分公司已有成型產(chǎn)品

國內外科技巨頭都非常重視ChatGPT引發(fā)的科技浪潮，積極布局生成式AI表1：國內外科技公司積極布局生成式AI資料來源：各公司公告，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新

12ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

谷歌：面對ChatGPT構成的威脅，注資3億美元投資競品Anthropic

在ChatGPT發(fā)布后，谷歌CEO在公司內部發(fā)布了“紅色警報”

(Code

Red)

，敦促團隊解決ChatGPT對公司搜索引擎業(yè)務構成的威脅，同時批準了在谷歌搜索引擎中加入AI聊天機器人的計劃

2月4日，谷歌注資3億美元投資ChatGPT競品——Anthropic，谷歌將獲得約10%的股份，Anthropic計劃將次輪資金用于購買谷歌云計算部門的計算資源；Anthropic開發(fā)了一款名為Claude的智能聊天機器人，據(jù)稱可與ChatGPT相媲美(仍未發(fā)布)

Anthropic和Open

AI淵源頗深，其聯(lián)合創(chuàng)始人曾擔任OpenAI研究副總裁圖9：Anthropic的聯(lián)合創(chuàng)始人曾擔任OpenAI研究副總裁圖10：聊天機器人Claude據(jù)稱可與ChatGPT相媲美

誠信

·

責任

·

親和

·

專業(yè)

·

創(chuàng)新

資料來源：新浪財經(jīng)，國泰君安證券研究

13資料來源：騰訊新聞，國泰君安證券研究

微軟將ChatGPT視為新一代技術革命，將ChatGPT整合進Bing搜索引擎、

Office全家桶、

Azure云服務、

Teams程序等產(chǎn)品中

微軟近期宣布推出視頻會議及遠程協(xié)作平臺的高級付費版Microsoft

Teams

Premium，訂閱者可享用OpenAI

GPT提供支持的大型語言模型技術，用AI自動生成會議筆記，此舉或對Zoom、谷歌會議等平臺形成巨大沖擊。ChatGPT——生成式AI迎來拐點，商用落地前景可期微軟：

OpenAI的最大投資方，開始利用ChatGPT提高產(chǎn)品競爭力資料來源：微軟官網(wǎng)，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新資料來源：Windows

Central

，國泰君安證券研究

14圖11：Microsoft

Teams

Premium使用ChatGPT做筆記，使遠程協(xié)作更高效圖12：集成了ChatGPT的新版Bing曾短暫上線，搜索框類似一個聊天框01ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

亞馬遜：

ChatGPT受到重點關注，已廣泛運用在各種工作職能中

ChatGPT

已經(jīng)被亞馬遜用于各種不同的工作職能中，包括回答面試問題、編寫軟件代碼和創(chuàng)建培訓文檔等

公司內部員工在Slack表示，亞馬遜Amazon

Web

Services(AWS)云部門已經(jīng)成立了一個小型工作組，以更好地了解人工智能對其業(yè)務的影響。資料來源：Business

Insider

，新浪科技，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新圖13：ChatGPT

已經(jīng)被亞馬遜用于各種不同的工作職能中圖14：亞馬遜AWS云部門的職能與人工智能聯(lián)系緊密

15資料來源：Encaptechno，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

美國新媒體巨頭Buzzfeed踩準ChatGPT風口，兩天內股價飆升3倍

1月29

日，美國新媒體巨頭Buzzfeed宣布計劃采用ChatGPT協(xié)助內容創(chuàng)作，其股價一夜間暴漲近120%

，兩天內飆升逾300%

，成交量突破4.38億股(其月平均成交量不足2500萬股)

消息公布后同類型公司股票成交量也迎來歷史高峰：C3.ai本月成交量超過7200萬股，為自去年6月以來最多；語音AI軟件公司SoundHoundAI的成交量約為6450萬股，幾乎是其月平均值的三倍資料來源：騰訊新聞，國泰君安證券研究

16資料來源：澎湃新聞，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新圖15：Buzzfeed宣布計劃采用ChatGPT協(xié)助內容創(chuàng)作后，股價一夜間暴漲近120%圖16：Buzzfeed宣布計劃采用ChatGPT協(xié)助內容創(chuàng)作后，股票成交量暴漲ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

Stability

AI

：Stable

Diffusion大熱，

Open

AI在圖片生成AI大有可為

Stability

AI有著與Open

AI相同的創(chuàng)業(yè)理念：構建開源AI項目，促進AI發(fā)展，其成功證明Open

AI在圖片生成領域同樣大有可為

公司的開源模型Stable

Diffusion可以根據(jù)文字生成圖片，只需要幾秒鐘，就可以生成分辨率、清晰度高，同時不失真實性和藝術性的圖片。資料來源：網(wǎng)易新聞，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新圖18：Stability

AI有著與Open

AI相同的創(chuàng)業(yè)理念，其成功證明OpenAI在圖片生成領域同樣大有可為圖17：用戶使用基于Stable

Diffusion算法構建的工具創(chuàng)建了數(shù)百萬張圖像資料來源：Stability

AI官網(wǎng)，國泰君安證券研究

17ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

Jasper

：采用同類底層技術，進一步證明ChatGPT的巨大商業(yè)潛力

文案自動生成平臺Jasper

，其技術底層是

OpenAI

的

GPT-3

，在成立僅

18

個月后就達到了

15

億美元的高估值

IBM、Autodesk等巨頭公司均是Jasper的付費用戶，足以證明ChatGPT底層技術具備巨大的商業(yè)潛力。

ChatGPT出現(xiàn)后，其技術領先性和受歡迎程度對Jasper形成了強烈沖擊。資料來源：搜狐新聞，Jasper官網(wǎng)，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新資料來源：Jasper官網(wǎng)，國泰君安證券研究

18圖19：ChatGPT的出現(xiàn)，對采用同類底層技術的熱門公司Jasper形成強烈沖擊圖20：相比ChatGPT的免費開源，Jasper需要付費使用ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

國內廠商(百度&騰訊)：

高度關注ChatGPT

，積極探索前沿技術

百度：

1月10

日，百度宣布將升級百度搜索的“生成式搜索”能力，智能解答用戶的搜索提問；

2月7

日，百度宣布將在3月份完成其ChatGPT產(chǎn)品的內測，面向公眾開放，該項目名字為文心一言(

ERNIE

Bot

)

百度指出，生成式AI和搜索引擎是互補關系而不是替代；據(jù)路透社報道，百度計劃于3月將類似ChatGPT的AI對話服務作為獨立應用推出，之后再逐步將其合并到搜索引擎中。

騰訊：

2月3

日，騰訊公布一項人機對話專利，能夠實現(xiàn)機器與用戶之間自然且順暢的溝通圖21

：百度研發(fā)的ChatGPT產(chǎn)品“文心一言”將于3月份問世

圖22

：騰訊發(fā)布相關專利，積極涉足ChatGPT領域資料來源：騰訊新聞，國泰君安證券研究誠信·責任·親和·專業(yè)·創(chuàng)新資料來源：中國經(jīng)濟網(wǎng)，國泰君安證券研究19公司名稱主要AIGC產(chǎn)品產(chǎn)品領域OpenAIGPT-3、

ChatGPT文本、圖片Stability

AIStable

Diffusion、

Dreamstudio圖片、音頻MidjourneyMidjourney圖片JasperJasper文本Copi.aiCopi.ai文本CopysmithCopysmith文本ChatGPT——生成式AI迎來拐點，商用落地前景可期AIGC創(chuàng)業(yè)公司大比拼，國外ChatGPT的優(yōu)勢遙遙領先并有望延續(xù)資料來源：各公司官網(wǎng)，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新

20

國內對比國外AIGC創(chuàng)業(yè)公司的相關產(chǎn)品，國外ChatGPT的優(yōu)勢遙遙領先并有望延續(xù)表2：國外創(chuàng)業(yè)公司涉及的AIGC產(chǎn)品領域十分豐富，相關應用日漸成熟01ChatGPT——生成式AI迎來拐點，商用落地前景可期

01

AI

需要大量資金、人力投入和數(shù)據(jù)積累，國內市場中巨頭更具優(yōu)勢

人工智能不僅需要巨大的投入，還需要龐大的用戶數(shù)據(jù)基礎，只有互聯(lián)網(wǎng)巨頭才有這個能力產(chǎn)出偉大的產(chǎn)品

國外是微軟、谷歌、亞馬遜，而國內則是百度、騰訊等互聯(lián)網(wǎng)巨頭最具潛力；相比國外巨頭，國內巨頭正投入大量資金和人力成本快速發(fā)展人工智能技術，在沒有硝煙的人工智能競賽中，中國企業(yè)也將異軍突起資料來源：騰訊AILAB官網(wǎng)，國泰君安證券研究

21資料來源：百度官網(wǎng)，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新圖24：騰訊的AI產(chǎn)品在游戲場景中不斷提升人機協(xié)作與內容生成能力圖23：百度構建了云智共生的生態(tài)，助力AI發(fā)展02技術路徑：基于人類反饋系統(tǒng)，

ChatGPT助力跨模態(tài)AI生成應用ChatGPT——生成式AI迎來拐點，商用落地前景可期誠信·責任·親和·專業(yè)·創(chuàng)新

22ChatGPT——生成式AI迎來拐點，商用落地前景可期

02

ChatGPT經(jīng)歷多類技術路線演化，逐步成熟與完善

ChatGPT所能實現(xiàn)的人類意圖，來自于機器學習、神經(jīng)網(wǎng)絡以及Transformer模型的多種技術模型積累圖25：ChatGPT經(jīng)過多類技術積累，最終形成針對人類反饋信息學習的大規(guī)模預訓練語言模型

誠信·責任·親和·專業(yè)·創(chuàng)新神經(jīng)網(wǎng)絡Transfo

-rmer進行海量數(shù)據(jù)學習訓練，人類的反饋信息成為模型學習的內容RNNGAN基于規(guī)則的少量數(shù)據(jù)處理Machine

Learning開始模仿人腦進行大量數(shù)據(jù)的標記和訓練RoBERTaELECTRAChatGPTALBERTBigBird基于模板和

規(guī)則的前深

度學習階段根據(jù)一定范

圍的數(shù)據(jù)進

行參數(shù)分類對人腦學習過程進行重點關注1990年開始；

2006年獲得突破GPT-1CNNGPT-2T5BARTBERTXLMM2m-

100Instruc

-tGPTGPT-3

23資料來源：真格基金，國泰君安證券研究1950年開始1980年開始2018年2020年2019年2017年2022年ChatGPT——生成式AI迎來拐點，商用落地前景可期ChatGPT模型在以往模型的基礎上有了多方面的顯著提升更大的語料庫ChatGPT使用了更大的語料庫，以更好地捕捉人類語言的復雜性。

24更強的自我學習能力ChatGPT具有自我學習能力，可以在不斷接觸新語料的過程中持續(xù)提高自己的性能。更高的適應性ChatGPT具有較高的適應性，可以根據(jù)不同的場景和任務進行微調，以提高其在特定領域的效果。更加通用的預訓練ChatGPT的預訓練是通用的，

因此它可以更好地適應各種不同的任務。更高的計算能力ChatGPT使用了更高的計算資源，以獲得更好的訓練效果。更高的準確性ChatGPT的訓練效果比以往的大語言模型更好，因此它的準確性更高。以往大語言模型(如ELMo和GPT-2)的基礎上有諸多性能提升圖26：ChatGPT是基于Transformer架構的語言模型，它在02誠信·責任·親和·專業(yè)·創(chuàng)新資料來源：ChatGPT，國泰君安證券研究

轉移學習(Transfer

Learning)使基礎模型成為可能

技術層面上，基礎模型通過轉移學習(Transfer

Learning)(Thrun1998)和規(guī)模(scale)得以實現(xiàn)。轉移學習的思想是將從一項任務中學習到的“知識”(例如，圖像中的對象識別)應用于另一項任務(例如，視頻中的活動識別)。

在深度學習中，預訓練又是轉移學習的主要方法：在替代任務上訓練模型(通常只是達到目的的一種手段)，然后通過微調來適應感興趣的下游任務。轉移學習(Transfer

Learning)使基礎模型成為可能。

大規(guī)?；?scale)使基礎模型更強大，因而GPT模型得以形成

大規(guī)模需要三個要素：(i)計算機硬件的改進——例如，GPU吞吐量和內存在過去四年中增加了10倍；(ii)Transformer模型架構的開發(fā)(Vaswani

et

al.2017)，該架構利用硬件的并行性來訓練比以前更具表現(xiàn)力的模型；以及(iii)更多訓練數(shù)據(jù)的可用性。

基于Transformer的序列建模方法現(xiàn)在應用于文本、圖像、語音、表格數(shù)據(jù)、蛋白質序列、有機分子和強化學習等，這些例子的逐步形成使得使用一套統(tǒng)一的工具來開發(fā)各種模態(tài)的基礎模型這種理念得以成熟。例如，GPT-3(Brown

et

al.2020)與GPT-2的15億參數(shù)相比，GPT-3具有1750億個參數(shù)，允許上下文學習，在上下文學習中，只需向下游任務提供提示(任務的自然語言描述)，語言模型就可以適應下游任務，這是產(chǎn)生的一種新興屬性。ChatGPT——生成式AI迎來拐點，商用落地前景可期Transformer的應用標志著基礎模型時代的開始

誠信·責任·親和·專業(yè)·創(chuàng)新

25資料來源：《Attention

Is

All

You

Need》論文，國泰君安證券研究02ChatGPT——生成式AI迎來拐點，商用落地前景可期

02

Transformer奠定了生成式AI領域的游戲規(guī)則圖27：Transformer模型架構如下所示

Transformer擺脫了人工標注數(shù)據(jù)集的缺陷，模型在質量上更優(yōu)、更易于并行化，所需訓練時間明顯更少

Transformer通過成功地將其應用于具有大量和有限訓練數(shù)據(jù)的分析，可以很好地推廣到其他任務

2017年，在Ashish

Vaswani

et.al的論文《Attention

Is

All

You

Need》中，考慮到主導序列轉導模型基于編碼器-解碼器配置中的復雜遞歸或卷積神經(jīng)網(wǎng)絡，性能最好的模型被證明還是通過注意力機制(attentionmechanism)連接編碼器和解碼器，因而《Attention

Is

All

You

Need》中提出了一種新的簡單架構——Transformer，它完全基于注意力機制，完全不用重復和卷積，因而這些模型在質量上更優(yōu)，同時更易于并行化，并且需要的訓練時間明顯更少。

Transformer出現(xiàn)以后，迅速取代了RNN系列變種，躋身主流模型架構基礎。(RNN缺陷正在于流水線式的順序計算)資料來源：《AttentionIsAllYou

Need》,Ashish

Vaswani

et.al2017誠信·責任·親和·專業(yè)·創(chuàng)新26ChatGPT——生成式AI迎來拐點，商用落地前景可期

02

Transformer實現(xiàn)的不同技術場景對應的不同技術原理

Transformer架構可分為自回歸系列(例如GPT-3

，偏好生成性任務)、雙向Transformer+Mask的自編碼系列(例如BERT

，偏好自然語言理解)、

Encoder-decoder架構(例如T5

，使用雙向/單向attention

，偏好條件文本生成)首先通過詞嵌入(WordEmbedding)將字、詞、

句進行區(qū)分，然后基于特征評分、序列標注、分類模型等提取內容特征計算相關文本單元權重其次洗擇相應的文本單元子集組成摘要候洗集，完成內容選擇，最后針對字數(shù)要求等限定條件，對候選集的內容進行整理形成最終摘要，完成內容組織。其細分路徑又包含生成式文本摘要(AATS)，即形成抽象認知并創(chuàng)造新詞靈活概括，和抽取式文本摘要(EATS)，即直接抽取通過隨機Mask(即遮擋)數(shù)據(jù)庫文本中的詞語或語段，讓神經(jīng)網(wǎng)絡自主學習復原被遮擋部分，從而擁有“猜測”缺失內容的能力，產(chǎn)出預訓練模型。再通過大規(guī)模預訓練模型理解上文或給定條件，從概率層面推測最符合要求的輸出結果。其本質是借助超大規(guī)模的訓練參數(shù)猜測上下文的過程主流思路是分離文本屬性及文本內容隱式方法即使用某類無監(jiān)督學習學習或強化學習模式將文本屬性及內容自動分離，常見的有生成對抗方式，即通過GAN實現(xiàn)目標屬性和文本量性完全由不同的編碼控制的狀態(tài)。對話式文本生成適用于智能客服等任務型和閑聊型機器人等非任務型人機交互場景，可分類為管道模式及端對端模式。結構性的文本生成，首先通過注意力機制、多層感知器等系統(tǒng)進行語句內容預選，對數(shù)值、時間等類型數(shù)據(jù)進行推理。

誠信·責任·親和·專業(yè)·創(chuàng)新資料來源：量子位智庫，國泰君安證券研究文本風格

遷移增強數(shù)據(jù)間的結構信息。其次通過Transformer等模式結合上下文進行推導，生成最終文本。圖28：Transformer典型技術場景下的原理介紹如下所述內容續(xù)寫

(例如文

章續(xù)寫)

27產(chǎn)品

特色摘要/標題生成原始素材并拼接成簡單概要整段文本生成ChatGPT——生成式AI迎來拐點，商用落地前景可期GPT-1

：借助預訓練，進行無監(jiān)督訓練和有監(jiān)督微調

GPT-1模型基于Transformer解除了順序關聯(lián)和依賴性的前提，采用生成式模型方式，重點考慮了從原始文本中有效學習的能力，這對于減輕自然語言處理(

NLP

)中對監(jiān)督學習的依賴至關重要

GPT(Generative

Pre-training

Transformer)于2018年6月由OpenAI首次提出。GPT模型考慮到在自然語言理解中有大量不同的任務，盡管大量的未標記文本語料庫非常豐富，但用于學習這些特定任務的標記數(shù)據(jù)卻很少，這使得經(jīng)過區(qū)分訓練的模型很難充分執(zhí)行。同時，大多數(shù)深度學習方法需要大量手動標記的數(shù)據(jù)，這限制了它們在許多缺少注釋資源的領域的適用性。

在考慮以上局限性的前提下，GPT論文中證明，通過對未標記文本的不同語料庫進行語言模型的生成性預訓練，然后對每個特定任務進行區(qū)分性微調，可以實現(xiàn)這些任務上的巨大收益。和之前方法不同，GPT在微調期間使用任務感知輸入轉換，以實現(xiàn)有效的傳輸，同時對模型架構的更改最小。圖29：GPT-1模型的核心手段是預訓練(Pre-training

)

誠信·責任·親和·專業(yè)·創(chuàng)新

28資料來源：《ImprovingLanguageUnderstandingbyGenerativePre-Training》論文，稀土掘金，國泰君安證券研究無監(jiān)督預訓練(

Unsupervised

pre-training

)不需要標注數(shù)據(jù)集，即大規(guī)模自學階段，在保證AI算力充足的條件下，根據(jù)attention機制進行自學有監(jiān)督微調

(Supervised

fine-tunning)微調，用來修正模型理解力。

即小規(guī)模指導過程，讓AI在小樣本數(shù)據(jù)下進行調整結合形成了一種使用無監(jiān)督預訓練和有監(jiān)督微調相結合的語言理解任務的“半監(jiān)督方法”02ChatGPT——生成式AI迎來拐點，商用落地前景可期

02

GPT-1

：模型更簡化、計算加速，更適合自然語言生成任務(

NLG

)

GPT相比于Transformer等

模型進行了顯著簡化

相比于Transformer，GPT訓練了一個12層僅decoder的解碼器(原Transformer模型中包含Encoder和Decoder兩部分)。

相比于Google的BERT(Bidirectional

Encoder

Representations

from

Transformers,雙向編碼生成Transformer)，GPT僅采用上文預測單詞(BERT采用了基于上下文雙向的預測手段)。注：ChatGPT的表現(xiàn)更貼近人類意圖，部分因為一開始GPT是基于上文的預測，這更貼近人類的話語模式，因為人類言語無法基于將來的話來做分析。圖30：GPT-1模型相比于Transformer模型有了顯著簡化Transformer架構

GPT-1架構GPT用于對不同任務進行微調的輸入轉換的示意圖

誠信·責任·親和·專業(yè)·創(chuàng)新

29資料來源：《ImprovingLanguageUnderstandingbyGenerativePre-Training》論文，稀土掘金，國泰君安證券研究VSChatGPT——生成式AI迎來拐點，商用落地前景可期

02

GPT-2

：采用多任務系統(tǒng)，基于GPT-1進行優(yōu)化

GPT-2在GPT-1的基礎上進行諸多改進，實現(xiàn)執(zhí)行任務多樣性，開始學習在不需要明確監(jiān)督的情況下執(zhí)行數(shù)量驚人的任務

在GPT-2階段，OpenAI去掉了GPT-1階段的有監(jiān)督微調(fine-tuning)，成為無監(jiān)督模型。

大模型GPT-2是一個1.5B參數(shù)的Transformer，在其相關論文中它在8個測試語言建模數(shù)據(jù)集中的7個數(shù)據(jù)集上實現(xiàn)了當時最先進的結果。模型中，Transfomer堆疊至48層。GPT-2的數(shù)據(jù)集增加到8million的網(wǎng)頁、大小40GB的文本。誠信·責任·親和·專業(yè)·創(chuàng)新圖31：GPT-2通過調整原模型和采用多任務方式來讓AI更貼近“通才”水平

機器學習系統(tǒng)通過使用大型數(shù)據(jù)集、高容量模型和監(jiān)督學習的組合，在訓練任務方面表現(xiàn)出色，然而這些系統(tǒng)較為脆弱，對數(shù)據(jù)分布和任務規(guī)范的輕微變化非常敏感，因而使得AI表現(xiàn)更像狹義專家，并非通才。

轉向更通用的系統(tǒng)，使其可以執(zhí)行許多任務，最終無需為每個任務手動創(chuàng)建和標記訓練數(shù)據(jù)集。資料來源：《LanguageModelsare

Unsupervised

Multitask

Learners》論文，國泰君安證券研究GPT-2調整優(yōu)化的目的是為了解決零次學習問題(zero-shot)(注：zero-shot問題，就是針對AI在面對

不認識的事物時，也能進行推理)多任務模型的特點：跟傳統(tǒng)ML需要專門的標注數(shù)據(jù)集不同(從而訓練出專業(yè)AI)，多任務模型不采用專門AI手

段，而是在海量數(shù)據(jù)喂養(yǎng)訓練的基礎

上，適配任何任務形式。解決和優(yōu)化的問題GPT-2的核心抓

手——采用多任

務模型(

Multi-task)GPT-2要實現(xiàn)的目標

30GPT-2要??

GPT-2聚焦在無監(jiān)督、

zero-shot

(零次學習)上，然而GPT-2訓練結果也有不達預期之處，所存在的問題也亟待優(yōu)化

在GPT-2階段，盡管體系結構是任務無關的，但仍然需要任務特定的數(shù)據(jù)集和任務特定的微調：要在所需任務上實現(xiàn)強大的性能，通常需要對特定于該任務的數(shù)千到數(shù)十萬個示例的數(shù)據(jù)集進行微調。ChatGPT——生成式AI迎來拐點，商用落地前景可期GPT-2仍未解決應用中的諸多瓶頸資料來源：《LanguageModelsare

Few-Shot

Learners》論文，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新

31存在的問題01

：從實用的角度來看，每一項新任務都需要一個標記示例的大數(shù)據(jù)集，這限制了語言模型的適用性；對于其中的許多任務(從糾正語法到生成抽象概念的示例，再到評論一個短篇故事等等)，很難收集一個大型的監(jiān)督訓練數(shù)據(jù)集，特別是當每個新任務都必須重復該過程時。存在的問題02

：?

預訓練加微調范式中，可能在這種范式下實現(xiàn)的泛化可能很差，因為該模型過于特定于訓練分布，并且在其之外無法很好地泛化。?

微調模型在特定基準上的性能，即使名義上是人類水平，也可能夸大基礎任務的實際性能。存在的問題03

：因為人類學習大多數(shù)語言任務不需要大型受監(jiān)督的數(shù)據(jù)集，當前NLP技術在概念上具有一定的局限性。GPT-2階段存在的問題點02圖32：GPT-2尚未解決諸多瓶頸問題問題

02問題01問題03ChatGPT——生成式AI迎來拐點，商用落地前景可期

02

GPT-3取得突破性進展，任務結果難以與人類作品區(qū)分開來

GPT-3對GPT-2追求無監(jiān)督與零次學習的特征進行了改進

GPT-3利用了過濾前45TB的壓縮文本，在諸多NLP數(shù)據(jù)集中實現(xiàn)了強大性能

GPT-3是一個具有1750億個參數(shù)的自回歸語言模型，比之前的任何非稀疏語言模型多10倍。對于所有任務(在few-shot設置下測試其性能)，GPT-3都是在沒有任何梯度更新或微調的情況下應用的，僅通過與模型的文本交互來指定任務和few-shot演示。

GPT-3在許多NLP數(shù)據(jù)集上都有很強的性能(包括翻譯、問題解答和完形填空任務)，以及一些需要動態(tài)推理或領域適應的任務(如解譯單詞、在句子中使用一個新單詞或執(zhí)行三位數(shù)算術)。GPT-3可以生成新聞文章樣本(已很難將其與人類撰寫的文章區(qū)分開來)。

32《LanguageModelsareFew-Shot

Learners》，國泰君安證券研究圖34：GPT-3相關研究顯示，few-shot(少量樣本)的綜合表現(xiàn)是在無監(jiān)督模式下最優(yōu)的誠信·責任·親和·專業(yè)·創(chuàng)新資料來源：資料來源：《LanguageModelsareFew-ShotLearners》，國泰君安證券研究圖33：GPT-3的模型參數(shù)在GPT-2的基礎上增加110多倍ChatGPT——生成式AI迎來拐點，商用落地前景可期

02

InstructGPT模型在GPT-3基礎上進一步強化

InstructGPT使用來自人類反饋的強化學習方案RLHF

(

reinforcement

learning

from

human

feedback)，通過對大語言模型進行微調，從而能夠在參數(shù)減少的情況下，實現(xiàn)優(yōu)于GPT-3的功能

InstructGPT提出的背景：使語言模型更大并不意味著它們能夠更好地遵循用戶的意圖，例如大型語言模型可以生成不真實、有毒或對用戶毫無幫助的輸出，即這些模型與其用戶不一致。另外，GPT-3雖然選擇了少樣本學習(few-shot)和繼續(xù)堅持了GPT-2的無監(jiān)督學習，但基于few-shot的效果，其稍遜于監(jiān)督微調(fine-tuning)的方式。

基于以上背景，OpenAI在GPT-3基礎上根據(jù)人類反饋的強化學習方案RHLF，訓練出獎勵模型(reward

model)去訓練學習模型(即：用AI訓練AI的思路)

InstructGPT的訓練步驟為：對GPT-3監(jiān)督微調——訓練獎勵模型(reward

model)——增強學習優(yōu)化SFT(第二、第三步可以迭代資料來源：《Traininglanguagemodelstofollowinstructionswithhumanfeedback》論文，稀土掘金，國泰君安證券研究

誠信·責任·親和·專業(yè)·創(chuàng)新

33圖35：InstructGPT訓練三步驟各自對應的數(shù)據(jù)集規(guī)模如下圖所示(labeler指的是OpenAI的標注人員，customer指GPT-3API的用戶)循環(huán)多次)ChatGPT——生成式AI迎來拐點，商用落地前景可期

02

ChatGPT核心技術優(yōu)勢：提升了理解人類思維的準確性

InstructGPT與ChatGPT屬于相同代際的模型，

ChatGPT只是在InstructGPT的基礎上增加了Chat屬性，且開放了公眾測試

ChatGPT提升了理解人類思維的準確性的原因在于利用了基于人類反饋數(shù)據(jù)的系統(tǒng)進行模型訓練(注：根據(jù)官網(wǎng)介紹，GhatGPT也是基于InstructGPT構建，因而可以從InstructGPT來理解ChatGPT利用人類意圖來增強模型效果)圖36：基于人類反饋強化的核心訓練流程如下所示：步驟2：搜集比較數(shù)據(jù)，訓練一個獎勵模型對這個prompt訓練的數(shù)據(jù)集和若干模型的結果進行抽樣Labeler(標記者)從最優(yōu)到最差將輸出結果進行排序這個數(shù)據(jù)用來訓練反饋模型步驟3：搜集說明數(shù)據(jù)，使用增強學習優(yōu)化模型新的prompt從數(shù)據(jù)集中抽樣借助模型生成輸出反饋模型為輸出計算一個反饋結果反饋結果用來優(yōu)化策略

34步驟1：搜集說明數(shù)據(jù)，訓練監(jiān)督策略搜集說明數(shù)據(jù)(基于prompt訓練方式的數(shù)據(jù)集)，訓練監(jiān)督策略Labeler(標記者)揭示期望的輸出行為這個數(shù)據(jù)用來聯(lián)合監(jiān)督學習，對GPT-3進行微調誠信·責任·親和·專業(yè)·創(chuàng)新資料來源：《Traininglanguagemodelstofollowinstructionswith

human

feedback》論文，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地前景可期

02

ChatGPT得益于通用(基礎)模型所構建

AI

系統(tǒng)的新范式

基礎模型(

Foundation

Model)在廣泛的應用中整合構建機器學習系統(tǒng)的方法，它為許多任務提供了強大的杠桿作用

基礎模型是在深度神經(jīng)網(wǎng)絡和自我監(jiān)督學習的基礎上演化而來?；A模型基于廣泛數(shù)據(jù)(通常使用大規(guī)模自我監(jiān)督)訓練的任何模型，可以適應(例如微調)廣泛的下游任務，目前例子包括BERT(Devlin

et

al.)、GPT-3(Brown

et

al.2020)和CLIP(Radford

et

al.2021)。

機器學習使學習算法同質化(例如，邏輯回歸)，深度學習使模型架構同質化(如卷積神經(jīng)網(wǎng)絡)，而基礎模型使模型本身同質化(比如，GPT-3)。圖37：人工智能的發(fā)展呈現(xiàn)同質化的過程隨著機器學習的引入，任務是如何執(zhí)行的

用于預測的高級(自動推斷)從例子中顯現(xiàn)出來

特征出現(xiàn)

誠信·責任·親和·專業(yè)·創(chuàng)新

35資料來源：《OntheOpportunitiesandRisksofFoundationModels》論文，國泰君安證券研究有了基礎模型，甚至出現(xiàn)了情境學習等高級功能隨著深度學習，

ChatGPT采用了GPT3.5

(

InstructGPT

)大規(guī)模預訓練模型，在自然語言理解和作品生成上取得極大性能提升

鑒于傳統(tǒng)NLP技術的局限問題，基于大語言模型(LLM)有助于充分利用海量無標注文本預訓練，從而文本大模型在較小的數(shù)據(jù)集和零數(shù)據(jù)集場景下可以有較好的理解和生成能力?；诖竽Ｐ偷臒o標準文本書收集，ChatGPT得以在情感分析、信息鉆取、理解閱讀等文本場景中優(yōu)勢突

出。

隨著訓練模型數(shù)據(jù)量的增加，數(shù)據(jù)種類逐步豐富，模型規(guī)模以及參數(shù)量的增加，會進一步促進模型語義理解能力以及抽象學習能力的極大提升，實現(xiàn)ChatGPT的數(shù)據(jù)飛輪效應(用更多數(shù)據(jù)可以訓練出更好的模型，

吸引更多用戶，從而產(chǎn)生更多用戶數(shù)據(jù)用于訓練，形成良性循環(huán))。

研究發(fā)現(xiàn)，每增加參數(shù)都帶來了文本合成和/或下游NLP任務的改進，有證據(jù)表明，日志丟失與許多下游任務密切相關，隨著規(guī)模的增長，日志丟失呈現(xiàn)平穩(wěn)的改善趨勢。ChatGPT——生成式AI迎來拐點，商用落地前景可期ChatGPT以基礎模型為杠桿，可適用多類下游任務圖38：基礎模型可以集中來自各種模態(tài)的所有數(shù)據(jù)的信息，

然后這一模型可以適用于廣泛的下游任務資料來源：《OntheOpportunities

and

Risks

of

Foundation

Models》論文02誠信·責任·親和·專業(yè)·創(chuàng)新

36ChatGPT——生成式AI迎來拐點，商用落地前景可期

02

ChatGPT大模型架構也是ML發(fā)展到第三階段的必然產(chǎn)物

ML中的計算歷史分為三個時代：前深度學習時代、深度學習時代和大規(guī)模時代，在大規(guī)模時代，訓練高級ML系統(tǒng)的需求快速增長

計算、數(shù)據(jù)和算法的進步是指導現(xiàn)代機器學習(ML)進步的三個基本因素。在2010年之前，訓練計算的增長符合摩爾定律，大約每20個月翻一番。自2010年代早期深度學習(Deep

Learning)問世以來，訓練計算的規(guī)模已經(jīng)加快，大約每6個月翻一番。2015年末，隨著公司開發(fā)大規(guī)模ML模型，訓練計算需求增加10至100倍，出現(xiàn)了一種新趨勢——訓練高級ML系統(tǒng)的需求快速增長。

2015-2016年左右，出現(xiàn)了大規(guī)模模型的新趨勢。這一新趨勢始于2015年末的AlphaGo，并持續(xù)至今(GPT-3于2020年出現(xiàn))。

37數(shù)據(jù)來源：《compute

trends

across

three

eras

of

machine

learning》，Jaime

Sevilla

et.al文章研究結論Amodei&

Hernandez(2018)~3.4month

doubling

time

between2012and2018Sastry,G.,et.al(2019,November).~2year

doubling

period

between1959and2018Lyzhov,A.(2021,April).>2year

doubling

period

between2018and2020數(shù)據(jù)來源：《computetrendsacrossthreeerasof

machine

learning》，Jaime

Sevilla

et.al，國泰君安證券研究圖40：2010年至2022年間102個里程碑ML系統(tǒng)的訓練計算趨勢如下所示表3：ML相關計算規(guī)模呈現(xiàn)持續(xù)快速攀升趨勢03行業(yè)進程：

AIGC多模態(tài)交互功

能持續(xù)演化，奠定多場景商用基礎ChatGPT——生成式AI迎來拐點，商用落地前景可期

38ChatGPT——生成式AI迎來拐點，商用落地前景可期AIGC:

利用人工智能產(chǎn)生內容，提升生產(chǎn)力曲線

AIGC

：Artificial

Intelligence

Generated

Context

，即可以利用人工智能技術自動產(chǎn)生內容

，常見如代碼生成，文本問答等

圖41：AIGC應用功能簡單如下圖所示Synthesia可將輸入文本合成不同述說風格的視頻資料來源：OpenAI官網(wǎng)，Copilot官網(wǎng)，Synthesia官網(wǎng)，國泰君安證券研究代碼生成視頻生成其他AIGCDALL·E2由文字描述生成圖像，如：An

astronaut

riding

a

hourse

asapencil

drawing03誠信·責任·親和·專業(yè)·創(chuàng)新ChatGPT可與人類進行流暢的文本問答Copilot

可自動編寫代碼圖像生成文本問答39

ChatGPT是AIGC

“數(shù)字內容智能編輯”

功能中的重要組成部分，

ChatGPT

模型的出現(xiàn)對于文字/語音模態(tài)的

AIGC

應用具有重要意義

隨著深度學習技術的快速突破以及數(shù)字內容的海量增長，AIGC領域相關技術打破了預定義規(guī)則的局限性，使得快速便捷且智慧地輸出多模態(tài)的數(shù)字內容成為可能。

在技術創(chuàng)新以及多模態(tài)模型的持續(xù)突破下，AIGC根據(jù)功能和對象的不同，按順序可包括三種主要實用功能：數(shù)字內容孿生、數(shù)字內容的智能編輯、數(shù)字內容的智能創(chuàng)作。這三種功能相互嵌套與結合，可以讓AIGC產(chǎn)品具備超越人類的創(chuàng)作潛力。而ChatGPT正是AIGC的數(shù)字內容智能編輯這一大功能領域中的重要組成部分。ChatGPT——生成式AI迎來拐點，商用落地前景可期ChatGPT已成為AIGC功能矩陣中的重要板塊云計算平臺Google

Cloud大型語言模型(LLM

)

OpenAI

GPT

Gopher

GlaM

EMLo

BERT

面向C端和B端的應用圖42：ChatGPT是AIGC的產(chǎn)品應用框架中大型語言模型

的重要板塊模型托管、交易平臺中間層資料來源：Sam

Altman，機器翻譯觀察(公眾號)，國泰君安證券研究Hugging

Face03ReplicatLangu

ageX

40

DeepMind

GoogleAli

cloudStartupAzureAWS……ChatGPT——生成式AI迎來拐點，商用落地前景可期

03

AIGC相關技術包含了三大前沿能力

數(shù)字內容孿生能力構建現(xiàn)實世界-虛擬世界映射

孿生能力包括智能增強與轉譯技術，其中增強技術彌補內容數(shù)字化過程中的信息損失，轉譯技術在理解基礎上對內容進行多種形式呈現(xiàn)

數(shù)字編輯能力打通現(xiàn)實世界虛擬世界交互通道

編輯能力包括智能語義理解與屬性控制，語義理解幫助實現(xiàn)數(shù)字內容各屬性的分離解耦，屬性控制則在理解基礎上對屬性進行精確修改、編輯與二次生成，最終反饋于現(xiàn)實世界，形成孿生-反饋閉環(huán)

數(shù)字創(chuàng)作能力從數(shù)據(jù)理解走向數(shù)據(jù)創(chuàng)作

創(chuàng)作能力可分為基于模仿的創(chuàng)作與基于概念的創(chuàng)作，前者基于對某一類作品數(shù)據(jù)分布進行創(chuàng)作，而后者從海量數(shù)據(jù)中學習抽象概念，并基于概念創(chuàng)作出現(xiàn)實世界不存在的內容

圖43：AIGC三大前沿技術能力架構如下圖所示三維重構音頻修復語音合成視覺描述摘要生成數(shù)字人智能作畫短片創(chuàng)作孿生能力語義理解屬性控制基于模仿創(chuàng)作基于概念創(chuàng)作誠信·責任·親和·專業(yè)·創(chuàng)新

41計算機視覺技術自然語言處理技術其他單模態(tài)技術多模態(tài)技術資料來源：中國信通院，國泰君安證券研究創(chuàng)作能力編輯能力智能轉譯智能增強ChatGPT——生成式AI迎來拐點，商用落地前景可期

03

AIGC行業(yè)發(fā)展經(jīng)歷了三個主要時期

AIGC發(fā)展經(jīng)歷了早期萌芽、沉淀積累和2014年之后的快速發(fā)展階段圖44：AIGC經(jīng)歷了大致三個階段的演化發(fā)展2014年2018年2019年2021年OpenAI提出DALL·E2輸入文字即可生成極高質量且風格多樣的圖片英偉達發(fā)布StyleGAN

，

其可以自動

生成人眼難

以分辨真假

的高質量圖片，谷歌DeepMind提出DVD-GAN是用AI自動生成連續(xù)視頻對抗生成網(wǎng)絡GAN被提出，GAN網(wǎng)絡極大提高AI生成內容的逼真度微軟人工智能“小冰”創(chuàng)作世界首部100%由人工智能創(chuàng)作詩集《陽光失了玻璃窗》1957年萊杰倫·希勒與倫納德·艾薩克森利用計算機完成世界首曲由計算機完成的音樂《依利亞克組曲(IlliacSuite)》1966年約瑟夫·魏岑鮑姆與肯尼斯·科爾比推出世界首款人機可對話機器人Eliza80年代中期IBM推出基于HMM架構的語音控制打字機Tangora，可處理約20000個單詞快速發(fā)展階段2010s-至今模型結構不斷創(chuàng)新，AIGC內容多樣性與逼真度不斷提高早期萌芽階段

20世紀