ChatGPT 研究框架（2023）-2023-02-宏觀大勢

行業(yè)專題研究ChatGPT研究框架（2023）ChatGPT——生成式AI迎來拐點，商用落地據(jù)統(tǒng)計，ChatGPT日活躍用戶數(shù)的增速遠超Instagram，1月份平均每天有超過1300萬名獨立訪問者使用ChatGPT，是去年12月份的兩倍多；國內(nèi)外科技巨頭都非常重視ChatGPT引發(fā)的科技浪潮，積極布局生成式AI，國內(nèi)廠商（百度、騰訊等）也高度關(guān)注ChatGPT，積極探索前沿技術(shù)，相關(guān)深度應(yīng)用也即將推出。ChatGPT經(jīng)歷多類技術(shù)路線演化，逐步成熟與完善ChatGPT所能實現(xiàn)的人類意圖，來自于機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)以及Transformer模型的多種技術(shù)模型積累。Transformer建模方法成熟以后，使用一套統(tǒng)一的工具來開發(fā)各種模態(tài)的基礎(chǔ)模型這種理念得以成熟，隨后GPT-1、GPT-2、GPT-3模型持續(xù)演化升級，最終孵化出ChatGPT文本對話應(yīng)用。AIGC跨模態(tài)產(chǎn)業(yè)生態(tài)逐步成熟，商用落地未來可期AIGC產(chǎn)業(yè)生態(tài)當(dāng)前在文本、音頻、視頻等多模態(tài)交互功能上持續(xù)演化升級，奠定了多場景的商用基礎(chǔ)?？缒B(tài)生成技術(shù)也有望成為真正實現(xiàn)認知和決策智能的轉(zhuǎn)折點。隨著ChatGPTPlus發(fā)布，商業(yè)化序幕已經(jīng)拉開。ChatGPT在傳媒、影視、營銷、娛樂以及數(shù)實共生助力產(chǎn)業(yè)升級等領(lǐng)域均可產(chǎn)生極大助益，提升生產(chǎn)力曲線，多維度賦能虛擬經(jīng)濟和實體經(jīng)濟。請參閱附注免責(zé)聲明2請參閱附注免責(zé)聲明2ChatGPT——生成式AI迎來拐點，商用落地ChatGPT——生成式AI迎來拐點，商用落地ChatGPT——生成式AI迎來拐點，商用落地ChatGPT——生成式AI迎來拐點，商用落地 011OpenAI在成立之初便備受資本矚目，與微軟合作加速商業(yè)化進程支付平臺PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等人于2015年在舊金山創(chuàng)立的一家非盈利金支持，啟動資金高達10億美金；OpenAI的創(chuàng)立目標是與其它機構(gòu)合作進行AI的相關(guān)研究，并開放研究成果以促進AI技術(shù)的發(fā)展圖1：OpenAI發(fā)展勢頭強勁，商業(yè)化趨勢明顯微軟向OpenAI投資了10億美金，并獲得了微軟向OpenAI投資了10億美金，并獲得了OpenAI技術(shù)的商業(yè)化授權(quán)。從此，OpenAI的一些技術(shù)開始出現(xiàn)在微軟的產(chǎn)品和業(yè)務(wù)上OpenAI授權(quán)微軟使用GPT-3模型，微軟成為全球首個享用GPT-3能力的公司OpenAI發(fā)布了OpenAIAPI，這是OpenAI第一個商業(yè)化產(chǎn)品，OpenAI正式開始了商業(yè)化運作利“性質(zhì)過度到”封頂盈利“性質(zhì)，利潤上限為任何投資的100倍（創(chuàng)立了OpenAILP公司）請參閱附注免責(zé)聲明5請參閱附注免責(zé)聲明5資料來源：OpenAI官網(wǎng)，國泰君安證券研究示語全自動同聲傳譯系統(tǒng)，可將英文語音自動翻譯成中文語音ChatGPT——生成式AI迎來拐點，商用落地示語全自動同聲傳譯系統(tǒng)，可將英文語音自動翻譯成中文語音 AIGC典型AIGC發(fā)展特點人工智能總體階段圖2：隨著算法的不斷迭代，生成式人工智能技提出生成式對抗網(wǎng)絡(luò)GAN提出生成式對抗網(wǎng)絡(luò)GAN著名的“圖靈測試”，給第一部完全由人能”的方法工智能創(chuàng)作的小高質(zhì)量圖片款可人機對話機器款可人機對話機器創(chuàng)造語音控制打字機“Tangora”O(jiān)DeepMindODeepMind性視頻語言文本受限于技術(shù)水平，AIGC僅限于小范圍實驗受限于技術(shù)水平，AIGC僅限于小范圍實驗早期萌芽階段（20世紀50年代-90年代中期）AIGC從實驗性向?qū)嵱眯赞D(zhuǎn)變，受限于算法瓶頸，無法直接進行內(nèi)容生成沉淀積累階段（20世紀90年代-21世紀10年代中期）快速發(fā)展階段（21世紀10年代中期-至今）誠信·責(zé)任·親和·專業(yè)·創(chuàng)新資料來源：中國信息通信研究院，國泰君安證券研究GPT-1（1.17億參數(shù)）GPT-1有一定的泛化能力，能夠用于和監(jiān)督任務(wù)無關(guān)的NLP任務(wù)中ChatGPT是InstructGPT的GPT-1（1.17億參數(shù)）GPT-1有一定的泛化能力，能夠用于和監(jiān)督任務(wù)無關(guān)的NLP任務(wù)中ChatGPT是InstructGPT的衍生產(chǎn)品，它將人類的反饋納入訓(xùn)練過程，更好地使模型輸出與用戶意圖保持一致InstructGPT是一個經(jīng)過微調(diào)的新版GPT-3，可以將有害的、不真實的和有偏差的輸出最小化GPT-3（1750億參數(shù)）GPT-3作為一個自監(jiān)督模型，可以完成自然語言處理的絕大部分任務(wù)：將網(wǎng)頁描述轉(zhuǎn)換為相應(yīng)代碼、模仿人類敘事、創(chuàng)作定制詩歌、生成游戲劇本，甚至模仿已故的哲學(xué)家預(yù)測生命的真諦除了理解能力外，GPT-2在生成方面表現(xiàn)出了強大的天賦：閱讀摘要、聊天、續(xù)寫、編故事，甚至可以生成假新聞、釣魚郵件或在線進行角色扮演ChatGPT是在GPT基礎(chǔ)上進一步開發(fā)型文本語料庫上學(xué)習(xí)到的語言模式來生成自然語言文本從GPT-1到GPT-3智能化程度不斷提升，ChatGPT的圖3：ChatGPT由GPT-1到InstructGPT模型的不GPT-2（15億參數(shù)）7資料來源：CSDN，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地ChatGPT發(fā)布后用戶數(shù)持續(xù)暴漲，市場影根據(jù)UBS發(fā)布的研究報告顯示，Chat相比之下，TikTok花了九個月的時間月活躍用戶數(shù)才破億，而Instagram則花費了兩年半的時間，同時，根在四年半后僅積累了1億月活躍用戶圖4：ChatGPT日活躍用戶數(shù)的增速遠超In圖5：對比各大熱門平臺月活躍用戶數(shù)破億所需時長，ChatGPT2個月2個月OMeta54個月42個月54個月90個月9個月30個月資料來源：第一財經(jīng)，國泰君安證券研究請參閱附注免責(zé)聲明8用藏文、俄羅斯語、韓語和日文說一句話用C++寫一段爬蟲代碼代碼閱讀理解和DebugChatGPT——生成式AI迎來拐點，商用落地用藏文、俄羅斯語、韓語和日文說一句話用C++寫一段爬蟲代碼代碼閱讀理解和Debug 由于ChatGPT包含了更多主題的數(shù)據(jù)，能夠處理更成計算機代碼等任務(wù)。圖6：ChatGPT的使用案例如下所示用魯迅口吻寫一篇評價新冠疫情的散文用Python寫一段CCI量化投資策略寫一篇信創(chuàng)產(chǎn)業(yè)的研究報告誠信·責(zé)任·親和·專業(yè)·創(chuàng)新資料來源：ChatGPT，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 當(dāng)前，ChatGPT所利用的數(shù)據(jù)集只截止到2021年。在對話中，Chat回復(fù)，因而ChatGPT也可實現(xiàn)連續(xù)對話，提升了交互模式下的用戶體驗。同時，ChatGPT也會屏蔽敏感信息，圖7：ChatGPT提升的核心點如下所示敢于質(zhì)疑ChatGPT人類意圖承認不知道連續(xù)對話提升準確度算法屏蔽連續(xù)對話能力◎上下文理解資料來源：知乎，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 圖8：科技巨頭紛紛加大ChatGPT相關(guān)投入金額達數(shù)十億美元的投資，以加速其在人工智能領(lǐng)域的技術(shù)突破此外，微軟還計劃在未來幾周內(nèi)發(fā)布其BinAlphabet1月20日，谷歌母公司AlphabetCEO表示，公司將會進一步聚焦AI技術(shù)核心業(yè)務(wù)的研在開發(fā)生成式人工智能ChatGPT——生成式AI迎來拐點，商用落地 表1：國內(nèi)外科技公司積極布局生成式AI公司名稱相關(guān)布局面對ChatGPT構(gòu)成的威脅，注資3億美元投資競品Anthropic作為OpenAI的最大投資方，利用ChatGPT提高產(chǎn)品競爭力ChatGPT受到重點關(guān)注，已廣泛運用在各種工預(yù)計在3月份完成其ChatGPT產(chǎn)品——文心一言（ERNIEBot）的內(nèi)測，并面向公眾開放資料來源：各公司公告，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 011谷歌：面對ChatGPT構(gòu)成的威在ChatGPT發(fā)布后，谷歌CEO在公司內(nèi)部發(fā)布了“紅色警報”(CodeRed)，敦促團隊解決ChatGPT威脅，同時批準了在谷歌搜索引擎中加入AI聊天機器人的計劃門的計算資源；Anthropic開發(fā)了一款名為Claude的智能聊天機器人，據(jù)稱可與ChatGPT相媲美（仍未發(fā)布）Anthropic和OpenAI淵源頗深，其聯(lián)合創(chuàng)圖9：Anthropic的聯(lián)合創(chuàng)始人曾擔(dān)任OpenAI研究副總裁資料來源：騰訊新聞，國泰君安證券研究圖10：聊天機器人Claude據(jù)稱可與Ch資料來源：新浪財經(jīng)，國泰君安證券研究請參閱附注免責(zé)聲明13ChatGPT——生成式AI迎來拐點，商用落地 微軟：OpenAI的最大投資方，開始利用ChatGPT提高產(chǎn)品競爭力微軟近期宣布推出視頻會議及遠程協(xié)作平臺的高級付費版MicrosoftTeamsPremium，訂閱者可享用型技術(shù)，用AI自動生成會議筆記，此舉或?qū)oom、谷歌會議等平臺形成巨大沖擊。圖11：MicrosoftTeamsPr資料來源：微軟官網(wǎng)，國泰君安證券研究圖12：集成了ChatGPT的新版Bing曾短暫上資料來源：WindowsCentral，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 亞馬遜：ChatGPT受到重點關(guān)注，已廣泛運用在各種工作職能中公司內(nèi)部員工在Slack表示，亞馬遜AmazonWebServices（AWS）云部門已經(jīng)成立了一圖13：ChatGPT已經(jīng)被亞馬遜用于各資料來源：Encaptechno，國泰君安證券ChatGPT——生成式AI迎來拐點，商用落地 011美國新媒體巨頭Buzzfeed踩準ChatG成交量突破4.38億股（其月平均成交量不足2500萬股）圖15：Buzzfeed宣布計劃采用ChatGPT協(xié)助內(nèi)容創(chuàng)作后，股資料來源：澎湃新聞，國泰君安證券研究圖16：Buzzfeed宣布計劃采用ChatGPT協(xié)助內(nèi)容創(chuàng)作后，資料來源：騰訊新聞，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 StabilityAI有著與OpenAI相同的創(chuàng)業(yè)理念：構(gòu)建開源AI項目，促進AI發(fā)展，其成功證明OpenAI在圖片生成領(lǐng)域同樣大有可為公司的開源模型StableDiffusion可以根據(jù)文字生成圖片，只需要幾秒鐘，就可以生成分辨率、清晰圖17：用戶使用基于StableDiffusion算法構(gòu)建的工具創(chuàng)資料來源：網(wǎng)易新聞，國泰君安證券研究圖18：StabilityAI有著與OpenAI相同的創(chuàng)業(yè)理念，其成功生成領(lǐng)域同樣大有可為ChatGPT——生成式AI迎來拐點，商用落地 011Jasper：采用同類底層技術(shù)，進一步證明ChaIBM、Autodesk等巨頭公司均是Jasp圖19：ChatGPT的出現(xiàn)，對采用同類底層技術(shù)的熱門公司Jasper形圖20：相比ChatGPT的免費開源，Jasper需資料來源：Jasper官網(wǎng)，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 百度指出，生成式AI和搜索引擎是互補關(guān)系而不是替代；據(jù)路透社報道，百度計劃于3月將類似ChatGP圖21：百度研發(fā)的ChatGPT產(chǎn)品“文心一言資料來源：中國經(jīng)濟網(wǎng)，國泰君安證券研究圖22：騰訊發(fā)布相關(guān)專利，積極涉足Ch資料來源：騰訊新聞，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 表2：國外創(chuàng)業(yè)公司涉及的AIGC產(chǎn)品領(lǐng)域十分豐富，相關(guān)應(yīng)用日漸成熟公司名稱主要AIGC產(chǎn)品產(chǎn)品領(lǐng)域OpenAIGPT-3、ChatGPT文本、圖片StabilityAIStableDiffusion、Dreamstudio圖片、音頻MidjourneyMidjourney圖片JasperJasper文本Copi.aiCopi.ai文本CopysmithCopysmith文本資料來源：各公司官網(wǎng)，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 011AI需要大量資金、人力投入和數(shù)據(jù)積累，國內(nèi)市場中巨頭更具優(yōu)勢人工智能不僅需要巨大的投入，還需要龐大的用戶數(shù)據(jù)基礎(chǔ)，只有互聯(lián)網(wǎng)巨頭才有這個能力產(chǎn)出偉大的產(chǎn)品力成本快速發(fā)展人工智能技術(shù)，在沒有硝煙的人工智能競賽中，中國企業(yè)也將異軍突起資料來源：百度官網(wǎng)，國泰君安證券研究圖24：騰訊的AI產(chǎn)品在游戲場景中不斷提升人機協(xié)資料來源：騰訊AILAB官網(wǎng)，國泰君安證券研究請參閱附注免責(zé)聲明21ChatGPT——生成式AI迎來拐點，商用落地技術(shù)路徑：基于人類反饋系統(tǒng)，用開始模仿人腦進行大量數(shù)據(jù)的標記和訓(xùn)練根據(jù)一定范圍的數(shù)據(jù)進行參數(shù)分類對人腦學(xué)習(xí)過程進行重點關(guān)注基于模板和規(guī)則的前深度學(xué)習(xí)階段2022年開始模仿人腦進行大量數(shù)據(jù)的標記和訓(xùn)練根據(jù)一定范圍的數(shù)據(jù)進行參數(shù)分類對人腦學(xué)習(xí)過程進行重點關(guān)注基于模板和規(guī)則的前深度學(xué)習(xí)階段2022年1990年開始；2006年獲得突破1980年開始1950年開始2017年圖25：ChatGPT經(jīng)過多類技術(shù)積累，最終形成針對人類反饋信息學(xué)習(xí)的大規(guī)模預(yù)訓(xùn)練語言模型進行海量數(shù)據(jù)學(xué)習(xí)訓(xùn)練，人類的反饋信息成為模型學(xué)習(xí)的內(nèi)容2019年2020年2018年2019年2020年 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基于規(guī)則據(jù)處理基于規(guī)則據(jù)處理請參閱附注免責(zé)聲明23請參閱附注免責(zé)聲明23資料來源：真格基金，國泰君安證券研究圖26：ChatGPT是基于Transformer架構(gòu)的語言模型，它在以往大語言模型（如ELMo和GPT-2）的基礎(chǔ)上有諸多性能提更高的準確性的大語言模型更好，因此它的升圖26：ChatGPT是基于Transformer架構(gòu)的語言模型，它在以往大語言模型（如ELMo和GPT-2）的基礎(chǔ)上有諸多性能提更高的準確性的大語言模型更好，因此它的升更高的計算能力更加通用的預(yù)訓(xùn)練ChatGPT的預(yù)訓(xùn)練是通用的，ChatGPT模型在以往模型的基礎(chǔ)上有了多方更大的語料庫更大的語料庫庫，以更好地捕捉人類語言的更高的適應(yīng)性更高的適應(yīng)性以根據(jù)不同的場景和任務(wù)進行微更強的自我學(xué)習(xí)能力更強的自我學(xué)習(xí)能力以在不斷接觸新語料的過程中持資料來源：ChatGPT，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地技術(shù)層面上，基礎(chǔ)模型通過轉(zhuǎn)移學(xué)習(xí)(TransferLearning)(Thrun1998)和規(guī)模(scale)得以實現(xiàn)。轉(zhuǎn)移學(xué)習(xí)的思想是將從一在深度學(xué)習(xí)中，預(yù)訓(xùn)練又是轉(zhuǎn)移學(xué)習(xí)的主要方法：在替代任務(wù)上訓(xùn)練模型（通常只是達到目的的一種手段然后通過微調(diào)來適應(yīng)感興趣的下游任務(wù)。轉(zhuǎn)移學(xué)習(xí)(TransferLearning)使基礎(chǔ)模型成為可能。大規(guī)模需要三個要素i）計算機硬件的改進——例如，GPU吞吐量和內(nèi)存在過去四年中增加了10倍ii）Transformer模型架構(gòu)的開發(fā)（Vaswanietal.2017該架構(gòu)利用硬件的并行性來訓(xùn)練比以前更具表現(xiàn)力的模型；以及（iii）更多訓(xùn)練數(shù)據(jù)的可用性?；赥ransformer的序列建模方法現(xiàn)在應(yīng)用于文本、圖像、語音、表格數(shù)據(jù)、蛋白質(zhì)序列、有機分GPT-3具有1750億個參數(shù)，允許上下文學(xué)習(xí)，在上下文學(xué)習(xí)中，只需向下游任務(wù)提供提示（任務(wù)的自然語言描述語言模型就可以適應(yīng)下游任務(wù)，這是產(chǎn)生的一種新興屬性。ChatGPT——生成式AI迎來拐點，商用落地 更易于并行化，所需訓(xùn)練時間明顯更少Transformer通過成功地將其應(yīng)用于具有大量和有限析，可以很好地推廣到其他任務(wù)2017年，在AshishVaswaniet.al的論文《AttentionIsAllYouNeed》中，考慮到主導(dǎo)序列轉(zhuǎn)導(dǎo)模型基于編碼器-解碼器配神經(jīng)網(wǎng)絡(luò)，性能最好的模型被證明還是通過注意力機制（attention完全不用重復(fù)和卷積，因而這些模型在質(zhì)量上更優(yōu)，同時更易于并行化，并且需要的訓(xùn)練時間明顯更少。Transformer出現(xiàn)以后，迅速取代了RN礎(chǔ)。（RNN缺陷正在于流水線式的順序計算）圖27：Transformer模型架構(gòu)如下Need》,AshishVaswaniet.al2017請參閱附注免責(zé)聲明26（例如文章續(xù)寫）文本風(fēng)格 ChatGPT——生成式AI迎來拐點，商用落地（例如文章續(xù)寫）文本風(fēng)格 圖28：Transformer典型技術(shù)場景下的原理介紹如下所述重其次洗擇相應(yīng)的文本單元子集組成摘要候洗集，完成內(nèi)容選擇，最后針對字數(shù)要求等限定條件，對候選集的內(nèi)容進行整理形成最終摘要，完成內(nèi)容組織。其細分路徑又包含生成式文本摘要(AATS)，即形成抽象認知并創(chuàng)造新詞靈活概括，和抽取式文本摘要(重其次洗擇相應(yīng)的文本單元子集組成摘要候洗集，完成內(nèi)容選擇，最后針對字數(shù)要求等限定條件，對候選集的內(nèi)容進行整理形成最終摘要，完成內(nèi)容組織。其細分路徑又包含生成式文本摘要(AATS)，即形成抽象認知并創(chuàng)造新詞靈活概括，和抽取式文本摘要(EATS)，即直接抽取原始素材并拼接成簡單概要摘要/標題生成主流思路是分離文本屬性及文本內(nèi)容對話式文本生成適用于智能客服等任務(wù)型和閑聊型機器人等結(jié)構(gòu)性的文本生成，首先通過注意力機制、多層感知器等系摘要/標題生成主流思路是分離文本屬性及文本內(nèi)容對話式文本生成適用于智能客服等任務(wù)型和閑聊型機器人等結(jié)構(gòu)性的文本生成，首先通過注意力機制、多層感知器等系增強數(shù)據(jù)間的結(jié)構(gòu)信息。其次通過Transformer等模式產(chǎn)品產(chǎn)品特色整段文本請參閱附注免責(zé)聲明27請參閱附注免責(zé)聲明27資料來源：量子位智庫，國泰君安證券研究有監(jiān)督微調(diào)（Supervisedfine-tunning有監(jiān)督微調(diào)（Supervisedfine-tunning)即小規(guī)模指導(dǎo)過程，讓AI在小樣本數(shù)據(jù)下進行調(diào)整 GPT（GenerativePre-trainingTransformer）于2018年6月由同時，大多數(shù)深度學(xué)習(xí)方法需要大量手動標記的數(shù)據(jù)，這限制了它們在許多缺少注釋資源的領(lǐng)域的適用性。在考慮以上局限性的前提下，GPT論文中證明，通過對未標記文本的不同語料庫進行語言進行區(qū)分性微調(diào)，可以實現(xiàn)這些任務(wù)上的巨大收益。和之前方法不同，GPT在微調(diào)期間使用任務(wù)感知輸入轉(zhuǎn)換，以實現(xiàn)有效的傳輸，圖29：GPT-1模型的核心手段是預(yù)訓(xùn)練（Pre-training）無監(jiān)督預(yù)訓(xùn)練（Unsupervisedpre-training）不需要標注數(shù)據(jù)集，即大規(guī)模自學(xué)階段，在保證AI算力充足的條件下，根據(jù)attention機制進行自學(xué)結(jié)合形成了一種使用無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)相結(jié)合的語言理解任務(wù)的“半監(jiān)督方法”ChatGPT——生成式AI迎來拐點，商用落地 相比于Google的BERT(BidirectionalEncode注：ChatGPT的表現(xiàn)更貼近人類意圖，部分因為一開始GPT是基于上文的預(yù)測，這更貼近人類的話語模式，因為人類言語無法基于將來的話來做分析。圖30：GPT-1模型相比于Transformer模型有了顯著簡化Transformer架構(gòu)GPT用于對不同任務(wù)進行微調(diào)的輸入轉(zhuǎn)換的Transformer架構(gòu)GPT用于對不同任務(wù)進行微調(diào)的輸入轉(zhuǎn)換的請參閱附注免責(zé)聲明29請參閱附注免責(zé)聲明29手——采用多任務(wù)模型（Multi-task）實現(xiàn)的目標手——采用多任務(wù)模型（Multi-task）實現(xiàn)的目標多任務(wù)，最終無需為每個任務(wù)手動創(chuàng)建和標記訓(xùn)練數(shù)據(jù)集。機器學(xué)習(xí)系統(tǒng)通過使用大型數(shù)據(jù)集、高容圖31：GPT-2通過調(diào)整原模型和采用多任務(wù)方式來讓AI更面表現(xiàn)出色，然而這些系統(tǒng)較為脆弱，對GPT-2要?GPT-2在GPT-1的基礎(chǔ)上進行諸多改進，實現(xiàn)執(zhí)行任務(wù)多樣性，開始學(xué)習(xí)在不需要明確監(jiān)督的情況下執(zhí)行數(shù)量驚人的任務(wù)在GPT-2階段，OpenAI去掉了GPT-1階段的有監(jiān)督微調(diào)（fin量模型和監(jiān)督學(xué)習(xí)的組合，在訓(xùn)練任務(wù)方GPT-2調(diào)整優(yōu)化的目的是為了解決零次學(xué)習(xí)問題（zero-shot注：zero-shot問題，就是針對AI在面對不認識的事物時，也能進行推理）多任務(wù)模型的特點：跟傳統(tǒng)ML需要專門的標注數(shù)據(jù)集不同（從而訓(xùn)練出專業(yè)AI多任務(wù)模型不采用專門AI手段，而是在海量數(shù)據(jù)喂養(yǎng)訓(xùn)練的基礎(chǔ)上，適配任何任務(wù)形式。請參閱附注免責(zé)聲明30ChatGPT——生成式AI迎來拐點，商用落地 021GPT-2仍未解決應(yīng)用中的在GPT-2階段，盡管體系結(jié)構(gòu)是任務(wù)無關(guān)的，但仍然需要任務(wù)特定的數(shù)據(jù)集和任務(wù)特定常需要對特定于該任務(wù)的數(shù)千到數(shù)十萬個示例的數(shù)據(jù)集進行預(yù)訓(xùn)練加微調(diào)范式中，可能在這種范式下實現(xiàn)的──●預(yù)訓(xùn)練加微調(diào)范式中，可能在這種范式下實現(xiàn)的──●存在的問題01：從實用的角度來看，每一項新任務(wù)都需要一個標記示例的大數(shù)據(jù)集，這限制了語言模型的適用性；對于其中的許多任務(wù)（從糾正語法到生成抽象概念的示例，再到評論一個短篇從實用的角度來看，每一項新任務(wù)都需要一個標記示例的大數(shù)據(jù)集，這限制了語言模型的適用性；對于其中的許多任務(wù)（從糾正語法到生成抽象概念的示例，再到評論一個短篇故事等等），很難收集一個大型的監(jiān)督訓(xùn)練數(shù)據(jù)集，特別是當(dāng)每個新任務(wù)都必存在的問題存在的問題點大型受監(jiān)督的數(shù)據(jù)集，當(dāng)前NLP技術(shù)32 021GPT-3取得突破性進展，任務(wù)結(jié)果難以與人類作品區(qū)分開來GPT-3是一個具有1750億個參數(shù)的自回歸語言模型，比之前的任何非稀疏語言性能GPT-3都是在沒有任何梯度更新或微調(diào)的情況下應(yīng)用的，僅通過與模型的文本交互來指定任務(wù)和few-shot演示。GPT-3在許多NLP數(shù)據(jù)集上都有很強的性能（包括翻譯、問題解答和圖33：GPT-3的模型參數(shù)在GPT-2的基礎(chǔ)上增加110多倍圖34：GPT-3相關(guān)研究顯示，few-shot(少量樣本）的綜合表現(xiàn)是在無監(jiān)督模式下最優(yōu)的圖33：GPT-3的模型參數(shù)在GPT-2的基礎(chǔ)上增加110多倍請參閱附注免責(zé)聲明請參閱附注免責(zé)聲明,國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 ），通過對大語言模型進行微調(diào)，從而能夠在參數(shù)減少的情況下，實現(xiàn)優(yōu)于GPT-3的功能InstructGPT提出的背景：使語言模型更大并不意味著它們能夠更好地遵循用戶的意圖，用戶毫無幫助的輸出，即這些模型與其用戶不一致。另外，GPT-3雖然選擇了少樣本學(xué)習(xí)（few-shot）和繼續(xù)堅持了GPT-習(xí)，但基于few-shot的效果，其稍遜于基于以上背景，OpenAI在GPT-3基礎(chǔ)上根據(jù)人類反饋的強化學(xué)習(xí)方案RHLF，訓(xùn)練出獎勵模型（用AI訓(xùn)練AI的思路）InstructGPT的訓(xùn)練步驟為：對GPT-3監(jiān)督微調(diào)——訓(xùn)練獎勵模型（rewardmodel）——增強學(xué)習(xí)優(yōu)化SFT(第二循環(huán)多次)圖35：InstructGPT訓(xùn)練三步驟各自對應(yīng)的數(shù)據(jù)集規(guī)模如下圖所示（labeler指的是OpenAI的標注人員，customer指GPT-3API的用戶）資料來源：《Traininglanguagemodelstofollowinstructionswithhumanfeedback》論文，稀土掘金，國泰君安證ChatGPT——生成式AI迎來拐點，商用落地ChatGPT核心技術(shù)優(yōu)勢：提升了理解人類（注：根據(jù)官網(wǎng)介紹，GhatGPT也是基于InstructGPT構(gòu)建，因而可以從InstructGPT來理解ChatGPT利用人類意圖來增強模型效果）圖36：基于人類反饋強化的核心訓(xùn)練流程如下所示：練監(jiān)督策略搜集說明數(shù)據(jù)（基于練監(jiān)督策略搜集說明數(shù)據(jù)（基于prompt訓(xùn)練方式的數(shù)據(jù)集訓(xùn)練監(jiān)督策略對這個prompt訓(xùn)練的數(shù)據(jù)集和若干模型的結(jié)果進行抽樣Labeler(標記者)揭Labeler(標記者)揭示期望的輸出行為最優(yōu)到最差將輸出結(jié)果進行排序這個數(shù)據(jù)用來聯(lián)合監(jiān)督學(xué)習(xí)，對這個數(shù)據(jù)用來聯(lián)合監(jiān)督學(xué)習(xí)，對GPT-3進行微調(diào)饋模型步驟3：搜集說明數(shù)據(jù)，使用增強學(xué)習(xí)優(yōu)化模型新的prompt從數(shù)據(jù)集中抽樣借助模型生成輸出反饋模型為輸出計算一個反饋結(jié)果反饋結(jié)果用來優(yōu)化策略34請參閱附注免責(zé)聲明34ChatGPT——生成式AI迎來拐點，商用落地 021ChatGPT得益于通用（基礎(chǔ)）模型所構(gòu)建AI系統(tǒng)的新范式基礎(chǔ)模型（FoundationModel）在廣泛的應(yīng)用中整合構(gòu)建機器學(xué)習(xí)系統(tǒng)的方法，它為許多任務(wù)提供了強大的基礎(chǔ)模型是在深度神經(jīng)網(wǎng)絡(luò)和自我監(jiān)督學(xué)習(xí)的基礎(chǔ)上演化而來?；A(chǔ)模型基于廣泛數(shù)據(jù)（通機器學(xué)習(xí)使學(xué)習(xí)算法同質(zhì)化（例如，邏輯回歸深度學(xué)習(xí)使模型架構(gòu)同質(zhì)化（如卷積神經(jīng)網(wǎng)絡(luò)而基礎(chǔ)模型使模型本身同質(zhì)化（比如，隨著機器學(xué)習(xí)的引入，任務(wù)是如何執(zhí)行的（自動推斷）從例子中顯現(xiàn)出來隨著深度學(xué)習(xí)，用于預(yù)測的高級特征出現(xiàn)有了基礎(chǔ)模型，甚至出現(xiàn)了情境學(xué)習(xí)等高級功能請參閱附注免責(zé)聲明35ChatGPT——生成式AI迎來拐點，商用落地圖38：基礎(chǔ)模型可以集中來自各種模態(tài)的所有數(shù)據(jù)的信息，然后這一模型可以適用于廣泛的下游任務(wù)圖38：基礎(chǔ)模型可以集中來自各種模態(tài)的所有數(shù)據(jù)的信息，然后這一模型可以適用于廣泛的下游任務(wù)用海量無標注文本預(yù)訓(xùn)練，從而文本大模型在較小的數(shù)據(jù)集和零數(shù)據(jù)集場景下可以有較好的理解和生成能力。基于大模型的無標準文本書收集，ChatGPT得以在情感分析、信息鉆取、理解閱讀等文本場景中優(yōu)勢突的增加，會進一步促進模型語義理解能力以及抽象學(xué)習(xí)能力的極大提實現(xiàn)ChatGPT的數(shù)據(jù)飛輪效應(yīng)（用更多數(shù)據(jù)可以訓(xùn)練出更好的模型，研究發(fā)現(xiàn)，每增加參數(shù)都帶來了文本合成和/或下游NL請參閱附注免責(zé)聲明36請參閱附注免責(zé)聲明36ChatGPT大模型架構(gòu)也是ML發(fā)展到第求快速增長計算、數(shù)據(jù)和算法的進步是指導(dǎo)現(xiàn)代機器學(xué)習(xí)（ML）進步的三個基本因素。在20月翻一番。自2010年代早期深度學(xué)習(xí)（DeepLearning）問世以來，訓(xùn)練計算的規(guī)模已經(jīng)加快，大約每6個月翻一番。2015年末，隨司開發(fā)大規(guī)模ML模型，訓(xùn)練計算需求增加10至100倍，出現(xiàn)了一種新趨勢——訓(xùn)練高級ML系統(tǒng)的需求快速增長。表3：ML相關(guān)計算規(guī)模呈現(xiàn)持續(xù)快速攀升趨勢文章研究結(jié)論November).圖40：2010年至2022年間102個里程碑ML系統(tǒng)的訓(xùn)練計算趨勢如下所示請參閱附注免責(zé)聲明請參閱附注免責(zé)聲明37ChatGPT——生成式AI迎來拐點，商用落地礎(chǔ)代碼生成視頻生成Copilot可自動編寫代碼AIGC其他圖像生成ChatGPT——生成式AI迎來拐點，商用落地代碼生成視頻生成Copilot可自動編寫代碼AIGC其他圖像生成AIGC:利用人工智能產(chǎn)生內(nèi)容，提升生產(chǎn)力曲線圖41：AIGC應(yīng)用功能簡單如下圖所示文本問答文本問答ChatGPT可與人類進行流暢的文本問答Anastronautridingahourseas請參閱附注免責(zé)聲明39資料來源：OpenAI官網(wǎng)，Copilot官網(wǎng)，Synthesia官網(wǎng)，國泰君安證券研究 ……ChatGPT——生成式AI迎來拐點，商用落地 …… 要組成部分，ChatGPT模型的出現(xiàn)對于文字/語音模態(tài)的AIGC應(yīng)用具有重要意義AIGC領(lǐng)域相關(guān)技術(shù)打破了預(yù)定義規(guī)則的局限性，使得快速便捷且智慧地輸出多模態(tài)的數(shù)字內(nèi)容成為可能。三種功能相互嵌套與結(jié)合，可以讓AIGC產(chǎn)品具備超越人類一大功能領(lǐng)域中的重要組成部分。圖42：ChatGPT是AIGC的產(chǎn)品應(yīng)用框架中大型語言模型的重要板塊面向C端和B端的應(yīng)用面向C端和B端的應(yīng)用模型托管、交易平臺模型托管、交易平臺OpenAIGPTOpenAIGPT大型語言模型（LLM）云計算平臺 GoogleCloud GoogleCloudAWSAlicloudcloudAzureAzure資料來源：SamAltman，機器翻譯觀察（公眾號國泰君安證券研究請參閱附注免責(zé)聲明40計算機視覺技術(shù)其他單模態(tài)技術(shù)多模態(tài)技術(shù)請參閱附注免責(zé)聲明41計算機視覺技術(shù)其他單模態(tài)技術(shù)多模態(tài)技術(shù)請參閱附注免責(zé)聲明41 孿生能力包括智能增強與轉(zhuǎn)譯技術(shù)，其中增強技術(shù)彌補內(nèi)容數(shù)字化過程中的信息損失，轉(zhuǎn)譯技術(shù)在理解基礎(chǔ)上對內(nèi)容進行多種形式呈現(xiàn)編輯能力包括智能語義理解與屬性控制，語義理解幫助實現(xiàn)數(shù)字內(nèi)容各屬性的分離解耦，屬性控制則在理解基礎(chǔ)上對屬性進行精確修改、編輯與二次生成，最終反饋于現(xiàn)實世界，形成孿生-反饋閉環(huán)創(chuàng)作能力可分為基于模仿的創(chuàng)作與基于概念的創(chuàng)作，前者基于對某一類作品數(shù)據(jù)分布進行創(chuàng)作，而后者從海量數(shù)據(jù)中學(xué)習(xí)抽象概念，并基于概念創(chuàng)作出現(xiàn)實世界不存在的內(nèi)容圖43：AIGC三大前沿技術(shù)能力架構(gòu)如下圖所示三維重構(gòu)音頻修復(fù)語音合成視覺描述摘要生成數(shù)字人智能作畫三維重構(gòu)音頻修復(fù)語音合成視覺描述摘要生成數(shù)字人智能作畫短片創(chuàng)作基于概念創(chuàng)作基于概念創(chuàng)作基于模仿創(chuàng)作屬性控制語義理解智能轉(zhuǎn)譯智能增強 孿生能力編輯能力創(chuàng)作能力資料來源：中國信通院，國泰君安證券研究.谷歌提出DVD-.谷歌提出DVD-.英偉達發(fā)布其可以自動生成人眼難以分辨真假片，輸入文字即可生成極高質(zhì)量且風(fēng)格多樣的 031AIGC行業(yè)發(fā)展經(jīng)歷了三個主要圖44：AIGC經(jīng)歷了大致三個階段的演化發(fā)展.與利用計算機完成世界首曲由計算機完成的音樂《依利亞克組曲（IlliacSuite）》與推出世界首款人機可對話機器人IBM推出基于語音控制打字機Tangora，可處理約20000個單詞早期萌芽階段20世紀50年代-90年代中期受限于科技水平，AIGC僅限于小范圍試驗人工智能創(chuàng)作的小說.微軟公開展示全自動同聲傳譯系統(tǒng)，可講英文語音自動轉(zhuǎn)化為中文語音沉淀積累階段1990s-2010s.對抗生成網(wǎng)絡(luò)GAN被提出，GAN網(wǎng)絡(luò)極大提高AI生成內(nèi)容的逼真度微軟人工智能“小冰”創(chuàng)作世界首部作詩集續(xù)視頻快速發(fā)展階段2010s-至今模型結(jié)構(gòu)不斷創(chuàng)新，AIGC內(nèi)容多樣性與逼真度不斷提高資料來源：中國通信研究院，國泰君安證券研究誠信·責(zé)任·親和·專業(yè)·創(chuàng)新ChatGPT——生成式AI迎來拐點，商用落地 分析式AI其學(xué)習(xí)的知識局限于數(shù)據(jù)本身；生成式AI在總結(jié)歸納數(shù)據(jù)知識的基礎(chǔ)圖45：AIGC是在分析式AI的基礎(chǔ)上，學(xué)習(xí)數(shù)據(jù)產(chǎn)生模式，實現(xiàn)新樣本內(nèi)容的創(chuàng)造數(shù)據(jù)學(xué)習(xí)數(shù)據(jù)學(xué)習(xí)分析式AI利用機器學(xué)習(xí)技術(shù)學(xué)習(xí)數(shù)據(jù)分布，進行如分類，預(yù)測等任務(wù)。發(fā)展過程中誕生了卷積神經(jīng)網(wǎng)絡(luò)，殘差深度網(wǎng)絡(luò)，Transformer網(wǎng)絡(luò)結(jié)構(gòu)等系份判別數(shù)據(jù)學(xué)習(xí)+新數(shù)據(jù)生成數(shù)據(jù)學(xué)習(xí)+新數(shù)據(jù)生成生成式AI在學(xué)習(xí)歸納數(shù)據(jù)分布的基礎(chǔ)上，學(xué)習(xí)數(shù)據(jù)產(chǎn)生的模式，并創(chuàng)造數(shù)據(jù)中不存在的新樣在分析式AI技術(shù)基礎(chǔ)上誕生大型Transformer網(wǎng)絡(luò)，Diffusion等新模型案樣圖片，如博客配圖，海報圖片等請參閱附注免責(zé)聲明43資料來源：OpenAI官網(wǎng)，StarryA.I.官網(wǎng)，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 人工智能技術(shù)推動AIGC行業(yè)不斷發(fā)展，納與創(chuàng)新能力圖46：AI模型的升級迭代為AIGC性能跨越式發(fā)展奠定基礎(chǔ)學(xué)習(xí)范式更新學(xué)習(xí)范式更新基于規(guī)則的機器學(xué)習(xí)基于預(yù)先定義的統(tǒng)計模型或規(guī)則完成任務(wù)，模型自身并不具有學(xué)基于損失函數(shù)與梯度下降通過損失函數(shù)與梯度下降更新模型參數(shù)，模型自身可對數(shù)據(jù)內(nèi)容進行學(xué)習(xí)模型結(jié)構(gòu)不斷升級對抗生成網(wǎng)路深度變分自編碼器對抗生成網(wǎng)路卷積神經(jīng)網(wǎng)絡(luò)模型在視覺識別任務(wù)上表現(xiàn)遠超傳統(tǒng)機器學(xué)習(xí)算法，開啟深度學(xué)習(xí)序幕通過將隱特征建模為可采樣的分布，首次穩(wěn)定地生成從未觀測過的圖像，極大推動AI生成技術(shù)發(fā)展通過生成器與判別起的不斷博弈學(xué)習(xí)，提高生成樣本的清晰度與逼真度，可以生成真假難辨的內(nèi)擴散模型擴散模型在GAN基礎(chǔ)上進一步提高樣本多樣性與逼真度容Transformer結(jié)構(gòu)提高上下文建模能力，并行的結(jié)構(gòu)加快訓(xùn)練速度，使得構(gòu)建超大規(guī)模模型成為可能誠信·責(zé)任·親和·專業(yè)·創(chuàng)新資料來源：中國通信研究院，國泰君安證券研究模型托管平臺儲存與分享模型閉源基礎(chǔ)模型通過API開放大規(guī)模預(yù)訓(xùn)練模型如：OpenAI模型托管平臺儲存與分享模型閉源基礎(chǔ)模型通過API開放大規(guī)模預(yù)訓(xùn)練模型如：OpenAI的GPT-3模型層應(yīng)用層端到端應(yīng)用應(yīng)用面向B2B、B2C應(yīng)用，自身不持有模型AIGC產(chǎn)業(yè)鏈涵蓋了從硬件到多類終端應(yīng)用的廣泛領(lǐng)域算硬件層中GPU與TPU為硬件核心，主要參與廠商包括英偉達（GPU）與谷歌）；Coreweave;計算硬件層中云計算平臺廠商分布穩(wěn)定，競爭層面與應(yīng)用層面。模型層面，閉源基礎(chǔ)模型提供商如OpenAI通過API向用戶而開源基礎(chǔ)模型則通過在托管平臺如HuggingF型權(quán)重。模型訓(xùn)練其高計算力需求推動了模型層廠商與云計算廠商建模型較為普遍，各廠商依靠模型建立技術(shù)壁壘平臺共享的模型。圖47：AIGC市場框架可由基礎(chǔ)設(shè)施層、模型層、臺以及應(yīng)用層來進行劃分開源基礎(chǔ)模型開源基礎(chǔ)模型開放訓(xùn)練完成的模型權(quán)重（stability）云計算平臺云計算平臺為開發(fā)者提供云計算服務(wù)計算硬件層計算硬件層提供模型訓(xùn)練與推理的加速芯片如：GPU（英偉達TPU（谷歌）45資料來源：機器翻譯觀察（微信公眾號），45資料來源：機器翻譯觀察（微信公眾號），國泰君安證券研究內(nèi)容設(shè)計內(nèi)容制工具周邊售賣運營增效自動實時交互個性化市場營銷內(nèi)容設(shè)計內(nèi)容制工具周邊售賣運營增效自動實時交互個性化市場營銷數(shù)據(jù)梳理46 AIGC上游主要包括數(shù)據(jù)供給方、算法機構(gòu)、創(chuàng)作者生態(tài)以圖48：AIGC產(chǎn)業(yè)鏈上下游參與者分類如下數(shù)據(jù)供給方數(shù)據(jù)供給方（業(yè)務(wù)數(shù)據(jù)聯(lián)通、素材數(shù)據(jù)收集等，如第三方營銷公司、版權(quán)圖庫方）相關(guān)算法/模型研究機構(gòu)底層配合工具渲染引擎、混音設(shè)備等創(chuàng)作者生態(tài)生物資產(chǎn)及內(nèi)容素材提供嵌入/結(jié)合能力的業(yè)務(wù)平臺/業(yè)務(wù)生態(tài)數(shù)據(jù)拆分及標注相關(guān)開源算法垂直賽道初創(chuàng)公司垂直賽道初創(chuàng)公司ZM0.AI游戲AIGC虛擬人 其他機構(gòu)騰訊優(yōu)圖冒Microsot|微軟亞洲研究院Tezignl特贊綜合賽道初創(chuàng)公司文字圖像視頻音頻Giiso各類內(nèi)容創(chuàng)作及分發(fā)平臺各類內(nèi)容創(chuàng)作及分發(fā)平臺（基于AIGC激發(fā)PGC及UGC活力第三方內(nèi)容服務(wù)機構(gòu)如MCN、公關(guān)公司等內(nèi)容終端生產(chǎn)廠商新聞媒體機構(gòu)、金融機構(gòu)請參閱附注免責(zé)聲明第三方分發(fā)渠道AIGC內(nèi)容檢測消費品廠商資料來源：中國信通院，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 031AIGC廠商之間的競爭在于模型層面競爭文本生成產(chǎn)品多依賴GPT系列模型，自己訓(xùn)練的模型在圖像/視頻模態(tài)產(chǎn)品中較為普遍（圖像/是如文本模態(tài)調(diào)用OpenAI提供的模型服務(wù)）圖49：AIGC模型產(chǎn)品之間存在激烈競爭?…基于基于GPT-3:基于Codex:開源算法Stable模型中產(chǎn)品————資料來源：各公司官網(wǎng)，騰訊研究院，量子位，國泰君安證券研究誠信·責(zé)任·親和·專業(yè)·創(chuàng)新ChatGPT——生成式AI迎來拐點，商用落地 031AIGC取長補短，有望成為主流（AIGC）四個階段，目前處于一、二階段為主，第三階段為輔的境況圖50：AIGC生態(tài)內(nèi)容生產(chǎn)模式理論上會經(jīng)歷四個發(fā)展階段電視，電影，游戲等由專業(yè)團隊生產(chǎn)，內(nèi)容質(zhì)量高?內(nèi)容生產(chǎn)門檻高，壟斷嚴重?生產(chǎn)周期長，難以滿足大規(guī)模生產(chǎn)需求短視頻，社交媒體文章，播客等創(chuàng)作工具下放，用戶可自行生產(chǎn)內(nèi)容，創(chuàng)作門檻、成本降低內(nèi)容生產(chǎn)參與者眾多，創(chuàng)作生態(tài)繁榮，個性化程度高?創(chuàng)作者參差不齊，內(nèi)容質(zhì)量不高資料來源：，中國信通院，國泰君安證券研究AIGCAIGC輔助AI輔助文字創(chuàng)作，圖片創(chuàng)作等AI技術(shù)學(xué)習(xí)的專業(yè)知識輔助內(nèi)容生產(chǎn)環(huán)節(jié)，提高內(nèi)容質(zhì)量AI技術(shù)實現(xiàn)自動化內(nèi)容生產(chǎn)，減少創(chuàng)作耗時，提高內(nèi)容生產(chǎn)規(guī)模天花板?人在關(guān)鍵環(huán)節(jié)依然需要輸入指令，沒有做到完全自主性AIGCAIGCAI自主文字創(chuàng)作，圖片創(chuàng)作等實現(xiàn)完全自主性請參閱附注免責(zé)聲明48視頻畫質(zhì)增強視頻內(nèi)容創(chuàng)作視頻風(fēng)格遷移…文本合成語音語音克隆音樂生成…文本創(chuàng)作代碼生成對話問答…ChatGPT——生成式AI迎來拐點，商用落地視頻畫質(zhì)增強視頻內(nèi)容創(chuàng)作視頻風(fēng)格遷移…文本合成語音語音克隆音樂生成…文本創(chuàng)作代碼生成對話問答… 圖片編輯圖片生成3D圖像生成圖片編輯圖片生成3D圖像生成…跨模態(tài)文字合成圖片文字合成視頻…誠信·責(zé)任·親和·專業(yè)·創(chuàng)新…資料來源：各公司官網(wǎng)，中國通信研究院，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地AIGC不同模態(tài)對應(yīng)著各種生成技術(shù)及應(yīng)用場景文本生成分為非交互式文本和交互式文本音頻生成包括語音克隆、文本生成特定語音，音樂生成視頻生成視頻屬性編輯，視頻自動剪輯，視頻部分編輯跨模態(tài)生成文字生成圖像，文字生成視頻，圖像/視頻到文本圖52：AIGC各技術(shù)應(yīng)用場景對應(yīng)的特征及細分品類如下圖所示AIGC各模態(tài)應(yīng)用領(lǐng)域資料來源：量子位智庫，國泰君安證券研究分為圖像編輯工具和圖像自主生成工具策略生成機器人控制等領(lǐng)域有極高游戲本身為AI提供了最佳的研發(fā)虛擬人生成50請參閱附注免責(zé)聲明50ChatGPT——生成式AI迎來拐點，商用落地AIGC文本生成技術(shù)場景可分為交互式和非交互式較大，在長文本生成中難度較大，仍需技術(shù)進一步發(fā)展圖53：文本內(nèi)容生產(chǎn)領(lǐng)域相關(guān)細分特征如下架構(gòu)圖所述結(jié)構(gòu)化寫作非交互式文本創(chuàng)作型（非結(jié)構(gòu)化）寫作相比結(jié)構(gòu)化的文本，創(chuàng)作型文本具有更高的開放度與自由度，需要一定的創(chuàng)意與個性文本生成化，如社交媒體，營銷文案，博客文案等。現(xiàn)有產(chǎn)品如：WriteSonic非交互式文本創(chuàng)作型（非結(jié)構(gòu)化）寫作相比結(jié)構(gòu)化的文本，創(chuàng)作型文本具有更高的開放度與自由度，需要一定的創(chuàng)意與個性文本生成化，如社交媒體，營銷文案，博客文案等?，F(xiàn)有產(chǎn)品如：WriteSonic、Retresco等閑聊機器人在一個上下文中進行文本交互，如客服問答，機器人聊天等?，F(xiàn)有產(chǎn)品如：小冰島等交互式文本{文本交互游戲使用AI技術(shù)生成游戲內(nèi)容，現(xiàn)有產(chǎn)品如AID資料來源：量子位智庫，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 031AIGC文本生成技術(shù)商業(yè)化落地有望優(yōu)勢先發(fā)基于GPT-3的文字生成功能已嵌入如圖54：文本生成技術(shù)商業(yè)化落地有比較優(yōu)勢文本易于獲得相較于其他模態(tài)數(shù)據(jù)，文本數(shù)據(jù)易于獲得且數(shù)量龐大，滿足大規(guī)模預(yù)訓(xùn)練模型對數(shù)據(jù)量的需求文本表達信息更為高效ALBEword2vecGPTALBEword2vecGPT文本數(shù)據(jù)其離散的性質(zhì)使得相同模型架構(gòu)下大模型訓(xùn)練消耗資源低與圖片/視頻資料來源：量子位智庫，國泰君安證券研究圖55：AIGC文本模態(tài)技術(shù)（包括文本與代碼）商業(yè)化領(lǐng)跑視頻/圖像模態(tài)技術(shù)資料來源：紅杉，國泰君安證券研究請參閱附注免責(zé)聲明52ChatGPT——生成式AI迎來拐點，商用落地AIGC圖像生成技術(shù)隨著模型結(jié)構(gòu)的優(yōu)化而明顯提升較包含更多元素，其生成效果仍存在不穩(wěn)定性，對于要求較高的功能類圖像生成仍需要技術(shù)上的提升。圖56：圖像生成技術(shù)具體實現(xiàn)包括圖像編輯、2D-3D轉(zhuǎn)換以及自主生成圖57：模型結(jié)構(gòu)進化不斷提高了圖像生成質(zhì)量圖像編輯工具量更改或復(fù)刻圖片風(fēng)格，或根據(jù)提示更改圖片的其中一部分或在圖片中添加新的構(gòu)成元素等現(xiàn)有產(chǎn)品如：NightCafe、Metaphysics等創(chuàng)意圖像生成Transformer網(wǎng)絡(luò)按照指定要求產(chǎn)生海報，logo等有一定格式限制的圖像現(xiàn)有產(chǎn)品如：DeepDreamGenerator等2D圖像生成3D模型絡(luò)輸入2D圖像，由AI生成圖像中物體的3D模型圖像生成{圖像自主生成{更改或復(fù)刻圖片風(fēng)格，或根據(jù)提示更改圖片的其中一部分或在圖片中添加新的構(gòu)成元素等現(xiàn)有產(chǎn)品如：NightCafe、Metaphysics等創(chuàng)意圖像生成Transformer網(wǎng)絡(luò)按照指定要求產(chǎn)生海報，logo等有一定格式限制的圖像現(xiàn)有產(chǎn)品如：DeepDreamGenerator等2D圖像生成3D模型絡(luò)輸入2D圖像，由AI生成圖像中物體的3D模型變分自編碼現(xiàn)有產(chǎn)品如：英偉達GANverse3D變分自編碼資料來源：量子位智庫，國泰君安證券研究器資料來源：量子位智庫，國泰君安證券研究請參閱附注免責(zé)聲明53ChatGPT——生成式AI迎來拐點，商用落地AIGC音頻生成技術(shù)正朝更富情感等人類特征演化情緒等因素的音樂生成任務(wù)有希望在影視、游戲等場景下的到大量應(yīng)用。圖58：AIGC音頻細分生成技術(shù)特點如下圖所示現(xiàn)有產(chǎn)品/廠商如：科大訊飛、思必馳、ReadSpeaker等音合成音頻生成細分技術(shù) 音頻生成細分技術(shù)根據(jù)開頭旋律或文字描述等利用AI自動生成特資料來源：量子位智庫，國泰君安證券研究請參閱附注免責(zé)聲明55請參閱附注免責(zé)聲明55 視頻生成過程包括三個階段：數(shù)據(jù)的提取、訓(xùn)練和轉(zhuǎn)換，當(dāng)前技術(shù)正在著重提升視頻修改精準度和實本、圖像和音頻的綜合屬性，視頻生成也是圖59：視頻生成技術(shù)具體包括視頻屬性編輯、視頻自動剪輯、視頻部分編輯視頻屬性編輯視頻屬性編輯視頻自動剪輯視頻自動剪輯利用AI技術(shù)檢測視頻片段，生成預(yù)告片，宣傳視頻等視頻內(nèi)容動態(tài)編輯資料來源：量子位智庫，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地跨模態(tài)生成技術(shù)是真正實現(xiàn)認知和決策智能的轉(zhuǎn)折點模態(tài)能力之間打通，例如文字-圖像、文字-視頻等跨模態(tài)生成能力圖60：跨模態(tài)生成領(lǐng)域當(dāng)前的主要功能類型如下所示文字生成圖像根據(jù)文字描述生成創(chuàng)意圖像其產(chǎn)品如：OpenAI的DALL·E2等文字生成視頻（拼接圖片素材生成視頻）其產(chǎn)品如：Lumen5等文字生成視頻（以端到端的方式生成視頻）其產(chǎn)品如：CogView2等用于視覺問答系統(tǒng)，自動字幕等其產(chǎn)品如：NovalAI等ChatGPT——生成式AI迎來拐點，商用落地 031AIGC改變數(shù)字內(nèi)容生產(chǎn)AIGC作為新的內(nèi)容生產(chǎn)模式，其具有內(nèi)劇本創(chuàng)作拓展角色與創(chuàng)作空間助力影片剪輯影視圖61：AIGC對各大行業(yè)的影響維度如下圖所示影視商品虛擬化虛擬主播購物會場虛擬化商品虛擬化虛擬主播購物會場虛擬化傳媒傳媒趣味音視頻合成趣味音視頻合成娛樂建立虛擬偶像娛樂開發(fā)C端數(shù)字化身金融醫(yī)療工業(yè)資料來源：中國信通院，國泰君安證券研究新聞采編新聞稿寫作視頻剪輯新聞傳播請參閱附注免責(zé)聲明57新聞播報ChatGPT——生成式AI迎來拐點，商用落地新聞播報 031AIGC滲透傳媒領(lǐng)域各個環(huán)節(jié)寬內(nèi)容影響力視頻剪輯視頻自動剪輯視頻剪輯視頻自動剪輯：從素材結(jié)構(gòu)性文本寫作：基于跨模態(tài)視頻合成：從新結(jié)構(gòu)性文本寫作：基于跨模態(tài)視頻合成：從新算法纂寫新聞稿，加速內(nèi)容生產(chǎn)，提高內(nèi)容準算法纂寫新聞稿，加速內(nèi)容生產(chǎn)，提高內(nèi)容準確度中快速生成視頻，減少人工剪輯勞動量，加快視頻發(fā)布聞稿合成主播播報視頻，提高了播報效率與準確 度，帶給觀眾不一樣的 播報體驗效性，減少機械性重復(fù)勞動新聞稿件寫作跨模態(tài)視頻生成文字：新聞稿件寫作自動生成與視頻同步的字幕視頻屬性編輯：視頻增強工具提高視頻清晰度，帶給觀眾更好體驗資料來源：中國信通院，國泰君安證券研究請參閱附注免責(zé)聲明58請參閱附注免責(zé)聲明58?基于不同角度的商品圖像，借助視覺生成算法生成商品3D模型，720°全方位展示商品，減少消費者選品與溝通時間?3D商品模型提供線上虛擬“試、穿、看、戴”，高度還原商品真?基于不同角度的商品圖像，借助視覺生成算法生成商品3D模型，720°全方位展示商品，減少消費者選品與溝通時間?3D商品模型提供線上虛擬“試、穿、看、戴”，高度還原商品真實效果，減小訂單退換貨率虛擬會場并提供客服服務(wù)，可實現(xiàn)直播24小時不間斷，為客戶提供更靈活的觀看時間與更方便的購物服務(wù)?虛擬主播人設(shè)可控性強，因主播自身原因?qū)е缕放剖軗p的幾率小?虛擬主播易于拉近品牌與年輕消費者的距離，同時構(gòu)建元宇宙潮流下的品牌形象，為未來多元化的虛擬世界打下基礎(chǔ)?通過AI技術(shù)打造虛擬主播介紹商品信息?通過從2D圖像構(gòu)建3D場景的AI技術(shù)，降低商家搭建3D線上購物空間的門檻與成本。商家可向消費者提供線上沉浸式購物體驗，可降低門店擴張成本，擴大品牌知名度 虛擬主播虛擬主播資料來源：中國信通院，國泰君安證券研究請參閱附注免責(zé)聲明59為用戶提供趣味性AIGC應(yīng)用，等創(chuàng)，增加粉絲黏性等技術(shù)支撐虛擬偶像在多樣場景下進行內(nèi)容變現(xiàn)為用戶提供趣味性AIGC應(yīng)用，等創(chuàng)，增加粉絲黏性等技術(shù)支撐虛擬偶像在多樣場景下進行內(nèi)容變現(xiàn)供聲源，AI語音軟件合成歌打造虛擬偶像，釋放IP價值開發(fā)C端用戶數(shù)字化身 圖64：AIGC在娛樂領(lǐng)域也有諸多賦能點，有助于進一步提升產(chǎn)趣味圖像趣味圖像或音視頻通過用戶的一張圖片，可自動通過用戶的一張圖片，可自動化生成具有“我”個人特色的虛擬形象，可在未來作為用戶虛擬世界中的數(shù)字化身資料來源：中國信通院，國泰君安證券研究1.利用AI1.利用AI技術(shù)可實現(xiàn)影視圖像修復(fù)，還原，提升清晰度等任務(wù)，提升畫面質(zhì)量2.快速生成電影預(yù)告片3.利用AI技術(shù)加速2D影視內(nèi)容到3D的轉(zhuǎn)制速度利用AI技術(shù)分析學(xué)習(xí)海量劇本數(shù)據(jù)，并根據(jù)預(yù)設(shè)風(fēng)格快速產(chǎn)生劇本，創(chuàng)作者再進行篩選與二次加工，可極大縮短劇本創(chuàng)作周期，并激發(fā)創(chuàng)作者創(chuàng)造力，激發(fā)創(chuàng)作靈感 031AIGC拓寬影視行業(yè)創(chuàng)意邊際圖65：AIGC在劇本創(chuàng)作、拍攝過程以及后期制作方面均賦能視頻剪輯，后期制作助力劇本創(chuàng)作賦能視頻剪輯，后期制作助力劇本創(chuàng)作拓展角色和場景創(chuàng)作空間1.減小演員自身局限對影視作品的1.減小演員自身局限對影視作品的影響，如通過AI“數(shù)字復(fù)活”已故演員或替換劣跡藝人；減小演員自身與角色的年齡差距并輔助拍攝高難度動作拍攝2.通過AI合成虛擬場景，將無法實拍的場景呈現(xiàn)出來，拓寬作品想象力邊界，給觀眾帶來更好作品體驗資料來源：中國信通院，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地 圖66：AIGC在教育、金融、工業(yè)、醫(yī)療領(lǐng)域的應(yīng)用優(yōu)勢如下課本具體化，立體化，使知識傳播更生動，趣味減輕醫(yī)生工作壓力成技術(shù)為失語者合成語言音頻等教育賦予教育材料新活力醫(yī)療賦能診療全過程金融實現(xiàn)降本增效工業(yè)提升產(chǎn)業(yè)效率與價值頻內(nèi)容的自動化生產(chǎn)，提升機構(gòu)運營效率次的任務(wù)自動化，縮短整體設(shè)計時間化為實時3D模型，高效創(chuàng)建工廠，設(shè)備等數(shù)字孿生系統(tǒng)請參閱附注免責(zé)聲明62資料來源：中國信通院，國泰君安證券研究ChatGPT——生成式AI迎來拐點，商用落地ChatGPT——生成式AI迎來拐點，商用落地 041ChatGPT試點訂閱計劃——ChatGPTPlChatGPTPlus訂閱者可獲得圖67：ChatGPTPlus處于OpenAI官網(wǎng)的醒目位資料來源：OpenAI官網(wǎng)，國泰君安證券研究圖68：ChatGPTPlus訂閱者可獲得比免資料來源：OpenAI官網(wǎng)，國泰君安證券研究請參閱附注免責(zé)聲明64ChatGPT——生成式AI迎來拐點，商用落地ChatGPT+傳媒：實現(xiàn)智能新聞寫作，提升圖69：過往成功案例眾多，ChatGPT在傳媒領(lǐng)域的機器人記者Quakebot，在洛杉磯地震后僅3分鐘，就寫出相關(guān)信息并進行發(fā)布美聯(lián)社使用的智能寫稿平臺資料來源：中國信息通信研究院，國泰君安證券研究溝地震發(fā)生后7秒內(nèi)就完成了相關(guān)信息的編發(fā)第一財經(jīng)“DT稿王”一分鐘可寫出1680字請參閱附注免責(zé)聲明65經(jīng)拍攝制作后入圍倫敦科幻電影48小時前十強●------經(jīng)拍攝制作后入圍倫敦科幻電影48小時前十強●------2016年，紐約大學(xué)利用人工案例2案例3-----●ChatGPT可以為劇本創(chuàng)作提供新思路，創(chuàng)作者可根據(jù)ChatGPT的生成制作出更高質(zhì)量的影視內(nèi)容圖70：內(nèi)容生成在影視領(lǐng)域運用廣泛，ChatGPT在影視領(lǐng)域的商業(yè)化大有可為●-----●-----學(xué)的學(xué)生利用OpenAI的GPT-3模型創(chuàng)作劇本案例1并制作短片《律師》案例1智能編寫劇本《Sunspring》，國內(nèi)海馬輕帆科技公司推出的“小包括《你好，李煥英》《流浪地球》等爆款作品在內(nèi)的劇集劇本30000多集、電影/網(wǎng)絡(luò)電影劇本8000多部、網(wǎng)絡(luò)小說超過500萬部請參閱附注免責(zé)聲明66資料來源：中國信息通信研究院，國泰君安證券研究穩(wěn)定可靠ChatGPT——生成式AI迎來拐點，商用落地穩(wěn)定可靠圖71：利用ChatGPT打造的虛擬客服，具備無ChatGPT虛擬客服為客戶提供24小時不間斷的產(chǎn)品推薦介紹以及在線服全天候全天候塑造品