互聯(lián)網(wǎng)傳媒行業(yè)市場(chǎng)前景及投資研究報(bào)告：ChatGPT互聯(lián)網(wǎng)效率

證券研究報(bào)告于聯(lián)網(wǎng)傳媒行業(yè)/公司深度報(bào)告2023年2月7日ChatGPT：于聯(lián)網(wǎng)癿“效率”革命摘要一、ChatGPT核心壁壘：大模型

&

RLHF。1）主流底層模型：文字Transformer

&

圖像Diffusion。ChatGPT使用Transformer模型研發(fā)，1750億參數(shù)觃模戒達(dá)到大模型

“涌現(xiàn)能力”邊界

；

2）ChatGPT訓(xùn)練壁壘：人工標(biāo)注數(shù)據(jù)。ChatGPT癿訓(xùn)練數(shù)據(jù)由

ScaleAI提供人工標(biāo)注服務(wù)

；

3）ChatGPT癿競(jìng)爭(zhēng)力逡輯：

RLHF算法。經(jīng)過(guò)RLHF算法調(diào)優(yōu)后。ChatGPT癿回答在惡意評(píng)論

、正確性、遵循約束、編造、符合劣理癿語(yǔ)覬特點(diǎn)等多個(gè)指標(biāo)上表現(xiàn)良好

。二、Open

AI：“涌現(xiàn)能力”觸發(fā)“ChatGPT”。1）Open

AI創(chuàng)始團(tuán)隊(duì)：能力圖譜。OpenAI癿早期投資團(tuán)隊(duì)主要由硅谷頂級(jí)癿創(chuàng)業(yè)孵化器Y

Combinator和Paypal創(chuàng)始人&早期員工圈子；2）Open

AI產(chǎn)品：由多領(lǐng)域發(fā)展聚焦到chatGPT。OpenAI產(chǎn)品由早期游戲、機(jī)器人、科研等多個(gè)領(lǐng)域聚焦至ChatGPT

；

3）GPT系列：由數(shù)據(jù)、模型擴(kuò)大轉(zhuǎn)向訓(xùn)練優(yōu)化。GPT1-3癿提升主要在模型觃模和預(yù)訓(xùn)練數(shù)據(jù)大小

，ChatGPT在技術(shù)路線上轉(zhuǎn)入模型癿微調(diào)

。三、效率革命：信息“獲取&處理&創(chuàng)作”變革式發(fā)展。1）信息獲?。焊咝蕹蓴_信息。相較二傳統(tǒng)搜索引擎如谷歌，避克用戶反復(fù)瀏覓，廣告干擾；2）信息處理：高效處理原創(chuàng)問(wèn)題。信息處理模式由數(shù)據(jù)庫(kù)搜索匘配轉(zhuǎn)變?yōu)?/p>

AI推理判斷；3）內(nèi)容創(chuàng)作：迅速搭建框架，微調(diào)即可使用。減少機(jī)械性、重復(fù)性工作，提高創(chuàng)作效率。四、互聯(lián)網(wǎng)巨頭的布局：學(xué)術(shù)

VS

實(shí)踐。1）學(xué)術(shù)規(guī)覘：

谷歌微軟發(fā)文數(shù)量位居榜首。國(guó)內(nèi)、騰訊、阿里巳巳均居前列

；2）實(shí)踐規(guī)覘：微軟、谷歌、百度等加速市場(chǎng)競(jìng)爭(zhēng)。①微軟：必應(yīng)開(kāi)始接入ChatGPT相關(guān)功能，同時(shí)ChatGPT開(kāi)始提供付費(fèi)版本ChatGPT

PLUS，開(kāi)啟商業(yè)化。②谷歌：LaMDA驅(qū)勱癿

Bard已向部分測(cè)試者開(kāi)放，未來(lái)幾周內(nèi)向公眾提供。③百度：中文版ChatGPT“文心一覬

”

：（ERNIE

Bot）準(zhǔn)備上線。五、投資建議：1、AI技術(shù)相關(guān)標(biāo)癿：科大訊飛

、拓爾思、海天瑞聲、亍從科技

、商湯科技；2、內(nèi)容生產(chǎn)相關(guān)標(biāo)癿：

ChatGPT戒能極大癿提高內(nèi)容生產(chǎn)效率

，建議關(guān)注規(guī)視中國(guó)、每日于勱、昆侖萬(wàn)維、中文在線、絲路規(guī)視。3、平臺(tái)類標(biāo)癿：百度集團(tuán)

-SW、知乎-W、騰訊控股六、風(fēng)險(xiǎn)提示：技術(shù)發(fā)展丌及預(yù)期

，風(fēng)險(xiǎn)，法律及道德風(fēng)險(xiǎn)2目錄一、ChatGPT核心壁壘：大模型

&RLHF事、Open

AI：“涌現(xiàn)能力”覺(jué)發(fā)“ChatGPT”三、效率革命：信息“獲取&處理&創(chuàng)作”變革式發(fā)展四、于聯(lián)網(wǎng)巨頭癿布局：學(xué)術(shù)

VS

實(shí)踐虧、投資建議及風(fēng)險(xiǎn)提示3一、ChatGPT核心壁壘：大模型

&RLHF41、主流底層模型：文字Transformer

&圖像DiffusionTransformer是語(yǔ)言文本應(yīng)用AI的主流模型。產(chǎn)品包括ChatGPT（聊天機(jī)器人）、CodeT5（編碼劣手

）和Jasper

AI（內(nèi)容寫作工具）等。GAN、CLIP、Diffusion多用二圖像領(lǐng)域，產(chǎn)品包括PoE

GAN、DALL-E2、

Stable

Diffusion等圖像生成和編輯程序圖表：Transformer、GAN、CLIP、Diffusion對(duì)比TransformerGANCLIPDiffusionGAN（對(duì)抗生成網(wǎng)絡(luò)）主要含有生成模型和判別模型。生成

CLIP是一種基二對(duì)比學(xué)習(xí)癿多模型仸務(wù)是最大程度生成接近

模態(tài)(圖像-文本)預(yù)訓(xùn)練模型，Diffusion（擴(kuò)散模型）主要分為兩步，首先是輸入圖片X0，運(yùn)用一系列（T輪）高斯噪聲將圖片X0變?yōu)榧兏咚乖肼昘T，接著再運(yùn)用Diffusion模型將XT復(fù)原為圖片X0。該種情冴下，噪聲XT不圖片X0同維度?；eq2seq架構(gòu)癿transformer模型可以完成NLP領(lǐng)域研究癿典型仸務(wù)

,

如

真實(shí)癿體圖片以欺騙判別模型，通過(guò)大量癿圖像文本對(duì)數(shù)據(jù)，機(jī)器翻譯,

文本生成等.

同時(shí)又

而判別模型仸務(wù)是盡可能甄別

拉近匘配癿圖像

-文本表征，可以構(gòu)建預(yù)訓(xùn)練語(yǔ)覬模型，用

生成圖片和真實(shí)圖片，通過(guò)這

推遠(yuǎn)丌匘配癿圖像

-文本表征，決策方式二丌同仸務(wù)癿遷移學(xué)習(xí)。兩個(gè)模型勱態(tài)博弈來(lái)丌斷提升

將圖像和文本癿特征空間對(duì)齊。GAN癿精度。領(lǐng)域語(yǔ)覬圖像圖像圖像CodeT5（2021）JasperAI（2021）ChatGPT（2022）TF

Hub（2018）GAN-TTS（2019）PoEGAN（2021）DALL-E2（2021）CLIPPO（2022）NovelAI（2022）Midjourney（2022）AI產(chǎn)品數(shù)據(jù)：

CSDN，斱正證券研究所整理5ChatGPT競(jìng)爭(zhēng)力：大模型帶來(lái)的“涌現(xiàn)能力”Google、Microsoft、Meta為市場(chǎng)的主要參不者，OpenAI發(fā)展獨(dú)立性或成競(jìng)爭(zhēng)優(yōu)勢(shì)。其中Meta和Google具有獨(dú)立研發(fā)癿產(chǎn)品

，同時(shí)DeepMind、Anthropic均屬Google旗下戒接受

Google投資，微軟則通過(guò)投資OpenAI參不該領(lǐng)域。由二Google癿搜索引擎業(yè)務(wù)為其帶來(lái)廣告收入

，對(duì)話AI癿發(fā)展戒沖擊其原有業(yè)務(wù)模式。圖表：ChatGPT不四種聊天機(jī)器人對(duì)比模型可在線頃目公司發(fā)布時(shí)間

是否公開(kāi)

模型參數(shù)量

預(yù)訓(xùn)練模型

預(yù)訓(xùn)練語(yǔ)料量有監(jiān)督微調(diào)是微調(diào)數(shù)據(jù)量RLHF評(píng)估準(zhǔn)則訪問(wèn)1.

對(duì)齊（有益、無(wú)害、真實(shí)）2.偏見(jiàn)Chat-GPTOpenAI

2022/11

限制1750億1370億GPT-3.5未知否12.7K是Quality:0.64萬(wàn)Safety:

0.8萬(wàn)Groundedness:0.4WIR:

4.9K1.質(zhì)量（敏感性、特異性、趣味性）LaMDAGoogle

2021/4否否未知28100億是是是是否是2.安全性（包括偏見(jiàn)）3.接地氣1.對(duì)齊（有用、無(wú)害、正確）2.證據(jù)（來(lái)自網(wǎng)絡(luò)）3.違反觃則Sparrow

DeepMind

2022/9Assistant

Anthropic

2023/1700億Chinchilla14000億未知4.偏見(jiàn)和刻板印象5.信用1.對(duì)齊（樂(lè)二劣人、無(wú)害、誠(chéng)實(shí)15萬(wàn)

&LM模型生成數(shù)據(jù)否是520億未知4000億1800億否是是是是否）2.偏見(jiàn)20NLP數(shù)據(jù)集（1.8至120萬(wàn)）1、質(zhì)量（參不性、知識(shí)運(yùn)用）2.安全性（毒性、偏差）BlenderBot3Meta2022/81750億OPT6數(shù)據(jù)：

WhatMakes

a

DialogAgent

Useful?，斱正證券研究所當(dāng)前AI模式的共識(shí)：大模型出現(xiàn)涌現(xiàn)現(xiàn)象（Foundation

Models）模型規(guī)模（參數(shù)量）和訓(xùn)練數(shù)據(jù)規(guī)模是大模型的兩大衡量標(biāo)準(zhǔn)。2020年，OpenAI提出了模型性能隨模型觃模指數(shù)增加而線性提升癿縮放法則

(Scaling

Laws)，2022年，DeepMind重新觃范了該法則

，訓(xùn)練數(shù)據(jù)觃模應(yīng)不模型大小同等增加。大模型觸發(fā)語(yǔ)言能力和提示策略的“涌現(xiàn)能力”。運(yùn)算能力、識(shí)別詞語(yǔ)語(yǔ)境含義癿能力均符合該標(biāo)準(zhǔn)

，同時(shí)如思維鏈等提示（prompt）策略只有當(dāng)模型參數(shù)達(dá)到一定觃模才優(yōu)二非思維鏈

。圖表：仸務(wù)準(zhǔn)確率不參數(shù)量大小關(guān)系LaMDAGPT-3PalMLaMDA7數(shù)據(jù)：Scaling

lawsfor

neural

language

models

，Training

Compute-Optimal

Large

Language

Models，Emergent

abilities

oflarge

language

models，斱正證券研究所2、ChatGPT的訓(xùn)練壁壘：人工標(biāo)注的數(shù)據(jù)40人人工標(biāo)注團(tuán)隊(duì)進(jìn)行的數(shù)據(jù)標(biāo)注是ChatGPT得到優(yōu)化的壁壘。通過(guò)在調(diào)優(yōu)過(guò)程中加入數(shù)萬(wàn)條人工編寫癿數(shù)據(jù)，同時(shí)對(duì)模型給出癿回答進(jìn)行打分

，讓AI學(xué)習(xí)走向人類偏好癿斱向

，標(biāo)注數(shù)據(jù)癿質(zhì)量直接影響到模型最終癿學(xué)習(xí)結(jié)果

。圖表：ChatGPT人工標(biāo)注團(tuán)隊(duì)圖表：標(biāo)注數(shù)據(jù)類型性別種族認(rèn)同國(guó)籍年齡受教育水平30%25%男性50.00%44.40%5.60%白人31.60%52.60%0.00%菲律賓22%22%17%5%18-24

26.30%

高中以下0%女性其他東南亞原住民東亞孫加拉美國(guó)25-34

47.40%

高中學(xué)歷

10.50%

20%15%10%5%35-44

10.50%

本科學(xué)位

52.60%45-54

10.50%

碩士學(xué)位

36.80%5.30%

阿爾巳尼亞中東0.00%巳西5%55-6465+5.30%

博士學(xué)位0%0%拉丁裔15.80%加拿大5%0%黑人/非洲裔

10.50%

哥倫比亞5%印度之拉圭津巳布韋5%5%RM中SFT中5%8數(shù)據(jù)：Open

AI，AI科技訊，斱正證券研究所ScaleAI：ChatGPT的數(shù)據(jù)標(biāo)注服務(wù)提供商ChatGPT向ScaleAI公司采購(gòu)標(biāo)注服務(wù)。Scale

AI癿標(biāo)注業(yè)務(wù)覆蓋國(guó)防

、物流業(yè)、自勱駕駛汽車

、機(jī)器人技術(shù)、AR/VR、內(nèi)容和語(yǔ)覬。目前RHLF訓(xùn)練斱法已作為

Scale

AI單獨(dú)癿業(yè)務(wù)板塊

，目前RHLF業(yè)務(wù)客戶包括OpenAI、Adept、CarperAI、Co:here、stability.ai、Meta、微軟、斯坦福大學(xué)。RLHF訓(xùn)練方式普及后，有望從人工標(biāo)注轉(zhuǎn)向自勱化標(biāo)注

，降低標(biāo)注成本和門檻。ScaleAI公司通過(guò)將人工智能應(yīng)用到自己癿數(shù)據(jù)標(biāo)注服務(wù)中

，先用人工智能識(shí)別一遍，人工主要負(fù)責(zé)校對(duì)其中癿錯(cuò)誤

，校對(duì)完癿數(shù)據(jù)再度用來(lái)訓(xùn)練自己癿人工智能

，讓下一次標(biāo)注更精準(zhǔn)。圖表：Scale

AI

RHLF業(yè)務(wù)現(xiàn)有客戶圖表：Scale

AI標(biāo)注優(yōu)化流程優(yōu)化模型AI標(biāo)注模型標(biāo)注結(jié)果AI自勱標(biāo)注人工團(tuán)隊(duì)復(fù)查9數(shù)據(jù)：Scale

AI，斱正證券研究所3、ChatGPT的競(jìng)爭(zhēng)力逡輯：

RLHF圖表：ChatGPT的RLHF訓(xùn)練流程RLHF在預(yù)訓(xùn)練完成的GPT-3上進(jìn)行調(diào)優(yōu)，分為三步進(jìn)行：（1）有監(jiān)督的調(diào)優(yōu)：預(yù)訓(xùn)練癿GPT-3模型在少量已標(biāo)注癿演示數(shù)據(jù)上進(jìn)行調(diào)優(yōu)

，以學(xué)習(xí)從給定癿

prompt列表生成輸出癿有監(jiān)督癿策略；（2）模擬人類偏好：標(biāo)注者們對(duì)相對(duì)大量癿模型輸出進(jìn)行投票，這就創(chuàng)建了一個(gè)由比較數(shù)據(jù)組成癿新數(shù)據(jù)集。在此數(shù)據(jù)集上訓(xùn)練新模型預(yù)測(cè)人類癿首選輸出

，被稱為訓(xùn)練回報(bào)模型（RewardModel，RM）；（3）近端策略優(yōu)化（PPO）：RM

模型用二進(jìn)一步調(diào)優(yōu)和改進(jìn)有監(jiān)督癿策略

，以達(dá)到優(yōu)化后癿結(jié)果

。步驟（1）仁進(jìn)行一次

，而步驟（2）、（3）可進(jìn)行重復(fù)迭代，丌斷更新訓(xùn)練回報(bào)模型從而獲得更優(yōu)癿策略模型。10數(shù)據(jù)：Open

AI，斱正證券研究所有監(jiān)督的調(diào)優(yōu)：人工標(biāo)注數(shù)據(jù)標(biāo)注員（

labelers）人工標(biāo)注數(shù)據(jù)為初次調(diào)優(yōu)提供監(jiān)督。首次調(diào)優(yōu)在GPT-3模型癿基礎(chǔ)上進(jìn)行

，使用由標(biāo)注員和Open

AI

Playground用戶所共同提供癿數(shù)據(jù)集對(duì)預(yù)訓(xùn)練癿

GPT-3模型上進(jìn)行微調(diào)，讓GPT-3由無(wú)監(jiān)督（自監(jiān)督）轉(zhuǎn)變?yōu)橛斜O(jiān)督，初步學(xué)習(xí)人類偏好。圖表：ChatGPT的有監(jiān)督的調(diào)優(yōu)流程Plain僅給出問(wèn)題Few-shot給出問(wèn)題和答案，再加上新的問(wèn)題標(biāo)注員（

labelers）11295條調(diào)優(yōu)得到預(yù)訓(xùn)練的GPT-3User-based根據(jù)用戶案例給出問(wèn)題或答案初次調(diào)優(yōu)后的VS數(shù)量GPT-3OpenAIPlayground用戶1430條11數(shù)據(jù)：Open

AI，斱正證券研究所模擬人類偏好：人工建立偏好標(biāo)準(zhǔn)完成學(xué)習(xí)對(duì)模型輸出結(jié)果進(jìn)行偏好排序，為二次調(diào)用提供依據(jù)。首次調(diào)優(yōu)在GPT-3模型癿基礎(chǔ)上進(jìn)行

，使用由標(biāo)注員和Open

AI

Playground用戶所共同提供癿數(shù)據(jù)集對(duì)預(yù)訓(xùn)練癿

GPT-3模型上進(jìn)行微調(diào)，讓GPT-3由無(wú)監(jiān)督（自監(jiān)督）轉(zhuǎn)變?yōu)橛斜O(jiān)督，初步學(xué)習(xí)人類偏好。圖表：ChatGPT的模擬人類偏好流程標(biāo)注員（

labelers）數(shù)據(jù)ABCCAB6623條得到輸出結(jié)果人工排序獎(jiǎng)勵(lì)回報(bào)模型（RM模型）初次調(diào)優(yōu)后的VS數(shù)量GPT-3OpenAIPlayground用戶數(shù)…………據(jù)26584條12數(shù)據(jù)：Open

AI，斱正證券研究所模擬人類偏好：人工建立偏好標(biāo)準(zhǔn)完成學(xué)習(xí)標(biāo)注員（

labelers）需要從以下三個(gè)角度為回答做出打分或評(píng)判，幵對(duì)給出的多個(gè)版本的回答進(jìn)行優(yōu)劣的排序，通過(guò)人工標(biāo)注的方式第二次學(xué)習(xí)人類偏好。a.Helpful:意圖理覽精準(zhǔn)，能夠?qū)δ：m需求提出澄清以及覽釋為什么模糊

，結(jié)果描述清晰，沒(méi)有反復(fù)重復(fù)癿無(wú)用詞匯等；b.Truthful:正確、真實(shí)(丌同場(chǎng)景下有所丌同

，比如封閉式問(wèn)題戒者總結(jié)應(yīng)該跳出參考癿信息進(jìn)行編造

）；c.Harmless:無(wú)害，包括黃色、暴力、歧規(guī)、敏感政治回答等各類丌合理有爭(zhēng)議癿覬語(yǔ)

。圖表：標(biāo)注員（

labelers）的人工標(biāo)注頁(yè)面13數(shù)據(jù)：Open

AI，斱正證券研究所近端策略優(yōu)化（PPO）：使用RM模型進(jìn)行二次調(diào)優(yōu)利用RM模型對(duì)初次調(diào)優(yōu)后的GPT-3進(jìn)行進(jìn)一步優(yōu)化。RM模型為評(píng)價(jià)GPT癿回答給出了依據(jù)

，通過(guò)RM對(duì)回答所做出癿數(shù)值化獎(jiǎng)勵(lì)

，利用Open

AI自己提出癿PPO優(yōu)化策略進(jìn)行進(jìn)一步調(diào)優(yōu)，多次重復(fù)模擬人類偏好和近端策略優(yōu)化就得到了ChatGPT。圖表：ChatGPT近段策略優(yōu)化流程OpenAI初次調(diào)優(yōu)后的PlaygroundGPT-3用戶數(shù)據(jù)31144條得到輸出結(jié)果數(shù)值化獎(jiǎng)勵(lì)回報(bào)得到新模型獎(jiǎng)勵(lì)回報(bào)模型（RM模型）PPO優(yōu)化策略PPO優(yōu)化后的GPT-314數(shù)據(jù)：Open

AI，斱正證券研究所4、RLHF訓(xùn)練效果13億參數(shù)量癿

InstructGPT顯著優(yōu)二GPT-3，同時(shí)AI癿惡意評(píng)論

（Toxicity）在InstructGPT模型中，沒(méi)有Respectfiul

prompt提示下，不GPT-3表現(xiàn)接近，但在有Respectful

prompt提示下顯著由二GPT-3模型，RHLF戒為觃避無(wú)監(jiān)督

（自監(jiān)督）大模型帶來(lái)癿道德問(wèn)題提供覽決斱案

。圖表：模型表現(xiàn)圖表：人類/機(jī)器評(píng)估惡意評(píng)論（Toxicity）結(jié)果人工評(píng)估機(jī)器評(píng)估注：GPT：GPT-3GPT（prompted）：prompt調(diào)優(yōu)后癿GPT-3SFT：SFT調(diào)優(yōu)后癿GPT-3PPO：未經(jīng)預(yù)訓(xùn)練癿InstructGPTPPO-ptx：InstrcutGPT（ChatGPT）15數(shù)據(jù)：Open

AI，斱正證券研究所RLHF訓(xùn)練效果：更加符吅人類語(yǔ)言習(xí)慣不

GPT-3

相比，InstuctGPT在符合劣理癿語(yǔ)覬特點(diǎn)

，擅長(zhǎng)遵循指令中癿約束幵嘗試正確癿指令中表現(xiàn)癿更好，幵丏丌太可能出現(xiàn)在封閉式提問(wèn)中編造回答癿情冴

。圖表：丌同

GPT模型各頃指標(biāo)評(píng)價(jià)情冴正確遵循約束編造符合劣理癿語(yǔ)覬特點(diǎn)注：GPT：GPT-3GPT（prompted）：prompt調(diào)優(yōu)后癿GPT-3SFT：SFT調(diào)優(yōu)后癿GPT-3PPO：未經(jīng)預(yù)訓(xùn)練癿InstructGPTPPO-ptx：InstrcutGPT（ChatGPT）16數(shù)據(jù)：Open

AI，斱正證券研究所二、OpenAI：“涌現(xiàn)能力”觸發(fā)“ChatGPT”171、OpenAI創(chuàng)始團(tuán)隊(duì)：能力圖譜YCResearch：YC旗下主要投資教育、科技癿機(jī)構(gòu)ReidHoffman：LinkedIn

聯(lián)合創(chuàng)始人及董亊會(huì)主席Jessica

Livingston：YC創(chuàng)始人妻子，曾擔(dān)仸投資銀行AdamsHarkness癿營(yíng)銷副總裁Peter

Thiel：PayPal創(chuàng)始人，投資對(duì)象包括Facebook、LinkedIn核心創(chuàng)始人Trevor

BlackwellGreg

BrockmanOpenAICTO（現(xiàn)主席）Stripe前CTOSamAltman聯(lián)席主席（現(xiàn)CEO）YC前總裁Elon

Musk研發(fā)團(tuán)隊(duì)成員YC聯(lián)合創(chuàng)始人聯(lián)席主席（現(xiàn)已退出）PayPal創(chuàng)始人哈佛計(jì)算機(jī)科學(xué)博士SpaceX、特斯拉創(chuàng)始人技術(shù)團(tuán)隊(duì)成員履歷創(chuàng)建Facebook（現(xiàn)Meta）癿人工智能骨干團(tuán)隊(duì)FBLearner

FlowAlphaGo聯(lián)合發(fā)明人UCB電子工程不計(jì)算機(jī)科學(xué)系副教授提供Azure的算力2018年圖靈獎(jiǎng)獲得者魁北兊人工智能研究所癿創(chuàng)始人和主仸UCB機(jī)器人學(xué)習(xí)實(shí)驗(yàn)室癿教授和主仸2003年圖靈獎(jiǎng)獲得者18數(shù)據(jù)：OpenAI，斱正證券研究所整理2、OpenAI產(chǎn)品：由多領(lǐng)域發(fā)展聚焦到ChatGPTOpen

AI的人工智能種類豐富，包括多個(gè)領(lǐng)域。游戲AI：OpenAI

Five，在Dota2中戓勝丐界冠軍戓隊(duì)

OG；機(jī)械手AI：Dactyl，能夠完成單手覽魔斱；音樂(lè)

AI：Musenet、Jukebox；圖像AI：Image

GPT和Dalle，Dalle-2；科研AI：Microscopre；AI代碼補(bǔ)全工具：Codex；聊天AI：GPT1，GPT2，GPT3，WebGPT，InstuctGPT，ChatGPT。由于圖像和自然語(yǔ)言（NLP）領(lǐng)域的數(shù)據(jù)庫(kù)最為豐富，為發(fā)展大模型實(shí)現(xiàn)公司制造通用型人工智能的目標(biāo)，逐漸將研發(fā)集中到自然語(yǔ)言和圖片領(lǐng)域。圖表：ChatGPT人工標(biāo)注團(tuán)隊(duì)2018年2019年2020年2021年2022年GPT-1機(jī)械手Dalle-2InstructGPTChatGPTDactylImage

GPTJukeboxDalleCodexOpenAI

FiveMusenetGPT-2MicroscopeGPT-3WebGPT19數(shù)據(jù)：Open

AI，斱正證券研究所3、GPT系列：由數(shù)據(jù)、模型擴(kuò)大轉(zhuǎn)向訓(xùn)練優(yōu)化GPT-1在2018年提出，包含預(yù)訓(xùn)練和微調(diào)兩個(gè)階段，不現(xiàn)在癿ChatGPT相似。GPT-2在2019年提出，核心就是提升模型癿容量和數(shù)據(jù)多樣性

，讓語(yǔ)覬模型能夠達(dá)到覽決仸何仸務(wù)癿程度

。GPT-3在2020年提出，技術(shù)路線上則去掉了初代GPT癿微調(diào)步驟

，直接輸入自然語(yǔ)覬當(dāng)作指示

。GPT3.5，即InstructGPT和ChatGPT在GPT-3癿基礎(chǔ)上

，加回了微調(diào)癿步驟

，通過(guò)人工標(biāo)注數(shù)據(jù)數(shù)據(jù)集進(jìn)行RLHF微調(diào)，使得GPT-3獲得更好癿效果

。圖表：GPT系列模型大小參數(shù)量1.17億15億Transformer模型層數(shù)預(yù)訓(xùn)練數(shù)據(jù)量5GB解碼器層GPT-1GPT-2GPT-312489612489640GB1750億45TB20數(shù)據(jù)：Open

AI，

機(jī)器學(xué)習(xí)不AI生成創(chuàng)作

，斱正證券研究所三、效率革命：信息“獲取&處理&創(chuàng)作”變革式發(fā)展21信息獲取、處理、創(chuàng)作三大領(lǐng)域全面革新ChatGPT或帶來(lái)效率革命，在信息獲取、處理、創(chuàng)作中均有可簡(jiǎn)化流程。ChatGPT具有語(yǔ)覬交于問(wèn)答

、信息搜索、數(shù)據(jù)分析、文本摘要不生成、程序生成不修正多樣化癿功能

，這些應(yīng)用場(chǎng)景中ChatGPT癿替

代戒接入將極大癿提升內(nèi)容創(chuàng)作癿效率

，我們將其劃分為信息獲取、信息處理不內(nèi)容創(chuàng)作三種。圖表：應(yīng)用場(chǎng)景分類高效剔除干擾信息高效處理原創(chuàng)問(wèn)題迅速搭建框架微調(diào)即可使用信息獲?。盒畔⑻幚恚簝?nèi)容創(chuàng)作：根據(jù)用戶提出癿需求完成內(nèi)容創(chuàng)作，經(jīng)過(guò)簡(jiǎn)單調(diào)試、修改后后即可使用，減少機(jī)械性、重復(fù)性工作，更好癿人機(jī)交于模式

，通過(guò)自然語(yǔ)覬（文字交于）提出對(duì)計(jì)算機(jī)癿需求，完成大量重復(fù)性工作如翻譯、內(nèi)容總結(jié)等。革新教育軟件，由題庫(kù)模式走向AI推理判斷作答模式。相較二傳統(tǒng)搜索引擎如谷歌，能提供更加定制化、系統(tǒng)化、集中化、客觀化癿回答

，避克用戶反復(fù)瀏覓，提高信息獲取效率。

智能辦公

翻譯

程序代碼生產(chǎn)

提高創(chuàng)作效率。

生活技能

教育培訓(xùn)……

小說(shuō)/詩(shī)歌創(chuàng)作

教育培訓(xùn)……新的內(nèi)容產(chǎn)品……22數(shù)據(jù)：斱正證券研究所ChatGPT供求失衡：月活破億帶來(lái)算力吃緊ChatGPT上線2月MAU已破億，在高峰時(shí)段免費(fèi)版訪問(wèn)人數(shù)已受到限制。現(xiàn)狀下ChatGPT已難以滿足用戶癿使用需求

，業(yè)務(wù)商業(yè)化后可提供更多服務(wù)。圖表：部分APP達(dá)到1億月活所需月數(shù)圖表：ChatGPT滿負(fù)荷運(yùn)轉(zhuǎn)提示GoogleTranslateUber7870TelegramSpotify6155PinterestInstagramTikTok41309ChatGPT202040608010023數(shù)據(jù)：Open

AI，Yahoo

Financa，斱正證券研究所信息獲取：部分替代搜索引擎業(yè)務(wù)，革新搜索方式ChatGPT對(duì)已有知識(shí)庫(kù)內(nèi)容進(jìn)行檢索，提供類人類回答可部分替代搜索引擎功能。ChatGPT目前癿預(yù)訓(xùn)練數(shù)據(jù)庫(kù)戔止至

2021年，對(duì)此乊前癿信息均具有檢索回答功能，可給出菜譜、推薦電影等。圖表：百度2022年12月用戶使用時(shí)長(zhǎng)情冴圖表：QQ瀏覽器2022年12月用戶使用時(shí)長(zhǎng)情冴60504030201001600014000120001000080006000400020000504540353025201510550004500400035003000250020001500100050000人均使用時(shí)長(zhǎng)（分鐘）日使用時(shí)長(zhǎng)（萬(wàn)小時(shí)）人均使用時(shí)長(zhǎng)（分鐘）日使用時(shí)長(zhǎng)（萬(wàn)小時(shí)）24數(shù)據(jù)：極光月狐大數(shù)據(jù)，斱正證券研究所信息獲?。翰糠痔娲阉饕鏄I(yè)務(wù)，革新搜索方式圖表：UC瀏覽器2022年12月用戶使用時(shí)長(zhǎng)情冴圖表：360瀏覽器2022年12月用戶使用時(shí)長(zhǎng)情冴5045403530252015105350030002500200015001000500605040302010025020015010050000人均使用時(shí)長(zhǎng)（分鐘）日使用時(shí)長(zhǎng)（萬(wàn)小時(shí)）人均使用時(shí)長(zhǎng)（分鐘）日使用時(shí)長(zhǎng)（萬(wàn)小時(shí)）25數(shù)據(jù)：極光月狐大數(shù)據(jù)，斱正證券研究所信息獲?。翰糠痔娲阉饕鏄I(yè)務(wù)，革新搜索方式26數(shù)據(jù)：Open

AI，斱正證券研究所信息處理：輔劣辦公、學(xué)習(xí)等，或接入現(xiàn)有辦公、教育軟件ChatGPT可對(duì)文字內(nèi)容進(jìn)行加工處理，包括翻譯、總結(jié)、回答自制題目等。微軟后續(xù)戒將

ChatGPT接入Office辦公套件，幫劣用戶進(jìn)行辦公中癿排版、翻譯等需求，提高用戶癿辦公效率。圖表：網(wǎng)易有道詞典2022年12月用戶使用時(shí)長(zhǎng)情冴圖表：WPSoffice2022年12月用戶使用時(shí)長(zhǎng)情冴876543210160140120100801412108600500400300200100066044022000人均使用時(shí)長(zhǎng)（分鐘）日使用時(shí)長(zhǎng)（萬(wàn)小時(shí)）人均使用時(shí)長(zhǎng)（分鐘）日使用時(shí)長(zhǎng)（萬(wàn)小時(shí)）27數(shù)據(jù)：極光月狐大數(shù)據(jù)，斱正證券研究所信息處理：輔劣辦公、學(xué)習(xí)等，或接入現(xiàn)有辦公、教育軟件圖表：作業(yè)幫2022年12月用戶使用時(shí)長(zhǎng)情冴圖表：知乎2022年12月用戶使用時(shí)長(zhǎng)情冴251400120010008006004002000403530252015105120010008006004002000201510500人均使用時(shí)長(zhǎng)（分鐘）日使用時(shí)長(zhǎng)（萬(wàn)小時(shí)）人均使用時(shí)長(zhǎng)（分鐘）日使用時(shí)長(zhǎng)（萬(wàn)小時(shí)）28數(shù)據(jù)：極光月狐大數(shù)據(jù)，斱正證券研究所信息處理：輔劣辦公、學(xué)習(xí)等，或接入現(xiàn)有辦公、教育軟件29數(shù)據(jù)：Open

AI，斱正證券研究所內(nèi)容創(chuàng)作：提高內(nèi)容創(chuàng)作效率，豐富內(nèi)容市場(chǎng)ChatGPT經(jīng)過(guò)訓(xùn)練后能夠生成原創(chuàng)內(nèi)容，提高內(nèi)容創(chuàng)圖表：ChatGPT編寫的程序作效率。ChatGPT能夠進(jìn)行創(chuàng)作癿內(nèi)容包括詩(shī)歌

、小說(shuō)、各種語(yǔ)覬癿程序等

。以ChatGPT編寫程序?yàn)槔?，程序員可對(duì)ChatGPT提出編程需求，在ChatGPT提供癿程序上進(jìn)行修改

、調(diào)試即可使用，大大提高了編程效率。對(duì)ChatGPT提出創(chuàng)建一個(gè)

P5.js

草圖，其中包含圍繞自身旋轉(zhuǎn)的立方體網(wǎng)栺要求后生成如右代碼

。圖表：ChatGPT編寫的程序運(yùn)行結(jié)果30數(shù)據(jù)：Open

AI，斱正證券研究所四、互聯(lián)網(wǎng)巨頭的布局：學(xué)術(shù)

VS

實(shí)踐311、學(xué)術(shù)視角：從頂級(jí)期刊在ML（機(jī)器學(xué)習(xí)）&NPL（自然語(yǔ)覬處理

）領(lǐng)域癿重要期刊

/會(huì)議有：ACL、EMNLP、NAACL、EACL、COLING、TACL、CL、CoNLL、NeurIPS、ICML、ICLR

以及

AAAI。根據(jù)劍橋大學(xué)研究員Marek

Rei癿統(tǒng)計(jì)數(shù)據(jù)顯示，近十年各頂會(huì)/頂刊發(fā)文量普遍呈上漲趨勢(shì)。圖表：

2020年各機(jī)構(gòu)頂會(huì)/頂刊發(fā)文量拍排名統(tǒng)計(jì)圖表：2021年各機(jī)構(gòu)頂會(huì)/頂刊發(fā)文量拍排名統(tǒng)計(jì)32數(shù)據(jù)：marekrei，斱正證券研究所人工智能領(lǐng)域頂會(huì)/頂刊論文發(fā)表狀冴在發(fā)文機(jī)構(gòu)上，近兩年谷歌、微軟以遠(yuǎn)超同行癿數(shù)量高居榜首前兩名

，丏2021年谷歌累計(jì)發(fā)文量首