計(jì)算機(jī)行業(yè)證券研究報(bào)告：GPT-1到ChatGPT產(chǎn)業(yè)梳理

SACNo.S0570519080006xiechunsheng@SFCNo. +(86)212987 袁澤世SACNo. +(86)2128972023年2月14日│中國內(nèi) ChatGPT從誕生到現(xiàn)在，經(jīng)歷了三個(gè)大版本階段演進(jìn)。2018年，生成式預(yù)GPT-1的微調(diào)，以更大的參數(shù)量和多任務(wù)訓(xùn)練，進(jìn)1750億，再次提高模型表現(xiàn)性能。2022年，InstructGPT引入（RLHF億訓(xùn)練參數(shù)實(shí)現(xiàn)了更好的模型性能。2022年11月，基于InstructGPT，GPT-1的訓(xùn)練過程包括預(yù)訓(xùn)練和微調(diào)兩個(gè)階段。1）階段一：預(yù)訓(xùn)練采用內(nèi)BooksCorpus數(shù)據(jù)集，進(jìn)行高容量無監(jiān)督學(xué)習(xí)。2）階段對(duì)不用類型任務(wù)用特定訓(xùn)練集進(jìn)行微調(diào)訓(xùn)練。GPT-11.17億。GPT-1在常識(shí)推理、問題回答、文本蘊(yùn)涵等任務(wù)上分別比對(duì)比方法進(jìn)步了8.9%、5.7%1.5%。GPT-2zero-shotlearning（零次學(xué)習(xí)，從而提高模型的泛化能力。GPT-2GPT-1基本保持相同，預(yù)訓(xùn)練zero-shotprompt文本提示的方式提示模型具體任務(wù)類型。GPT-215億。GPT-2在命名實(shí)對(duì)于特定任務(wù)給予少量（10-100個(gè)）樣例。GPT-31750few-shotGPT-3，OpenAICodexInstructGPT。Codex是通用代碼生成模型，能夠?qū)⒆匀徽Z言轉(zhuǎn)換為代碼，支持十幾種編程語言。InstructGPTGPT-3基礎(chǔ)RLHF13億參數(shù)量即可實(shí)現(xiàn)更符合人類需求的輸出。此外，20206月，OpenAI開始對(duì)外提供接GPT-3API，并按照模型類型進(jìn)行收費(fèi)，開啟商業(yè)探索第一步。2022年11月，基于InstructGPT，OpenAI發(fā)布了以對(duì)話方式交互的360ChatGPT應(yīng)用。

1.17億。發(fā)布，GPT-2GPT-2GPT-1能力（zero-shot零次學(xué)習(xí)。GPT-2-15億。GPT-3模型。GPT-2zero-shotOpenAIGPT-3few-shot少量（10-100個(gè)）樣本學(xué)習(xí)，提高了模型的表現(xiàn)性能。在模型GPT-2151750億。20218月，OpenAIGPT-3的通用編程模型Codex，可以將自然語言轉(zhuǎn)換翻譯、解釋和重構(gòu)為代碼。2022年3月，一步訓(xùn)練模型，提高模型性能和準(zhǔn)確度，InstructGPT誕生。InstructGPT訓(xùn)練參數(shù)量?jī)H13GPT-31750億相比大大減少，能給出更符合人類思維的輸出結(jié)果。Bard。此外，國內(nèi)廠商如百度、京東、阿里等也宣布進(jìn)軍“ChatGPT1.171.171517501201320微軟投資10先后發(fā)布參數(shù)為124M355M、微軟投資10先后發(fā)布參數(shù)為124M355M、774M

對(duì)GPT-3

OpenAI微軟整合推出新版（layerTransformer更加簡(jiǎn)單，訓(xùn)練速度更快，GPT-1更擅長(zhǎng)自然語言處理生成類任務(wù)。圖表2GPT-1 PredictionClassifier數(shù)據(jù)集進(jìn)行微調(diào)訓(xùn)練。GPT-11.17BooksCorpus數(shù)段則根據(jù)不同任務(wù)類型選擇數(shù)據(jù)集。訓(xùn)練結(jié)果上看，GPT-1在常識(shí)推理、問題回答、文本8.9%、5.7%1.5%。 Answer MultipleAnswer Answer 生變化時(shí)則可能會(huì)失效，即模型的泛化能力不夠強(qiáng)。GPT-2希望通過海量數(shù)據(jù)和龐大的模GPT-11248。圖表4zero-shotG-2在架構(gòu)上與G-1G-2的結(jié)構(gòu)類似于G-1模型，仍然使用單向的rfomer模型，只做了局部修改：將歸一化層移到輸入位置，在最后一個(gè)自注意力塊之后加了一層歸一化等。訓(xùn)練步驟上，預(yù)訓(xùn)練階段與G-1方法基本相同，使用了更大參數(shù)的rsfome，以及覆蓋范圍廣、質(zhì)量更高的數(shù)據(jù)集Wex，采用多任務(wù)學(xué)習(xí)，保證訓(xùn)練出的模型有更好的通用性。在具體處理G-2o-st型能識(shí)別任務(wù)的具體目標(biāo)，G-2使用一種新的輸入形態(tài)，增加mpt文本提示。例如，（寫成（回答問題、文檔、問題、答案。在Wxt數(shù)據(jù)集下，隨著G-2模型參數(shù)規(guī)模的擴(kuò)大，其o-st學(xué)習(xí)能力更強(qiáng)，且優(yōu)于部分已有模型。 閱讀理 閱讀理 翻 摘 問題回 資料來源：LanguageModelsareUnsupervisedMultitaskLearnersGPT-1GPT-1GPT-2文本預(yù) 文本分 文本預(yù) 文本分 PredictionClassifierLayerLayerText&Text&Position文本&MaskedSelf

PredictionClassifierTextText&Position資料來源：LanguageModelsareUnsupervisedMultitaskLearnersGPT-27種任務(wù)中超過了最優(yōu)水平；在兒童圖書測(cè)試的命名實(shí)體識(shí)別任務(wù)中，超過最優(yōu)8.6；在閱讀理解任務(wù)中，GPT-23個(gè)基線模型；在法譯英任務(wù)中，GPT-2（AGIAzureAI超級(jí)計(jì)算技術(shù)。OpenAIGPT-2完整版。OpenAI出于對(duì)技術(shù)濫774MGPT-2語言模型進(jìn)行了微調(diào)，提高了模型在部分任務(wù)上的表現(xiàn)。在某些測(cè)試中取得了不錯(cuò)的效果，但在一些任務(wù)上結(jié)果不達(dá)預(yù)期。因此，OpenAI引入了僅通過與模型的文本交互來指定任務(wù)和few-shot。從多種訓(xùn)練基準(zhǔn)訓(xùn)練結(jié)果看，few-shotzero-shot更好的準(zhǔn)確度結(jié)果。資料來源：LanguageModelsareFew-ShotLearnersGPT-31750億。GPT-2模型已經(jīng)驗(yàn)證，在大參數(shù)和大數(shù)上，GPT-3GPT-2Transformer4896層。圖表8GPT-38 資料來源：LanguageModelsareFew-ShotLearners但CommonCrawl數(shù)據(jù)集的質(zhì)量低于更精確的數(shù)據(jù)集，為了保證數(shù)據(jù)集質(zhì)量，一方面對(duì)CommonCrawl進(jìn)行過濾，大小壓縮到570GB，另一方面增加了質(zhì)量更高的數(shù)據(jù)集，如WebText2、Wikipedia等。在訓(xùn)練期間，數(shù)據(jù)集的采樣不與其大小成比例，而是質(zhì)量更高CommonCrawlBooks2數(shù)據(jù)集在訓(xùn)練期間采樣次數(shù)少于2-3次，以換取更高質(zhì)量的訓(xùn)練數(shù)據(jù)。圖表9GPT-3數(shù)據(jù) 資料來源：LanguageModelsareFew-ShotLearnersfew-shot的加持下，GPT-3準(zhǔn)確性提高明顯。資料來源：LanguageModelsareFew-ShotLearnersOpenAIAPI，開啟首次商業(yè)嘗試，并授權(quán)給微軟。20206月，OpenAI開始對(duì)外API集成到產(chǎn)品中，按不同模型類型收費(fèi)。API的優(yōu)勢(shì)在于：1）GPT-3模型龐大，需要大量的專業(yè)知識(shí)來開發(fā)和部署，運(yùn)行成本非常高。API9月，OpenAIGPT-3授權(quán)給微軟，微軟可以將其用于自己的產(chǎn)品和服務(wù)，同時(shí)不會(huì)APIGPT-3AI功能。圖表11OpenAIAPI訓(xùn)練價(jià)格（美元）使用價(jià)格（美元生成模型，能夠?qū)⒆匀徽Z言轉(zhuǎn)換為代碼。Codex是GitHubCopilot的主要構(gòu)建塊，支持Python、JavaScript、Go、Perl、PHP、Ruby、SwiftTypeScript等十幾種編程語言。CodexOpenAIAPI使用，在初始階段提供免費(fèi)服務(wù)。下文信息。Codex12072.31%。資料來源：EvaluatingLargeLanguageModelsTrainedonCodeInstructGPTGPT-3的基礎(chǔ)上，引入基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）技術(shù)。強(qiáng)化學(xué)，代價(jià)GPT-3基本相同。訓(xùn)練過程包括：GPT-3SFT模型（監(jiān)督微調(diào)），該模型具備了最基本的預(yù)測(cè)能力。SFTpromptdataset4SFT44個(gè)回答的好壞進(jìn)行標(biāo)注和排序，排序的結(jié)果用來訓(xùn)練獎(jiǎng)勵(lì)模RMRM模型理解人類偏好。SFTpromptdataset某個(gè)問題，通過近端策略優(yōu)化（ProximalPolicy 回答A：“..”回答 回答C：“..”回答示例：“很久以前資料來源：TraininglanguagemodelstofollowinstructionswithhumanfeedbackGPT-3100倍。InstructGPT13GPT-31750100InstructGPT輸出的訓(xùn)練結(jié)果更符合人類的要求。InstructGPT證明了對(duì)人類反饋進(jìn)行微調(diào)是使語言模型與人類意圖保持一致的重要發(fā)展方RLHF的訓(xùn)練方法能夠大大減少對(duì)模型參數(shù)量的要求，提高訓(xùn)練速度，降低訓(xùn)77K46K。SFT數(shù)據(jù) RM數(shù)據(jù) PPO數(shù)據(jù)分離來源 大小 分離來源 大小 分離來源 大小資料來源：TraininglanguagemodelstofollowinstructionswithhumanfeedbackChatGPT模型能夠以對(duì)話方式進(jìn)行交互。ChatGPT能夠回答后續(xù)問題、承認(rèn)注數(shù)據(jù)進(jìn)行有監(jiān)督訓(xùn)練時(shí)，InstructGPTGPT-3ChatGPTInstructGPT。 回答A：“..”回答 回答C：“..”回答示例：“很久以前圖表19ChatGPTPlus20美元/月。Plus用戶可以享受：1）當(dāng)網(wǎng)站負(fù)荷過高API后第二次在商業(yè)模式上的探索。我們認(rèn)為，技術(shù)變現(xiàn)是推動(dòng)技術(shù)進(jìn)步的重要方圖表20ChatGPTPlus中支持GPT-3OpenAI的Codex模型的代碼建議工具GitHubCopilot等。OpenAI研究進(jìn)度。發(fā)布基于ChatGPT的新版Bing202328ChatGPT的新版EDGElChatGPT對(duì)標(biāo)競(jìng)品—Bard。BardLaMDA（對(duì)話應(yīng)用語5GoogleI/O1370億參數(shù)，東云旗下言犀人工智能應(yīng)用平臺(tái)宣布將推出“產(chǎn)業(yè)版ChatGPT”—智能人機(jī)對(duì)話平臺(tái)ChatJD，預(yù)計(jì)參數(shù)量達(dá)千億級(jí)，聚焦零售、金融兩個(gè)垂直行業(yè)領(lǐng)域。28日，阿里巴巴ChatGPT技術(shù)的試用版本應(yīng)用。 MSFT GOOGL BIDU JD BABA 9999 601360 IT投資產(chǎn)生負(fù)面影響，從而導(dǎo)致整體行業(yè)增長(zhǎng)不及預(yù)期。并不能指引未來，未來回報(bào)并不能得到保證，并存在損失本金的可能。華泰不保證本報(bào)告所含信息保持在最新狀態(tài)。華泰對(duì)本報(bào)告所含信息可在不發(fā)出通知的情形下做出修改，投資者應(yīng)當(dāng)自行關(guān)注相應(yīng)的更新或修改。FINRAFINRA的研究分析師/FINRA分析師的注冊(cè)資無論整份或部分)等任何形式侵犯本公司版權(quán)。如征得本公司同意進(jìn)行引用、刊發(fā)的，需在允許的范圍內(nèi)使用，并需服務(wù)標(biāo)記及標(biāo)記均為本公司的商標(biāo)、服務(wù)標(biāo)記及標(biāo)記?！懊绹?（美國）有限公司向符合美國監(jiān)管規(guī)定的機(jī)構(gòu)投資者進(jìn)行發(fā)表與分發(fā)。華泰證券（美國有（FINR）的注冊(cè)會(huì)員。對(duì)于其在美國分發(fā)的研究報(bào)告，華泰證券（美國4（修訂版第-6告內(nèi)容負(fù)責(zé)。華泰證券（美國）有限公司聯(lián)營公司的分析師不具有美國金融監(jiān)管（FINR）分析師的注冊(cè)資格，可能不屬于華泰證券（美國）有限公司的關(guān)聯(lián)人員，因此可能不受FINRA關(guān)于分析師與標(biāo)的公司溝通、公開露面和所持（美國（美國應(yīng)通過華泰