人工智能行業(yè)專題：AIGC投資框架

人工智能專題研究AIGC投資框架2023年5月核心觀點

自然語言模型是大語言模型的核心。自然語言模型是大模型的核心，支持許多類型的語言任務的執(zhí)行。ChatGPT和各大主流AIGC模型主要基于大語言模型，通過深度學習算法來處理和生成自然語言。自然語言模型發(fā)展經歷了基于規(guī)則、基于統(tǒng)計和基于神經網絡三個階段，Transformer的出現(xiàn)為以Bert和GPT-3為代表的大語言模型的誕生奠定了模型基礎。

AI到AGI

，ChatGPT開啟人工智能新紀元。ChatGPT結合自回歸語言模型+zeroshot

prompting

，帶來AI范式突破，實現(xiàn)AI到AGI的轉變。相比fine

tuning技術，prompting技術能更好的完成生成類任務。

ChatGPT在RLHF的幫助下，找到了GPT-3.5和人類自然語言的合理接口，解鎖了模型的應用場景，改變了人機交互方式。2僅支持執(zhí)行文本類任務的局限性，賦予ChatGPT更優(yōu)異的上下文理解能力、推理能力、演繹能力，甚至圖文理解能力。GPT也在不斷的更新迭代中持續(xù)突破，解鎖更多能力。

多行業(yè)結合，下游應用遍地開花。ChatGPT以其高級的生成能力和復雜任務處理能力，以從重資產的模型層到輕資產的中間層和應用層為架構，為游戲行業(yè)、視頻類行業(yè)、生物醫(yī)藥行業(yè)等其他行業(yè)錦上添花。在ChatGPT的幫助下，各行各業(yè)真正的做到了提高效率、減少成本并實現(xiàn)了功能上質的改變，讓更多用戶受益。

風險提示：AI技術更新迭代緩慢、專業(yè)領域落地效果不及預期、版權糾紛、倫理問題、算力建設緩慢等風險。

GPT跨越式發(fā)展，探索未來更多可能性。各代GPT青出于藍勝于藍，更新迭代過程中涌現(xiàn)了諸多能力。GPT-4.0更是突破了GPT-3.511

大模型與GPT?1.1

大模型篇?1.2

ChatGPT篇?1.3

GPT-4篇3

ChatGPT應用場景2

國內篇目

錄521.1.1

大語言模型簡介大語言模型簡稱LLM

(

LargeLanguageModels)

，是基礎的機器學習模型

，使用深度學習算法來處理和生成自然語言。這些模型在大量的文本數(shù)據上進行訓練，再自動生成符合語言規(guī)律的文本。大語言模型可以執(zhí)行許多類型的語言任務，如翻譯語言、分析情感、聊天機器人對話等。2018年2020年GPT-2模型發(fā)布。T5，同時含有編碼器和解碼器，善于翻

譯、知識問答等給定話題的輸入輸出。BART

，預訓練時首次使用噪聲破壞文本，

然后通過模型重建原始文本ELMo模型，解決了同一詞語在不

同語境中含義不同的問題。GPT-1

，基于多層Transformer架構，采用預訓練和微調兩個階段的模型訓練形式。Bert模型，基于多層Transformer架構，對訓練集進行雙向訓練。年2013年RNN循環(huán)神經網絡模型，將上一個位置的詞語輸出作為下一個位置詞語預測的輸入，獲取全面文本信息Word2Vec采取嵌入

的詞語訓練方法，根據上下文學習詞語的語義語法信息Transformer架構提出，引入注意機制，關注重點而非全局階段三(2000年代到現(xiàn)在)

：基于神經網絡自然語言模型的發(fā)展歷史階段二(1790到2000年代)：基于統(tǒng)計神經網絡語言模型和詞向量的概念被提出階段一(直到

1790年代)：基于規(guī)則GPT-3發(fā)布，參數(shù)達到1750億信息來源：羅蘭貝格，西南證券整理

3N-Gram模型無代表模型2019年2000年2010年2017年1970年2003在Bert和GPT模型問世之前：深度學習模型是自然語言處理(NLP

)領域主流的技術，而深度學習在自然語言處理領域的應用主要依賴于以下關鍵技術：使用大量改進的LSTM模型和少量改進的CNN模型作

為典型的特征提取器；使用序列到序列(Sequence

to

Sequence

)(也稱為編碼器-解碼器

(Encoder-decoder))加上注意力作為各種具體任務的體技術框架。但這個技術擁有兩大主要問題阻礙了深度學習領域的突破：第一，訓練數(shù)據的數(shù)量有限。隨著容量和深度的增加，模型需要更多的訓練

數(shù)據支持。第二，這項技術的表達能力不夠強。即使擁有足量數(shù)據，也很難有效的吸收數(shù)據內容。

在Bert和GPT模型問世之后，出現(xiàn)了兩大主要范式轉換：第一個范式轉換體現(xiàn)在預訓練模型出現(xiàn)并有兩

大主要影響，體現(xiàn)在：其一，中間任務消失。通過大量數(shù)據預訓練，Bert和GPT把中間任務作為語言特

征，吸收到Transformer的參數(shù)里，做到直接解決最終任務。其二，統(tǒng)一了不同研究方向技術路線。最

終任務包括了自然語言理解類任務和語義生成類任務。對于理解類任務，其技術體系統(tǒng)一到了以Bert為

代表的雙向語言模型加Fine

Tuning模式；對于生成類任務，其技術體系統(tǒng)一到了以GPT2.0為代表的自

回歸語言模型加zero

shot

prompting

(GPT-3)或few

shot

prompting

(ChatGPT)模式。第二個范式轉換為從預訓練模型逐漸偏向于通用人工智能，簡稱AGI

(Artificial

General

Intelligence)，我們目前正處于這個轉換的以GPT3.0

(自回歸語言模型+zero

shot

prompting

)

占據主導位置為代表的過渡過程中。

自回歸語言模型+zero

shot

prompting處于目前的主導地位的

原因有兩個：其一，比如Google的T5模型，在自然語言生成任務中可以同時完成自然語言理解任務。如仍使用類似Bert的理解類任務語言模型，則無法得到優(yōu)質的生成內容。所以相比于理解類任務模型，目前來說大眾更偏向于生成類任務模型。其二，GPT模式效果更優(yōu)。若想以zeroshotprompting或few

shot

prompting模式完成任務，必須采取GPT模式，也就是生成類任務模型。Prompting技術也更加符合人性，相比之下，fine

tuning模式是被動適應模型。另外，zero

shot

prompting模式很難被大語言模型所理解，表現(xiàn)效果也差強人意，以目前的技術很難達到令人滿意的效果。所以目前科學家偏向于研究few

shot

prompting技術，起到過渡作用。

第二階段(2020.06–至今)1.1.2

大語言模型的主要發(fā)展歷程

第一階段(2013-2020)信息來源：

《由ChatGPT反思大語言模型(LLM)的技術精要》，西南證券整理

4

大語言模型從海量的文本數(shù)據中學習了大量知識。對于其學習到的知識一

共有兩類：語言類和世界知識類。

淺層語言類知識儲存在Transformer的低層和中層，而相對抽象的語言類

知識儲存在Transformer的中層或高

層。大語言模型在學習過程中不需要過多的語言類知識數(shù)據。

世界知識類知識可以分為兩類：事實型和常識型。世界知識主要儲存在Transformer的中高層，同時大語言

模型學習需要大量事實型世界知識。世界知識抽象語言類知識世界知識

淺層語言類知識

大語言模型會將學習過的知識儲存在Transformer的模型參數(shù)

里。

Transformer的模型參數(shù)結構分為兩個部分：其中，多頭注

意力(

MHA)的部分占參數(shù)總

體的三分之一；

FFN結構占參

數(shù)總體的三分之二。

MHA主要用于計算單詞與知識間的關聯(lián)強度，不用來存儲知識。FFN存儲著大量知識，是

大語言模型的key-value存儲器。[CATEG[CAO…

大語言模型有很大可能會生成錯誤答案，所以修正數(shù)據非常必要。大模型有三種修正方法。

第一種是從訓練數(shù)據源頭去修正。但在每次修正后需要重建模型，成本過高，無發(fā)展前景。

第二種是通過finetuning修正知識。但這種方法容易誤刪正

確數(shù)據，會影響效率。

第三種是直接修改知識對應的模型參數(shù)。直接定位到儲存舊

知識的FFN節(jié)點并替換新知識。1.1.3

大語言模型學習、存儲、修正數(shù)據的方式Transformer參數(shù)結構分布大語言模型儲存數(shù)據的方式大語言模型學習數(shù)據的方式大語言模型修正數(shù)據的方式Transformer知識金字塔精準定位FFN節(jié)點信息來源：

《由ChatGPT反思大語言模型(LLM)的技術精要》，西南證券整理

5O…

TEG3.以T5為代表的既有encoder

、又有decoder的模型

：在每個階段

，encoder的注意力層可以訪問初始句子中的所有單詞，而decoder的注意層只能訪問輸入中位于特定單詞之前的單詞。這類模型的預訓練通常涉及到更復雜的任務。Encoder-decoder模型最適合于圍繞根據給定的輸入生成新的句子的任務，如總結、翻譯或生成式問題回答。1.以BERT系列為代表的encoder-only模型

：在每個階段，注意力層可以訪問初始句子中的所有單詞并具有雙向注意力。這類模型的預訓練通常圍繞著以某種方式破壞一個給定的句子，并讓模型承擔尋找或重建初始句子的任務。Encoder-only模型最適合于需要理解完整句子的任務。2.以GPT為代表的decoder-only模型

：在每個階段，對于一個給定的詞，注意力層只能訪問句子中定位在它之前的詞。這類模型通常被稱為自回歸模型。解碼器模型的預訓練通常圍繞著預測句子中的下一個詞進行。Decoder-only模型最適合于涉及文本生成的任務。大語言模型按模型結構一共分為以下三類：1.1.4

大語言模型的分類信息來源：

《一張圖總結大語言模型的技術分類、現(xiàn)狀和開源情況》，西南證券整理

6隨著深度學習技術的不斷發(fā)展，大型模型在自然語言處理領域發(fā)揮著越來越重要的作用。大型模型通過使用更多的參數(shù)、更復雜的結構和更多的訓練數(shù)據來提高性能，從而在自然語言處理任務中取得了顯著的成果。語義理解是自然語言處理模型的基礎任務之一。

Bert和其變體模型被廣泛用于各種語義理解任務，例如文本分類、命名實體識別和自然語言推理等。文本生成也是自然語言處理模型

中的另外一個重要任務。在自然語言生成任務中，GPT已成為最典型的框架之一，因為它能夠生成高質量的文本，并且能夠處理更加復雜的任務。與語義理解相比，自然語言生成需要更多的計算資源和更大的模型來處理更多的數(shù)據和更復雜的任務。需要注意的是，大型模型具有多元化和多樣性，因此在選擇適當?shù)哪Ｐ蜁r需要考慮任務的性質和特點。對于簡單的任務，不需要使用像ChatGPT這樣復雜的大型模型，而對于更加復雜的任務，則需要使用更大、更復雜的模型來提高性能。文本生成任務模型語義理解任務模型1.1.4

大語言模型的分類信息來源：

《通向AGI之路：大型語言模型(LLM)技術精要》，西南證券整理

71.1.5

未來大模型發(fā)展的前提要素擁有一個優(yōu)質的網絡架構是未來大模型發(fā)展的重要前提。缺少高質量的網絡架構，大模型很難達到質的飛躍。而一個高質量的網絡架構，不僅可以推動大模型的發(fā)展，還可以促進AGI

達到一個質的飛躍。網絡架構有三大主要種類

，包括：

CNN

、

LSTM

、

Transformer。CNN(

ConvolutionalNeuralNetwork)CNN

(卷積神經網絡)

是一種廣泛應用于計算機視覺領域和自然語言處理領域的深度學習算法

，是早期最

常見的深度學習模型

，可以有效的提取圖像特征。CNN主要有三層結構：卷積層、池化層和全連接層。相比較而言，Transformer的表現(xiàn)能力遠超CNN。早

期的CNN具有無法有效捕獲長距離特征的問題

，但隨著網絡深度的逐步增加

，這個問題得到了很大的緩解

，

但仍無法達到Transformer一樣優(yōu)秀的的表現(xiàn)能力。LSTM(LongShort-TermMemory)LSTM

(長短時記憶結構)是傳統(tǒng)RNN模型的變體

，能夠緩解傳統(tǒng)RNN模型對于過長序列存在的梯度消失

以及遺忘或爆炸問題。LSTM由三個門控構成，分別是輸入門、遺忘門以及輸出門。LSTM主要應用于自然語言處理領域和語音識別領域序列數(shù)據的處理，能夠處理和預測時間序列中間隔較長的信息。通常情況下

，與傳統(tǒng)的RNN模型相

比

，它在處理需要長期依賴信息記憶的任務時表現(xiàn)更優(yōu)。Transformer是一種新型的網絡架構

，用于自然語言處理

(

NLP)

的深度學習模型

，表現(xiàn)能力優(yōu)異

，遠超

CNN、

RNN。Transformer

Transformer結構由兩部分構成，分別是encoder

(編碼器)和decoder

(解碼器)。Transformer具有優(yōu)秀的語義特征提取能力、遠距離特征捕獲能力、綜合特征提取能力、并行計算能力及運行效率。網絡架構的三大主要種類信息來源：《放棄幻想，全面擁抱Transformer：自然語言處理三大特征抽取器比較》，西南證券整理

8三大決定性因素模型的容量參數(shù)模型的容量參數(shù)是大模型是否能快速

發(fā)展的首要決定性因素

，它可以直接

影響模型的表現(xiàn)效果。當一個模型擁有更大的參數(shù)容量時

，它的表現(xiàn)效果也會更好。參數(shù)數(shù)量的增多可以增加模型的上下文學習和小樣本學習能力，做到幫助模型更好的學習并能夠處理更為復雜的任務。訓練時間當模型的訓練時間越長，其在訓練過程中遇見的令牌數(shù)量就會越多。當一個模型遇見的令牌數(shù)量越多

，其容量也會隨之增加。當訓練時長

使模型遇見足夠數(shù)量的令牌的時候

，

即使它參數(shù)容量更少

，在執(zhí)行某些

特定任務上的表現(xiàn)效果甚至會比參

數(shù)容量更大的模型的表現(xiàn)效果更好。令牌(Token)數(shù)據大模型在做一些任務的時候

，數(shù)據

的質量是非常重要的

，會起到決定

性的作用

，也會傾向有優(yōu)先選擇高

質量數(shù)據。高質量的數(shù)據決定了模

型生成內容的高準確性。與模型本身相比，訓練數(shù)據的質量更加的重要。但在最初階段，量的重要性要大于質，需要訓練數(shù)據擁有高豐富性。在后期并不需要過多的數(shù)據，需要的還是高質量的訓練數(shù)據以及數(shù)據之間的平衡。1.1.6

未來大模型發(fā)展的決定性因素容量參數(shù)信息來源：

《ChatGPT與生成式AI的技術演進與商業(yè)未來》，西南證券整理

9隨著大語言模型規(guī)模的擴張，不同種類的任務會有三種不同的表現(xiàn)：

第一類任務隨著大語言模型規(guī)模的逐漸擴張

，其表現(xiàn)效果也會越來越好。這類任務主要為知識密集型任務，大多數(shù)傳統(tǒng)自然語言理解類任務都屬于這類任務。當大語言模型所包含的知識量越多，這類任務的表現(xiàn)效果就會越好。另外

，當大語言模型規(guī)模得到擴張

的時候

，訓練數(shù)據量也會隨之增加

，大語言模型從中學習到知識就越多

，任務的表現(xiàn)效果就更好。

第二類任務隨著大語言模型的逐漸擴張會展現(xiàn)出某種涌現(xiàn)能力。當模型的參數(shù)規(guī)模未達到一定的閾值時

，這個模型便不具備解決此類任務的任何能力。但模型的參數(shù)規(guī)模超過所需閾值

，這個模型對解決此類任務的能力和最終的表現(xiàn)效果呈爆發(fā)式增長。模型的規(guī)

模越大

，模型能夠解決的任務越多。大語言模型出現(xiàn)涌現(xiàn)能力的原因有兩個：其一，有些任務的指標不夠平滑，只有模型足夠大才能使輸出內容和標準答案完全匹配。其二，有些任務會在中間步驟出錯，模型的規(guī)模越大，解決這些錯誤的能力越強。

第三類任務(少部分)

隨著大語言模型的逐漸擴張

，其表現(xiàn)效果會呈U形。初期模型規(guī)模的擴張會使任務表現(xiàn)效果降低

，但隨著進一步擴張

，模型具備了忽略干擾任務并執(zhí)行真正任務的能力

，表現(xiàn)效果則會越來越好。判斷大語言模型的好壞有三個重要因素：訓練數(shù)據量、模型參數(shù)規(guī)模、訓練時間。這三個因素呈乘數(shù)關系，當總成本一定

，在增加訓

練數(shù)據量的同時減少模型的參數(shù)規(guī)模

，不僅可以保證不降低模型效果的模型效果

，也可以極大的縮小模型規(guī)模

，加速模型的推理速度。

這種方式也將是大語言模型最有前途的發(fā)展途徑。預訓練模型的應用共有兩個階段：預訓練階段和具體場景應用階段。大語言模型預訓練階段的優(yōu)化指標與下游的任務表現(xiàn)并非呈正相

關關系。下游具體場景應用階段大語言模型規(guī)模的擴張預訓練階段大語言模型規(guī)模的擴張1.1.7

大語言模型規(guī)模擴張產生的影響信息來源：

《由ChatGPT反思大語言模型(LLM)的技術精要》，西南證券整理

10發(fā)展方向探索大語言模型的天花板增強大語言模型的復雜推理能力將大語言模型納入自然語言處理以外的更多其他領域開發(fā)更易用的人和大語言模型的交互接口建設高難度的綜合任務測評數(shù)據集加強數(shù)據的質量超大大語言模型Transformer的稀疏化(Sparse

)使大語言模型能夠更好的發(fā)展

，不僅要擴張模型的規(guī)模

，也要增強模型的推理能力。大語言模型共有兩種增強其推理能力的方法：第一種是一Google為代表的使用基于prompt的研究方法，運用合適的提示語激發(fā)大語言模型本身的推理能力。第二種是以OpenAI為代表的在預訓練階段引入程序代碼并與文本共同參與預訓練，更好的增強大語言模型的推理能力。大語言模型未來發(fā)展方向1.1.8

大語言模型未來發(fā)展方向

極大的減少訓練和推理時間信息來源：

《由ChatGPT反思大語言模型(LLM)的技術精要》，西南證券整理

111

大模型與GPT?1.1

大模型篇?1.2

ChatGPT篇?1.3

GPT-4篇3

ChatGPT應用場景2

國內篇目

錄512ChatGPT的全稱為ChatGenerativePre-trainedTransformer

，是2022年底由美國人工智能實驗室OpenAI發(fā)布的大型對話式自然

語言處理模型3.5版本。通過深度學習和訓練互聯(lián)網數(shù)據，它以文字的形式模擬人類的對話方式并與用戶進行交互。ChatGPT目前月活用戶突破一億，是當之無愧的近期炙手可熱的新一代人工智能產品。ChatGPT目前有七大主要功能

，包括：

文本生成、聊天機器人、

語言問答、語言翻譯、

自動文摘、繪畫功能、編程功能。不僅如此，ChatGPT還有能力承認并訂正自己的錯誤，質疑用戶提問時的預設條件以及拒絕用戶不適當?shù)恼埱?。ChatGPT與AIGC

的不同點在于：

AIGC可以生成文本、音頻、圖像、視頻以及完成圖像、視頻、文本間的跨模態(tài)生成等。而

ChatGPT生成的內容僅局限于文字

，是AIGC的一個重要分支。1.2.1

ChatGPT簡介信息來源：

《整數(shù)智能AI研究院》，數(shù)治網，西南證券整理

13ChatGPT以及生成式AI是一個不可逆

，不會減速的大趨勢

，也會促進全產業(yè)數(shù)字化轉型的發(fā)展趨勢

，它

只會加速以更快的商業(yè)落地的形式呈現(xiàn)在大眾面前。ChatGPT最大的優(yōu)點是它進行了一個全產業(yè)(醫(yī)療、生命科學、生物學、物流、供應鏈制造行業(yè)、化工行業(yè)、保險行業(yè)、金融行業(yè)等)、全范圍的普適的人工智能教育。對客戶在教育層面上不需要做太多的工作，而是可以更多的關注到應用場景和具體的技術審核。因為ChatGPT背后是一個大的語言數(shù)據模型，它對于算力的要求和數(shù)據量的要求非常夸張，很難在學術圈籌備足夠的資金、足夠強的算力、足夠的數(shù)據去支持飛快的迭代速度。但OpenAI最初是一個非盈利

的經營模式

，因此吸引了很多硅谷科技的領袖的支持

，包括有微軟的投資和算力的支持。其次是因為它

本身就具備極強的學習能力

，并可以同時生成非常優(yōu)質的合成數(shù)據。?第一階段：

2018年6月提出了GPT-1模型，通過生成式預訓練來提高語言理解能力。?第二階段：

2019年2月推出了GPT-2模型，做到可生成與人類語言相似文本，并完成多項任務。在

微調訓練中

，使用零次訓練

，準確率差。?第三階段：

2020年5月推出了GPT-3模型，可生成更高質量的自然語言文本，并支持其他自然語言任務。與GPT-2不同

，GPT-3使用FewPrompt過度

，大幅增加參數(shù)量

，擁有語境學習能力

，準確

率大幅提升。?第四階段：

2022年11月推出了GPT-3.5模型，也就是目前的ChatGPT。GPT-3和3.5版本之間最大

的區(qū)別為3.5版本有更多真人反饋

(

RLFH

)

來幫助機器更好的學習和探索并合成類似數(shù)據。

同時

，

GPT-3.5引入Instruct的接口方式

，增加了ChatGPt的推理能力。?第五階段：

推出GPT-4模型

，加入了多模態(tài)

，可以理解圖像

，但目前無法做到zeroprompt。

ChatGPT

爆發(fā)式發(fā)展速

度的原因

ChatGPT的演進1.2.1

ChatGPT簡介信息來源：

《

GPT會取代醫(yī)生和研發(fā)人員？No，但掌握AI很重要》，西南證券整理

14

ChatBOT

：基于檢索，形成一個大的語料庫，在庫里檢索相似的Query

，把對應的內容再返回給用戶。其特點可以總結為：基于檢索語料庫

，在相關性、

自然度等方面都做得比較差。

ChatGPT

：基于大規(guī)模語言模型，會在進一步對話數(shù)據場景下做優(yōu)化。ChatGPT實際上是基于instructGPT進一步在對話場景下，基于對上下文、

對復雜問題的更好理解

，對對話場景的數(shù)據進行優(yōu)化。

在相關性、

自然度等方

面做得較好。ChatBOTChatGPT1.2.2

ChatGPT與ChatBOT的比較信息來源：

《和大模型創(chuàng)業(yè)者聊一聊：ChatGPT火了，國內創(chuàng)業(yè)者的機會在哪里？》，西南證券整理

15

因為對情感和對社會聯(lián)結的處理會很不一樣，完成任務相對客觀，情感對話相對主觀。針對情感對話

，模型開發(fā)人員會借鑒心理學的理論、話術

，力求更好地做情感支持

，去傾聽、

去安撫；情感對話還會面臨更多潛在問題

，

比如倫理問題等。

ChatGPT擁有強大的語言理解能力

，但不具備人類獨有的創(chuàng)造力、思維力、

洞察力等特征。理解能力是情感建立的基礎，具有理解能力的ChatGPT

，在交流中表現(xiàn)出“同理心”，但不代表ChatGPT擁有自己的情緒和感情。ChatGPT對于有著人類思維的AI是否為生物的看法1.2.3

ChatGPT的倫理學討論信息來源：

《和大模型創(chuàng)業(yè)者聊一聊：ChatGPT火了，國內創(chuàng)業(yè)者的機會在哪里？》西南證券整理

16數(shù)據標注、算力支撐和先發(fā)優(yōu)勢是ChatGPT得以強勢發(fā)展的三大護城河。

數(shù)據標注是ChatGPT發(fā)展的“肥料”。ChatGPT底層邏輯仍是基于自回歸的機器學習，需要輸入大量數(shù)據進行模型訓練，數(shù)據標注屬于資本密集和勞動力密集型工作，需要大量人力和財力，但ChatGPT在成本低的同時做到了高效率(0.3美分/條，單條效率為人類的4倍)。此外，隨著ChatGPT更新迭代，需要的訓練語料呈指數(shù)級增長，但許多專業(yè)語料并不公開，即使擁有人工標注的能力，一些不掌握核心語料的非巨頭廠商也難以進入。

算力支撐是ChatGPT發(fā)展的“土壤”。數(shù)據標注和模型訓練都需要強大的算力支撐。標注數(shù)據、問題分類和答案預編輯等工作可以借助模型去預測其效果，來回試錯，其中對算力侵占是巨大的。依靠微軟的強大算力，OpenAI可以在短時間內完成試錯，將模型訓練成熟。

先發(fā)優(yōu)勢是保障ChatGPT吸收“肥料”和鞏固“土壤”的“根系”。

OpenAI把GPT3放出來之后，用戶通過API使用ChatGPT

，不斷向模型輸入訓練語料。通過對話，人們在使用ChatGPT時也完成了對其的訓練，基于用戶反饋，ChatGPT能不斷獲得query分布，判斷各個query的訓練成熟度，以此為導向有意識地、有針對性地做數(shù)據標注，不斷反哺ChatGPT。GPT有飛輪效應

，在不同階段分別體現(xiàn)為小飛輪效應和大飛輪效應。

過去：面向ToB客戶，OpenAI在廠商內部積累滿意度、成熟度等數(shù)據，在內部形成小飛輪效應；

現(xiàn)在：如今面向ToC用戶，調動了上億用戶，從外部形成大飛輪效應。

未來：跟隨者只有通過飛輪效應才能在ChatGPT迭代的同時完成追趕?？梢圆捎瞄_發(fā)更多toB模型、面向中國市場，訓練中文語料等方式。Chatgpt.人類偏好.好壞數(shù)據標注人工標注

ChatGPT的三大護城河

ChatGPT的飛輪效應ChatGPT可以進行數(shù)據標注1.2.4

ChatGPT的護城河信息來源：

《和大模型創(chuàng)業(yè)者聊一聊：ChatGPT火了，國內創(chuàng)業(yè)者的機會在哪里？》西南證券整理

17完成

“專用AI-通用AI”的轉變

，期待

“通用AI-專業(yè)AI”的落地。

ChatGPT在RLHF的幫助下

，找到了GPT-3.5和人類自然語言的合理接口，解鎖了模型的應用場景，改變了人機交互方式。

專用AI既要做理解也要做生成

，通用AI

(

ChatGPT)

以生成為核心。

ChatGPT將生成模型搭建好，基于激勵機制，反過來也能把理解訓練得很好，于是構建了一個目標明確的“理解+生成”的大模型；同時Transformer提供了一個能支撐大模型訓練的架構

，所以就在方向上形成了與原來不一樣的技術訴求的突破。更新迭代過程中涌現(xiàn)了很多的新的能力。

如

in-contextcorrection

能力

、

in-contextlearning

能力

、instruct能力；

GPT

-

3涌現(xiàn)出的in

-contextlearning能力和fine-tuning有本質不同，后者需要更改模型參數(shù)，也就是說，換了個新模型。但是in-contextlearning

，模型并沒有變化，卻能在新數(shù)據上

表現(xiàn)更好；

GPT

-Codex版本解鎖了推理能力，以及InstructGPT提出了instruct這一方法，他們合體的ChatGPT在in-contextlearning的基礎之上，展示出了具備理解、推理、演繹能力。1.2.5

ChatGPT脫穎而出的原因人機交互方式ChatGPT迭代中涌現(xiàn)的能力信息來源：

《萬字長文，探討關于ChatGPT的五個最核心問題》西南證券整理

18基于對應關系

；基于內在邏輯范式突破：從“鸚鵡”到“烏鴉”。

過往ML

：采用

“鸚鵡學舌”范式。依賴檢索和記憶能力，需要“喂”，之后“模仿”，“

”

ChatGPT

：采用

“烏鴉理解”范式。采用理解力，有舉一反三的能力，需要“教”，之后“懂”，“”。?ChatGPT擁有in-contextcorrection的能力，給出修改意見，ChatGPT可以聽懂錯誤是什么，并向正確的方向修正。?描述越詳細清楚，ChatGPT回答得越好。.自主的智能：

感知、認知、推理、學習和執(zhí)行.不依賴大數(shù)據：沒有標注的訓練數(shù)據，無監(jiān)督學習.需要大量重復數(shù)據來訓練.可以說人話、但不理解意

思.不能對應現(xiàn)實的因果邏輯烏鴉范式“小數(shù)據，大任務”鸚鵡范式“大數(shù)據，小任務”1.2.5

ChatGPT脫穎而出的原因兩種范式的對比信息來源：

《如何應對ChatGPT？二級市場閉門研討會精選》西南證券整理

19模型輕量化

，解決效率問題。從部署層面來看，ChatGPT背后的模型太大，單個Query訓練

成本高，大約為3美分/Query

，這對于任何一家公司都是巨大的成本。因此，對于模型的輕量化處理，或使用更小的機器解決效率問題，也是ChatGPT要考慮的問題。構建新算法、

新模型。從科學或算法角度來講，ChatGPT的強化學習能力會越來越強，其未來的發(fā)展趨勢可以從新算法的構建出發(fā)；如對Transformer架構進一步改進和優(yōu)化，或者構建比GPT更小、但能力很強的模型。通用轉為專用

，實現(xiàn)落地應用。目前ChatGPT更像一個通用人工智能，在專用場景下應用不夠靈敏。所以在落地層面，ChatGPT還有很大的發(fā)展空間，也為國內創(chuàng)業(yè)者提供了新的機會。訓練log日志分析能力

，快速建立飛輪效應。log分析是人工智能進行自我學習的關鍵之一

，要求對海量數(shù)據(幾十億GB/天)自動分類的同時，還要進行重點標注，并將標注的結果快速地輸入原來的模型以體現(xiàn)效果。Log日志分析過程的自動化程度很高、很快，目前，即使是ChatGPT也有一定困難。1.2.6

ChatGPT未來發(fā)展邏輯信息來源：

《和大模型創(chuàng)業(yè)者聊一聊：ChatGPT火了，國內創(chuàng)業(yè)者的機會在哪里？》西南證券整理

201

大模型與GPT?1.1

大模型篇?1.2

ChatGPT篇?1.3

GPT-4篇3

ChatGPT應用場景2

國內篇目

錄521模型發(fā)布時間OpenAI內部稱號訓練方式參數(shù)量GPT2018年6月預訓練+Fine-tuning1.17億GPT-22019年2月預訓練15億GPT-32020年3月Davinci預訓練語言模型1750億Codex2021年8月code-davinci-001在代碼上繼續(xù)預訓練語言模型120億InstructGPT2022年3月text-davinci-001在大量有指導任務上精調1750億GPT-3.52022年7月code-davinci-002在代碼上繼續(xù)預訓練語言模型大于1750億2022年7月text-davinci-002在大量有指導任務上精調大于1750億2022年12月text-davinci-003在text-davinci-002上加入RLHF，側重incontext-

learning大于1750億CHatGPT2022年12月在text-davinci-002基礎上增加RLHF，側重重復訓練大于1750億GPT-42023年3月在ChatGPT基礎上加入圖像理解能力，但下游應用效果不如NLP，不能做到ZeroPrompt10萬億(非官方估計)GPT-4(GenerativePre-trainedTransformer4)是OpenAI發(fā)布的最新GPT系列模型。相比GPT-3，GPT-4用了

更多的數(shù)據量來訓練，有著更高級的推理能力和支持了多模態(tài)

，可以接受圖像和文本輸入

，產生文本輸出。

大規(guī)模的多模態(tài)模型有監(jiān)督的訓練模型，旨在優(yōu)化用戶所關心的功能，構建“任務助手”歷代GPT的對比無監(jiān)督的預訓練模型1.3.1

GPT-4簡介信息來源：OpenAI，西南證券整理

22OpenAI花了6個月的時間反復調整GPT

-4以及ChatGPT使用的訓練模型

，最終得到在真實性、

可操控性、

實用性

上有史以來最好的結果。

相較GPT

-3.5

，GPT-4有以下技術升級：

增加了圖像理解能力。

GPT-4支持以圖像/文字為輸入，并輸出文字。

支持更長的上下文理解。

GPT-4能夠支持的對話長度為ChatGPT的2倍和8倍。

對于復雜任務的處理能力大幅提升

，在各大標準考試中表現(xiàn)都優(yōu)于人類，同時擁有突出的多語種能力。

改善了幻覺和安全局限性

，對于Hallucination的現(xiàn)象也極大改善，安全局限性顯著降低。文字文字+圖片GPT-4的技術升級1.3.2

GPT-4技術升級復雜任務處理能力大幅提升改善了幻覺和安全局限性信息來源：

《萬字長文全面解讀：GPT-4有什么不一樣》西南證券整理

23更長的上下文理解能力圖像理解能力GPT-4開啟了多模態(tài)的篇章

，增加了圖像理解能力?？梢越邮軋D像作為輸入數(shù)據并生成說明、分類和分析文檔。

具體表現(xiàn)在以下方面：

看懂梗圖

看懂圖表并分析

看懂圖片之間的邏輯問題：這幅圖有什么好笑的?一點一點描述它。

GPT-4回答：該圖像顯示了一個包含三

個圖片的“LightningCable”適配器。圖1:一個智能手機與VGA連接器(一個大

型，藍色，15針連接器通常用于計算機

顯示器)插入其充電端口。圖2:“LightningCable”適配器的封裝，

上面有一個VGA連接器的圖片。圖3:VGA連接器的特寫鏡頭，最后是一

個小型Lightning連接器(用于為iPhone和其他蘋果設備充電)。這張圖片中的幽默來自于將一個過時的大型VGA連接器插入一個小型的現(xiàn)代智

能手機充電端口的荒謬。GPT-4根據圖表計算日均肉消耗量GPT-4能看懂梗圖隱含笑點1.3.2

GPT-4技術升級信息來源：OpenAI，西南證券整理

24GPT-4比以

往任何

時候

都更

具

創(chuàng)造性和

協(xié)作性

。它可以與用戶一起生成、編輯和迭代創(chuàng)意和技術寫作任務，例如創(chuàng)作歌

曲、編寫劇本或學習用戶的寫作風格。擁有更好

的理解

能力和

總結

能

力

，支持

更長的

上下文

分析。

之前外網泄露圖中，G

PT-4存在兩個版本。其支持的上下文分別是8K和32K

，是ChatGPT上下文長度的2倍和8倍。對于32K版本的GPT-4，其處理

超過25000個單詞的文本，是上一代GPT的8倍，允許使用長

格式內容創(chuàng)建、擴展對話以及文檔搜索和分析等用例。GPT-3.5和GPT-4文字處理能力對比GPT-4Brief1.3.2

GPT-4技術升級信息來源：OpenAI，西南證券整理

25GPT-4復雜任務處理能力大幅提升。

GPT-4在更復雜、更細微的任務處理上，回答更可靠、更有創(chuàng)意。這在多類考試測驗中以及與其他LLM的benchmark比較中得以體現(xiàn)：

在不同年齡段不同類別考試中均名列前茅，比如律師職業(yè)資格考試，名列前10%，生物學奧賽，名列前1%等；

在MMLUbenchmark上，各項指標均優(yōu)于其他大模型；

多語言能力強大，特別是小語種能力也很出色。

GPT-4的高級推理能力超越了ChatGPT

GPT-4與其他大模型的MMLUBenchmark對比

GPT-4在美國各高等考試中的表現(xiàn)出色

GPT-4的多語種能力

1.3.2

GPT-4技術升級信息來源：騰訊云開發(fā)者，西南證券整理

26GPT-4顯著改善了幻覺、

安全等局限性。在各類任務上幻覺問題顯著減輕，GPT-4對于同樣的任務的準確而率比最新的GPT-3.5模型高40%；在安全能力的升級上，GPT-4明顯超出ChatGPT和GPT3.5。在OpenAI的內部評估中，相比于GPT-3.5，GPT-4回應不允許的內容的可能性降低了82%

，回應更有可能產生事實性的回答的可能性提高了40%。

改善了幻覺和安全局限性各代GPT在不同任務中的準確率

各代GPT回應不允許的內容的可能性

1.3.2

GPT-4技術升級信息來源：騰訊云開發(fā)者，西南證券整理

27從GPT-4看出未來LLM的研發(fā)方向和優(yōu)化策略大概有兩點：

1、

閉源趨勢。

底層大模型成關鍵技術門檻。從GPT-1到GPT-4，模型各類細節(jié)越來越閉源和黑盒，大模型戰(zhàn)場的競爭因素決定了以GPT-4為代表的第一梯度模型可能會越來越封閉，成為技術門檻。2、

SelfInstruct模式或采取多種方式使模型加速和降低成本。SelfInstruct模式的核心是中小模型+大模型生產

指令數(shù)據的「LLaMA7B+text-davinci

-003」

模式

。中小參數(shù)的模型在成本上，是更靠近實際落地的方式，未來從訓練、推理等多層面考量，如何降低成本和模型加速是LLM優(yōu)化的一大方向。開源閉源用小模型來預測某些參數(shù)組合下對應

大模型的某種能力LLM的發(fā)展趨勢1.3.3

從GPT-4看LLM的發(fā)展趨勢大模型預訓練信息來源：騰訊云開發(fā)者，西南證券整理

28多鄰國一款語言學習類APP

。目前，多鄰國GPT-4接入產品，進行角色扮演，讓人工智能跟用戶去對話，糾正語法錯誤，并且把這一功能融入產品的游戲化，成

功轉型為一款以游戲化方式學習語言的軟件。多鄰國每個月有超過5000萬學習者使用其學習第二語言。通過簡潔的用戶界面和有趣且有競爭力的排行榜，涵蓋100多種課程，支持40種語言。學習者可以通過在手機上輕拍和滑動，從簡單的詞匯練習過渡到復雜的句子結構。2023年3月15日

，可汗學院宣布將使用GPT

-4為Khanmigo提供支持

，

Khanmigo是一種人工智能助手

，既可以作為學生的虛擬導師

，也可以

作為教師的課堂助手?？珊箤W院是一家非營利組織，其使命是為任何地方的任何人提供免費的

世界一流教育。GPT-4的主要功能之一是能夠理解自由形式的問題和提

示。這種像人一樣來回走動的能力，可能為可汗學院提供了最關鍵的能力：向每個學生提出個性化的問題，以促進更深層次的學習。

多鄰國

可汗學院1.3.4

GPT-4應用場景--教育領域信息來源：

《新里程碑！OpenAI發(fā)布GPT-4：四大提升，落地六種場景》西南證券整理

29BeMyEyes是一家創(chuàng)立于2012年的丹麥公司，持續(xù)為超過2.5億視力障礙或弱視人群提供輔助技術。一直以來，大部分的盲人類產品都只能識別文字。BeMyEyes借助GPT-4的多模態(tài)技術

，現(xiàn)在視力障礙或弱視人群也可以看清

這個世界。借助

G

P

T

-

4

的

多

模

態(tài)

技

術

，

B

e

M

y

E

y

e

s

在

其

應

用

程

序

中

正

在

開

發(fā)

VirtualVolunteer功能

，其可以產生與人類志愿者相同水平的分析、理解和反饋能力，使視力障礙或弱視人群擁有第二雙眼睛。摩根士丹利是財富管理領域的領導者，其內部的投資數(shù)據庫包含數(shù)十萬頁的知識，涵蓋投資策略、市場研究和評論以及分析師見解。進行投資決策過程中，為了搜集大量分布在內部網站上的信息，摩根

士丹利借助OpenAI的GPT

-4開發(fā)了一種全新的強搜索方式

，正在改

變其財富管理人員查找相關信息的方式。

投資領域--摩根士丹利

醫(yī)療健康領域--BeMyEyes1.3.4

GPT-4應用場景--其他場景信息來源：

《新里程碑！OpenAI發(fā)布GPT-4：四大提升，落地六種場景》西南證券整理

301

大模型與GPT?2.1

國內大模型發(fā)展現(xiàn)狀?2.2

國內主流大模型3

ChatGPT應用場景2

國內篇目

錄531需要解決的問題：錢+人才+時間

問題所在具體表現(xiàn)算力問題算力問題具體表現(xiàn)在國內企業(yè)仍需花費大量人力財力投入到提升研發(fā)技術和芯片，提升自己的實力。同時，中國公司也需積極跟進國際上的技術發(fā)展趨勢，提升迭代速度。數(shù)據問題ChatGPT的成功關鍵在于其用大量的訓練數(shù)據。足量的高質量數(shù)據是國產大語言模型成功與否的決定性因素。從獲取渠道方面，中國公司不僅需要得到國家支持，還需積極整理搜集各類數(shù)據同時共享數(shù)據，做到合作共贏。在人工標注方面，需要注入人類偏好知識(人類的表達習慣和人類的對回答質量好壞的偏好)算法問題在全球范圍內，能夠有高效訓練千億參數(shù)模型算法能力的人才不超過200人，其中中國本土的人才更少。自然語言處理模型是一個極為復雜的技術，需要各種跨學科的人才。中國公司需要積極的引進和培養(yǎng)相關人才。飛輪效應積累垂類數(shù)據

C端：上億用戶使用提高用戶滿意度國內公司在自然語言處理領域具有巨大的潛力和美好的發(fā)展前景。目前，國內眾多大型或小型公司都已經開始積極投入并研發(fā)屬于自己開源的強大的語言模型，如阿里通義M6大模型和騰訊混元都是參數(shù)容量破千億的語言大模型，而百度的文心一言也是國內首個語義大模型的終端應用。國內目前沒有能夠直接對標ChatGPT的應用，但國產的語言模型可以做到更好的面向國內用戶，在遣詞造句、引經據典、中文語言生成等方面超越ChatGPT。大語言模型在國內即將迎來高速發(fā)展

，各公司之間的競爭于今年下半年開始也將會愈

發(fā)激烈。為了使國產大語言模型達到最理想的發(fā)展

，各公司之間做好份內業(yè)務并發(fā)揮自己的優(yōu)勢

，積極尋求合作合作機會

，共同推進大語言模

型技術。只有在競爭與協(xié)同共存的條件下

，中國公司才能夠實現(xiàn)自我提升和共同發(fā)展

，實現(xiàn)合作共贏的局面。國內公司主要發(fā)展途徑主要發(fā)展途徑使用自回歸模型預訓練引入程序代碼提高數(shù)據質量和數(shù)量多模態(tài)Sparse化(可降低成本)使用易用接口2.1.1

大語言模型的國內發(fā)展情況信息來源：《國內AI大模型深度解讀及發(fā)展機遇展望》，西南證券整理

32用戶幫助反饋、標注結果更精確資本密度人才

密度更多用戶使用模型迭代B端：2.1.1

大語言模型的國內發(fā)展情況國內公司在自然語言處理領域具有巨大的潛力和美好的發(fā)展前景。目前，國內眾多大型或小型公司都已經開始積極投入并研發(fā)屬于自己開源的強大的語言模型，如阿里通義M6大模型和騰訊混元都是參數(shù)容量破千億的語言大模型，而百度的文心一言也是國內首個語義大模型的終端應用。國內目前沒有能夠直接對標ChatGPT的應用，但國產的語言模型可以做到更好的面向國內用戶，在遣詞造句、引經據典、中文語言生成等方面超越ChatGPT。大語言模型在國內即將迎來高速發(fā)展

，各公司之間的競爭于今年下半年開始也將會愈

發(fā)激烈。為了使國產大語言模型達到最理想的發(fā)展

，各公司之間做好份內業(yè)務并發(fā)揮自己的優(yōu)勢

，積極尋求合作合作機會

，共同推進大語言模

型技術。只有在競爭與協(xié)同共存的條件下

，中國公司才能夠實現(xiàn)自我提升和共同發(fā)展

，實現(xiàn)合作共贏的局面。阿里通義M6大模型文心一言發(fā)布會信息來源：《國內AI大模型深度解讀及發(fā)展機遇展望》，西南證券整理

33國內企業(yè)面臨的主要難點具體描述與國際企業(yè)相比的發(fā)展難點高效率的算法框架其中的難點在于，在擁有足夠參數(shù)量時，需要把模型和數(shù)據分散到多個GPU

。國內企業(yè)需要進行多次試驗及試錯才能找到GPU之間的溝通、調度、高效反向傳播的方法。

技術突破：即使國內公司目前正以飛快的速度研發(fā)屬于自己的自然語言處理大模型，但國際企業(yè)在技術研發(fā)方面更具優(yōu)勢。國內企業(yè)需持續(xù)創(chuàng)新技術并實現(xiàn)突破。追趕GPT-3其中的難點在于，國內企業(yè)需要提升自己的代碼生成能力，并需要擁有62B以上的模型才能有樣本效果。需要花費大量財力購買GPU

，預算預計上億。

數(shù)據質量：相比國際企業(yè)，國內公司雖然擁有足夠數(shù)量的訓練數(shù)據，但這些數(shù)據的質量參差不齊

，會在一定程度上

影響模型效果和準確度。國內企業(yè)仍需大力提高自己的數(shù)據質量?？s小飛輪效應影響平替尋找大量用戶prompt來源的平替方案：用NLP數(shù)據集構造prompt

。其中Generation占45.6%；OpenAI占12.4%；Brainstorming占11.2%；Chat占8.4%；Rewrite占6.6%。

模型場景化：ChatGPT已與國際多家各行業(yè)公司合作。國內公司目前幾乎沒有語言模型與跨行業(yè)公司合作的落地應用。自然語言模型的場景化也是最大的困難。越過精調的坑OpenAI將精調分為兩個步驟：監(jiān)督精調(SFT)+強化學習訓練(RLHF)。其中RLHF是精調的重點。1.Pertain

：在訓練之前先讓模型獨立觀察，自由學習。2.InstructionTuning

：示范模型+簡單調整3.RLHF

：對不可預料的行為作出反饋使答案來擬合人的偏好。

國際化：中國公司也需要思考如何在突破自己的技術的同時，將自己的技術拓展到國際市場

，在國際上產生影響力。2.1.2

大語言模型的國內發(fā)展難點國內目前沒有能夠直接對標ChatGPT的應用，中國公司仍需克服以下難點：大語言模型的發(fā)展難點數(shù)據來源：

《復現(xiàn)ChatGPT的難點與平替》，西南證券整理

34應用層處于大語言模型產品架構的最上層。應用層主要負責將用戶的輸入文本在模型層的處理和中間層的優(yōu)化后轉化為用戶可以理解的形式。應用層模型擁有多種形式如聊天機器人、智能客服等。應用層目前有三個主要方向：第一個方向是為了通過使用AI提升用戶生產力，ChatGPT便是這個方向最典型的生產力工具；第二個方向是為了通過使用AI提升上層用戶的交互體驗；第三個方向是AIforScience

，這個方向對科研相關的需求較多。應用層可以幫助用戶更加便利的使用自然語言處理技術。第一層是最底層的模型層。模型層是自然語言處理模型的核心部分

，主要負責處理輸入語言并輸出生成內容。處于模型層的產品可以用來做垂類的基礎大模型，比如一些用于生成虛擬角色或提高寫作等其他生產力的底層模型。對于這類模型，企業(yè)可以選擇自主研發(fā)基礎模型，因為此類模型不需要過大的參數(shù)數(shù)量，如垂類的基礎大模型僅需要百億參數(shù)。同時，企業(yè)也可以選擇研發(fā)開源模型，做類似OpenAI公司的API產品。中間層大語言模型的第二層是中間層。中間層處于模型層和應用層之間

，起到銜接模型層和應用層的作用。它可以處理并優(yōu)化模型層輸出生成的內容并使應用層更好的使用模型。中間層在底層模型的基礎上去做配置和微調，包括結合自有數(shù)據飛輪做人類數(shù)據反饋。然后再針對不同行業(yè)的應用，結合該行業(yè)的數(shù)據做出應用的模型。我國目前的自然語言處理模型共有三個主要的產品架構，包括：模型層、中間層以及應用層。2.1.3

國內大語言模型產品架構信息來源：

《和大模型創(chuàng)業(yè)者聊一聊：ChatGPT火了，國內創(chuàng)業(yè)者的機會在哪里？》西南證券整理

35模型層應用層2.1.4

GPT給國內同行業(yè)企業(yè)帶來的沖擊

ChatGPT的面世給處于第一層(底層模型層)

的中國企業(yè)帶來的沖擊最大

，尤其是一大批在2018年到2021年間成立的AI基建和AI模型公司。這些公司在AI方面非常注重資產化

，會花費大量的人力和財力去訓練垂向的服務

，并將這些服務包裝成API的形式。

ChatGPT的出現(xiàn)會使這些公司前功盡棄

，因為ChatGPT的能力大大超越了垂類的服務

，包括圖像生成、

圖像識別等。ChatGPT的生成效果甚至不需要通過訓練，便能超越這些公司經過無數(shù)次訓練得出的成果。它使這些AI基建和AI模型公司做出的API不再有意義。所以ChatGPT的出現(xiàn)嚴重沖擊了處于第一層的公司。

ChatGPT的面世反而有助于處于第二層

(中間層)

和第三層(應用層)

的公司降低成本、增加效率。對于一個處于應用層或中間層的公司，ChatGPT的出現(xiàn)對其的負面影響相對較小，因為這類公司只是單純的使用ChatGPT和其他的大規(guī)模語言模型并使用其他的API

，并沒有花費大量的人力財力去積累相關的研發(fā)經驗和培養(yǎng)研發(fā)團隊。這類公司甚至可以選擇表現(xiàn)效果更好的OpenAI的API模型去做相同的任務。正是因為這類公司在機器學習方面是輕資產化的

，所以沖擊相對較小。不僅如此

，這類公司直接面向客

戶

，而不是面向開發(fā)者或B端。所以當像ChatGPT一樣的大語言模型出現(xiàn)的時候

，這類公司反而如魚得水

，能在很大程度上提高用

戶體驗。信息來源：

《萬字長文：AIGC技術與應用全解析》西南證券整理

361

大模型與GPT?2.1

國內大模型發(fā)展現(xiàn)狀?2.2

國內主流大模型3

ChatGPT應用場景2

國內篇目

錄37模型名稱具體企業(yè)大模型參數(shù)數(shù)據量算力多模態(tài)預訓練模型清華大學等(學術類)“八卦爐“(腦級AI模型)174萬億中文多模態(tài)數(shù)據集M6-Corpus“海洋之光”超級計算機阿里(科技大廠)通義M6大模型10萬億1.9TB圖像、292GB文本512塊GPU騰訊(科技大廠)混元萬億級五大跨模態(tài)視頻檢索數(shù)據集騰訊太極機器學習平臺華為(科技大廠)盤古系列大模型千億級40TB訓練數(shù)據鵬城云腦II、全場景AI計算框架MindSpore、2048塊GPU瀾舟(垂類公司)孟子10億數(shù)百G級別多領域高質量語料16塊GPUNLP大模型百度和鵬城實驗室(科技

大廠/學術類)ERNIE3.0Titan2600億純文本和知識圖譜的4TB語料庫鵬城云腦II

(2048塊GPU

)、百度飛槳深度學習平臺浪潮信息(垂類公司)源1.02457億5000GB高質量中文數(shù)據集4095Pflops-day/2128張GPU計算機視覺模型商湯科技(垂類公司)書生(INTERN+)100億商湯AIDC、峰值算力3740

Petaflops某世界最大計算機視覺模型300億圖、文、音三模態(tài)模型中科院自動化所(學術類)紫東太初千億基于萬條小規(guī)模數(shù)據集昇騰AI基礎軟硬件平臺2.2.1

國內主要大模型我國目前有四種主要大模型

，包括：計算器視覺模型、多模態(tài)預訓練模型、

NLP大模型以及圖、文、音三模態(tài)模型

，其中最常見的大

模型為多模態(tài)預訓練模型。學術院校、科技大廠以及相關的垂類公司都在致力于研究與開發(fā)自己的大語言模型，并已經初具規(guī)模，其中不乏擁有千億級別以上參數(shù)容量的模型。目前

，學術類研究院在大模型參數(shù)容量上處于領先地位

，更有以清華大學為代表擁有百萬

億級別以上參數(shù)的大模型。國內主要大模型梳理信息來源：

商湯科技官微，天翼智庫，HTI，西南證券整理

38文心一言的優(yōu)勢在于：

快速生成自然、流暢的中文文本內容：能夠生成與人類對話式的文本內容。并且與ChatGPT相比，文心一言在中文語言生成上更具優(yōu)勢。

可定制化：可根據用戶需求，個性化定制主題并生成內容。

可應用于多種場景：文心一言可以應用于各行各業(yè)的各種場景，為人類生活提高效率、提供便利。文心一言的劣勢在于：

缺乏創(chuàng)造性：文心一言是通過深度學習并訓練數(shù)據生成文本，生成出的文本是基于數(shù)據的產出，所以相對缺乏創(chuàng)造性。

精準度有待提高：文心一言生成的內容并不能做到精準，偶爾會有誤差。

高度依賴數(shù)據：因其高度依賴數(shù)據，若數(shù)據質量較差，做生成出的內容的質量也將受到影響。不僅如此，若數(shù)據內容具有偏見，則生成出的內容的也會有可能帶有偏見。文心一言是由百度推出的一款基于自然語言處理技術的文本生成模型。它通過不斷的深度學習和訓練數(shù)

據來持續(xù)優(yōu)化自己

，以幫助用戶獲取信息、知識和靈感。該模型具有與人對話互動、回答問題、協(xié)助創(chuàng)作等功能，旨在為用戶提供高效、精準、優(yōu)質的文本生成服務。文心一言的技術基于飛槳深度學習平臺和文心知識增強技術，通過持續(xù)從海量數(shù)據和大規(guī)模知識中融合學習，具備了知識增強、檢索增強和對話增強的技術特色。在人工智能的四層架構(芯片、框架、模型、應用)中，文心一言處于模型層，定位于人工智能基座型

的賦能平臺

，旨在助力金融、能源、媒體、政務等各個行業(yè)的智能化變革。它具備文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成等五大能力，能夠為各行各業(yè)的用戶提供不同類型的文本生成服務?？傊?/p>

，文心一言是一款功能強大、性能卓越的中文文本生成模型

，具有廣泛的應用前景和市

場價值。2.2.2

國內主流大模型--百度文心一言

文心一言的

優(yōu)勢及劣勢

文心一言簡介信息來源：

文心一言官網，

《文心一言和其他文本生成AI相比，有何優(yōu)勢和劣勢？》

，西南證券整理

39應用場景具體描述文學創(chuàng)作文心一言根據輸入問題，自動總結分析了知名科幻小說《三體》的核心內容，并提供了五個創(chuàng)意續(xù)寫角度。這些生成內容的準確性也得到了原作者的證實，并非胡編亂造。這個過程體現(xiàn)出文心一言在對話問答、總結分析、

內容創(chuàng)作生成的綜合能力。商業(yè)文案創(chuàng)作文心一言成功完成了為公司起名、寫標語廣告語、寫新聞稿等創(chuàng)作內容。數(shù)理邏輯推算文心一言具備一定的思維能力

，能夠學會數(shù)學推演及邏輯推理等相對復雜任務。如面對“雞兔同籠”這類經典數(shù)學題，文心一言能夠準確理解題意，擁有正確解題思路，按正確的步驟算出正確答案。中文理解文心一言具備中文領域最先進的自然語言處理能力

，在中國語言和中國文化上表現(xiàn)優(yōu)異。多模態(tài)生成文心一言能夠生成文本、圖片、音頻、視頻。在音頻生成方面甚至具備生成帶有當?shù)胤窖缘囊纛l。2.2.2

國內主流大模型--百度文心一言文心一言共有五大主要應用場景，包括：文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成。文心一言的五大應用場景信息來源：

《李彥宏：文心一言對標ChatGPT