人工智能通識教程 第2版 課件 第12章 GPT-大語言模型起步

第2版人工智能通識教程第12章周蘇教授QQ：81505050GPT——大語言模型崛起導(dǎo)讀案例：2023國內(nèi)大模型匯總大模型領(lǐng)域在國內(nèi)外都取得了顯著的成就，各個國家和地區(qū)的企業(yè)、機構(gòu)以及學(xué)術(shù)界都在積極投入資源和努力，推動大模型技術(shù)的發(fā)展。01自然語言處理的進步02科普AI大語言模型03ChatGPT的模仿秀04傳統(tǒng)行業(yè)的下崗目錄/CONTENTS自然語言處理主要應(yīng)用于機器翻譯、輿情監(jiān)測、自動摘要、觀點提取、文本分類、問題回答、文本語義對比、語音識別、中文OCR等方面?；诰浞ǚ治龊驼Z義分析的自然語言處理系統(tǒng)已經(jīng)在許多任務(wù)上獲得了成功，但是它們的性能受到實際文本中極度復(fù)雜的語言現(xiàn)象的限制。由于存在大量機器可讀形式的可用文本，因此，可以考慮基于數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)方法應(yīng)用于自然語言處理。第12章GPT——大語言模型崛起PART01自然語言處理的進步在2012年的ImageNet（圖12-2）比賽中，深度學(xué)習(xí)系統(tǒng)取得的令人驚嘆的優(yōu)秀表現(xiàn)帶動計算機視覺出現(xiàn)了一個發(fā)展的轉(zhuǎn)折點。而到2018年，自然語言處理也出現(xiàn)了一個轉(zhuǎn)折點，它的主要推動力是，深度學(xué)習(xí)和遷移學(xué)習(xí)顯著提高了自然語言處理的技術(shù)水平：可以下載通用語言模型，并針對特定任務(wù)進行微調(diào)，以至于研究者為此斷言“自然語言處理的ImageNet時刻已經(jīng)到來”。12.1自然語言處理的進步

圖12-2ImageNet是一種數(shù)據(jù)集12.1自然語言處理的進步ImageNet是斯坦福大學(xué)教授李飛飛為了解決機器學(xué)習(xí)中過擬合和泛化的問題而牽頭構(gòu)建的一種數(shù)據(jù)集。該數(shù)據(jù)集從2007年開始建立，2009年作為論文的形式在CVPR2009上發(fā)布。直到目前，該數(shù)據(jù)集仍然是深度學(xué)習(xí)領(lǐng)域中圖像分類、檢測、定位的最常用數(shù)據(jù)集之一?；贗mageNet有一個比賽，稱為ILSVRC（ImageNet大規(guī)模視覺識別挑戰(zhàn)賽），從2010年開始舉行，到2017年最后一屆結(jié)束，每年舉辦一次，每次從ImageNet數(shù)據(jù)集中抽取部分樣本作為比賽的數(shù)據(jù)集。12.1.1關(guān)于ImageNetILSVRC比賽包括：圖像分類、目標(biāo)定位、目標(biāo)檢測、視頻目標(biāo)檢測、場景分類。在該比賽的歷年優(yōu)勝者中，誕生了AlexNet(2012)、VGG(2014)、GoogLeNet(2014)、ResNet(2015)等著名的深度學(xué)習(xí)網(wǎng)絡(luò)模型?！癐LSVRC”一詞有時也被用來特指該比賽使用的數(shù)據(jù)集，即ImageNet的一個子集，其中最常用的是2012年的數(shù)據(jù)集，記為ILSVRC2012。因此，有時候提到ImageNet，很可能是指ImageNet中的ILSVRC2012子集。ILSVRC2012數(shù)據(jù)集擁有1000個分類（這意味著面向ImageNet圖片識別的神經(jīng)網(wǎng)絡(luò)的輸出是1000個），每個分類約有1000張圖片。12.1.1關(guān)于ImageNet這些用于訓(xùn)練的圖片總數(shù)約為120萬張，此外還有一些圖片作為驗證集和測試集。ILSVRC2012含有5萬張圖片作為驗證集，10萬張圖片作為測試集。測試集沒有標(biāo)簽，驗證集的標(biāo)簽在另外的文檔給出。ImageNet本身有1400多萬張圖片，2萬多的分類。其中有超過100萬張圖片有明確類別標(biāo)注和物體位置標(biāo)注。對于基于ImageNet的圖像識別的結(jié)果評估，往往用到兩個準(zhǔn)確率的指標(biāo)，一個是top-1準(zhǔn)確率，一個是top-5準(zhǔn)確率。top-1準(zhǔn)確率指的是輸出概率中最大的那一個對應(yīng)正確類別的概率；top-5準(zhǔn)確率指的是輸出概率中最大的5個對應(yīng)類別中包含正確類別的概率。12.1.1關(guān)于ImageNet自然語言處理的ImageNet轉(zhuǎn)折點始于2013年word2vec和2014年GloVe等系統(tǒng)生成的簡單詞嵌入。研究人員可以下載這樣的模型，或者在不使用超級計算機的情況下，相對快速地訓(xùn)練他們自己的模型。另外，預(yù)訓(xùn)練上下文表示的開銷要高出幾個量級。12.1.2自然語言處理的ImageNet時刻只有在硬件（GPU圖形處理器和TPU谷歌張量處理單元）進步普及之后，這些模型才是可行的，在這種情況下，研究人員能夠直接下載模型，而不需要花費資源訓(xùn)練自己的模型。Transformer模型（谷歌云TPU推薦的參考模型）允許使用者高效地訓(xùn)練比之前更大更深的神經(jīng)網(wǎng)絡(luò)（這一次是因為軟件的進步，而不是硬件的進步）。自2018年以來，新的自然語言處理項目通常從一個預(yù)先訓(xùn)練好的Transformer模型開始。12.1.2自然語言處理的ImageNet時刻雖然這些Transformer模型被訓(xùn)練用來預(yù)測文本中的下一個單詞，但它們在其他語言任務(wù)中的表現(xiàn)也出奇地好。經(jīng)過一些微調(diào)后，RoBERTa模型在問答和閱讀理解測試中取得了最高水平的成績。GPT-2是一種類似于Transformer的語言模型，它有15億個參數(shù)，在40GB的因特網(wǎng)文本上訓(xùn)練。它在法英翻譯、查找遠距離依賴的指代對象以及一般知識問答等任務(wù)中都取得了良好的成績，并且所有這些成績都沒有針對特定任務(wù)進行微調(diào)。例如在僅給定幾個單詞作為提示時，GPT-2依然可以生成相當(dāng)令人信服的文本。12.1.2自然語言處理的ImageNet時刻作為一個高水平的自然語言處理系統(tǒng)示例，Aristo在八年級科學(xué)選擇題考試中獲得了91.6％的分?jǐn)?shù)。Aristo由一系列求解器組成：一些使用信息檢索（類似于一個網(wǎng)絡(luò)搜索引擎），一些使用文本蘊涵和定性推理，還有一些使用大規(guī)模Transformer語言模型。結(jié)果表明，RoBERTa的測試成績是88.2％。Aristo在12年級考試中也取得了83％的成績（65％表示“達到標(biāo)準(zhǔn)”，85％表示“出色地達到標(biāo)準(zhǔn)”）。Aristo也有其局限性。它只能處理選擇題，不能處理論述題，而且它既不能閱讀也不能生成圖表。12.1.2自然語言處理的ImageNet時刻使用更多的訓(xùn)練數(shù)據(jù)可以得到更好的模型，例如，RoBERTa在訓(xùn)練了2.2萬億個單詞后獲得了最高水平的成績，如果使用更多的文本數(shù)據(jù)會更好。那么，如果進一步使用其他類型的數(shù)據(jù)——結(jié)構(gòu)化數(shù)據(jù)庫、數(shù)值數(shù)據(jù)、圖像和視頻會怎么樣呢？當(dāng)然，需要在硬件處理速度上取得突破，才能對大量視頻進行訓(xùn)練，此外，可能還需要在人工智能方面取得一些突破。12.1.2自然語言處理的ImageNet時刻讀者可能會問：“為什么我們學(xué)習(xí)了文法、句法分析和語義解釋，現(xiàn)在卻舍棄了這些概念，轉(zhuǎn)而使用純粹的數(shù)據(jù)驅(qū)動模型？”答案很簡單，數(shù)據(jù)驅(qū)動的模型更容易開發(fā)和維護，并且在標(biāo)準(zhǔn)的基準(zhǔn)測試中得分更高?？赡苁荰ransformer及其相關(guān)模型學(xué)習(xí)到了潛在的表征，這些表征捕捉到與語法和語義信息相同的基本思想，也可能是在這些大模型中發(fā)生了完全不同的事情。但我們只知道，使用文本數(shù)據(jù)訓(xùn)練的系統(tǒng)比依賴手工創(chuàng)建特征的系統(tǒng)更容易維護，更容易適應(yīng)新的領(lǐng)域和新的自然語言。12.1.2自然語言處理的ImageNet時刻未來在顯式語法語義建模方面的突破也有可能會導(dǎo)致研究的重點回擺。更有可能出現(xiàn)的是混合方法。例如，基塔夫和克菜因使用注意力機制改進了傳統(tǒng)的成分句法分析器，從而獲得了PennTreebank（賓夕法尼亞樹銀行）測試集記錄的最佳結(jié)果。類似地，林高等人演示了如何通過詞嵌入和循環(huán)神經(jīng)網(wǎng)絡(luò)改進依存句法分析器。他們的系統(tǒng)SLING直接解析為一個語義框架表示，緩解了傳統(tǒng)管道系統(tǒng)中錯誤累積的問題。12.1.2自然語言處理的ImageNet時刻當(dāng)然還有改進的空間。自然語言處理系統(tǒng)不僅在許多任務(wù)上仍然落后于人類，而且在處理了人類一輩子都無法閱讀的數(shù)千倍的文本之后，它們?nèi)匀宦浜笥谌祟悺＿@表明，語言學(xué)家、心理學(xué)家和自然語言處理研究人員要研究的東西還有很多。12.1.2自然語言處理的ImageNet時刻GPT（GenerativePre-trainedTransformer，衍生式預(yù)訓(xùn)練變壓器）是一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓(xùn)練的文本生成深度學(xué)習(xí)模型，它主要用于問答、文本摘要生成、機器翻譯、分類、代碼生成和對話AI。12.1.3從GPT-1到GPT-32018年GPT-1誕生，這一年也是NLP（自然語言處理）的預(yù)訓(xùn)練模型元年。在性能方面，GPT-1有一定的泛化能力，能夠用于和監(jiān)督任務(wù)無關(guān)的NLP任務(wù)中。其常用任務(wù)包括：·自然語言推理：判斷兩個句子的關(guān)系（包含、矛盾、中立）·問答與常識推理：輸入文章及若干答案，輸出答案的準(zhǔn)確率·語義相似度識別：判斷兩個句子語義是否相關(guān)·分類：判斷輸入文本是指定的哪個類別12.1.3從GPT-1到GPT-3雖然GPT-1在未經(jīng)調(diào)試的任務(wù)上有一些效果，但其泛化能力遠低于經(jīng)過微調(diào)的有監(jiān)督任務(wù)，因此，它只能算得上是一個還不錯的語言理解工具而非對話式AI。12.1.3從GPT-1到GPT-3GPT-2于2019年如期而至，不過它并沒有對原有的網(wǎng)絡(luò)進行過多的結(jié)構(gòu)創(chuàng)新與設(shè)計，只使用了更多的網(wǎng)絡(luò)參數(shù)與更大的數(shù)據(jù)集：最大模型共計48層，參數(shù)量達15億，學(xué)習(xí)目標(biāo)則使用無監(jiān)督預(yù)訓(xùn)練模型來完成有監(jiān)督任務(wù)。在性能方面，除了理解能力外，GPT-2在生成方面第一次表現(xiàn)出了強大的天賦：閱讀摘要、聊天、續(xù)寫、編故事，甚至生成假新聞、釣魚郵件或在網(wǎng)上進行角色扮演等，通通不在話下。在“變得更大”之后，GPT-2的確展現(xiàn)出了普適而強大的能力，并在多個特定的語言建模任務(wù)上實現(xiàn)了彼時的最佳性能。12.1.3從GPT-1到GPT-3之后，GPT-3出現(xiàn)了，作為一個無監(jiān)督模型（現(xiàn)在經(jīng)常被稱為自監(jiān)督模型），它幾乎可以完成自然語言處理的絕大部分任務(wù)，例如面向問題搜索、閱讀理解、語義推斷、機器翻譯、文章生成和自動問答等等。而且，該模型在諸多任務(wù)上表現(xiàn)卓越，例如在法語-英語和德語-英語機器翻譯任務(wù)上達到當(dāng)前最佳水平，自動產(chǎn)生的文章幾乎讓人無法辨別是出自人還是機器（52%的正確率，與隨機猜測相當(dāng)），更令人驚訝的，是在兩位數(shù)的加減運算任務(wù)上達到幾乎100%的正確率，甚至還可以依據(jù)任務(wù)描述自動生成代碼。12.1.3從GPT-1到GPT-3一個無監(jiān)督模型功能多效果好，似乎讓人們看到了通用人工智能的希望，可能這就是GPT-3影響如此之大的主要原因。12.1.3從GPT-1到GPT-3ChatGPT是由人工智能研究實驗室OpenAI在2022年11月30日發(fā)布的全新聊天機器人模型，一款人工智能技術(shù)驅(qū)動的自然語言處理工具。ChatGPT使用了Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)，也是GPT-3.5架構(gòu)的主力模型，這是一種用于處理序列數(shù)據(jù)，優(yōu)化對話的語言模型，擁有語言理解和文本生成能力，尤其是它會通過連接大量語料庫來訓(xùn)練模型，這些語料庫包含了真實世界中的對話，使得ChatGPT具備上知天文下知地理，還能根據(jù)聊天的上下文進行互動的能力，做到與人類幾乎無異的聊天場景進行交流。12.1.4ChatGPT聊天機器人模型與對策ChatGPT不單是聊天機器人，它還能夠通過學(xué)習(xí)和理解人類的語言來進行對話，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼等任務(wù)，同時也引起無數(shù)網(wǎng)友沉迷與ChatGPT聊天，成為大家討論的火爆話題。12.1.4ChatGPT聊天機器人模型與對策ChatGPT是一個免費程序，它具有同類產(chǎn)品具備的一些特性，例如對話能力，能夠在同一個會話期間內(nèi)回答上下文相關(guān)的后續(xù)問題。然而，在短時間內(nèi)引爆全球的原因還在于，在網(wǎng)友們曬出的截圖中，ChatGPT不僅能流暢地與用戶對話，甚至可根據(jù)提示生成幾乎任何主題的原始文本，包括文章、論文、笑話、編碼甚至詩歌。。由于ChatGPT太“聰明”，無數(shù)網(wǎng)友與它聊天，有人讓它幫忙改作業(yè)，有人讓它扮演虛擬女友、有人讓它編寫請假理由、有人用它來補習(xí)外語，更有人讓ChatGPT陪自己演戲。無論是生成小說、疑難解答或者是哲學(xué)的問題，ChatGPT都交上幾乎完美的答案，令人驚嘆不已。12.1.4ChatGPT聊天機器人模型與對策ChatGPT采用了注重道德水平的訓(xùn)練方式，按照預(yù)先設(shè)計的道德準(zhǔn)則，對不懷好意的提問和請求“說不”。一旦發(fā)現(xiàn)用戶給出的文字提示里面含有惡意，包括但不限于暴力、歧視、犯罪等意圖，都會拒絕提供有效答案。不過，ChatGPT的強大功能引起學(xué)術(shù)界的擔(dān)憂。頂級科學(xué)雜志《自然》宣布，將人工智能工具列為作者的論文不能在該雜志上發(fā)表。2023年1月27日巴黎政治大學(xué)宣布，該校已向所有學(xué)生和教師發(fā)送電子郵件，要求禁止使用ChatGPT等一切基于AI的工具，旨在防止學(xué)術(shù)欺詐和剽竊。12.1.4ChatGPT聊天機器人模型與對策2023年初，谷歌發(fā)布了從文本生成高保真音樂的AI模型MusicLM的研究，該系統(tǒng)可以從文本描述中生成任何類型的高保真音樂。但因擔(dān)心風(fēng)險，谷歌并沒有立即發(fā)布該產(chǎn)品?！拔覀儚娬{(diào)，需要在未來開展更多工作，來應(yīng)對這些與音樂生成相關(guān)的風(fēng)險——目前沒有發(fā)布模型的計劃?！惫雀璋l(fā)布的論文寫道。12.1.5從文本生成音樂的MusicLM模型據(jù)了解，谷歌自己的AudioML和人工智能研究機構(gòu)OpenAI的Jukebox等項目都可以從文字生成音樂。然而，MusicLM模型和龐大的訓(xùn)練數(shù)據(jù)庫（280000小時的音樂）使其能制作出特別復(fù)雜或保真度特別高的歌曲。MusicLM不僅可以結(jié)合流派和樂器，還可以使用計算機通常難以掌握的抽象概念來編寫曲目。比如“一種舞曲和雷鬼音樂的混合體，其曲調(diào)空曠、超凡脫俗，能喚起驚奇和敬畏之感”，MusicLM就可以實現(xiàn)。12.1.5從文本生成音樂的MusicLM模型谷歌研究人員表明，該系統(tǒng)可以建立在現(xiàn)有旋律的基礎(chǔ)上，無論是哼唱、演唱、吹口哨還是在樂器基礎(chǔ)上演奏。此外，MusicLM有一個“故事模式”來編程特定時間的風(fēng)格、氛圍和節(jié)奏的轉(zhuǎn)變，比如可以采用幾個按順序編寫的描述“冥想時間”“醒來時間”“跑步時間”來創(chuàng)建一種“故事”敘事旋律。12.1.5從文本生成音樂的MusicLM模型ChatGPT以其強大的信息整合和對話能力驚艷了全球，一項調(diào)查顯示，美國89%的大學(xué)生都是用ChatGPT做作業(yè)，學(xué)生們已經(jīng)在用ChatGPT肆無忌憚地作弊了。于是，紐約的教育系統(tǒng)試圖全面封殺ChatGPT，老師們防ChatGPT如洪水猛獸，卻還是屢禁不止。很多教授在擔(dān)心，AI聊天機器人會對教育產(chǎn)生災(zāi)難性影響，會讓學(xué)生的大腦“萎縮”。12.1.6檢測AI文本的DetectGPT算法當(dāng)然，有攻就有防，斯坦福大學(xué)的研究團隊就提出了一種用于檢測AI生成文本的全新算法——DetectGPT。這個算法可以用于判斷文本是否是機器生成，并且不需要訓(xùn)練人工智能或收集大型數(shù)據(jù)集來比較文本。研究團隊聲稱新算法檢測的準(zhǔn)確性能有了實質(zhì)性的提高，并表明該技術(shù)可對未來越來越普遍的人工智能寫作論文事件起到很好的反制作用。雖然ChatGPT引發(fā)了學(xué)術(shù)誠信的風(fēng)暴，但也有不少專家認(rèn)為，這項技術(shù)只是一個新學(xué)習(xí)時代的開始，AI寫作工具是學(xué)習(xí)的未來。12.1.6檢測AI文本的DetectGPT算法PART02科普AI大語言模型人工智能大語言模型（AI-LLM）已經(jīng)引起社會各界關(guān)注。從知識中來，大模型的能力來源于人類的龐大知識庫；到知識中去，大模型也將重新塑造人類知識應(yīng)用、創(chuàng)造和轉(zhuǎn)化的模式，在經(jīng)濟社會發(fā)展中產(chǎn)生巨大價值。12.2科普AI大語言模型大模型擁有豐富的各學(xué)科知識，并表現(xiàn)出一定的邏輯能力，這是因為科學(xué)家利用海量的人類語言數(shù)據(jù)和大規(guī)模的GPU（圖形處理器）算力，對大模型進行了預(yù)訓(xùn)練，為其精心挑選的預(yù)訓(xùn)練知識數(shù)據(jù)量達到13萬億“字”，相當(dāng)于500萬套四大名著的規(guī)模；而通過訓(xùn)練提取的“知識片段”，即模型的參數(shù)，有1.8萬億個。無論訓(xùn)練量和參數(shù)量都遠超以往人工智能模型的規(guī)模，這也是人工智能大語言模型這個名字的由來。12.2科普AI大語言模型這種利用龐大語料庫對人類知識進行建模的方式，可理解為對現(xiàn)實世界的一種“模糊壓縮”。通過訓(xùn)練好的大模型來解答問題，相當(dāng)于對世界的“模糊還原”?！澳：笨赡軐?dǎo)致問題解答不準(zhǔn)確，但也因為模糊，大模型可以解答原有知識解答不了的新問題。12.2科普AI大語言模型“壓縮”和“還原”的過程中，大模型都在反復(fù)預(yù)測文本中可能出現(xiàn)的下一個字。它用這樣的方式來理解人類語言和知識的規(guī)律，并在遇到問題時，利用模型學(xué)到的規(guī)律，一個字一個字地生成連貫而有意義的內(nèi)容。由于使用自然語言（而非程序語言）與人類進行交互，大模型可以靈活地接收并完成人類下達的各種知識型任務(wù)，這就打開了大模型跨學(xué)科跨行業(yè)應(yīng)用的廣闊空間。大模型具有強大的應(yīng)用前景。12.2科普AI大語言模型利用訓(xùn)練中積累的知識，輔以專業(yè)領(lǐng)域的知識庫和流程邏輯，大模型可以充當(dāng)行業(yè)專家的人工智能助手，甚至直接為客戶提供一對一的知識服務(wù)。例如，面向鄉(xiāng)村教師的人工智能助教，可以幫助教師進行課程設(shè)計和作業(yè)輔導(dǎo)，顯著提高鄉(xiāng)村教育質(zhì)量。通過一對一的知識定制應(yīng)用，大模型能大大降低專業(yè)服務(wù)的交付成本，打破以往服務(wù)個性化和普惠化之間的矛盾，讓更多人享受到教育、醫(yī)療和法律等領(lǐng)域既個性化又普惠的專業(yè)服務(wù)。12.2科普AI大語言模型大模型還能通過知識的跨界關(guān)聯(lián)，推動人類新知識的發(fā)現(xiàn)和創(chuàng)造。20世紀(jì)80年代，科研人員開始通過計算機技術(shù)分析科學(xué)文獻，尋找新的關(guān)聯(lián)協(xié)作機會點，比如利用這一方法發(fā)現(xiàn)魚油跟雷諾氏綜合征的關(guān)聯(lián)性，據(jù)此提出的療效假設(shè)得到了驗證。在跨學(xué)科研究成為大勢所趨的今天，化學(xué)及材料科學(xué)等領(lǐng)域的研究顯示，人工智能能實現(xiàn)更靈活、更深度的知識理解和挖掘，可將不同學(xué)科、不同語言的知識關(guān)聯(lián)到一起，幫助科學(xué)家發(fā)現(xiàn)創(chuàng)新盲點，提出新假設(shè)，給出跨學(xué)科研究路徑甚至合作對象的建議，從而推動人類知識發(fā)展到全新水平。12.2科普AI大語言模型工業(yè)制造未來也將是大模型的用武之地。大模型通過推動人類知識向物理機器轉(zhuǎn)移，實現(xiàn)更復(fù)雜的工業(yè)人機協(xié)作。在以往的工業(yè)制造自動化領(lǐng)域，機器人依據(jù)嚴(yán)謹(jǐn)?shù)念A(yù)定義編程指令來執(zhí)行操作，執(zhí)行任務(wù)的能力受到一定限制，因為大部分的人類知識存在模糊性，對這些知識的理解和應(yīng)用依賴于環(huán)境和常識。比如對機器人說：“我要一個蘋果?！睓C器人不知道該去拿還是去買，不知道去哪拿、怎么買。12.2科普AI大語言模型而大模型可通過自然語言的交互，理解人類任務(wù)，借助自身訓(xùn)練獲取的知識和外接的環(huán)境感知能力——知道冰箱在哪，猜測冰箱冷藏區(qū)可能有蘋果，正確拆解任務(wù)并轉(zhuǎn)譯為機器指令——找到并打開冰箱，取出蘋果，如果沒有，則通過網(wǎng)絡(luò)下單購買蘋果。這樣，大模型就在人類與機器人之間建立了復(fù)雜的、實時動態(tài)的協(xié)作機制，完成之前無法實現(xiàn)的、更高難度的工業(yè)制造任務(wù)。12.2科普AI大語言模型未來，知識的應(yīng)用、創(chuàng)造和轉(zhuǎn)化將提升到一個新的高度。從老百姓可感知的民生普惠服務(wù)落地，同時進行更多方向探索——推動工業(yè)制造升級和科研手段演進，人工智能大模型對經(jīng)濟社會的影響將逐步往深層次發(fā)展，從而創(chuàng)造更大的社會價值。12.2科普AI大語言模型PART03ChatGPT的模仿秀現(xiàn)在是成為一家搜索初創(chuàng)公司的好時機。微軟和谷歌連續(xù)公布了它們各自對搜索引擎未來的看法，展示了可以用流暢的句子而不是鏈接列表來回答查詢的聊天機器人。微軟公司升級其必應(yīng)搜索引擎，也使用爆紅聊天機器人ChatGPT背后的人工智能技術(shù)；谷歌則開發(fā)一個名為Bard的產(chǎn)品，以作為ChatGPT的競爭對手。12.3ChatGPT的模仿秀盡管微軟和谷歌這樣的巨頭將繼續(xù)占據(jù)主導(dǎo)地位，但對于任何想要尋找其他選擇的人來說，搜索領(lǐng)域?qū)咳敫嗟膮⑴c者，并變得更加多樣化。在這種大背景下，一段時間以來涌現(xiàn)出來的一大波初創(chuàng)公司，已經(jīng)開發(fā)出了許多類似的聊天機器人輔助搜索工具。Y在2022年12月推出了一款搜索聊天機器人，此后一直在推出更新的功能。許多其他公司比如Perplexity、Andi和Metaphor，也在將聊天機器人應(yīng)用與其他功能結(jié)合起來，例如圖像搜索、社交信息保存或搜索、以及快速搜索信息等。12.3.1舊的守衛(wèi)，新的想法ChatGPT的成功引發(fā)了一場熱潮，因為科技巨頭和初創(chuàng)公司都在試圖找出答案——如何以人們意想不到的方式給他們想要的東西。谷歌多年來一直主導(dǎo)著搜索引擎市場。在美國華盛頓大學(xué)研究搜索技術(shù)的奇拉格·沙阿說：“這種局面已經(jīng)持續(xù)了很長時間了?！薄氨M管有很多創(chuàng)新，但情況并沒有發(fā)生太大的變化?！?2.3.1舊的守衛(wèi)，新的想法隨著2022年11月ChatGPT的推出，情況發(fā)生了改變。突然間，通過輸入一串不連貫的單詞來搜索目標(biāo)的想法已經(jīng)變得過時了，為什么不直接問你想要什么呢？谷歌探索大型語言模型（例如ChatGPT和Bard等聊天機器人背后的技術(shù)）的用途已經(jīng)有一段時間了。當(dāng)ChatGPT成為主流熱門產(chǎn)品時，谷歌和微軟立即采取了行動，其他人也是如此。12.3.1舊的守衛(wèi)，新的想法如今，現(xiàn)成的軟件使得構(gòu)建一個搜索引擎并結(jié)合一個大型語言模型比以往任何時候都更容易。你可以依靠少數(shù)幾個工程師在幾個月內(nèi)大肆開發(fā)由數(shù)千名工程師在十余年間開發(fā)的技術(shù)庫。12.3.2搜索引擎結(jié)合LLM創(chuàng)立于2020年的Y網(wǎng)站為尋找谷歌替代品的網(wǎng)絡(luò)搜索高級用戶提供一站式服務(wù)，它旨在為人們提供各種格式的不同類型的答案，比如從電影推薦到代碼片段等。Y引入多模式搜索——它的聊天機器人可以使用來自附屬應(yīng)用程序的圖像或嵌入式小部件而不是文本來響應(yīng)查詢，它還具備一項讓人們與聊天機器人分享交流內(nèi)容的功能。Y推出的一項升級計劃，解決了有關(guān)現(xiàn)場體育賽事的問題，比如老鷹隊是否能在比賽還剩8分鐘的時間里贏得超級碗。12.3.2搜索引擎結(jié)合LLMPerplexity是一家由OpenAI、Meta和Quora的前員工建立的公司。這家初創(chuàng)公司將OpenAI的大型語言模型GPT-3與必應(yīng)結(jié)合在一起，并于2022年12月推出了搜索聊天機器人，他們設(shè)想要抓住人們的興趣，并圍繞著它建立一個社區(qū)。這家公司希望重新創(chuàng)建基于社區(qū)的信息存儲庫，如Quora或維基百科，使用聊天機器人來生成條目，而不是人們自行編輯。當(dāng)人們問Perplexity的聊天機器人問題時，問答環(huán)節(jié)會被保存下來，并可以被其他人瀏覽。用戶還可以對聊天機器人生成的響應(yīng)投贊成票或反對票，并添加自己的見解到正在進行的線程中。這就像Reddit一樣，不過是人類在提問、人工智能做回答。12.3.2搜索引擎結(jié)合LLM曾經(jīng)有一次，當(dāng)谷歌尚未發(fā)布的聊天機器人Bard被發(fā)現(xiàn)在一個匆忙發(fā)布的宣傳片中給出了錯誤答案的第二天（一個可能讓公司損失數(shù)十億美元的錯誤），Perplexity宣布了一個新的插件，它可以結(jié)合谷歌的網(wǎng)絡(luò)瀏覽器Chrome。對于相同的問題，后者給出了正確答案。12.3.2搜索引擎結(jié)合LLM總部位于美國邁阿密的搜索公司Andi的CEO兼聯(lián)合創(chuàng)始人安吉拉·胡佛成立了自己的公司，此前她對不得不篩選廣告和垃圾郵件以在谷歌中找到相關(guān)鏈接感到沮喪。與許多玩過ChatGPT等聊天機器人的人一樣，她的搜索靈感受到科幻小說中“萬事通”之類角色的啟發(fā)，例如《鋼鐵俠》中的賈維斯或《她》中的薩曼莎。當(dāng)然，我們還沒有這樣的東西?！拔覀儾徽J(rèn)為Andi什么都知道，”她說，“Andi只是在尋找人們放在互聯(lián)網(wǎng)上的信息，然后以一種漂亮的、包裝好的形式帶給你?！?2.3.2搜索引擎結(jié)合LLMAndi在搜索方面的創(chuàng)新，涉及到使用大型語言模型來選擇最佳結(jié)果并進行總結(jié)，她讓模型學(xué)習(xí)從普利策獲獎文章到SEO垃圾郵件的所有內(nèi)容，以讓搜索引擎更好地支持一些結(jié)果。最終，搜索之戰(zhàn)將不會局限于網(wǎng)絡(luò)——人們還需要使用工具來搜索更多的個人信息，比如電子郵件和短信?！芭c世界上其他數(shù)據(jù)相比，網(wǎng)絡(luò)很小，”有大量使用聊天機器人進行搜索的公司并未尋求與微軟和谷歌競爭，例如他們提供軟件以方便地將大語言模型與小型的、定制的搜索引擎相結(jié)合，可以為用戶手冊、醫(yī)療數(shù)據(jù)庫和播客文本構(gòu)建定制的搜索工具。12.3.2搜索引擎結(jié)合LLM也有一些人認(rèn)為用聊天機器人進行搜索是一個糟糕的想法，驅(qū)動它們的大語言模型充斥著偏見、偏見和錯誤信息。為搜索開發(fā)聊天機器人的公司，試圖通過將大語言模型嵌入到現(xiàn)有的搜索引擎，讓它們總結(jié)相關(guān)結(jié)果，而不是從零開始創(chuàng)造句子來回答問題。大多數(shù)人還會讓聊天機器人引用它們正在總結(jié)的網(wǎng)頁或文件。但這些策略并非是萬無一失的。例如自從微軟向一些試用用戶開放新版必應(yīng)以來，社交媒體上充斥著一些截圖，顯示聊天機器人流暢的聊天演示也是錯誤百出。12.3.3克服簡單編造與重復(fù)為此，Andi避免簡單地重復(fù)搜索結(jié)果中的文本，“它不像其他聊天機器人那樣編造東西”。人們可以自己決定這是否屬實，在收集以往的用戶反饋之后，該公司的聊天機器人有時會坦言對于某些答案沒有信心?！八鼤f，‘我不確定，但根據(jù)維基百科……’”無論哪種方式，這個新的搜索時代可能都不會完全地放棄鏈接列表，這是網(wǎng)絡(luò)的重要組成部分。12.3.3克服簡單編造與重復(fù)但隨著聊天機器人變得越來越有說服力，我們是否會越來越不愿意核實它們的答案？“值得注意的不是大語言模型會產(chǎn)生虛假信息，而是它們正在關(guān)閉人們的批判性推理能力?！比A盛頓大學(xué)的沙阿就有同樣的擔(dān)憂，在微軟必應(yīng)的聊天演示中，強調(diào)使用聊天機器人進行搜索可以節(jié)省時間。但多年來微軟一直在做的一個鮮為人知的項目叫“搜索教練”，旨在引導(dǎo)人們停下來思考。“搜索教練是‘帶訓(xùn)練輪的搜索引擎’，搜索教練幫助人們特別是幫助學(xué)生和老師學(xué)習(xí)有效地編寫搜索問題，并識別消息源是否可靠。與ChatGPT相比，‘搜索教練’鼓勵人們放慢時間，而不是節(jié)省時間?！?2.3.3克服簡單編造與重復(fù)PART04傳統(tǒng)行業(yè)的下崗2023年3月初，OpenAI公司正式宣布開放ChatGPT的API（應(yīng)用編程接口），這意味著第三方的開發(fā)者也能將ChatGPT集成到他們的應(yīng)用程序里去。此消息一出，再次向全世界投放了一個“炸彈”：“可以預(yù)見，以后客服不會有真人了”，有網(wǎng)友評論道。12.4傳統(tǒng)行業(yè)的下崗盡管OpenAI宣布的ChatGPT先行應(yīng)用案例里還沒有多少關(guān)于替代傳統(tǒng)客服的例子，但基于其應(yīng)用特性，這被很多人視為是在不遠的未來將發(fā)生的事。12.4傳統(tǒng)行業(yè)的下崗一方面，在ChatGPT出現(xiàn)之前，各大企業(yè)為了降低成本，已經(jīng)在廣泛使用智能客服替代人工客服，有的行業(yè)比如金融領(lǐng)域，滲透率已經(jīng)接近100%。另一方面，現(xiàn)在的智能客服還不夠智能，ChatGPT所具備的能力，正是產(chǎn)業(yè)所需要的。12.4.1客服市場，AI本來就很卷ChatGPT來了，客服是離風(fēng)暴最近的崗位之一。短短時間里，多位智能客服從業(yè)者有的已經(jīng)推出運用“類ChatGPT”技術(shù)的AIGC（人工智能生成）產(chǎn)品，有的已經(jīng)在做“類ChatGPT”產(chǎn)品的合作測試，有的在探索更合適的落地方式及應(yīng)用場景。總之，都在爭分奪秒的趕上這趟列車。它從誕生起，人們就或害怕它，或期待它，或無視它。一方面，的確有越來越多的案例佐證，它正在取代人力，但另一方面，ChatGPT的訓(xùn)練成本高昂，也出現(xiàn)了落地應(yīng)用不容易，取代人力沒那么簡單的聲音。12.4.1客服市場，AI本來就很卷以客服行業(yè)為切入口，我們試圖來探索，對一個具體行業(yè)來說，ChatGPT能取代的崗位到底是什么，能取代到什么程度？產(chǎn)業(yè)化落地的應(yīng)用空間到底有多大？12.4.1客服市場，AI本來就很卷這個行業(yè)里，AI客服已經(jīng)在廣泛使用。例如一家酒店的客服會接到旅行社用AI客服打來的電話，核對顧客信息。AI客服先問，“客人離店了嗎？”再問，“客人是幾月幾號退房的？”當(dāng)聽到第一個問題的時候，酒店客服會回答“某某日，客人已經(jīng)退房了”，于是AI客服就不會再接著問了。幾年前，智能客服還只能聽懂她回答“是”和“不是”，或者得按照流程，聽懂某個固定的答案，但現(xiàn)在她用像跟真人對話一樣的語氣回答，對方也能聽懂。12.4.1客服市場，AI本來就很卷2017年以來，人工智能技術(shù)引進，智能客服已滲透到企業(yè)各個環(huán)節(jié)。根據(jù)2020年研究發(fā)布的《智能客服趨勢發(fā)展白皮書》，國內(nèi)市場88.6％的企業(yè)擁有客服業(yè)務(wù)，22.1％的企業(yè)基于云的方式構(gòu)建了智能客服。咨詢機構(gòu)高德納在2020年曾經(jīng)預(yù)測，智能客服的滲透率將從2018年的15%增至2022年的80%，目前來看，這個預(yù)測是比較準(zhǔn)確的。12.4.1客服市場，AI本來就很卷現(xiàn)在智能客服應(yīng)用的對話技術(shù)，大致可以分為三種。（1）基于知識庫的知識問答，主要解決用戶對知識信息的獲取問題。即基于用戶的提問，在知識庫中尋找最匹配的答案。這項技術(shù)和傳統(tǒng)的搜索技術(shù)有點相似，典型的應(yīng)用場景，如用戶對政策法規(guī)的咨詢。（2）面向任務(wù)問答，主要幫助用戶解決限定任務(wù)，一般采用流程管理的對話技術(shù)，以一定的步驟和順序，通過多輪對話幫助用戶解決問題。聽歌、查詢天氣、訂票、下單都屬于這類場景。12.4.1客服市場，AI本來就很卷（3）無特定目標(biāo)的閑聊。這種主要模擬人們?nèi)粘ｉe聊的場景，技術(shù)路線上有采用大規(guī)模知識庫的，也有使用AIGC的。通常在實際場景中，作為前兩種對話形式的補充配合使用。在行業(yè)里，AI之所以應(yīng)用如此廣泛，主要是為了節(jié)省成本。例如，應(yīng)用機器人作為客服后，相比原來的人力成本整體降低了200萬元，人效提升了220%。12.4.1客服市場，AI本來就很卷目前智能客服應(yīng)用場景主要有兩個，第一個是在人工客服介入之前，通過機器人幫助客戶解決規(guī)范、明確的問題，“絕大部分智能客服廠商都具備這樣的能力”。第二個是輔助人工。比如客服行業(yè)流動性大，企業(yè)培訓(xùn)成本高，通過人工智能，客服可以通過智庫、問答提示來輔助，降低上手成本。之前他們特地和客戶聊過，如果沒有這些輔助工具，培訓(xùn)一個合格的在線坐席，需要1-2個月時間，使用這套輔助，時間可以縮短到兩周。12.4.1客服市場，AI本來就很卷根據(jù)《客服中心智能化技術(shù)和應(yīng)用研究報告》，當(dāng)前智能機器人客服處理咨詢量普遍達到300-500萬人次/日，企業(yè)平均節(jié)約人力成本42.6%，提升人力資源利用率39.3%。不過，同時行業(yè)也面臨著AI不夠智能的問題?，F(xiàn)在的客服市場，把簡單、重復(fù)、流程性的問題，交給機器人處理，復(fù)雜的、需要情感關(guān)懷的問題，交由人工客服處理。能否處理復(fù)雜問題，行業(yè)有一個通用的指標(biāo)，即意圖識別的準(zhǔn)確率。12.4.1客服市場，AI本來就很卷傳統(tǒng)機器人語義理解能力還是比較弱的。首先是擬人化方面，還有所欠缺，其次是更復(fù)雜的需求，還不具備處理能力。智能客服只需要公式化處理問題，處理原本就有解決辦法的問題，對于真人客服來說，算是很輕松的工作內(nèi)容了。在《2021年中國智能客服市場報告》中，僅30％企業(yè)使用智能客服感受整體服務(wù)效率提升。中國青年報社會調(diào)查中心2022年對2018名受訪者進行的調(diào)查顯示，95.7％的受訪者使用過智能客服，其中僅41.3％的受訪者覺得智能客服好用。12.4.1客服市場，AI本來就很卷技術(shù)提不上去，行業(yè)門檻不高，讓這個市場很內(nèi)卷。電商剛興起時，很多電商平臺的智能客服都是外包，現(xiàn)在很多大平臺都是自研了?！靶袠I(yè)純粹的技術(shù)壁壘沒有那么高，一些功能你家能實現(xiàn)，我家也能實現(xiàn)，大家都在打價格戰(zhàn)”?，F(xiàn)在，ChatGPT出現(xiàn)了，情況發(fā)生了變化。12.4.1客服市場，AI本來就很卷針對ChatGPT曾經(jīng)進行了這樣一次智能客服的試驗：先用一個長句告訴ChatGPT是牙科客服，目標(biāo)是要獲得顧客的電話號碼，它很快進入角色，先安撫顧客，并適當(dāng)?shù)慕o出了需要對方聯(lián)系方式的原因，邏輯清晰（圖12-6）。12.4.2“伐木場迎來工業(yè)革命”

圖12-6一次ChatGPT的測試12.4.2“伐木場迎來工業(yè)革命”問題中包含了復(fù)雜的意圖，從它的回答來看，準(zhǔn)確地理解了所有意圖。這對以前的NLP（自然語言處理）技術(shù)來說，是一個很大的挑戰(zhàn)。這意味著，傳統(tǒng)人機對話技術(shù)需要使用十多個單功能自然語言處理模塊組裝構(gòu)建的機器人，對于ChatGPT來講，一個角色扮演的命令，加少量的信息設(shè)定，即可實現(xiàn)。這還只是一個非常簡單的例子。綜合行業(yè)人士的說法，ChatGPT的技術(shù)應(yīng)用對客服行業(yè)的影響，可以分為幾類。12.4.2“伐木場迎來工業(yè)革命”首先是人機交互上。傳統(tǒng)機器人對復(fù)雜場景的應(yīng)變能力不夠，一旦用戶問的問題在知識庫里沒有，或者超出了預(yù)設(shè)的流程，機器人就無法很好地應(yīng)對了?，F(xiàn)在，ChatGPT大模型本身蘊含了大量泛知識內(nèi)容，能夠以更靈活的回答應(yīng)對上述情況。ChatGPT還能帶來使用體驗上的升級，比如過往對于同一個問題，傳統(tǒng)機器人雖然可以理解不同的問法表達，但回答往往是千篇一律的，現(xiàn)在生成不同風(fēng)格的對話內(nèi)容，對ChatGPT而言非常容易，它也能夠基于用戶的個人信息和歷史交互，提供更個性化的回答。12.4.2“伐木場迎來工業(yè)革命”其次，ChatGPT的知識存儲能力將對現(xiàn)有的知識圖譜生態(tài)造成沖擊。而ChatGPT能大跨度地進行多輪對話，隨意切換聊天主題，這也突破了傳統(tǒng)人機對話系統(tǒng)中，對話管理能力的天花板。此外還有成本上的改變。12.4.2“伐木場迎來工業(yè)革命”ChatGPT讓人感到驚艷的效果給人們很大的觸動，對開放和應(yīng)用持樂觀態(tài)度，關(guān)于合作應(yīng)用，有兩種思路。一個是有助于輔助意圖的識別，進行算法冷啟動，“之前的NLP算法啟動都需要標(biāo)注大量樣本，很多情況下，是沒有標(biāo)注樣本可用的，或者標(biāo)注代價太大。ChatGPT可以輔助生成一些樣本，以供人工標(biāo)注。”12.4.2“伐木場迎來工業(yè)革命”第二種是用于輔助知識庫的搭建和配置。以前碰到陌生的行業(yè)，需要人絞盡腦汁想訪客可能會問智能客服的問題，現(xiàn)在借助ChatGPT可以解決。比如能直接讓它就問題“我的快遞到哪兒了”擴充10個相似的問法，這種模式擺脫了現(xiàn)在行業(yè)主流的，仍需要以人工拆解問法和答案的知識維護模式，有極大的效率優(yōu)勢。以前的方式使知識庫的建設(shè)成本很高，現(xiàn)在借助ChatGPT相關(guān)技術(shù)，有可能讓大模型快速、低成本地習(xí)得新知識。12.4.2“伐木場迎來工業(yè)革命”再者，當(dāng)技術(shù)提升，也能增加智能客服的應(yīng)用場景。比如它翻譯能力的應(yīng)用。傳統(tǒng)機器人還面臨多語種的挑戰(zhàn)，語種間相互切換的成本較高，而ChatGPT也能提供相對可靠的解決方案。可以支持跨語言的客服服務(wù)，在企業(yè)出海的國際化場景上，很有潛力。在測試時，“當(dāng)你說你心情不好，它會與你溝通，幫你緩解，這在情緒關(guān)懷方面也有很大的應(yīng)用前景”。ChatGPT的應(yīng)用發(fā)展會很快，未來一兩年就能看到。已經(jīng)有相對確定的場景可以落地，如可以扮演人工客服和客戶溝通，在客服接待、電話促銷上，都很有前景。12.4.2“伐木場迎來工業(yè)革命”除了技術(shù)上的探索，應(yīng)該探索更多的應(yīng)用場景，比如可以去幫助訓(xùn)練客戶的知識庫體系，做用戶溝通會話時的情緒狀態(tài)分析。之前智能客服為企業(yè)主要帶來降低成本的價值，現(xiàn)在還借助客服這個觸點，構(gòu)建出一些具體的營銷場景，也就是服務(wù)營銷一體化。這樣一來，客服團隊才能從成本中心轉(zhuǎn)向價值中心。這也給當(dāng)下的智能客服行業(yè)的公司提出挑戰(zhàn)。12.4.2“伐木場迎來工業(yè)革命”從商業(yè)維度來看，ChatGPT更容易取代功能單一、停留在舊思維的智能客服公司，比如說只有機器人，沒有工單，沒有數(shù)據(jù)分析，沒有視頻客服，無法滿足復(fù)雜流程業(yè)務(wù)需求的公司，最能了解客戶需求，明白客戶需要在什么場景上應(yīng)用好這類技術(shù)的公司，才能走得更遠。ChatGPT的發(fā)布，給全世界從業(yè)者以明燈式的指引，借助大語言模型技術(shù)，人們也在研究相關(guān)客服機器人，ChatGPT的出現(xiàn)，將大大加快智能客服的滲透速度。就像伐木場突然迎來工業(yè)革命，把有軌馬車換成了蒸汽列車。12.4.2“伐木場迎來工業(yè)革命”什么時候能落地？對于ChatGPT是否會帶來行業(yè)沖擊，受訪的行業(yè)人士都一致給出了肯定答案。不過在落地的可能性與時間快慢上，觀點不同。落地難點上，首先一個是成本。一篇研究報告《ChatGPT需要多少算力》里提到，ChatGPT背后的回歸語言模型（GPT-3）訓(xùn)練一次的成本約為140萬美元，對于一些更大的大語言模型，訓(xùn)練成本介于200萬美元至1200萬美元之間?？傊?，很燒錢。不過第三方公司也可以選擇將ChatGPT集成到他們的應(yīng)用程序里去。但對于客服來說，仍然可能是扛不動的價位。12.4.2“伐木場迎來工業(yè)革命”ChatGPT需要針對企業(yè)的個性化知識庫進行訓(xùn)練，才能回答企業(yè)的個性化問題。這就需要ChatGPT在云端開放其訓(xùn)練能力，并且要求企業(yè)將自己的知識庫上傳到云端做訓(xùn)練。但ChatGPT訓(xùn)練一次的費用對企業(yè)來講是一個天價，因此ChatGPT的商業(yè)化需要將模型裁剪到合適的規(guī)模，在合理的費用和時間內(nèi)完成訓(xùn)練，才能適應(yīng)一般企業(yè)的需求。但裁剪的同時，又需要保留原有的問答體驗。12.4.2“伐木場迎來工業(yè)革命”還存在數(shù)據(jù)安全、數(shù)據(jù)隔離的問題。這存在兩種不同看法。大部分企業(yè)都不希望把自己的專有知識庫上傳到公開的領(lǐng)域里，訓(xùn)練一個公開的模型，這個模型還被其他人共享。很多