大模型在銀行業(yè)客服中心的應(yīng)用

隨著金融科技領(lǐng)域的不斷發(fā)展，金融機(jī)構(gòu)改變了傳統(tǒng)方式，將更多服務(wù)從線下轉(zhuǎn)移到線上，為了提升客戶體驗(yàn)和效率，金融機(jī)構(gòu)不斷探索自然語(yǔ)言處理、機(jī)器學(xué)習(xí)等技術(shù)手段來(lái)優(yōu)化客服服務(wù)，其中大模型技術(shù)被廣泛應(yīng)用，成為當(dāng)前最熱門(mén)的研究方向之一，是目前通往AGI的最佳實(shí)現(xiàn)方式。大模型最早的關(guān)注度源于NLP領(lǐng)域，隨著多模態(tài)能力的演進(jìn)，CV領(lǐng)域及多模態(tài)通用大模型也逐漸成為市場(chǎng)發(fā)展主流。本報(bào)告主要針對(duì)當(dāng)前最為熱門(mén)的大模型進(jìn)行研究和分析，重點(diǎn)關(guān)注了它們?cè)谧匀徽Z(yǔ)言處理領(lǐng)域中具有的突出表現(xiàn)以及客服中心未來(lái)的應(yīng)用前景。同時(shí)，本報(bào)告還探討了目前大語(yǔ)言模型所面臨的挑戰(zhàn)和限制，并提出了相應(yīng)的優(yōu)化建議，旨在為銀行業(yè)客服中心大模型研究提供參考。一、大模型發(fā)展背景(一)

大語(yǔ)言模型誕生階段?2017年谷歌推出用于處理自然語(yǔ)言任務(wù)的Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)。?2018年OpenAI發(fā)布GPT-1。(二)

大語(yǔ)言模型探索階段?2019年OpenAI發(fā)布GPT-2部分開(kāi)源模型。?2019年谷歌推出BERT模型。?2020年百度推出可理解語(yǔ)義的ERNINE2.0。?2021年OpenAI推出能實(shí)現(xiàn)文本生成圖像的DALL-E模型。?FaceBooK推出CLIP模型。?華為發(fā)布盤(pán)古大模型。?OpenAI推出Codex。(三)

大語(yǔ)言模型爆發(fā)階段?2022年OpenAI推出ChatGPT-3.5。?2023年OpenAI正式發(fā)布GPT-4預(yù)訓(xùn)練大模型，實(shí)現(xiàn)圖像視頻。相比于GPT-3.5性能表現(xiàn)顯著提升，在一些專(zhuān)業(yè)和學(xué)術(shù)領(lǐng)域上已經(jīng)達(dá)到了人類(lèi)水平。GPT-4具有一定的多模態(tài)能力，能夠接收?qǐng)D文結(jié)合的輸入，并輸出文本回復(fù)，應(yīng)用范圍得到進(jìn)一步拓展。?微軟基于ChatGPT發(fā)布NewBing。微軟宣布將GPT-4接?Office全家桶。?FaceBook發(fā)布LLaMA-13B。?谷歌更新Bard并推出PalM2模型。?復(fù)旦團(tuán)隊(duì)發(fā)布MOSS。?阿里發(fā)布大語(yǔ)言模型“通義千問(wèn)”，具備多輪對(duì)話、文案創(chuàng)作、邏輯推理、多模態(tài)理解、多語(yǔ)言支持等功能，以及外部增強(qiáng)API。目前釘釘、天貓精靈等產(chǎn)品已率先接入通義千問(wèn)測(cè)試，高德地圖、餓了么、盒馬、優(yōu)酷、淘票票等產(chǎn)品也將有序接入通義千問(wèn)大模型。阿里巴巴所有產(chǎn)品未來(lái)將接入大模型，同時(shí)將與OPPO、吉利、智己等企業(yè)展開(kāi)合作。?商湯發(fā)布“日日新SenseNova”大模型體系，推出自然語(yǔ)言處理、內(nèi)容生成、自動(dòng)化數(shù)據(jù)標(biāo)注、自定義模型訓(xùn)練等大模型及能力，包括語(yǔ)言大模型“商量SenseChat”和一系列生成式AI應(yīng)用。?華為推出的盤(pán)古大模型則聚焦AIforIndustry，賦能千行百業(yè)應(yīng)用落地，有望推動(dòng)人工智能開(kāi)發(fā)從“作坊化”到“工業(yè)化”升級(jí)。自研ModelArts2.0AI開(kāi)發(fā)平臺(tái)、昇騰910等算力芯片、兆瀚A5900-A系列等AI訓(xùn)練服務(wù)器。昇騰AI產(chǎn)業(yè)生態(tài)已發(fā)展20+家硬件合作伙伴，1000+家軟件伙伴。?騰訊混元AI大模型。HunYuan協(xié)同騰訊預(yù)訓(xùn)練研發(fā)力量，旨在打造業(yè)界領(lǐng)先的AI預(yù)訓(xùn)練大模型和解決方案。騰訊大模型可接入微信、游戲、短視頻、廣告、TOB端等優(yōu)勢(shì)業(yè)務(wù)，騰訊在SaaS加速器、微信等業(yè)務(wù)均有大量合作伙伴。?百度“文心一言”中文理解能力強(qiáng)，并且支持從文本生成圖像、音頻和視頻，多模態(tài)能力。百度AI大底座可提升千卡并行加速比90%以上。目前已發(fā)布36個(gè)大模型以及11個(gè)行業(yè)大模型，生態(tài)已凝聚500萬(wàn)開(kāi)發(fā)者。二、大模型發(fā)展歷程和架構(gòu)(一)

大模型發(fā)展歷程從基于規(guī)則到基于人的意識(shí)，大型語(yǔ)言模型是技術(shù)進(jìn)步的必然產(chǎn)物。自然語(yǔ)言處理發(fā)展到大型語(yǔ)言模型的歷程可分為五個(gè)階段：規(guī)則、統(tǒng)計(jì)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、預(yù)訓(xùn)練、大型語(yǔ)言模型。從1956年到1992年，基于規(guī)則的機(jī)器翻譯系統(tǒng)在內(nèi)部把各種功能的模塊串到一起，由人先從數(shù)據(jù)中獲取知識(shí)，歸納出規(guī)則后教給機(jī)器，然后由機(jī)器執(zhí)行這套規(guī)則，該階段為規(guī)則階段；從1993年到2012年是統(tǒng)計(jì)機(jī)器學(xué)習(xí)階段，機(jī)器翻譯系統(tǒng)可拆成語(yǔ)言模型和翻譯模型，該階段相比上一階段突變性較高，由人轉(zhuǎn)述知識(shí)變成機(jī)器自動(dòng)從數(shù)據(jù)中學(xué)習(xí)知識(shí)，當(dāng)時(shí)人工標(biāo)注數(shù)據(jù)量在百萬(wàn)級(jí)左右；從2013到2018年，進(jìn)入深度學(xué)習(xí)階段，其相比于上一階段突變性較低，從離散匹配發(fā)展到連續(xù)匹配，模型變得更大，標(biāo)注數(shù)據(jù)量提升到千萬(wàn)級(jí)；預(yù)訓(xùn)練階段存在于2018年到2022年，跟之前比較，最大變化是加入了NLP自監(jiān)督學(xué)習(xí)，將可利用數(shù)據(jù)從標(biāo)注數(shù)據(jù)拓展到了非標(biāo)注數(shù)據(jù)。圖-大模型發(fā)展階段大模型階段在數(shù)據(jù)標(biāo)注、算法、人機(jī)關(guān)系三方面的性能均有跨越式提升。從2023年起開(kāi)始進(jìn)入大模型階段，該階段的突變性很高，已經(jīng)從專(zhuān)用任務(wù)轉(zhuǎn)向通用任務(wù)或是以自然語(yǔ)言人機(jī)接口的方式呈現(xiàn)，旨在讓機(jī)器遵循人的主觀意志。在數(shù)據(jù)標(biāo)注方面，大模型已經(jīng)從原來(lái)需要大量標(biāo)注數(shù)據(jù)進(jìn)化到運(yùn)用海量非標(biāo)注數(shù)據(jù)，越來(lái)越多數(shù)據(jù)被利用起來(lái)，人的介入越來(lái)越少，未來(lái)會(huì)有更多文本數(shù)據(jù)、更多其它形態(tài)的數(shù)據(jù)被模型運(yùn)用。在算法方面，大模型的表達(dá)能力越來(lái)越強(qiáng)、規(guī)模越來(lái)越大，自主學(xué)習(xí)能力越來(lái)越強(qiáng)，從專(zhuān)用向通用趨勢(shì)顯著。(二)

大模型技術(shù)路線大模型技術(shù)路線各有側(cè)重，MaaS已成產(chǎn)業(yè)趨勢(shì)。大型語(yǔ)言模型研究的發(fā)展有三條技術(shù)路線：Bert模式、GPT模式、混合模式。其中國(guó)內(nèi)大多采用混合模式，多數(shù)主流大型語(yǔ)言模型走的是GPT技術(shù)路線，直到2022年底在GPT-3.5的基礎(chǔ)上產(chǎn)生了ChatGPT。到2019年后，Bert路線基本沒(méi)有標(biāo)志性的新模型更新，而GPT技術(shù)路線則趨于繁榮。從Bert往GPT演化的過(guò)程中，模型越來(lái)越大，所實(shí)現(xiàn)的性能也越來(lái)越通用。大模型未來(lái)發(fā)展將趨于通用化與專(zhuān)用化并行、平臺(tái)化與簡(jiǎn)易化并進(jìn)。同時(shí)，MaaS模式將成為AI應(yīng)用的全新形式且快速發(fā)展，重構(gòu)AI產(chǎn)業(yè)的商業(yè)化結(jié)構(gòu)生態(tài)，激發(fā)新的產(chǎn)業(yè)鏈分工和商業(yè)模式。未來(lái)，大模型將深入應(yīng)用于用戶生活和企業(yè)生產(chǎn)模式，釋放創(chuàng)造力和生產(chǎn)力，活躍創(chuàng)造思維、重塑工作模式，助力企業(yè)的組織變革和經(jīng)營(yíng)效率，賦能產(chǎn)業(yè)變革。(三)

大模型技術(shù)架構(gòu)以ChatGPT背后技術(shù)為代表的人工智能大語(yǔ)言模型正在催生新一輪人工智能浪潮，在全球范圍掀起人工智能大語(yǔ)言模型科技競(jìng)賽，科技巨頭加快布局，生成式AI領(lǐng)域風(fēng)起云涌。AI大模型的技術(shù)架構(gòu)分為基礎(chǔ)層、技術(shù)層、能力層、應(yīng)用層、用戶層五大板塊，基礎(chǔ)層涉及硬件基礎(chǔ)設(shè)施和數(shù)據(jù)、算力、算法模型三大核心要素。技術(shù)層主要涉及模型構(gòu)建，目前Transformer架構(gòu)在AI大模型領(lǐng)域占據(jù)主導(dǎo)地位，如BERT、GPT系列等。AI大模型包括NLP大模型、CV大模型、多模態(tài)大模型等。能力層擁有了文字、音頻、圖像、視頻、代碼、策略、多模態(tài)生成等能力，應(yīng)用于多個(gè)領(lǐng)域，為客戶提供產(chǎn)品和服務(wù)，架構(gòu)圖如下所示。圖-AI大模型技術(shù)架構(gòu)三、大模型在客服中心應(yīng)用大模型在客服中心研發(fā)應(yīng)用需具備數(shù)據(jù)資源、算法和模型、資金和資源三要素。當(dāng)前大模型在客服中心應(yīng)用面臨算力需求大、訓(xùn)練和推理成本高、數(shù)據(jù)質(zhì)量不佳、跨場(chǎng)景適配效果弱，知識(shí)庫(kù)構(gòu)建成本高、隱私和安全問(wèn)題等挑戰(zhàn)。在客服中心應(yīng)用主要存在如下問(wèn)題：數(shù)據(jù)問(wèn)題客服行業(yè)線上服務(wù)數(shù)據(jù)不足，數(shù)據(jù)的多樣性無(wú)法保障；行業(yè)數(shù)據(jù)標(biāo)注困難，限制了數(shù)據(jù)積累數(shù)量和質(zhì)量。知識(shí)庫(kù)知識(shí)泛化，條數(shù)和質(zhì)量不高。算法問(wèn)題對(duì)于客服線上服務(wù)新場(chǎng)景，初期存在語(yǔ)料少，知識(shí)庫(kù)欠缺等情況。模型能力需要積累項(xiàng)目上的經(jīng)驗(yàn)，行業(yè)模型需要系統(tǒng)性提升。大模型考驗(yàn)全棧大模型訓(xùn)練與研發(fā)能力，如數(shù)據(jù)管理經(jīng)驗(yàn)、算力基礎(chǔ)設(shè)施私有化建設(shè)能力及工程化運(yùn)營(yíng)能力、底層系統(tǒng)優(yōu)化和算法設(shè)計(jì)能力等。邏輯推理問(wèn)題復(fù)雜、嚴(yán)謹(jǐn)、靈活的邏輯推理和自學(xué)能力仍然是目前大部分大語(yǔ)言模型面臨的核心挑戰(zhàn)。目前所知的大語(yǔ)言模型的涌現(xiàn)能力決定了大語(yǔ)言模型在邏輯推理等方面的基本表現(xiàn)、目前大部分大語(yǔ)言模型可以對(duì)人類(lèi)情感做出簡(jiǎn)單的判斷，理解和情感需求的基礎(chǔ)上創(chuàng)造內(nèi)容是客服行業(yè)需求，在邏輯推理之上理解人類(lèi)情感是智能客服更高思考方式。當(dāng)前多數(shù)理財(cái)顧問(wèn)只能提供一些基礎(chǔ)的產(chǎn)品介紹和推薦，缺乏對(duì)規(guī)模龐大、維度多樣、瞬息萬(wàn)變的金融市場(chǎng)數(shù)據(jù)開(kāi)展全面、深入、靈活、有效的分析，投研效率不高。時(shí)效性問(wèn)題以ChatGPT為基礎(chǔ)模型，通常基于歷史數(shù)據(jù)進(jìn)行訓(xùn)練，并不具備實(shí)時(shí)獲取和處理新數(shù)據(jù)的能力，難以即時(shí)更新模型中的知識(shí)儲(chǔ)備。對(duì)于客戶實(shí)時(shí)性較強(qiáng)的最新資訊或問(wèn)題，模型可能會(huì)輸出不準(zhǔn)確或錯(cuò)誤的信息，而要讓訓(xùn)練數(shù)據(jù)囊括最新的客服信息，對(duì)訓(xùn)練的時(shí)間和成本消耗都非常大，更新速度會(huì)遠(yuǎn)慢于搜索引擎。四、大模型未來(lái)發(fā)展展望隨著客戶數(shù)量的不斷增加，客戶對(duì)客服中心服務(wù)的期望也會(huì)不斷提高，銀行客戶服務(wù)中心如何交付功能強(qiáng)大的客戶服務(wù)支持變得尤為重要，需要大規(guī)模深度學(xué)習(xí)和遷移學(xué)習(xí)在一定的場(chǎng)景下用來(lái)提升AI助手水平，并集成客服中心現(xiàn)有的自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、智能語(yǔ)音、知識(shí)圖譜等多個(gè)AI核心技術(shù)能力，打造銀行業(yè)客服中心AI大語(yǔ)言模型能力體系。并健全完善生成式AI安全應(yīng)用相關(guān)制度。面對(duì)科技倫理風(fēng)險(xiǎn)，應(yīng)通過(guò)建立有效的內(nèi)容審核和監(jiān)管機(jī)制，防止生成及傳播不良和違法內(nèi)容。強(qiáng)化大語(yǔ)言模型應(yīng)用的技術(shù)監(jiān)管和審查。探索大語(yǔ)言模型實(shí)際應(yīng)用落地的具體風(fēng)險(xiǎn)防范措施和手段。提升客服機(jī)器人意圖理解能力。在客服中心大模型與專(zhuān)項(xiàng)數(shù)據(jù)結(jié)合，可提升客服機(jī)器人的意圖理解能力，基