度小滿金融大模型技術(shù)創(chuàng)新與應(yīng)用探索

DataFunCon#

2023金融大模型技術(shù)創(chuàng)新與應(yīng)用探索楊青度小滿

技術(shù)委員會(huì)執(zhí)行主席，數(shù)據(jù)智能部總經(jīng)理2023.11.24目錄從通用大模型到金融大模型金融大模型的訓(xùn)練技術(shù)創(chuàng)新金融大模型的評(píng)測(cè)方法創(chuàng)新金融大模型的應(yīng)用實(shí)踐創(chuàng)新從通用大模型到金融大模型重塑行業(yè)格局創(chuàng)造價(jià)值增量提升決策精度提高生產(chǎn)效率大模型有望為金融行業(yè)創(chuàng)造價(jià)值增量記憶理解生成知識(shí)大模型能力規(guī)劃邏輯泛化性通用性實(shí)用性大模型涌現(xiàn)出超預(yù)期的能力大模型涌現(xiàn)超預(yù)期能力，有望為金融行業(yè)創(chuàng)造價(jià)值增量但通用模型難勝任金融任務(wù)，大模型落地金融面臨挑戰(zhàn)01金融知識(shí)挑戰(zhàn)專業(yè)金融知識(shí)欠缺行業(yè)數(shù)據(jù)流通難知識(shí)更新時(shí)效長(zhǎng)私域數(shù)據(jù)共享難……02金融能力挑戰(zhàn)能力不滿足金融任務(wù)要求幻覺問題遺忘問題計(jì)算準(zhǔn)確性問題……03應(yīng)用成本挑戰(zhàn)訓(xùn)練和運(yùn)營成本高GPU算力成本推理成本能耗成本維護(hù)成本通過金融領(lǐng)域的定向優(yōu)化，十億參數(shù)模型在金融任務(wù)中的性能可與百億參數(shù)模型媲美高質(zhì)量的領(lǐng)域數(shù)據(jù)能夠讓模型領(lǐng)域任務(wù)表現(xiàn)媲美5倍大模型[2]

小模型+金融增強(qiáng)=效果成本平衡 經(jīng)過金融強(qiáng)化的LLaMA2-13B，在多項(xiàng)金融考試任務(wù)上優(yōu)于未經(jīng)金融強(qiáng)化的LLaMA2-70B模型[1]《Llama

2:

OpenFoundation

andFine-Tuned

Chat

Models》，Meta[2]《Textbooks

Are

All

You

Need

II:

phi-1.5

technical

report》，Microsoft

Research70B13B7BGPUHours[1]1,720,320368,640184,32048臺(tái)機(jī)器訓(xùn)練耗時(shí)187天40天20天優(yōu)質(zhì)通用模型訓(xùn)練和推理成本高昂較小參數(shù)模型是更經(jīng)濟(jì)選擇

大參數(shù)通用模型訓(xùn)練和應(yīng)用成本高 GPU需求 推理時(shí)間 能耗成本 維護(hù)成本LLaMA-2訓(xùn)練2T

Tokens數(shù)據(jù)所需卡時(shí)（GPU

Hours)：70B13B7B推理顯存129G26G14G需要顯卡2*80G

A1001*40G

A100消費(fèi)級(jí)顯卡LLaMA-2推理所需資源：面對(duì)成本挑戰(zhàn)，專項(xiàng)增強(qiáng)的領(lǐng)域模型更顯高性價(jià)比定位最好的金融行業(yè)大模型，金融域任務(wù)表現(xiàn)超越領(lǐng)先通用模型為解決通用模型不勝任問題，度小滿開源了軒轅金融大模型金融增強(qiáng)增量預(yù)訓(xùn)練和指令微調(diào)階段，加入大量金融數(shù)據(jù)，提升金融理解能力對(duì)話增強(qiáng)使用百萬級(jí)經(jīng)人工構(gòu)建和校驗(yàn)的高質(zhì)量指令數(shù)據(jù)進(jìn)行指令微調(diào)和對(duì)齊應(yīng)用增強(qiáng)面向金融應(yīng)用場(chǎng)景，定向增強(qiáng)摘要、邏輯、計(jì)算等金融場(chǎng)景核心能力中文增強(qiáng)擴(kuò)充中文詞表，并使用大量高質(zhì)量中英文語料進(jìn)行二階段增量預(yù)訓(xùn)練5月9月11月度小滿開源了國內(nèi)首個(gè)千億級(jí)金融大模型「軒轅-千億」度小滿開源「軒轅-70B」大模型開源軒轅-70B-chat及8-bit和4-bit量化模型未來更多尺寸的軒轅大模型矩陣以軒轅70B為代表，軒轅大模型通用能力強(qiáng)大，金融能力領(lǐng)先在C-Eval和CMMLU兩大權(quán)威榜單上，軒轅70B均名列所有開源模型第一軒轅70B已經(jīng)通過注冊(cè)會(huì)計(jì)師、銀行/證券/保險(xiǎn)/基金/期貨從業(yè)資格、理財(cái)規(guī)劃師、經(jīng)濟(jì)師等金融領(lǐng)域權(quán)威考試，且考試得分領(lǐng)先于其他通用模型軒轅70B在度小滿自有金融業(yè)務(wù)場(chǎng)景測(cè)試中表現(xiàn)領(lǐng)先，特別金融知識(shí)問答、NL2SQL等場(chǎng)景表現(xiàn)優(yōu)異通用能力金融能力場(chǎng)景能力*榜單排名截止到Xuanyuan-70B開源發(fā)布日期2023年9月21日MODELMMLUCEVALCMMLUGSM8KMBPPBBHFinanceIQXuanYuan-70B70.971.971.1074.44371.467.56GPT483.9368.4070.9591.461.886.760.05ChatGPT69.152.553.978.260.270.144.2Llama268.952.1053.1163.539.664.936.02Baichun2-13B-base59.1758.1061.9752.630.84951.2Qwen-14B67.971.770.261.639.853.753.29各大主流評(píng)測(cè)集成績(jī)通識(shí)基礎(chǔ)通識(shí)是領(lǐng)域認(rèn)知的前提在大規(guī)模通用文本數(shù)據(jù)上訓(xùn)練，掌握廣泛的語言理解和信息處理能力，為后續(xù)學(xué)習(xí)奠定堅(jiān)實(shí)基礎(chǔ)行業(yè)賦能從通識(shí)到專業(yè)深造經(jīng)過金融行業(yè)數(shù)據(jù)的訓(xùn)練，深入了解金融術(shù)語、行業(yè)案例、專家經(jīng)驗(yàn)以及最佳實(shí)踐，逐漸具備金融行業(yè)所需的專業(yè)能力從學(xué)習(xí)到實(shí)際應(yīng)用的進(jìn)階大模型在實(shí)際金融場(chǎng)景中得到反饋，是進(jìn)一步提高性能和適應(yīng)性的關(guān)鍵中學(xué)生：接受通識(shí)教育大學(xué)生：接受專業(yè)教育職場(chǎng)人：以崗位產(chǎn)出為導(dǎo)向場(chǎng)景反饋軒轅金融大模型：從通才中學(xué)生到專才職場(chǎng)人的進(jìn)階之路金融增強(qiáng)工程優(yōu)化價(jià)值對(duì)齊應(yīng)用增強(qiáng)金融大模型訓(xùn)練技術(shù)創(chuàng)新金融增強(qiáng)價(jià)值對(duì)齊應(yīng)用增強(qiáng)工程優(yōu)化增量預(yù)訓(xùn)練指令微調(diào)強(qiáng)化對(duì)齊為大模型注入專業(yè)金融知識(shí)，訓(xùn)練專業(yè)金融能力配比合理動(dòng)態(tài)調(diào)整中英比例與通用金融比例，避免災(zāi)難性遺忘多樣性指令激活問答能力場(chǎng)景細(xì)分信貸

|

理財(cái)

|

證券

|

投顧

|

客服RM魯棒性強(qiáng)金融場(chǎng)景打分合理，指導(dǎo)正確海量金融語料提升金融知識(shí)儲(chǔ)備數(shù)據(jù)豐富研報(bào)

|

財(cái)報(bào)

|

公告

|

資訊

|

百科

|

書籍類型細(xì)分金融百科

|

金融計(jì)算

|

資訊摘要|

研報(bào)解讀

|

角色扮演專業(yè)金融數(shù)據(jù)和標(biāo)注滿足行業(yè)偏好數(shù)據(jù)專業(yè)覆蓋金融場(chǎng)景廣標(biāo)注專業(yè)全面、反映金融行業(yè)偏好如何獲得充分的金融知識(shí)，成為一個(gè)“金融專家”？金融知識(shí)

｜

金融能力

｜

金融場(chǎng)景設(shè)計(jì)一套通用的數(shù)據(jù)清洗流水線文本抽取多來源數(shù)據(jù)收集網(wǎng)頁（Html）書籍（Epub）研報(bào)/公告（PDF）正文提取HTML標(biāo)簽移除PDF內(nèi)容定制化解析數(shù)據(jù)清洗規(guī)則過濾格式規(guī)范化篇章級(jí)過濾行級(jí)別過濾模型過濾訓(xùn)練質(zhì)量模型訓(xùn)練毒害模型去重與校驗(yàn)MinHashLSH單類別局部去重全局去重質(zhì)量校驗(yàn)人工抽樣校驗(yàn)小規(guī)模模型驗(yàn)證10TB通用語料高質(zhì)量模型訓(xùn)練語料1TB金融語料數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)質(zhì)量是模型效果的保障原始中文數(shù)據(jù)訓(xùn)練數(shù)據(jù)篇章級(jí)別過濾行級(jí)別過濾70%100%去重過濾60%質(zhì)量模型35%32%中文大模型需首先考慮詞表構(gòu)建問題，否則單字可能需要多個(gè)Unicode字符來構(gòu)造解碼速度變慢 編碼序列變長(zhǎng)考慮到基座模型的訓(xùn)練穩(wěn)定性，采取字粒度擴(kuò)充方式加入7k的中文字符，新詞表大小約39k, 詞表壓縮率提升48%增量預(yù)訓(xùn)練：針對(duì)中文場(chǎng)景做詞表構(gòu)建詞表優(yōu)化字粒度擴(kuò)充新增Token范圍：5k-8k模型破壞小壓縮率低詞粒度擴(kuò)充新增Token范圍：20k-100k擴(kuò)充幅度大，模型破壞大壓縮率高僅更新模型的詞表特征及解碼線性層使模型適應(yīng)新加入詞表 糾正原始解碼方式第一階段數(shù)據(jù)分布與類型與原始模型保持一致中文50%～英文50% 訓(xùn)練約40B

Tokens對(duì)模型進(jìn)行全參數(shù)更新英文能力不下降 中文能力大幅提升第二階段提升通用中文和金融領(lǐng)域數(shù)據(jù)占比英文25%～中文60%～金融15%訓(xùn)練約300BTokens增量預(yù)訓(xùn)練：兩階段預(yù)訓(xùn)練使收斂更加穩(wěn)定英文數(shù)據(jù)中文數(shù)據(jù)金融數(shù)據(jù)1:39:14:1CommonCrawl|BooksStackexchange|

GithubWikiPedia|

Arxiv中文百科

|

新聞資訊社交論壇

|

網(wǎng)頁內(nèi)容中文書籍

|

金融垂類金融資訊

|

研報(bào)公告金融百科

|

金融論壇金融書籍

|......中文知識(shí)類優(yōu)先：百科、書籍、論文等逐漸提升綜合類中文語料：網(wǎng)頁內(nèi)容、新聞?lì)惖戎饾u提升金融垂類語料英文數(shù)據(jù)持續(xù)訓(xùn)練英文:

MMLU預(yù)期效果英文能力保持

中文知識(shí)增強(qiáng)

金融能力提升中文:

CEVAL金融:

FinanceIQ實(shí)際效果三項(xiàng)能力均隨訓(xùn)練過程提升增量預(yù)訓(xùn)練：數(shù)據(jù)配比直接影響基座模型的訓(xùn)練質(zhì)量數(shù)據(jù)配比數(shù)據(jù)加入過程訓(xùn)練效果數(shù)據(jù)生成數(shù)據(jù)構(gòu)造金融領(lǐng)域指令數(shù)據(jù)通用領(lǐng)域指令數(shù)據(jù)通用數(shù)據(jù)80%金融數(shù)據(jù)20%指令數(shù)據(jù)配比常識(shí)百科創(chuàng)意生成代碼編程安全無害邏輯推理總結(jié)摘要金融百科數(shù)學(xué)計(jì)算 信息提取8大類

50小類4大類

20小類金融計(jì)算研報(bào)解讀客服話術(shù)標(biāo)簽類別體系構(gòu)造人工撰寫種子數(shù)據(jù)人工撰寫自動(dòng)生成Self-instructSelf-QA[1]Evol-instruct[2]校驗(yàn)評(píng)估人工改寫UnsupervisedKnowledgeGuidedLanguageModel

Alignmen，Duxiaoman.Empoweringlargelanguagemodelstofollowcomplexinstructions,Microsoft,Peking

University.指令微調(diào)：SFT數(shù)據(jù)的豐富性和多樣性直接影響對(duì)齊效果指令遵循泛化能力多輪對(duì)話通用能力保持金融能力增強(qiáng)訓(xùn)練數(shù)據(jù)格式<你是一個(gè)智能助手>Human:

你是誰Assistant:

我是軒轅大模型....</s>

Human:

你會(huì)干什么

Assistant:

我可以....</s>....System

MessageHumanAssistant訓(xùn)練目標(biāo)函數(shù)NextToken

Prediction，與預(yù)訓(xùn)練保持一致常規(guī)指令：使用Mask機(jī)制，Response處計(jì)算損失超長(zhǎng)指令：計(jì)算全局損失，來提升長(zhǎng)文本建模能力[2]Alargechinesefinancialchatmodelwithhundredsofbillions

parameters，Duxiaoman.Effectivelong-contextscalingoffoundationmodel,GenAI,

Meta.兩階段指令微調(diào)：保證通用能力同時(shí)，提升金融問答能力第一階段:

混合微調(diào)[1]第二階段:

指令微調(diào)海量開源指令數(shù)據(jù)+預(yù)訓(xùn)練數(shù)據(jù)

(10M+)自研的高質(zhì)量指令數(shù)據(jù)(200k)通用指令：金融指令

=

4

：1金融大模型訓(xùn)練技術(shù)創(chuàng)新金融增強(qiáng)價(jià)值對(duì)齊應(yīng)用增強(qiáng)工程優(yōu)化部分表達(dá)方式非中式思維部分常識(shí)性問題不合國情一些回答易夾雜外文單詞部分觀點(diǎn)不符合我國核心價(jià)值觀部分敏感類問題缺乏口徑對(duì)齊部分違法犯罪問題和我國實(shí)際不符未經(jīng)對(duì)齊的模型在語言、安全、金融行業(yè)上表現(xiàn)和人類偏好不符語言 安全 金融語言表達(dá)不符合行業(yè)風(fēng)格金融計(jì)算能力不足易出錯(cuò)觀點(diǎn)提取及數(shù)據(jù)分析是短板價(jià)值對(duì)齊：通過強(qiáng)化學(xué)習(xí)對(duì)齊價(jià)值偏好安全prompt金融promptLLMprompt｜resA｜res

Bprompt｜resA｜res

B?prompt｜resA｜res

BA>BA<B?A=BRMPairwise

Data偏好標(biāo)注Reward

Model：學(xué)習(xí)人類在語言、安全、金融行業(yè)上的價(jià)值偏好語言prompt對(duì)齊后對(duì)齊后對(duì)齊后大麻是一種什么樣的植物？大麻是一種草本植物，屬于大麻科。******。通常被用于藥用和工業(yè)用途。金融領(lǐng)域的ETF指的是什么基金？ETF全稱為“交換貿(mào)易基金”，是一種在交換市場(chǎng)上市的、基金份額可變的資金。******碰到有人在打架怎么辦？******，你可以撥打911聯(lián)系當(dāng)?shù)貓?zhí)法部門，******語言對(duì)齊安全對(duì)齊金融對(duì)齊******，您可以撥打電話110報(bào)警，******大麻是一種直立草本植物，屬于大麻科。******。需要注意的是，在我國大麻屬于毒品，私種大麻是一種嚴(yán)重的違法行為。我建議您遵守道德和法律，禁止種植相關(guān)作物。******ETF，即Exchang

traded

fund，被稱之為“交易所交易基金”，是一種在交易所上市的、基金份額可變的開放式基金，屬于開放式基金的一種特殊類型。******價(jià)值對(duì)齊：通過強(qiáng)化學(xué)習(xí)對(duì)齊價(jià)值偏好金融大模型訓(xùn)練技術(shù)創(chuàng)新金融增強(qiáng)價(jià)值對(duì)齊應(yīng)用增強(qiáng)工程優(yōu)化輸出結(jié)果可靠性增強(qiáng)彌補(bǔ)大模型短板，提升模型輸出下限系統(tǒng)工程輸出質(zhì)量穩(wěn)定性提升對(duì)話中控NLU意輸圖入識(shí)別任務(wù)規(guī)劃Prompt工程 Query改寫NLGPrompt工程 答案生成答案組裝 Ranking記憶模塊用戶交互界面安全防護(hù)LLM應(yīng)用增強(qiáng)：升級(jí)系統(tǒng)工程，彌補(bǔ)大模型本身能力欠缺插件庫檢索增強(qiáng) 用戶信息業(yè)務(wù)知識(shí)庫 拓展工具金融大模型訓(xùn)練技術(shù)創(chuàng)新金融增強(qiáng)價(jià)值對(duì)齊應(yīng)用增強(qiáng)工程優(yōu)化設(shè)備內(nèi)存增長(zhǎng)

<<

模型規(guī)模增長(zhǎng)模型規(guī)模和批次大小受限訓(xùn)練吞吐 批次大小↑序列長(zhǎng)度=*/

( +計(jì)算開銷↓ 通信開銷↓ )內(nèi)存墻計(jì)算墻帶寬墻算力提升

<<

數(shù)據(jù)累積速度計(jì)算效率受限鏈路帶寬

<<

算力提升分布式規(guī)模效率受限內(nèi)存、算力、帶寬與大模型需求的不匹配成為制約訓(xùn)練效率的關(guān)鍵瓶頸工程優(yōu)化：大模型訓(xùn)練效率面臨諸多瓶頸010005001500350030002500200040007B模型13B模型70B模型優(yōu)化前優(yōu)化后+19%+12%充分優(yōu)化后訓(xùn)練吞吐提高26%不同規(guī)模模型單卡訓(xùn)練吞吐（tokens/gpu/s）對(duì)比：降低顯存占用降低計(jì)算開銷FlashAttention等算子優(yōu)化累積提升訓(xùn)練吞吐121%顯存占用降低87%，bs提升3倍，訓(xùn)練吞吐提升36%工程優(yōu)化：突破內(nèi)存與計(jì)算墻，提高訓(xùn)練吞吐ZeRO并行優(yōu)化為不同場(chǎng)景設(shè)計(jì)最優(yōu)并行配置梯度保存擴(kuò)大bs覆蓋額外計(jì)算開銷+26%128640256全局訓(xùn)練吞吐384 512理想訓(xùn)練吞吐94%97%98.5%在512卡以上規(guī)模仍保持接近線性加速比99%100%不同GPU卡數(shù)量訓(xùn)練吞吐對(duì)比:高速直連網(wǎng)絡(luò)I/O效率優(yōu)化最高支持8192卡；單機(jī)吞吐800Gbps；訓(xùn)練效率提升3倍I/O吞吐提升50%工程優(yōu)化：打破帶寬墻，提升分布式效率Tree

AllReducePrefech

&OverlappingI/O加速30%金融大模型評(píng)測(cè)方法創(chuàng)新數(shù)據(jù)階段清洗質(zhì)量國內(nèi)大模型發(fā)布掀起“刷榜”熱潮，榜單成績(jī)存在爭(zhēng)議成績(jī)真實(shí)性存疑能力真實(shí)性存疑效果真實(shí)性存疑結(jié)果可操作空間大用戶自行上傳結(jié)果無法驗(yàn)證是否為模型真實(shí)成績(jī)中文主流大模型評(píng)測(cè)榜單C-EVAL只需提交題號(hào)+答案便可顯示成績(jī)?cè)u(píng)測(cè)集很可能混入訓(xùn)練主動(dòng)：用「真題」刷分被動(dòng)：潛在的數(shù)據(jù)污染風(fēng)險(xiǎn)榜單排名=真實(shí)表現(xiàn)？國產(chǎn)模型榜單成績(jī)碾壓GPT4用戶真實(shí)體驗(yàn)是問號(hào)使用與評(píng)測(cè)集相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練導(dǎo)致模型性能異常提升[1]GPT4在C-EVAL公開訪問榜單中排名第六與榜單最高成績(jī)（限制訪問）相差20分CMMLUMMLUAGIEVALMATHGSM8K Humaneval BBH ......[1]《Don’t

Make

Your

LLM

anEvaluation

Benchmark

Cheater》，人大高瓴團(tuán)隊(duì)主流評(píng)測(cè)榜單：C-EVAL大模型評(píng)測(cè)難題：主流榜單可靠性受質(zhì)疑預(yù)訓(xùn)練階段強(qiáng)化學(xué)習(xí)階段指令微調(diào)階段“橫評(píng)”看差距、“縱評(píng)”看提升“橫評(píng)”：不同模型看各項(xiàng)優(yōu)劣“縱評(píng)”：同一模型看階段提升訓(xùn)練是否存在異常評(píng)估基座模型質(zhì)量對(duì)話能力能否滿足泛化能力是否足夠安全性是否提升有用性能否保持自研模型

VS

GPT4

VS

國內(nèi)主流模型A

VS

國內(nèi)主流模型BSFT-V1VSSFT-V2VSRLHF-V1VS

RLHF-V2實(shí)時(shí)評(píng)測(cè)：CheckPoint自動(dòng)觸發(fā)評(píng)測(cè)流水線階段評(píng)測(cè)：「自動(dòng)+人工」全維度評(píng)測(cè)體系拒絕榜單綁架，用評(píng)測(cè)指引模型優(yōu)化方向LOSSPPL多維度自動(dòng)評(píng)測(cè)集評(píng)測(cè)方式客觀題自動(dòng)評(píng)測(cè)評(píng)測(cè)集充分利用現(xiàn)有的Benchmark，用新的維度來集成自構(gòu)建通用+金融客觀評(píng)測(cè)集特色評(píng)測(cè)pipeline集成到訓(xùn)練pipeline，自動(dòng)化快速驗(yàn)證語言理解：C3、EPRSTMT...知識(shí)能力：CommonsenseQA、BOOLQ...常識(shí)推理：PIQA、SIQA...學(xué)科能力：CEVAL、CMMLU...計(jì)算能力：MATH、GSM8K...代碼能力：Humaneval、MBPP...……預(yù)訓(xùn)練模型自動(dòng)評(píng)估Case:隨著增量預(yù)訓(xùn)練的進(jìn)行，模型在評(píng)測(cè)集上的效果的變化預(yù)訓(xùn)練模型評(píng)測(cè)方式評(píng)測(cè)為訓(xùn)練提供及時(shí)反饋來對(duì)所有訓(xùn)練細(xì)節(jié)進(jìn)行及時(shí)調(diào)整預(yù)訓(xùn)練階段：評(píng)測(cè)指標(biāo)走勢(shì)判斷訓(xùn)練是否符合預(yù)期檢驗(yàn)微調(diào)階段的對(duì)話能力水平，需要在多任務(wù)上進(jìn)行主觀評(píng)測(cè)評(píng)測(cè)培訓(xùn)多人打分結(jié)果質(zhì)檢GSB分析用規(guī)范化流程減少主觀評(píng)分偏差人工主觀評(píng)測(cè)復(fù)用自動(dòng)評(píng)測(cè)復(fù)用預(yù)訓(xùn)練階段自動(dòng)評(píng)測(cè)方法考察微調(diào)階段對(duì)基礎(chǔ)模型的能力影響生活對(duì)話類創(chuàng)造摘要類復(fù)雜推理類任務(wù)執(zhí)行類方法建議類其他任務(wù)數(shù)據(jù)干凈：排查數(shù)據(jù)集污染，避免混入訓(xùn)練數(shù)據(jù)封閉：封閉式評(píng)測(cè)數(shù)據(jù)，離線上傳模型數(shù)據(jù)獨(dú)創(chuàng)：原創(chuàng)人工評(píng)測(cè)集，多維評(píng)測(cè)體系數(shù)據(jù)集構(gòu)建原則微調(diào)階段：全面評(píng)估大模型“涌現(xiàn)”出的新能力評(píng)測(cè)方式人工評(píng)測(cè)內(nèi)容主要考察難以自動(dòng)評(píng)測(cè)的開放式、生成式任務(wù)強(qiáng)化學(xué)習(xí)是大模型實(shí)現(xiàn)效果突破的重要一環(huán)安全性相較上一版本是否提升惡意問題和敏感問題的識(shí)別模型回復(fù)與人類價(jià)值觀對(duì)齊有用性通用能力是否保留安全性的提升不能損失有用性理想狀態(tài)是通用能力同時(shí)提升穩(wěn)定性多次答案偏差是否縮小模型輸出答案質(zhì)量趨向穩(wěn)定答案能保持與人類偏好對(duì)齊評(píng)測(cè)方式：多人打分與質(zhì)檢、針對(duì)性對(duì)齊策略培訓(xùn)評(píng)測(cè)集：復(fù)用微調(diào)人工評(píng)測(cè)集、專屬安全性評(píng)測(cè)集強(qiáng)化階段：評(píng)估相較微調(diào)階段是否有能力提升數(shù)據(jù)階段清洗質(zhì)量預(yù)訓(xùn)練階段知識(shí)/理解/計(jì)算/推理/代碼能力指令微調(diào)階段對(duì)話/生成/指令遵循能力強(qiáng)化學(xué)習(xí)階段有用性/安全性場(chǎng)景應(yīng)用階段通用任務(wù)效果/金融任務(wù)效果通識(shí)基礎(chǔ)“中學(xué)生：接受通識(shí)教育”行業(yè)賦能“大學(xué)生：接受專業(yè)教育”場(chǎng)景反饋“職場(chǎng)人：以崗位產(chǎn)出為導(dǎo)向”通用測(cè)評(píng)難度均衡風(fēng)格多樣題量充足客觀評(píng)測(cè)：23個(gè)任務(wù)，10w+題，全維度評(píng)測(cè)體系主觀評(píng)測(cè)：14大維度、600+題自制評(píng)測(cè)集，多人打分客觀評(píng)測(cè)：FinanceIQ評(píng)測(cè)集，覆蓋10大金融考試主觀評(píng)測(cè)：19大維度、500+金融域?qū)ｍ?xiàng)任務(wù)客觀評(píng)測(cè)：用戶滿足率與KPI指標(biāo)主觀評(píng)測(cè)：業(yè)務(wù)反饋與用戶建議知識(shí)問答客服話術(shù)產(chǎn)品創(chuàng)新投顧服務(wù)研報(bào)解讀財(cái)報(bào)生成客戶關(guān)系風(fēng)險(xiǎn)合規(guī)渠道運(yùn)營信貸審批財(cái)富顧問虛擬客服金融邏輯計(jì)算金融行業(yè)知識(shí)金融內(nèi)容生成金融客戶對(duì)話金融數(shù)據(jù)分析金融信息理解從模型訓(xùn)練到場(chǎng)景落地：像評(píng)測(cè)人一樣評(píng)測(cè)大模型FinanceIQ金融大模型評(píng)測(cè)體系FinanceIQ銀行從業(yè)資格基金從業(yè)

資格

證券從業(yè)

資格

期貨從業(yè)資格 保險(xiǎn)從業(yè)資格(CICE)精算師理財(cái)規(guī)劃師注冊(cè)會(huì)計(jì)師(CPA)稅務(wù)師經(jīng)濟(jì)師《個(gè)人理財(cái)》《公司信貸》《個(gè)人貸款》《風(fēng)險(xiǎn)管理》《銀行考試》《銀行業(yè)法律法規(guī)與綜合能力》《基金法律法規(guī)、職業(yè)道德與業(yè)務(wù)規(guī)范》《私募股權(quán)投資基金基礎(chǔ)知識(shí)》《證券市場(chǎng)基本法律法規(guī)》《金融市場(chǎng)基礎(chǔ)知識(shí)》《期貨基礎(chǔ)知識(shí)》《期貨法律法規(guī)》《期貨投資分析》《審計(jì)》《財(cái)務(wù)成本管理》《經(jīng)濟(jì)法》

《會(huì)計(jì)》

《稅法》《基礎(chǔ)知識(shí)》《專業(yè)能力》《金融數(shù)學(xué)》《保險(xiǎn)基礎(chǔ)知識(shí)》《保險(xiǎn)實(shí)務(wù)》《保險(xiǎn)法規(guī)》《保險(xiǎn)市場(chǎng)與營銷》初級(jí)《經(jīng)濟(jì)基礎(chǔ)知識(shí)》初級(jí)《專業(yè)知識(shí)與服務(wù)》中級(jí)《經(jīng)濟(jì)基礎(chǔ)知識(shí)》中級(jí)《專業(yè)知識(shí)與服務(wù)》《稅法（一）》《稅法（二）》《涉稅服務(wù)相關(guān)法律》《財(cái)務(wù)與會(huì)計(jì)》《涉稅服務(wù)實(shí)務(wù)》

《證券投資基金基礎(chǔ)知識(shí)》金融理解金融術(shù)語解釋金融知識(shí)解讀知識(shí)

金融常識(shí)百科 金融產(chǎn)品金融信息摘要金融新聞?wù)袌?bào)財(cái)報(bào)摘要觀點(diǎn)提取文本抽取金融內(nèi)容生成

資訊標(biāo)題生成 營銷文案生成保險(xiǎn)條款解讀金融投顧金融行情解讀客服話術(shù)生成金融邏輯計(jì)算金融計(jì)算金融安全金融法律法規(guī)安全合規(guī)性問題金融實(shí)時(shí)實(shí)時(shí)資訊實(shí)時(shí)股價(jià)人工金融評(píng)測(cè)集自動(dòng)金融評(píng)

《公司戰(zhàn)略與風(fēng)險(xiǎn)管理》測(cè)集針對(duì)金融域的大模型評(píng)測(cè)標(biāo)準(zhǔn)尚未完善開源FinanceIQ自動(dòng)評(píng)測(cè)集專注中文金融領(lǐng)域任務(wù)涵蓋10個(gè)金融大類，36個(gè)金融小類，總計(jì)7173題金融任務(wù)人工評(píng)測(cè)集覆蓋保險(xiǎn)/信貸/理財(cái)/風(fēng)控等多領(lǐng)域；客服/營銷/投顧/產(chǎn)品/催收/法務(wù)/行研等不同崗位FinanceIQ：定制金融大模型能力評(píng)測(cè)體系金融大模型應(yīng)用實(shí)踐創(chuàng)新理解

|

生成

|

邏輯

|

記憶個(gè)性生成強(qiáng)自動(dòng)化金融大模型核心能力交互增強(qiáng) 預(yù)測(cè)模擬重塑服務(wù)從降本增效到價(jià)值創(chuàng)造重塑運(yùn)營端到端的運(yùn)營新范式重塑風(fēng)控智能化全面風(fēng)控重塑營銷一體化營銷工作坊重塑研發(fā)助力研發(fā)提質(zhì)提效客情摘要客服助手……傳播洞察智能投放……NL2SQL投研投顧……智能信審風(fēng)險(xiǎn)模擬……重塑辦公員工的生產(chǎn)力工具智能搜索知識(shí)助手……代碼生成單測(cè)生成……金融大模型應(yīng)用實(shí)踐創(chuàng)新：由點(diǎn)到面重塑金融價(jià)值鏈借8萬吧，借個(gè)

四、五個(gè)月，這個(gè)價(jià)格能

便宜點(diǎn)

兒不？這樣吧，

如果您借滿6個(gè)月呢，利息可以給您打個(gè)9折；如果提前還，您還按原來的價(jià)格，您看可以嗎？獲客：根據(jù)用戶特征生成個(gè)性化素材轉(zhuǎn)化：結(jié)合用戶需求提供差異化產(chǎn)品用戶畫像

&

行為特征個(gè)性化營銷素材用戶征信報(bào)告&行為數(shù)據(jù)&需求表達(dá)征信報(bào)告行為數(shù)據(jù)需求表達(dá)素材平臺(tái)需求平臺(tái)流量平臺(tái)金融APP定制方案1

定制方案2 ……差異化產(chǎn)品方案地理位置預(yù)期職業(yè)預(yù)期職業(yè)營銷：個(gè)性化素材結(jié)合差異化產(chǎn)品，重塑開放獲客新模式營銷服務(wù)一體化智能客服服務(wù)成本降低創(chuàng)新技術(shù)應(yīng)用將釋放大量人力，降低服務(wù)成本服務(wù)質(zhì)量和服務(wù)能力提升大模型輔助坐席提供服務(wù)，提升坐席整體的水平，持續(xù)提升服務(wù)承載能力和平均服務(wù)質(zhì)量人力密集技術(shù)密集生成式AI 營銷 服務(wù)服務(wù)過程中洞察潛在需求，匹配和推薦對(duì)應(yīng)金融產(chǎn)品，生成式AI串聯(lián)起了原本分散的業(yè)務(wù)環(huán)節(jié)，實(shí)現(xiàn)營銷服務(wù)一體化成為可能成本中心 利潤中心可以將人力投入到更有價(jià)值的業(yè)務(wù)上，提升服務(wù)的同時(shí)，實(shí)現(xiàn)利潤目標(biāo)。內(nèi)部提效25%模型輔助人工模型直接對(duì)客隱形增員空間巨大人工坐席服務(wù)能力有效服務(wù)：提質(zhì)降本，營銷服務(wù)一體化這個(gè)新客戶非常重要，項(xiàng)目可以承受一定程度的虧損，但是要保證公司整體利潤底線不受影響，那么報(bào)價(jià)最低是多少？本季度目標(biāo)利潤率是10%。根據(jù)最近三個(gè)月的財(cái)務(wù)數(shù)據(jù)統(tǒng)計(jì)，總營收為2.1億元，毛利3360萬，實(shí)際利潤率為16%；我們的投標(biāo)價(jià)格底線最低下降至3849萬時(shí)，不會(huì)影響公司整體毛利率目標(biāo)。實(shí)際營收(萬元)21000實(shí)際毛利(萬元)3360實(shí)際利潤率16%Q3實(shí)際實(shí)際營收(萬元)28000實(shí)際毛利(萬元)2800實(shí)際利潤率10%基于項(xiàng)目中標(biāo)的Q3預(yù)測(cè)5621384910%16%14%12%10%8%6%4%2%0%700060005000400030002000100008000

18%

18%原價(jià)格底線新價(jià)格底線價(jià)格利潤率數(shù)據(jù)分析數(shù)據(jù)架構(gòu)大模型原生架構(gòu)AI方法+AI能力集成大模型能力BI方法+AI能力數(shù)據(jù)獲取全模態(tài)數(shù)據(jù)自動(dòng)獲取發(fā)生即獲取主動(dòng)收集數(shù)據(jù)主動(dòng)按需收集業(yè)務(wù)數(shù)據(jù)一切業(yè)務(wù)產(chǎn)生數(shù)據(jù)，一切決策依賴數(shù)據(jù)架構(gòu)增強(qiáng) 數(shù)據(jù)增強(qiáng)降低分析門檻自然語言即可分析自動(dòng)決策基于數(shù)據(jù)自動(dòng)優(yōu)化運(yùn)營分析增強(qiáng)基于大模型的BI新范式傳統(tǒng)BI運(yùn)營：數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)運(yùn)營新范式代碼采納率超40%，體感研發(fā)效率提升近20%覆蓋Python、java、sql、javascript、go、html、c++、css等多種編程語言更好的開發(fā)體驗(yàn)更精益的組織結(jié)構(gòu)更快的迭代速度規(guī)劃編寫測(cè)試維護(hù)理解需求做開發(fā)計(jì)劃代碼生成和補(bǔ)齊，識(shí)別錯(cuò)誤并自動(dòng)修復(fù)生成測(cè)試用例和測(cè)試數(shù)據(jù)，提升測(cè)試質(zhì)量結(jié)合