為大模型插上翅膀ChatGLM部署與Langchain知識庫掛載

內(nèi)容目錄一、ChatGPT等通用大語言模型使用現(xiàn)狀 4二、Langchain知識庫框架介紹 6Langchain知識庫原理介紹 6Langchain知識庫主要模塊介紹及應(yīng)用案例 7三、主流開源大語言模型對比 10部分大語言模型介紹 10大語言模型評價指標(biāo)介紹及對比 10大語言模型部署的顯卡消耗 12四、ChatGLM2模型+Langchain知識庫掛載 12模型部署 12Langchain知識庫掛載及應(yīng)用案例 13總結(jié) 14風(fēng)險提示 15圖表目錄圖表1：ChatGPT行業(yè)打分回答示例 4圖表2：ChatGPT分析新聞對于原油期貨價格的影響回答示例 4圖表3：ChatGPT金融領(lǐng)域?qū)I(yè)知識問答示例 5圖表4：ChatGPT最新資訊問答示例 5圖表5：Langchain掛載本地知識庫框架介紹 6圖表6：知識庫掛載問答示例1 7圖表7：知識庫掛載問答示例2 7圖表8：Langchain常用模塊 7圖表9：主流Embedding模型介紹 8圖表10：Langchain主要模塊應(yīng)用案例1-聯(lián)網(wǎng)搜索 8圖表11：向量化研報文本節(jié)選 8圖表12：Langchain主要模塊應(yīng)用案例信息提取&計算 9圖表13：部分大語言模型基本介紹（排名不分先后） 10圖表14：SuperCLUE瑯琊榜用戶匿名測評示例 11圖表15：OpenCompass主要模型中文排名 11圖表16：OpenCompass中文多維度能力評測 12圖表17：OpenCompass英文多維度能力評測 12圖表18：模型參數(shù)量與顯存消耗對應(yīng)關(guān)系 12圖表19：ChatGLM2-6B部署部分代碼示例 13圖表20：ChatGLM2-6B與Langchain掛載應(yīng)用案例1 13圖表21：ChatGLM2-6B與Langchain掛載應(yīng)用案例2 14圖表22：ChatGLM2-6B與Langchain掛載應(yīng)用案例3 14自去年底ChatGPT發(fā)布以來，大語言模型展現(xiàn)出的綜合能力吸引了投資者的廣泛關(guān)注。我們團(tuán)隊在前期的多篇報告中也已經(jīng)將ChatGPT成功應(yīng)用在量化策略的構(gòu)建上，在《Alpha掘金系列之五：如何利用ChatGPT挖掘高頻選股因子？》中，我們利用ChatGPT訓(xùn)練語料的豐富性和其強(qiáng)大的歸納能力，構(gòu)建出了比較有效的高頻選股因子。圖表1：ChatGPT行業(yè)打分回答示例來源：ChatGPT，《Beta獵手系列之四：如何利用ChatGPT解析賣方策略觀點并構(gòu)建行業(yè)輪動策略？》，在《BetaChatGPTChatGPTCTAChatGPTOPEC圖表2：ChatGPT分析OPEC新聞對于原油期貨價格的影響回答示例來源：ChatGPT，《CTA金點子系列之一：基于ChatGPT新聞情感分析的原油期貨策略》，不過在使用過程中，我們發(fā)現(xiàn)ChatGPT依然存在一些短版影響我們的使用體驗。專業(yè)知識匱乏：ChatGPT圖表3：ChatGPT金融領(lǐng)域?qū)I(yè)知識問答示例來源：ChatGPT，ChatGPT9圖表4：ChatGPT最新資訊問答示例來源：ChatGPT，BusinessInsiderChatGPTChatGPTChatGPTChatGLMLangchainLangchain知識庫原理介紹LangChainLLM模型、向量數(shù)據(jù)PromptChatGPTHuggingfaceLangchainPDFChatPDF，AskYourPDFLangchain圖表5：Langchain掛載本地知識庫框架介紹來源：Langchain，LLMEmbeddingK條文檔后，將提問和匹配文檔嵌入固定的提示模板中，最后對LLM提問得到回復(fù)結(jié)果。圖表6：知識庫掛載問答示例1 圖表7：知識庫掛載問答示例2來源：聞達(dá)， 來源：聞達(dá)，Langchain知識庫主要模塊介紹及應(yīng)用案例作為一個功能齊全的開源框架，Langchain內(nèi)置的多個模塊可以協(xié)助我們以簡便的方式實現(xiàn)上述的整個流程。我們此處針對上述掛載知識庫經(jīng)常用到的模塊進(jìn)行簡要介紹：模塊 模塊 功能 集成APILoader

從各種類型的文件源加載數(shù)據(jù)

CSVLoader,PyPDFLoader,UnstructuredHTMLLoaderSplitter

CharacterTextSplitter,CodeTextSplitter,MarkdownHeaderTextSplitterEmbedding 對切割好的數(shù)據(jù)向量化 HuggingFaceEmbeddings,ModelScopeEmbeddings,OpenAIEmbeddingsVectorDatabase 對向量進(jìn)行存儲的數(shù)據(jù)庫 Faiss,chroma,pinecone,redisChain 封裝好的提示鏈 LLMChain,RouterChain,SequentialChainAgent

動及行動順序

ReAct,Plan-and-executeagentsDeploymen（非Langchain） 部署工具 Gradio,Streamlit來源：Langchain，

CSV,PDF,HTML,docs,txt，jsonLangchainRecursiveCharacterTextSplitter“\nn”“\n”“”“”]四個標(biāo)記符號。然而上述函數(shù)對于文本切割的方式更適合英文的文本語法習(xí)慣，我們經(jīng)過不斷嘗試，“\n”Huggingface果較好的Embedding模型，針對不同語言的文本也可以適當(dāng)切換使用。常見的Embedding模型如下：HuggingfaceHuggingface路徑 特點介紹Text-embedding-ada-002 由OpenAI推出，表現(xiàn)較好，但調(diào)用成本較高shibing624/text2vec-base-chinese 使用CoSENT方法進(jìn)行訓(xùn)練在中文STS-B測試集達(dá)到SOTA效GanymedeNil/text2vec-large-chinese 在上述模型基礎(chǔ)上將MacBERT修改為LERT重新訓(xùn)練來源：Huggingface，OpenAI，LangchainFaissChromaRedisFaissFacebookChromaChainAgentLangchain合在一起創(chuàng)建一個單一的、連貫的任務(wù)。用戶輸入問題后，使用內(nèi)置的PromptTemplateSequentialChain圖表10：Langchain主要模塊應(yīng)用案例1-聯(lián)網(wǎng)搜索來源：Langchain，ChatGPT，在上例中，我們加載“SerpAPI”的工具，該工具是Google提供的搜索引擎接口。初始化Agent，調(diào)用OpenAI的接口并指定ChatGPT作為LLM?？梢园l(fā)現(xiàn)當(dāng)我們輸入需要聯(lián)網(wǎng)搜索才能回答的提問時，Agent會幫我們自動調(diào)用合適的工具，對搜索結(jié)果進(jìn)行判斷并，最終反饋合適的回答內(nèi)容。而Agent之所以能夠自己分析問題，選擇合適工具并最終解決問題，其背后原理來自于ReActYao2023做出決策并執(zhí)行的過程，而大語言模型同樣可以通過一定的設(shè)計達(dá)到能夠邏輯推理（Reasoning，構(gòu)建完整系列行動Act，最終達(dá)成預(yù)期目標(biāo)的效果。圖表11：向量化研報文本節(jié)選來源：《機(jī)器人vs汽車系列報告（三）：機(jī)器人帶來全新機(jī)遇，軸承初步具備國產(chǎn)化能力》，圖表12：Langchain主要模塊應(yīng)用案例2-ReAct信息提取&計算來源：Langchain，ChatGPT，vs（三：機(jī)器人帶來全新機(jī)遇，ReActAgentLangchainAgent部分大語言模型介紹ChatGPTLangchainTransformerMetaLLaMALLaMAAlpacaVicunaChatGLMGLMTransformer大語言模型 基礎(chǔ)模型/框架 特點 開發(fā)者 訓(xùn)練 參數(shù)量圖表13：部分大語言模型基本介紹（排名不分先后）大語言模型 基礎(chǔ)模型/框架 特點 開發(fā)者 訓(xùn)練 參數(shù)量LLaMA

旨在成為適合進(jìn)一步微調(diào)的通用基礎(chǔ)模型

Meta

7B、13B、33B、65BVicuna

用ShareGPT7戶對話數(shù)據(jù)進(jìn)行微調(diào)

等

多語言

7B、13BAlpaca

LLaMA能力的問題

斯坦福大學(xué) 多語言GLM-130B GLM 龐大的中英雙語的雙向稠密模型 清華大學(xué)智譜AI 中、英 130BChatGLM-6B

中英雙語的對話語言模型，僅有少量參數(shù)但仍有較好的效果

清華大學(xué)智譜AI 中、英 6B書生浦語）

8K推理體驗

實驗室聯(lián)合香港學(xué)和上海交通大學(xué)

中、英 7BBaichuan

子粒度的過濾。

百川智能 中、英 7B、13BMoss

GPT學(xué)習(xí)能力

復(fù)旦大學(xué) 中、英 16BQwen

2.2token關(guān)的對齊數(shù)據(jù)做了特定優(yōu)化

阿里云 中、英 7B來源：各大模型項目網(wǎng)站，大語言模型評價指標(biāo)介紹及對比由于大語言模型的通用性和復(fù)雜性，評價模型的優(yōu)劣并橫向?qū)Ρ仁且粋€相對復(fù)雜的問題。目前主流的測評方法包括：SuperCLUEELO育運動中，是一種計算參賽者相對技能水平的方法。1????=1+10(?????????)/400圖表14：SuperCLUE瑯琊榜用戶匿名測評示例來源：SuperCLUE瑯琊榜，OpenCompass550GAOKAO-Bench,AGIEval,MMLU,CEval20238圖表15：OpenCompass主要模型中文排名排名（中文）模型名稱綜合評分（英文）模型名稱綜合評分1GPT-467.51GPT-473.32InternLM-Chat-7B-8K59.72ChatGPT63.53Qwen-7B-Chat583StableBeluga260.94Baichuan-13B-Chat56.54LLaMA-2-70B59.85ChatGPT55.35Qwen-7B56.56ChatGLM2-6B51.96Yulan-Chat-2-13B55.37LLaMA-2-70B49.77InternLM-Chat-7B-8K53.78StableBeluga249.68Vicuna-33B539XVERSE-13B49.59Baichuan-13B-Chat50.510Ziya-LLaMA-13B45.910BELLE-LLaMA-248.6來源：OpenCompass，InternLM,Qwen,BaichuanChatGLM2OpenAIGPT-4,ChatGPT,StableBeluga2,LLaMA圖表16：OpenCompass中文多維度能力評測 圖表17：OpenCompass英文多維度能力評測推理能力理解能力

綜合評分806040200

學(xué)科綜合能力語言能力

推理能力理解能力

80806040200

學(xué)科綜合能力語言能力GPT-4 InternLM-Chat-7B-8KQwen-7B-Chat ChatGPTChatGLM2-6B Ziya-LLaMA-13B

GPT-4 Qwen-7BInternLM-Chat-7B-8K Vicuna-33BBaichuan-13B-Chat BELLE-LLaMA-2來源：OpenCompass， 來源：OpenCompass，InternLMQwen大語言模型部署的顯卡消耗由于大語言模型本身是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，龐大的參數(shù)量對于顯卡的性能消耗較高。我們此處給出模型部署推理與顯存消耗的對應(yīng)關(guān)系：圖表18：模型參數(shù)量與顯存消耗對應(yīng)關(guān)系模型參數(shù)量/量化精度INT4INT8FP166B6GB8GB13GB13B7.8GB14.9GB24GB33B19.5GB38GB60GB65B38.5GB136GB120GB130B96GB256GB320GB來源：Github，國金證券研究所6BChatGLM2-6B13GB模型部署ChatGLM2-6BLangchainGithubweb_demo.pyTransformersfrom_pretrained()函數(shù)進(jìn)行模型下載，該函數(shù)會首先自動檢測HuggingfaceHuggingfaceHuggingface圖表19：ChatGLM2-6B部署部分代碼示例來源：ChatGLM，Langchain知識庫掛載及應(yīng)用案例為更符合投研實際需求，我們將全市場的研報按照大類進(jìn)行向量化處理后，通過LangchainPromptTemplate。該框架ChatGLM2圖表20：ChatGLM2-6B與Langchain掛載應(yīng)用案例1來源：ChatGLM，Langchain，在具體參數(shù)選擇上，我們以text2vec-base-Chinese作為Embedding模型，以ChatGLM2-6B-int4LLM4ChatGLM給出了準(zhǔn)確的回答。圖表21：ChatGLM2-6B