版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
10.5實戰(zhàn)案例——法務(wù)咨詢機器人10.5.1案例目標10.510.5.1案例目標本案例我們通過法務(wù)問答集構(gòu)建一個法務(wù)咨詢機器人,問答集是json格式,總共20萬條數(shù)據(jù),每條數(shù)據(jù)包含問題,答案以及該條數(shù)據(jù)所屬的類別。10.5.2
案例分析10.510.5.2
案例分析整個案例的流程圖如圖10-6所示,具體流程如下:(1)用戶輸入想要咨詢的問題,首先通過Elasticsearch查找得到相似的問題列表;(2)加載詞向量,通過分詞,得到問題的句向量表示;(3)遍歷問題列表,將問題列表中的每個問題同樣用句向量表示,并依次與用戶輸入問題的句向量做文本相似度比較,二次篩選;(4)以es的命中問題分值和相似度分值做均值運算,得到最終的分值,取得分最高的那個問題的答案。10.510.5.2
案例分析圖10-6案例流程圖10.5.3
案例實施10.510.5.3
案例實施在上一節(jié)中已經(jīng)把數(shù)據(jù)導入到了ES中。首先導入需要的庫文件:fromelasticsearchimportElasticsearchimportnumpyasnpimportjieba.possegaspsegimportplatformimportos10.510.5.3
案例實施同樣的,把整個流程封裝成一個類CrimeQA中:classCrimeQA:def__init__(self):if(platform.system()=="Linux"):self._index="crime_data"self.es=Elasticsearch([{"host":"127.0.0.1","port":9200}])self.doc_type="crime"cur='/'.join(os.path.abspath(__file__).split('/')[:-1])self.embedding_path=os.path.join(cur,'embedding/word_vec_300.bin')10.510.5.3
案例實施self.embdding_dict=self.load_embedding(self.embedding_path)self.embedding_size=300self.min_score=0.4self.min_sim=0.8elif(platform.system()=='Windows'):self._index="crime_data"self.es=Elasticsearch([{"host":"127.0.0.1","port":9200}])self.doc_type="crime"cur=os.getcwd()+"\\"self.embedding_path=os.path.join(cur,'embedding\\word_vec_300.bin')10.510.5.3
案例實施self.embdding_dict=self.load_embedding(self.embedding_path)self.embedding_size=300self.min_score=0.4self.min_sim=0.8else:raise"系統(tǒng)不是Linux也不是Windows"10.510.5.3
案例實施'''根據(jù)question進行事件的匹配查詢'''defsearch_specific(self,value,key="question"):query_body={"query":{"match":{key:value,}}}searched=self.es.search(index=self._index,doc_type=self.doc_type,body=query_body,size=20)10.510.5.3
案例實施#輸出查詢到的結(jié)果print(searched)print('-------------')print(searched["hits"]["hits"])returnsearched["hits"]["hits"]'''基于ES的問題查詢'''defsearch_es(self,question):answers=[]res=self.search_specific(question)forhitinres:10.510.5.3
案例實施answer_dict={}answer_dict['score']=hit['_score']answer_dict['sim_question']=hit['_source']['question']answer_dict['answers']=hit['_source']['answers'].split('\n')answers.append(answer_dict)returnanswers'''加載詞向量'''defload_embedding(self,embedding_path):embedding_dict={}count=0forlineinopen(embedding_path,encoding='utf-8'):10.510.5.3
案例實施iflen(line)<300:continuewd=line[0]vector=np.array([float(i)foriinline[1:]])embedding_dict[wd]=vectorcount+=1ifcount%10000==0:print(count,'loaded')print('loaded%swordembedding,finished'%count,)returnembedding_dict10.510.5.3
案例實施'''對文本進行分詞處理'''defseg_sent(self,s):wds=[i.wordforiinpseg.cut(s)ifi.flag[0]notin['x','u','c','p','m','t']]returnwds'''基于wordvector,通過lookuptable的方式找到句子的wordvector的表示'''defrep_sentencevector(self,sentence,flag='seg'):ifflag=='seg':word_list=[iforiinsentence.split('')ifi]10.510.5.3
案例實施else:word_list=self.seg_sent(sentence)embedding=np.zeros(self.embedding_size)sent_len=0forindex,wdinenumerate(word_list):ifwdinself.embdding_dict:embedding+=self.embdding_dict.get(wd)sent_len+=1else:continuereturnembedding/sent_len10.510.5.3
案例實施'''計算問句與庫中問句的相似度,對候選結(jié)果加以二次篩選'''defsimilarity_cosine(self,vector1,vector2):cos1=np.sum(vector1*vector2)cos21=np.sqrt(sum(vector1**2))cos22=np.sqrt(sum(vector2**2))similarity=cos1/float(cos21*cos22)ifsimilarity=='nan':return0else:returnsimilarity10.510.5.3
案例實施'''問答主函數(shù)'''defsearch_main(self,question):candi_answers=self.search_es(question)print(candi_answers)question_vector=self.rep_sentencevector(question,flag='noseg')answer_dict={}forindx,candiinenumerate(candi_answers):candi_question=candi['sim_question']score=candi['score']/100candi_vector=self.rep_sentencevector(candi_question,flag='noseg')10.510.5.3
案例實施sim=self.similarity_cosine(question_vector,candi_vector)ifsim<self.min_sim:continuefinal_score=(score+sim)/2iffinal_score<self.min_score:continueanswer_dict[indx]=final_scoreifanswer_dict:10.510.5.3
案例實施answer_dict=sorted(answer_dict.items(),key=lambdaasd:asd[1],reverse=True)#print(type(answer_dict),answer_dict)final_answer=candi_answers[answer_dict[0][0]]['answers'][0]else:final_answer='您好,對于此類問題,您可以咨詢公安部門'returnfinal_answer10.510.5.3
案例實施__init__方法聲明了連接的ES的_index和doc_type,與上節(jié)導入數(shù)據(jù)的_index和doc_type保持一致。min_score:設(shè)置經(jīng)es搜索得到的score的閾值min_sim:設(shè)置經(jīng)文本相似度計算得到的閾值search_specific和search_es方法通過查詢用戶輸入的問題,返回查詢得到的問題列表。load_embedding方法加載詞向量,將
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 部編版二年級語文上冊第3課《植物媽媽有辦法》精美課件
- 上微機課上課紀律要求
- 《大型游樂設(shè)施安全管理數(shù)據(jù)交換規(guī)范(征求意見稿)》 編制說明
- 阿茨海默病的護理課件
- 2020-2021學年第一學期江西省宜春市宜春三中、官園學校期中聯(lián)考-七年級數(shù)學試卷
- 新教材同步系列2024春高中化學第一章有機化合物的結(jié)構(gòu)特點與研究方法本章總結(jié)課件新人教版選擇性必修3
- 廚房用紡織品毛巾項目評價分析報告
- 2023年版秦皇島市大型游樂設(shè)施操作人員考試內(nèi)部通關(guān)培訓模擬題庫含答案
- 生產(chǎn)管理新篇章
- 壓片機項目評價分析報告
- 2023-2024學年度第一學期蘇科版初中數(shù)學九年級上冊教學計劃附教學進度表
- 2024-2030年飛機發(fā)動機密封件行業(yè)市場現(xiàn)狀供需分析及重點企業(yè)投資評估規(guī)劃分析研究報告
- 國開2024年秋《學前教育科研方法》形考作業(yè)1-3答案
- 2024年四川省巴中市中考語文試卷(含官方答案及詳解)
- 湖南省湘楚名校聯(lián)考2024-2025學年高三上學期8月月考英語試題
- 3.1列代數(shù)式表示數(shù)量關(guān)系(第2課時 列代數(shù)式) 課件 2024-2025學年七年級數(shù)學上冊 (人教版2024)
- 宿遷市楚豐農(nóng)業(yè)科技發(fā)展集團有限公司招聘筆試題庫2024
- 二年級下冊音樂說課稿 (簡譜) 3.4 《跳圓舞曲的小貓》 湘藝版
- 中小學十五五發(fā)展規(guī)劃(2025-2030)
- AQ 1066-2008 煤層瓦斯含量井下直接測定方法(正式版)
- SL-T+62-2020水工建筑物水泥灌漿施工技術(shù)規(guī)范
評論
0/150
提交評論