單元10：聊天機器人4

10.5實戰(zhàn)案例——法務(wù)咨詢機器人10.5.1案例目標10.510.5.1案例目標本案例我們通過法務(wù)問答集構(gòu)建一個法務(wù)咨詢機器人，問答集是json格式，總共20萬條數(shù)據(jù)，每條數(shù)據(jù)包含問題，答案以及該條數(shù)據(jù)所屬的類別。10.5.2

案例分析10.510.5.2

案例分析整個案例的流程圖如圖10-6所示，具體流程如下：（1）用戶輸入想要咨詢的問題，首先通過Elasticsearch查找得到相似的問題列表；（2）加載詞向量，通過分詞，得到問題的句向量表示；（3）遍歷問題列表，將問題列表中的每個問題同樣用句向量表示，并依次與用戶輸入問題的句向量做文本相似度比較，二次篩選；（4）以es的命中問題分值和相似度分值做均值運算，得到最終的分值，取得分最高的那個問題的答案。10.510.5.2

案例分析圖10-6案例流程圖10.5.3

案例實施10.510.5.3

案例實施在上一節(jié)中已經(jīng)把數(shù)據(jù)導入到了ES中。首先導入需要的庫文件：fromelasticsearchimportElasticsearchimportnumpyasnpimportjieba.possegaspsegimportplatformimportos10.510.5.3

案例實施同樣的，把整個流程封裝成一個類CrimeQA中：classCrimeQA:def__init__(self):if(platform.system()=="Linux"):self._index="crime_data"self.es=Elasticsearch([{"host":"127.0.0.1","port":9200}])self.doc_type="crime"cur='/'.join(os.path.abspath(__file__).split('/')[:-1])self.embedding_path=os.path.join(cur,'embedding/word_vec_300.bin')10.510.5.3

案例實施self.embdding_dict=self.load_embedding(self.embedding_path)self.embedding_size=300self.min_score=0.4self.min_sim=0.8elif(platform.system()=='Windows'):self._index="crime_data"self.es=Elasticsearch([{"host":"127.0.0.1","port":9200}])self.doc_type="crime"cur=os.getcwd()+"\\"self.embedding_path=os.path.join(cur,'embedding\\word_vec_300.bin')10.510.5.3

案例實施self.embdding_dict=self.load_embedding(self.embedding_path)self.embedding_size=300self.min_score=0.4self.min_sim=0.8else:raise"系統(tǒng)不是Linux也不是Windows"10.510.5.3

案例實施'''根據(jù)question進行事件的匹配查詢'''defsearch_specific(self,value,key="question"):query_body={"query":{"match":{key:value,}}}searched=self.es.search(index=self._index,doc_type=self.doc_type,body=query_body,size=20)10.510.5.3

案例實施#輸出查詢到的結(jié)果print(searched)print('-------------')print(searched["hits"]["hits"])returnsearched["hits"]["hits"]'''基于ES的問題查詢'''defsearch_es(self,question):answers=[]res=self.search_specific(question)forhitinres:10.510.5.3

案例實施answer_dict={}answer_dict['score']=hit['_score']answer_dict['sim_question']=hit['_source']['question']answer_dict['answers']=hit['_source']['answers'].split('\n')answers.append(answer_dict)returnanswers'''加載詞向量'''defload_embedding(self,embedding_path):embedding_dict={}count=0forlineinopen(embedding_path,encoding='utf-8'):10.510.5.3

案例實施iflen(line)<300:continuewd=line[0]vector=np.array([float(i)foriinline[1:]])embedding_dict[wd]=vectorcount+=1ifcount%10000==0:print(count,'loaded')print('loaded%swordembedding,finished'%count,)returnembedding_dict10.510.5.3

案例實施'''對文本進行分詞處理'''defseg_sent(self,s):wds=[i.wordforiinpseg.cut(s)ifi.flag[0]notin['x','u','c','p','m','t']]returnwds'''基于wordvector，通過lookuptable的方式找到句子的wordvector的表示'''defrep_sentencevector(self,sentence,flag='seg'):ifflag=='seg':word_list=[iforiinsentence.split('')ifi]10.510.5.3

案例實施else:word_list=self.seg_sent(sentence)embedding=np.zeros(self.embedding_size)sent_len=0forindex,wdinenumerate(word_list):ifwdinself.embdding_dict:embedding+=self.embdding_dict.get(wd)sent_len+=1else:continuereturnembedding/sent_len10.510.5.3

案例實施'''計算問句與庫中問句的相似度，對候選結(jié)果加以二次篩選'''defsimilarity_cosine(self,vector1,vector2):cos1=np.sum(vector1*vector2)cos21=np.sqrt(sum(vector1**2))cos22=np.sqrt(sum(vector2**2))similarity=cos1/float(cos21*cos22)ifsimilarity=='nan':return0else:returnsimilarity10.510.5.3

案例實施'''問答主函數(shù)'''defsearch_main(self,question):candi_answers=self.search_es(question)print(candi_answers)question_vector=self.rep_sentencevector(question,flag='noseg')answer_dict={}forindx,candiinenumerate(candi_answers):candi_question=candi['sim_question']score=candi['score']/100candi_vector=self.rep_sentencevector(candi_question,flag='noseg')10.510.5.3

案例實施sim=self.similarity_cosine(question_vector,candi_vector)ifsim<self.min_sim:continuefinal_score=(score+sim)/2iffinal_score<self.min_score:continueanswer_dict[indx]=final_scoreifanswer_dict:10.510.5.3

案例實施answer_dict=sorted(answer_dict.items(),key=lambdaasd:asd[1],reverse=True)#print(type(answer_dict),answer_dict)final_answer=candi_answers[answer_dict[0][0]]['answers'][0]else:final_answer='您好,對于此類問題,您可以咨詢公安部門'returnfinal_answer10.510.5.3

案例實施__init__方法聲明了連接的ES的_index和doc_type，與上節(jié)導入數(shù)據(jù)的_index和doc_type保持一致。min_score：設(shè)置經(jīng)es搜索得到的score的閾值min_sim：設(shè)置經(jīng)文本相似度計算得到的閾值search_specific和search_es方法通過查詢用戶輸入的問題，返回查詢得到的問題列表。load_embedding方法加載詞向量，將