知識(shí)驅(qū)動(dòng)的智能問(wèn)答在企業(yè)計(jì)算中的落地實(shí)踐

12341234風(fēng)險(xiǎn)管控客戶(hù)服務(wù)企業(yè)計(jì)算定義市場(chǎng)市場(chǎng)內(nèi)容優(yōu)化產(chǎn)品頁(yè)社交媒體產(chǎn)品頁(yè)客戶(hù)服務(wù)BusinessIntelligenceAnalyticsAnalyticsSales/MarketingSalesBusinessIntelligenceAnalyticsAnalyticsSales/MarketingSales/Marketing美國(guó)2B市場(chǎng)40%中國(guó)2B市場(chǎng)BusinessBusinessIntelligenceAnalyticsAnalytics中國(guó)2B市場(chǎng)：巨大的發(fā)展?jié)摿γ绹?guó)美國(guó)Microsoft暫無(wú)超過(guò)Microsoft$10B的企業(yè)ORACLe面向外部行業(yè)知識(shí)圖譜面向 面向外部行業(yè)知識(shí)圖譜面向 智能咨詢(xún)服務(wù)平臺(tái)??Web（H5）?…用戶(hù)提問(wèn)微信/APP/Web知識(shí)學(xué)習(xí)智能引擎語(yǔ)義理解智能引擎人機(jī)協(xié)同知識(shí)智能監(jiān)控查詢(xún)回復(fù)更新官方網(wǎng)站市場(chǎng)動(dòng)態(tài)專(zhuān)家整理其他知識(shí)用戶(hù)提問(wèn)微信/APP/Web知識(shí)學(xué)習(xí)智能引擎語(yǔ)義理解智能引擎人機(jī)協(xié)同知識(shí)智能監(jiān)控查詢(xún)回復(fù)更新官方網(wǎng)站市場(chǎng)動(dòng)態(tài)專(zhuān)家整理其他知識(shí)智能咨詢(xún)服務(wù)平臺(tái)——智能問(wèn)答產(chǎn)品信息知識(shí)庫(kù)知識(shí)庫(kù)12341234問(wèn)答范式的演變 基于知識(shí)圖譜的基于多引擎的問(wèn)答問(wèn)答系統(tǒng)成為下一代搜索引擎問(wèn)答系統(tǒng)成為下一代搜索引擎的11問(wèn)答數(shù)據(jù)的幾種形態(tài)及關(guān)系問(wèn)答技術(shù)形態(tài)IRQA：基于信息檢索的問(wèn)答IRQA：基于信息檢索的問(wèn)答KBQAKBQA：基于知識(shí)庫(kù)的問(wèn)答MRC：基于閱讀理解的回答13樂(lè)言智能問(wèn)答戰(zhàn)略9樂(lè)言問(wèn)答引擎——以基金行業(yè)為例?基于檢索的問(wèn)答(IRQA)模塊?數(shù)據(jù)：業(yè)務(wù)人員積累的基金領(lǐng)域的FAQ對(duì)?基于知識(shí)庫(kù)的問(wèn)答(KBQA)模塊?數(shù)據(jù)：基于業(yè)務(wù)人員提供的基金領(lǐng)域知識(shí)點(diǎn)構(gòu)建的知識(shí)圖譜?基于閱讀理解的問(wèn)答(MRCQA)模塊?數(shù)據(jù)：業(yè)務(wù)人員提供的基金領(lǐng)域知識(shí)文本IRQA在問(wèn)答對(duì)中對(duì)用戶(hù)查詢(xún)進(jìn)行檢索，IRQA在問(wèn)答對(duì)中對(duì)用戶(hù)查詢(xún)進(jìn)行檢索，返回語(yǔ)義最相關(guān)的FAQ對(duì)對(duì)應(yīng)的答案。16KBQA對(duì)用戶(hù)查詢(xún)進(jìn)行語(yǔ)義解析，并在知識(shí)圖譜中查詢(xún)推理得到答案。MRCQAMRC（機(jī)器閱讀理解在候選段落中找到能回答用戶(hù)問(wèn)題的精確片段。多引擎QA融合的必要性不同的QA技術(shù)擅長(zhǎng)回答的問(wèn)題不同，需要取長(zhǎng)補(bǔ)短。12341234問(wèn)答在對(duì)話(huà)系統(tǒng)中的位置IRQA架構(gòu)設(shè)計(jì)IRQA在線(xiàn)部分IRQA使用的模型?基于梯度提升樹(shù)的排序模型?學(xué)習(xí)FAQ對(duì)的偏序關(guān)系?參考文獻(xiàn)[1][2]?面向表示的深度模型?側(cè)重于對(duì)query對(duì)的語(yǔ)義表示進(jìn)行建模?參考文獻(xiàn)[3][4][5]?面向交互的深度模型?側(cè)重于對(duì)query對(duì)內(nèi)部的詞語(yǔ)交互建模?參考文獻(xiàn)[6][7][8][9]IRQA：面向表示的建模優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)[4]AlatentsemanticmodelwithconvolutioIRQA：面向交互的建模優(yōu)點(diǎn)考慮兩個(gè)句子詞語(yǔ)間的語(yǔ)義交互缺點(diǎn)模型復(fù)雜，對(duì)數(shù)據(jù)量要求非常高[6]ConvolutionalNeuralNetworkArc?知識(shí)特征??知識(shí)特征?語(yǔ)義特征?語(yǔ)言理解特征IRQA：挑戰(zhàn)和應(yīng)對(duì)?端到端學(xué)習(xí)，三步合為一步？?對(duì)訓(xùn)練數(shù)據(jù)量要求巨大，不合適冷啟動(dòng)場(chǎng)景建模?可解釋性差?我們的創(chuàng)新?從可解釋的角度做特征工程?通用領(lǐng)域訓(xùn)練?當(dāng)前領(lǐng)域精調(diào)?刻畫(huà)領(lǐng)域關(guān)系的遷移學(xué)習(xí)IRQA；基于CQA數(shù)據(jù)的挖掘?社區(qū)問(wèn)答(CQA)數(shù)據(jù)挖掘，緩解數(shù)據(jù)少的問(wèn)題?領(lǐng)域詞挖掘?贖回、賣(mài)出?句式挖掘?一回事?同一個(gè)業(yè)務(wù)[10]QuestionGenerationforQuestionAnswering.KBQA架構(gòu)設(shè)計(jì)樂(lè)言KBQA：基于模板匹配的語(yǔ)義解析xxxxxxKBQA：基于模板匹配的語(yǔ)義解析?查詢(xún)模板匹配(打分排序)時(shí)使用的特征，?實(shí)體/屬性值實(shí)體的matching特征?謂詞關(guān)系的matching特征?問(wèn)題子圖結(jié)構(gòu)的matching特征?包括實(shí)體類(lèi)型，關(guān)系空間，答案類(lèi)型等?模板的生成?人工撰寫(xiě)?從數(shù)據(jù)學(xué)習(xí)模板+人工審核?參考文獻(xiàn)[11][11]Automated templategenerationforquestion[11]Automated templateKBQA：基于復(fù)述的語(yǔ)義解析xxxxxx[12]Semanticparsingviaparaphrasing.KBQA：基于復(fù)述的語(yǔ)義解析Q:申購(gòu)xxx基金要多少錢(qián)1基于ES的粗排2基于語(yǔ)義匹配的精排match(n:Instance{Q:申購(gòu)xxx基金要多少錢(qián)1基于ES的粗排2基于語(yǔ)義匹配的精排match(n:Instance{name:”xxx主題混合型證券投資基金"})-[r:HAS_PROPERTY]-(v:Property{name:"申購(gòu)費(fèi)"})returnv.valueas申購(gòu)費(fèi)KBQA：基于復(fù)述的語(yǔ)義解析標(biāo)準(zhǔn)問(wèn)法庫(kù)標(biāo)準(zhǔn)問(wèn)法庫(kù)ESES初選xxxxxx主題混合型證券投資基金的贖回費(fèi)xxx主題混合型證券投資基金的申購(gòu)費(fèi)xxx主題混合型證券投資基金的基金代碼語(yǔ)義匹配模型語(yǔ)義匹配模型C:xxx主題混合型證券投資基金的申購(gòu)費(fèi)KBQA：語(yǔ)義解析方法的融合缺點(diǎn)實(shí)體/關(guān)系識(shí)別部分的誤差會(huì)導(dǎo)致查詢(xún)模板匹配的召回率不高M(jìn)RC架構(gòu)設(shè)計(jì)MRC在線(xiàn)部分MRC模型框架Extractionbasedquestionanswer 劃分Span(起始位置->終止位置)[13]BidirectionalAttentionFlowforMachine并行執(zhí)行并行執(zhí)行MRC與IRQA、KBQA的關(guān)系串行執(zhí)行串行執(zhí)行QA：多策略融合[14]Textual analysis[14]Textual analysis問(wèn)答在對(duì)話(huà)系統(tǒng)中的位置語(yǔ)言理解實(shí)體識(shí)別和鏈接實(shí)體識(shí)別和鏈接?識(shí)別查詢(xún)中的領(lǐng)域?qū)嶓w，意圖理解意圖理解問(wèn)題類(lèi)型判定問(wèn)題類(lèi)型判定答案類(lèi)型判定語(yǔ)言理解模型?FastText分類(lèi)模型?意圖理解?問(wèn)題類(lèi)型判定?答案類(lèi)型判定?FastText分類(lèi)模型?意圖理解?問(wèn)題類(lèi)型判定?答案類(lèi)型判定?雙向LSTM的序列標(biāo)注（實(shí)體識(shí)別）模型?實(shí)體識(shí)別[17]Character-BasedLSTM-CRFwithRadical-LevelFeaturesforChineseNamed?實(shí)體識(shí)別語(yǔ)言理解實(shí)例實(shí)體識(shí)別和鏈接：申購(gòu)實(shí)體識(shí)別和鏈接：申購(gòu)->行為意圖理解：咨詢(xún)交易規(guī)則問(wèn)題類(lèi)型：預(yù)測(cè)型答案類(lèi)型：時(shí)間回復(fù)生成?將QA的結(jié)果進(jìn)行友好化，生成符合用戶(hù)profile設(shè)定，并返回給用戶(hù)?KBQA?將KB查詢(xún)的結(jié)構(gòu)化結(jié)果生成最終的序列?參考文獻(xiàn)[18][19]?MRC?基于閱讀理解的答案合成?參考文獻(xiàn)[20]?IRQA?將QA結(jié)果友好化，例如，加上“您好”、“上午好”等前綴?參考文獻(xiàn)[21][22][23][24] 回復(fù)生成實(shí)例xxx基金公司有回復(fù)生成實(shí)例幾種貨幣性基金多用戶(hù)管理多用戶(hù)管理多輪對(duì)話(huà)設(shè)計(jì) Session_Obj_1 12341234樂(lè)言問(wèn)答：離線(xiàn)部分架構(gòu)數(shù)據(jù)獲取模型更新智能導(dǎo)航?熱點(diǎn)問(wèn)題推薦?熱點(diǎn)問(wèn)題推薦反饋收集熱點(diǎn)問(wèn)題推薦熱點(diǎn)問(wèn)題推薦交互設(shè)計(jì)用戶(hù)反饋用戶(hù)反饋實(shí)體相關(guān)問(wèn)題推薦實(shí)體相關(guān)問(wèn)題推薦交互設(shè)計(jì)其他請(qǐng)求負(fù)載均衡數(shù)據(jù)存儲(chǔ)分流樂(lè)言智能問(wèn)答每天服務(wù)五百萬(wàn)人次每天服務(wù)五百萬(wàn)人次ThankYou!參考文獻(xiàn)[1]TianqiChenandCarlosGuestrin.XGBoost:AScalableTreeBoostingSystem.In22nd[2]J.H.Friedman.Greedyfunctionapproximation:Agradientboostingmachine.AnnalsofStatistics,29:1189–1232[3]HamidPalangietal.Semanticmodellingwithlong-short-termmemoryforinformationretrieval.arXivpreprintarXiv:14[4]Shen,Yelong,etal.Alatentsemanticmodelwithconvolutional-poolingstructureforinformationretrieval.Proceedingsofthe23rdACMInternationalConferenceonConferenceonInformationandKnowl[5]Po-SenHuang,XiaodongHe,JianfengGao,LiDeng,AlexAcero,LarryHeck.Learning[6]BaotianHu,ZhengdongLu,HangLi,QingcaiChen,ConvolutionalNeuralNetworkArchitecturesforMatchingNaturalLanguageSentenceDocChat:AnInformationRetrievalApproachforChatbotEnginesUsingUnstructured 9o]cuWmenngYin,HinrichSchütze,BingXiang,BowenZhou.ABConvolutionalNeuralNetworkforModelingSe參考文獻(xiàn)knowledgegraphs."InProceeding1191-1200.InternationalWorldWideWebConf[12]Berant,Jonathan,andPercyLiang."Semanticparsingviaparaphrasing."InProceedingsofthe52ndAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:Long Farhadi,HannanehHajishirzi.BidirectionalAttentionFlowforMachineComprehen[14]Murdock,J.William,etal."Textualevidencegatheringandanalysis."IBMJournalofBasedLSTM-CRFwithRadical-LevelFeaturesforChineseNamedEntityRecognition,Structure-awareSeq2seqLea參考文獻(xiàn)[19]NeuralTextGenerationfromStructuredDatawithApplicationtotxheBiography[20]S-Net:FromAnswerExtractiontoAnswerGenerationforMachineReadingComprehension,ChuanqiTan,Fur[21]JiataoGu,Zheng