智能聊天機器人在汽車領(lǐng)域的應(yīng)用課件

1、 揚帆起航智能聊天機器人在汽車領(lǐng)域的應(yīng)用目錄CONTENTS1 背景簡介2 架構(gòu)與流程3 語義理解4 對話管理5 答案生成6 應(yīng)用實例7 總結(jié)與展望1聊 天 機 器 人 的 熱 門 應(yīng) 用易車-小艾京東-小咚淘寶-小蜜百度-度秘汽車之家-家家小秘Google-assistantMS-cortanaApple-Siri去哪-Qmi咪咕-靈犀天貓精靈小愛同學(xué)Amazon-echo百度地圖騰訊地圖1聊 天 機 器 人聊天機器人閑聊機器人基于任務(wù)的 機器人個人助理智能客服 機器人1聊 天 機 器 人 基 本 框 架語音識別ASR語音合成TTS自然語言理解NLU自然語言生成NLG對話狀態(tài)跟蹤DST對話策

2、略Policy知識庫/問答庫/服 務(wù)接口語音處理模塊自然語言處理模塊對話管理模塊答案生成模塊1汽 車 領(lǐng) 域 應(yīng) 用 現(xiàn) 狀熱門產(chǎn)品汽車之家-家家小秘易車-易小車懂車帝-AI小懂汽車大師-輪胎智能問 答 主要功能智能問答閑聊智能寫作主要技術(shù)語音識別與合成語義理解知識圖譜問答問答對匹配閱讀理解1汽 車 領(lǐng) 域 應(yīng) 用 挑 戰(zhàn)相同問題不同表達不同語義的相似表達同類問題的不同處理方式單輪會話依賴于知識圖譜、問答庫、閱讀理解，實現(xiàn)完 整語義理解，給出答案1汽 車 領(lǐng) 域 應(yīng) 用 挑 戰(zhàn)多輪會話參考上下文信息，主動或被動進入下一輪 回話，直到準(zhǔn)確回復(fù)用戶寶馬三系與奔馳C 級對比？寶馬三系 奔馳C級 與奧

3、迪A4對比呢？ 寶馬三系奧迪A4 準(zhǔn)確的語義理解狀態(tài)管理北京寶馬經(jīng)銷商返回定位北京的寶馬經(jīng)銷商上海呢返回上海的寶馬經(jīng) 銷商預(yù)先構(gòu)建多種多輪場景看車用車買車多少會話成功結(jié)束設(shè)置多少會話輪次較為合適測評指標(biāo)1汽 車 領(lǐng) 域 應(yīng) 用 挑 戰(zhàn)答案生成與管理如何根據(jù)異構(gòu)數(shù)據(jù)搭建答案生成系統(tǒng)？如何根據(jù)語義 理解結(jié)果，綜合考量知識圖譜、問答庫、閱讀理解的 結(jié)果并返回最終結(jié)果？圖譜問答檢索式問答閱讀理解知識圖譜資訊論壇問 答對汽車手 冊配置保養(yǎng)經(jīng)銷商圖譜構(gòu)建答案仲裁數(shù)據(jù)清洗 數(shù)據(jù)整合 知識表征知識匹配 快速查詢Query快速匹配文章定位 答案抽取目錄CONTENTS1 背景簡介2 架構(gòu)與流程3 語義理解4 對

4、話管理5 答案生成6 應(yīng)用實例7 總結(jié)與展望2主 要 架 構(gòu)數(shù) 據(jù) 源問答口碑咨詢手冊論壇其他數(shù)據(jù) 存儲句向量生成問 答 庫基于語義距離 的相似度計算知 識 圖 庫圖庫 結(jié)構(gòu)關(guān)系 生成節(jié)點生成屬性構(gòu)建結(jié)構(gòu)化數(shù)據(jù)知 識 獲 取知識對齊知 識 管 理知識消歧非結(jié)構(gòu)化數(shù)據(jù)知識 體系數(shù) 據(jù) 層答案動靜態(tài)查詢答 案 查 詢表達式slot轉(zhuǎn) SQL答案生成答 案 處 理答案過濾答 案 體 系答 案 排 序技 術(shù) 層Text-CNN算法意 圖 識 別Bi-LSTM+CRF實 體 識 別字典樹匹配Word2Vec構(gòu)建表達式生成推 理 規(guī) 則Slot生成答案分類問 題 定 向知識定位數(shù)據(jù) 處理分詞語 料 分 析

5、拼寫檢 查詞性標(biāo) 注分類句法分詞法分 析析焦點提主題提 取取知識推 理引擎應(yīng) 用 層語義搜索智能問答個性化推薦輔助決策語 料 處 理2整 體 流 程Query請求多輪對話句結(jié) 構(gòu)解析語義特 征提取多輪依 存解析語 義 因 子 解 析 引 擎閱讀理解結(jié)果返回多輪判定任務(wù)型引導(dǎo)型 開放型對 話 策 略是否實體識別意圖識別單輪對話語 義 理 解對 話 管 理答案生成知識圖譜QA問答目錄CONTENTS1 背景簡介2 架構(gòu)與流程3 語義理解4 對話管理5 答案生成6 應(yīng)用實例7 總結(jié)與展望3實 體 識 別主要挑戰(zhàn)實體沖突l 多義詞：北京-城市 or 品牌l 解決真包含問題：寶馬三系2017款318Li

6、時尚型-包含寶馬實體糾錯l 拼寫錯誤：寶媽三系-寶馬三系l 順序錯誤：三系寶馬-寶馬三系實體對齊l 數(shù)字、英文、漢字轉(zhuǎn)換：寶馬叉三-寶馬X3l 簡稱識別:X5-寶馬X5、漢騰X5、景逸X5、大邁X5、北斗星X51233實 體 識 別QueryBadcase庫badcase檢測沖突信息字典樹匹配規(guī)則Bi-LSTM+CRF混合相似度識別結(jié)果沖突檢測仲裁是是最終識別結(jié) 果否否處理結(jié)果規(guī)則匹配否是3字 典 樹 匹 配處理實體讀取實體庫中的所有實體，并對其中的特 殊字符做處理.轉(zhuǎn)化拼音將所有實體轉(zhuǎn)為拼音.構(gòu)建字典樹以單個字母為單位，從根節(jié)點開始構(gòu)建字 典樹，將實體信息放入葉子節(jié)點中.對query特殊處理

7、對用戶輸入的句子query進行特殊處理，包含去特殊字符等.轉(zhuǎn)化成拼音把用戶輸入query轉(zhuǎn)化為拼音.與字典樹匹配放入構(gòu)建好的字典樹進行匹配，如果從 根節(jié)點沿樹邊可以打到葉子節(jié)點則把葉子節(jié)點的實體信息取出來.3混 合 相 似 度 算 法StrEntityStr_pinyinStr_charEntity_pinyinEntity_charPinyin_simiChar_simiText_simi01234e11x1y1z1f1e22x2y2z2f2e33x3y3z3f3e44x4y4z4f4transformtransformcombinationcombinationcombinationSma

8、x_length = max(len(S), len(E)simi=1-Levenshtein.distance(S,E)/max_lengthLevenshtein distance編輯距離算法EMixed calculationscore3沖 突 處 理Bi-LSTM+CRF寶馬三系B-cxI-cxI-cxE-cxchar embeddingBi-LSTMencoderCRF Layer怎么樣B-kbcI-kbcE-kbc用戶輸入：寶馬3系的怎么樣？規(guī)則：寶馬, 0, 1, 1.0, 寶馬, pp寶馬3系, 0, 3, 1.0, 寶馬3系, cxBiLSTM+CRF：寶馬3系, 0, 3,

9、 1.0, 寶馬3系, cx3沖 突 處 理實 例用戶輸入：寶馬2017款油耗怎么樣？規(guī)則：寶馬, 0, 1, 1.0, 寶馬, pp寶馬2, 0, 2, 1.0, 寶馬2系, cx2017款,2, 6, 1.0,2017, nd油耗, 7, 8, 1.0, 油耗, kb沖突檢測：寶馬2, 0, 2, 1.0, 寶馬2系, cx2017款,2, 6, 1.0, 2017, nd融合結(jié)果：寶馬, 0, 1, 1.0, 寶馬, pp2017款,2, 6, 1.0,2017, nd油耗, 7, 8, 1.0, 油耗, kb最終結(jié)果3意 圖 識 別挑 戰(zhàn)分布不均勻?qū)嶋H數(shù)據(jù)分布不均勻，top5類別占據(jù)

10、了90%的數(shù)據(jù)量油耗低-選車 油耗低嗎-口碑特征不明顯Query主要以短句居多，表達形式多 變，類別之間的特征區(qū)別不明顯全景天窗-選車 車身ESP-百科需求不統(tǒng)一語義區(qū)分結(jié)果和整體答案返回結(jié)果不 一致，導(dǎo)致相同類別需求不同51.17%28.99%9.92%5.64% 3.89% 0.39%3意 圖 識 別基 本 流 程寶馬三系油耗怎么樣？怎么樣？怎么樣？口碑口碑）query實體識別結(jié)果實體替換結(jié)果模板庫結(jié)果判定意圖模型庫3意 圖 識 別Text-CNN模型,3 , , 1 ,3語 義 因 子 模 板基本單位：節(jié)點setl 每個set包含多個槽位l 槽位既可以是實體，又可以是條件邏輯：and、o

11、rl 每個set的邏輯由一個and或者or構(gòu)成 l and表示set中所有槽位都必須為真 l or表示set中有一個槽位為真即可限制條件：函數(shù)l _ ()表示包含數(shù)量l have()nohave()表示包含與否模板選擇算法，能填充的數(shù)量h，Query包含的實體l 模板槽位數(shù)量n，未被填槽的數(shù)量ml 計算模板的的完成度：l 計算模板的最后期望:,其中為每個槽位的權(quán)重信息，由于m可能為0，故給m加一個偏移量b,則+ （l 選擇得分最高的模板：車系車系車身配置車系車身配置口碑詞單實體配置配置口碑填槽：cxcxpzcxpzkbc輸入：寶馬三系油耗怎么樣識別：寶馬三系cx 油耗pz 怎么樣kbc計算(假

12、設(shè)車系槽位、車身配置槽位、口碑詞槽位權(quán)重分別為0.3、 0.2、0.1,b取1)：單實體：0.3*1*3/3=0. 3配置：（0.3+0.2）*2*3/2=1.5配置口碑：（0.3+0.2+0.1）*3*3/1=5.4選擇結(jié)果：配置口碑目錄CONTENTS1 背景簡介2 架構(gòu)與流程3 語義理解4 對話管理5 答案生成6 應(yīng)用實例7 總結(jié)與展望4多 輪 對 話 管 理 框 架實體+意圖問句歷史狀態(tài)記錄狀態(tài)返回答案答案濾網(wǎng)論元濾網(wǎng)反問濾網(wǎng)語義結(jié)構(gòu)濾網(wǎng)意圖切換實體融合多輪濾網(wǎng)指代消解省略恢復(fù)單輪多輪反問話術(shù)是否要反問slot filling單輪實體識別單輪意圖識別4多 輪 對 話 管 理濾網(wǎng)：定義多

13、輪的形式l 反問濾網(wǎng)：缺失實體，反問用戶l 答案濾網(wǎng)：對現(xiàn)有答案進行進一步操作l 語義結(jié)構(gòu)濾網(wǎng)：繼承意圖、實體轉(zhuǎn)換l 論元濾網(wǎng)：對論元進行各種操作語義因子上下文信息深度學(xué)習(xí)歷史語序反問濾網(wǎng)答案濾網(wǎng)語義結(jié)構(gòu)濾網(wǎng)論元濾網(wǎng)模版特征分析語義分析語序解析意圖是否直接返 回答案是否判斷車型槽位是否嚴(yán)格排序多輪形式和內(nèi)容4多 輪 對 話 管 理槽位是否嚴(yán)格排序編輯話術(shù)返回答案編輯反問話術(shù)編輯制作標(biāo)簽4多 輪 對 話 管 理反問濾網(wǎng)答案濾網(wǎng)語義結(jié)構(gòu)濾網(wǎng)論元濾網(wǎng)4多 輪 對 話 管 理多輪長依存l 多輪沙箱：借鑒沙箱的思想，建立多輪沙箱 環(huán)境，意在捕捉用戶的潛在意圖l 多輪歷史信息解析：對歷史多輪信息進一步 做

14、語義分析多輪長依存解析多輪沙箱多輪歷史語義語義因子上下文信息深度學(xué)習(xí)強化學(xué)習(xí)歷史信息解析問：寶馬3系和奧迪A4L哪個好 答：返回車系對比問：口碑怎么樣答：返回寶馬3系口碑問：另一個呢答：返回奧迪A4L的口碑意圖沙箱問：想貸款買個車反問：請問您想買一輛怎么樣的車呢，例 如（比較火的車推薦）問：30萬以內(nèi)的轎車吧，不要日本車 答：返回一堆車系提供選擇問：不要國產(chǎn)車，最好帶全景天窗的 答：進一步篩選，并返回車系提供選擇問：那就要寶馬3系吧答：為您推薦以下寶馬三系的貸款方案（提供貸款計算器）目錄CONTENTS1 背景簡介2 架構(gòu)與流程3 語義理解4 對話管理5 答案生成6 應(yīng)用實例7 總結(jié)與展望5答

15、 案 生 成主 要 結(jié) 構(gòu)知識圖譜利用來自產(chǎn)品庫、汽車資訊等數(shù)據(jù)構(gòu)建知識圖譜，以回答汽車 領(lǐng)域常規(guī)類問題意圖識別結(jié)果、實體識別結(jié)果知識圖譜社區(qū)問答閱讀理解產(chǎn)品庫汽車 資訊用戶手 冊車型車系汽車百 科配置口碑社區(qū)問 答對綜合語料（資訊、百科、用戶手 冊問答等）圖譜構(gòu)建圖譜構(gòu)建 知識圖譜 檢索式問答 閱讀理解檢索式問答利用積累的QA對，回答不易結(jié)構(gòu)化和整理的觀點類、操作 類、故障類等用戶問題閱讀理解直接從各種非機構(gòu)化綜合語料（包括汽車資訊、百科、用戶手 冊等）中，找到問題相關(guān)的關(guān)鍵句，并提取答案5知 識 圖 譜 構(gòu) 建構(gòu)建方式方式采用自上而下的方式，主要由手工構(gòu)建數(shù)據(jù)類型結(jié)構(gòu)化數(shù)據(jù)配置、口碑、經(jīng)銷

16、商、保養(yǎng)等 非結(jié)構(gòu)化數(shù)據(jù)汽車手冊、新聞資訊等實體類型車系、廠商、車型、品牌、經(jīng)銷商等關(guān)系類型車系品牌 車系廠商 車型車系 經(jīng)銷商車型.口碑版型級別口碑標(biāo)簽廠商品牌車系經(jīng)銷商報價顏色車型零部件手冊知識點配置保養(yǎng)項目保養(yǎng)周 期5知 識 圖 譜 構(gòu) 建手 冊 為 例構(gòu)建步驟：按零部件分析，確定圖譜構(gòu)建 重點小秘query分析設(shè)計標(biāo)簽體系設(shè)計一套可擴展的標(biāo)簽體系，針 對各零部件的操作、保養(yǎng)、故障 等，利用標(biāo)簽來表示知識手冊知識點解析解析知識點相關(guān)的零部件、標(biāo) 簽，以（部件，標(biāo)簽，知識點） 三元組的方式來表達知識。圖譜更新將三元組更新到圖譜中XX車系指示燈出現(xiàn)下 列情況時必須 檢測系統(tǒng)用下部固 定兒童座

17、 椅鑰匙更換車輪安全帶未系 警告燈（知 識點）佩戴安全 帶（知識 點）調(diào)整座椅 位置（知 識點）.邊類型：操作部件：兒童座椅邊 類 型 ： 更 換部 件 ： 輪 胎邊類型：操作部件：安全帶邊類型：操作部件：座椅5知 識 圖 譜 目 前 狀 況知識構(gòu)建情況l 車系：4000l 品牌：327l 車型：4萬l 配置：670萬l 經(jīng)銷商：3萬l 保養(yǎng)：1.5萬l 經(jīng)銷商-車型：230萬l 發(fā)動機：3萬l 輪胎：2萬l 口碑：18萬l 版型：6萬存儲規(guī)模l 實體數(shù)目：10萬l 三元組數(shù)目（屬性+關(guān)系）：3000萬5知 識 圖 譜 答 案 生 成圖譜問答一般流程問句分發(fā)問題形式化語義解析圖檢索及推理知識圖

18、譜答案評分排序答案生成針對手冊知識問答問題語義解析實體：景逸X6句法分析 推薦（核心詞） 關(guān)鍵詞匹配機油景逸X6推薦使用什么機油呢推薦、機油針對手冊知識問答答案評分排序評分標(biāo)準(zhǔn)：- 標(biāo)簽相似性- 標(biāo)題相似性更換，蓄電池怎么更換蓄電池蓄電池充電和蓄電池更換0.990.87蓄電池更換候選答案蓄電池充電和蓄電池更換候選答案紳寶X25怎么更換蓄電池問句語義標(biāo)簽 充電，蓄電池，更換知識點標(biāo)題語義標(biāo)簽 蓄電池，更換蓄電池更換知識點標(biāo)題5檢 索 式 問 答應(yīng)用背景l(fā) 擁有社區(qū)論壇總結(jié)的200多萬精華問答對l 補充圖譜和閱讀理解還不能覆蓋的知識，完善整個答案體系l 根據(jù)問句語義相似度，檢索相關(guān)問題答案，返回給

19、用戶問句：長安逸動有必要安裝發(fā)動機護板嗎問題語義相似度：翼虎機油加幾升合適？翼虎換機油換多少升？問題語義相似度：卡羅拉多久更換變速箱油？卡羅拉多少公里需要更換變速箱油？5檢 索 式 問 答具 體 方 案模型訓(xùn)練問句相似度計算學(xué)習(xí)問題的語義表征x1x2x3x4Embeddingh1LSTMGRU Encodingh2h3h4softmaxX: (x1, x2,.,)EmbeddingLSTMGRU EncodingY: (y1, y2,.,)HxHy問句對：Cos5閱 讀 理 解應(yīng)用背景l(fā) 存在大量知識數(shù)據(jù)是更新快、時效性強或者不易通過先驗知識結(jié)構(gòu)化或者結(jié)構(gòu)化效率極低的場景，比如：新車上市、活

20、動規(guī)則等場景。l 通過機器閱讀理解的運用，可以減少人工知識點拆解工作，讓機器直接對文檔進行閱讀，為用戶提供文檔解讀服務(wù)，是 最自然的交互方式。新聞資訊攬勝是哪個部門的產(chǎn)品？答案捷豹路虎SVO依據(jù)：此款新車是捷豹路虎SVO部門（特 別車輛運營團隊）的產(chǎn)品，其是主要負(fù)責(zé) 設(shè)計和定制高性能、豪華車型的專屬團隊。新款秦Pro什么時候上市？9月20日依據(jù)：新車正式上市時間為9月20日，不 過目前已經(jīng)開啟預(yù)售，感興趣的網(wǎng)友可以 到店里了解下，接下來我們先看下展廳里 的這臺秦Pro DM版本新車。5閱 讀 理 解具 體 方 案問題文本詞嵌入層N-BiSRUN-BiSRU上下文相關(guān)詞表述交互層指針層問句解析文檔檢索閱讀理解模型 調(diào)用輸出概率排序解析實體及關(guān) 系等相關(guān)文檔集文檔片段定位結(jié)構(gòu)化預(yù)處理特征計算編碼表示答案輸出目錄CONTENTS1 背景簡介2 架構(gòu)與流程3 語義理解