任務(wù)驅(qū)動(dòng)的多輪對(duì)話的設(shè)計(jì)參考

WordWord專(zhuān)業(yè)資料1.1背景知識(shí)介紹多輪對(duì)話之所以稱之為多輪對(duì)話，而不是多輪問(wèn)答，是因?yàn)槌藛?wèn)答內(nèi)容外，還有閑聊模式下的情感交流，以及多數(shù)情況以陳述句形式表達(dá)的情景模式，因此多輪問(wèn)答實(shí)際是多輪對(duì)話的子集。由于事件的復(fù)雜性直接導(dǎo)致了多輪對(duì)話的復(fù)雜性，即上文所述的正常的知識(shí)問(wèn)答和命令問(wèn)答外，還有情感和場(chǎng)景表述，造成每一句與上下文語(yǔ)義高度相關(guān)或不相關(guān)交錯(cuò)出現(xiàn)，就導(dǎo)致了規(guī)則的高度復(fù)雜性。諳句K對(duì)詰語(yǔ)可 對(duì).應(yīng)主體工容二1再明，可型'：：?jiǎn)朎1陳述2.惠及3國(guó)理）無(wú)語(yǔ)權(quán)'：：Mi1弧?E宙您"近注9曲通 力31F幺時(shí)候能發(fā)苴卮：'：>：'對(duì)二1丁E宙您"近注9曲延 方33得第%女啊、D3二仃產(chǎn)4匕我5C底三算況兔WiT >373T9我家知海等著電加呢3二3二制二?。萦拔摇昂銢r兔WiT >373:3；.：.：D才「“二eBf3^S0d6af329c9aBdi 160790L惜您指等一下：正在為您核實(shí)處理中噴t1T1T1T16OT2Hm出莫“睡涅船先出 WK匚席什總問(wèn)題我E以后反處權(quán)解法曳？1：1㈤花一m出莫“睡涅船先出 WT旺3［數(shù)Hk］耐顯亢版am"去9天恭租姓名打犬或犬物和數(shù)字打"1C二二乙？3e出期■在叫益沛 ■日禮C二13二忠e出期■在叫益沛 :。區(qū)這款商三庫(kù)房還法有到即二二二對(duì)二丁匚/甥陽(yáng)曲■虹先汕 二:他6小幺時(shí)候能到苴耳？iii上3物/甥陽(yáng)曲■虹先汕二17什可魄，康樣責(zé)的先貪二-13次血制25M6ai329如diT6口瞥器嚏看前個(gè)青曳質(zhì)?D-D-D-LW7S88曲制25期血32%兆陽(yáng)-51初毗南騎一袋都沒(méi)有么？T。T）T。TL6Q?盹甘e市您述3；屋九先Sdi .C有的話都給:生花E ：■二？.就二泯的長(zhǎng)簽“前五旌”生W1T 工:3二二?：二。二三?三E宙簽“前五旌”生W1T 二門(mén)照九精等靜1111fi7388eif^250d￡=：j23:3aij： IF可打恩tI。丁「造E求您SE64生在 W儂弓查值以援作丁有黃先賢二二116C7158E求您SE64生在力吃3感曲:星京走是兩個(gè)售二二116C7158eBf3fl25M6aI329c9aEdi->160789&>Ot關(guān)注一下H單而物流信息哈T1T1T1-^16070BS日相您口則:算先兆在 1/儂r狗,啥時(shí)饌食專(zhuān)部：1：'2通:審E出您口哈M洶加祖 W7照則E一良拄 二二二L6CT397E出您口哈M洶先加 1^17399年三卷雪快點(diǎn)發(fā)貨：iZ。二制二型E宙我制胡三：算兜加WIT 旁的強(qiáng)1二二/二三蚊如果用有限狀態(tài)機(jī)來(lái)處理多輪對(duì)話，就必須對(duì)話語(yǔ)權(quán)方（即誰(shuí)說(shuō)出的話，必須被對(duì)方回答，則這方為對(duì)話話語(yǔ)權(quán)方）的每一個(gè)token語(yǔ)句進(jìn)行意圖識(shí)別，引入意圖隊(duì)列，對(duì)隊(duì)列進(jìn)行基于規(guī)則的推理機(jī)處理或基于深度學(xué)習(xí)的預(yù)測(cè)，例如：（寒暄>查訂單>確認(rèn)退款>?）正常情況？==再見(jiàn)結(jié)束本輪對(duì)話。當(dāng)然也可以用seq2seq的方法，將整個(gè)對(duì)話過(guò)程，抽象成一個(gè)session。輸入若干個(gè)相關(guān)句子，解碼成一個(gè)句子，即答案。多輪交互的一個(gè)重點(diǎn)問(wèn)題是：如何根據(jù)上下文理解當(dāng)前的意圖，而不僅僅是針對(duì)單輪進(jìn)行一個(gè)分析，從而能夠使得對(duì)話在一個(gè)連續(xù)的語(yǔ)境下，是具備session粒度理解能力的。以下方案，均假設(shè)有一個(gè)已經(jīng)做得比較好的單輪理解以后的情況：嘗試方案1：最簡(jiǎn)單粗暴地，把多輪query，融合成一個(gè)單輪的query，進(jìn)行一次性的解析.直接將多輪交互的意圖理解問(wèn)題，轉(zhuǎn)換成一個(gè)單輪的意圖理解問(wèn)題，從而復(fù)用原有的單輪理解效果。例如：我想看電影-周星馳演的一喜劇片，三個(gè)query合并以后，解析到實(shí)際用戶的需求，是周星馳主演的喜劇電影。優(yōu)點(diǎn)：簡(jiǎn)單，粗暴，易于實(shí)現(xiàn)，幾乎服用了單輪解析能力缺點(diǎn)：簡(jiǎn)單，粗暴，易于出錯(cuò)，幾乎沒(méi)有任何實(shí)質(zhì)性的多輪解析能力，純粹靠運(yùn)氣優(yōu)化方向：可以加入一些query拼接的限制，提高拼接的準(zhǔn)確率，從而在運(yùn)用到單輪解析能力的同時(shí)，不至于在準(zhǔn)召上偏離得太離譜（如：只拼接兩輪的、三輪及以上拼接，考慮拼接后的意圖變化情況等）嘗試方案2:不是簡(jiǎn)單拼接，而是結(jié)果和query的識(shí)別過(guò)程拼接：?jiǎn)屋喴呀?jīng)解析出了一個(gè)意圖和某些槽位，將此意圖及槽位存儲(chǔ)起來(lái)。遇到query的時(shí)候，判定該意圖下，這個(gè)query能否納入同樣的意圖中，抽取出對(duì)應(yīng)的槽位。如果可以，則更新意圖的槽位內(nèi)容。如果不可以，則拋棄當(dāng)前意圖，以query作為單輪解析，得到新的意圖。例如：我想看電影-要免費(fèi)的，第一輪意圖為電影，第二輪在電影這個(gè)意圖下，發(fā)現(xiàn)“免費(fèi)”這個(gè)槽位，是符合電影意圖描述的，所以，為該意圖的槽位新增一個(gè)“免費(fèi)”例如：我想看愛(ài)情電影一能給我講個(gè)笑話嗎，第一輪意圖為電影，而第二輪在電影這個(gè)意圖下，發(fā)現(xiàn)query并沒(méi)有任何跟電影相關(guān)的槽位信息，所以，拋棄第一輪的電影意圖，直接將第二輪query當(dāng)成單輪的，直接解析得到新的意圖-笑話。優(yōu)點(diǎn)：基于意圖來(lái)進(jìn)行判定，比拼接更準(zhǔn)確，也更廣泛地識(shí)別當(dāng)前query是否仍在同一個(gè)意圖中，遞歸地實(shí)現(xiàn)多輪意圖解析，避免了拼接過(guò)長(zhǎng)，拼接過(guò)于粗暴帶來(lái)的誤召回和欠召回缺點(diǎn)：存儲(chǔ)下來(lái)的是意圖和槽位，然后再基于此進(jìn)行新的query解析，判定是否槽位能夠納入原有意圖范圍內(nèi)，這種遞歸旦有某一步除了問(wèn)題，后面的每一步，基本上都掛掉了，納入原有意圖范圍內(nèi)，這種遞歸解析錯(cuò)誤的傳播深度和廣度，都會(huì)很大優(yōu)化方向：前面幾步，可以輔助以方案一的拼接，來(lái)提高意圖的正確性，保證后續(xù)的方向，都是正確的嘗試方案3:以對(duì)話管理過(guò)程中增加一些冗余性來(lái)對(duì)方案2進(jìn)行擴(kuò)充，提高召回率。多輪交互一旦進(jìn)入了某個(gè)意圖，即開(kāi)始該意圖的滿足，而當(dāng)其第一次多輪解析未能命中該意圖，也無(wú)法命中任何其他意圖（純屬閑聊）的時(shí)候，可以過(guò)該輪的意圖解析，而繼續(xù)進(jìn)入下一輪，檢測(cè)該意圖是否涵蓋了當(dāng)前query中的槽位，是則可以繼續(xù)該意圖的滿足，不至于輕易斷開(kāi)多輪對(duì)話流（此處的冗余輪數(shù)可以根據(jù)實(shí)際情況自行調(diào)整，一輪、兩輪均可）。例如：給我推薦個(gè)餐廳-有川菜口味的嗎-咦，還蠻多嘛（冗余跳過(guò)）―找個(gè)最便宜的吧優(yōu)點(diǎn)：可以一定程度上緩解方案二遞歸性帶來(lái)的意外跳出意圖的問(wèn)題，提高每個(gè)意圖的服務(wù)整體性，保證多輪的延續(xù)性。缺點(diǎn)：因?yàn)樵砩细桨付且恢碌?，所以還是會(huì)存在方案二的缺點(diǎn)，并且冗余跳過(guò)有可能是未能識(shí)別到具體的意圖，從而令本該跳出對(duì)話的多輪，多停留了一兩輪在了當(dāng)前意圖，才能跳出去，會(huì)降低交互的智能性。優(yōu)化方向：盡可能提升多個(gè)意圖的覆蓋面，從而減少切換意圖的誤判為聊天，提升冗余的準(zhǔn)確性上述三個(gè)方案，都是可以直接通過(guò)比較簡(jiǎn)單的框架設(shè)計(jì)來(lái)實(shí)現(xiàn)的，而讀者可以發(fā)現(xiàn)，可能最關(guān)鍵的還是這些方案的前提：【假設(shè)有一個(gè)已經(jīng)做得比較好的單輪理解】?？梢钥吹?，單輪理解是所有意圖識(shí)別的基礎(chǔ)，只有做好單輪的理解，才可能做好多輪，當(dāng)然，做好了單輪，不一定就能做好多輪。對(duì)話系統(tǒng)的分類(lèi)及方法：按照對(duì)話答案的生成方式大致可以分為以下幾種：規(guī)則依存系統(tǒng)（Rule-basedsystem）：對(duì)話經(jīng)過(guò)預(yù)定義的規(guī)則（關(guān)鍵詞、if-else、機(jī)器學(xué)習(xí)方法等）處理，然后執(zhí)行相應(yīng)的操作，產(chǎn)生回復(fù)。（ELIZA系統(tǒng)如果輸入語(yǔ)句中沒(méi)有發(fā)現(xiàn)預(yù)定義規(guī)則則生成generic的響應(yīng)）。缺點(diǎn)是規(guī)則的定義，系統(tǒng)越復(fù)雜規(guī)則也越多，而且其無(wú)法理解人類(lèi)語(yǔ)言，也無(wú)法生成有意義的自然語(yǔ)言對(duì)話。處在比較淺層的階段;檢索依存系統(tǒng)（IR-basedSystems）：信息檢索或者最近鄰方法，要求生成的響應(yīng)與對(duì)話存在語(yǔ)義相關(guān)性（VSM、TF-IDF、Rank、推薦等排序方法）。有點(diǎn)是比生成模型簡(jiǎn)單，直接從訓(xùn)練集中選擇答案，且可以添加自定義規(guī)則干預(yù)排序函數(shù)較為靈活；缺點(diǎn)是無(wú)法應(yīng)對(duì)自然語(yǔ)言的多變性、語(yǔ)境解構(gòu)、連貫性等，對(duì)語(yǔ)義的細(xì)微差別也無(wú)法識(shí)別；自生成依存系統(tǒng)（Generation-basedSystems）:將對(duì)話視為input-outputmapping問(wèn)題，提出了MT-based方法（SMT統(tǒng)計(jì)機(jī)器翻譯、IBM-model、phrase-basedMT等），這種方法復(fù)雜且無(wú)法很好的解決輸入輸出的對(duì)應(yīng)關(guān)系（尤其是當(dāng)句子較復(fù)雜的時(shí)候，只適合單詞級(jí)別）。但是NN、seq-to-seq等方法很好地解決了這些問(wèn)題，可以生成更加豐富、有意義、特別的對(duì)話響應(yīng)。但是還存在許多問(wèn)題，比如沉悶的回應(yīng)、agent沒(méi)有一個(gè)固定的風(fēng)格、多輪對(duì)話槽填充等等?？蚣芤来嫦到y(tǒng)（Frame-basedDialogueSystems）:定義一個(gè)對(duì)話的框架，及其中所涉及的重要元素。優(yōu)點(diǎn)是目標(biāo)明確框架對(duì)對(duì)話指導(dǎo)意義明顯，適用于飛機(jī)票、餐館等預(yù)定領(lǐng)域。缺點(diǎn)是框架設(shè)計(jì)需要人工成本，且無(wú)法遷移到別的領(lǐng)域，并未涉及到人類(lèi)語(yǔ)言的理解層面。按照對(duì)話的應(yīng)答方式大致可以分為以下幾種：.有限狀態(tài)機(jī)系統(tǒng)（Finite-StateMachineSystems）：（用戶使用預(yù)定義的模板提問(wèn)，系統(tǒng)之響應(yīng)能力范圍之內(nèi)的問(wèn)題），這種方法的缺點(diǎn)是完全依賴于對(duì)框架slot的填充，而無(wú)法決定對(duì)話的進(jìn)程和狀態(tài)（用戶接受建議、拒絕等）.純粹的多輪對(duì)話依存系統(tǒng)(State-basedSystems):主要包含系統(tǒng)狀態(tài)(上下文信息、用戶意圖、對(duì)話進(jìn)程等)和系統(tǒng)行動(dòng)兩(基于state采取action)個(gè)部分。MDP、POMDP等模型。.純粹的單輪對(duì)話(Question-Answering-QA)系統(tǒng)(BasedDialogueSystems)：factoidQA-based，個(gè)人助手，需要回答各種各樣的問(wèn)題并且進(jìn)行交互式對(duì)話。目前的研究點(diǎn)主要包括，bot如何通過(guò)對(duì)話進(jìn)行自學(xué)習(xí)、對(duì)于out-of-vocab的詞匯應(yīng)該學(xué)會(huì)問(wèn)，即學(xué)會(huì)與人交流、如何通過(guò)在線反饋學(xué)習(xí)(犯錯(cuò)時(shí)調(diào)整、正確時(shí)加強(qiáng)) 待處理部分 1.2本文解決問(wèn)題本文主要關(guān)注于chit-chat和QA-baseddialogsystem。開(kāi)放域?qū)υ捝蒫hit-chat首先探討如何構(gòu)建一個(gè)能夠與人類(lèi)進(jìn)行有趣，有意義，連貫，一致和長(zhǎng)期對(duì)話的引人入勝的閑聊式對(duì)話系統(tǒng)。要求其擁有以下特性：避免dull沉悶的回應(yīng)，產(chǎn)生語(yǔ)義更加豐富的響應(yīng)解決一致性問(wèn)題，避免前后相應(yīng)不一致可以進(jìn)行長(zhǎng)期多輪對(duì)話使用對(duì)抗學(xué)習(xí)生成人類(lèi)無(wú)法區(qū)分的對(duì)話響應(yīng)為了實(shí)現(xiàn)上述的功能和特點(diǎn)，主要會(huì)引入下面幾種技術(shù)和算法來(lái)解決相應(yīng)的問(wèn)題?；バ畔?避免無(wú)聊的相應(yīng)目前神經(jīng)網(wǎng)絡(luò)傾向于產(chǎn)生類(lèi)似于“Idon'tknow”這種無(wú)聊的響應(yīng)(dullresponse/genericresponse)，不利于對(duì)話進(jìn)行。因?yàn)閷?duì)于模型來(lái)講，“Idon'tknow”這種答案往往都是正確的，但是我們可以反過(guò)來(lái)思考這個(gè)問(wèn)題，也就是將"Idon'tknow"作為輸入進(jìn)行訓(xùn)練。因此可以使用MaximumMutualInformation(MMI)取代MLE作為訓(xùn)練的優(yōu)化指標(biāo)，事實(shí)證明這種方法可以大幅度提升模型響應(yīng)的豐富度，減少dullresponse產(chǎn)生的頻率。這部分方法將會(huì)在第三章進(jìn)行詳細(xì)的介紹。解決Bot前后一致性問(wèn)題目前對(duì)話機(jī)器人無(wú)法產(chǎn)生前后一致性的對(duì)話，簡(jiǎn)單說(shuō)就是沒(méi)有一個(gè)固定的風(fēng)格。所以要給bot一個(gè)連續(xù)的“角色”，這種角色可以當(dāng)做是身份元素(事實(shí)背景、用戶簡(jiǎn)介)、語(yǔ)言行為、交互方式等的組合。作者基于Seq-to-Seq模型提出了兩種角色模型，一個(gè)是單bot的SpearkerModel，另一個(gè)是雙bot的Spearker-AddresseeModel。這部分內(nèi)容可以參考第四章以及他在2016年發(fā)表在ACL的論文“Apersona-basedneuralconversationmodel”。使用強(qiáng)化學(xué)習(xí)RL實(shí)現(xiàn)長(zhǎng)期多輪對(duì)話當(dāng)前的Seq-to-Seq模型大都使用MLE作為目標(biāo)函數(shù)并根據(jù)一輪對(duì)話來(lái)產(chǎn)生響應(yīng)，很難產(chǎn)生更長(zhǎng)久的多輪對(duì)話，一般在兩輪之后就陷入重復(fù)。所以作者提出使用強(qiáng)化學(xué)習(xí)來(lái)最大化長(zhǎng)期獎(jiǎng)勵(lì)的期望來(lái)增加對(duì)話輪次。并建設(shè)性地提出了三種Reward公式，**forward-looking、informative、coherent**，最后使用policygradient的方法進(jìn)行訓(xùn)練，取得了很好的效果。這部分內(nèi)容會(huì)在第五章進(jìn)行詳細(xì)介紹，或者參考其在2016年發(fā)表在EMNLP的文章“DeepReinforcementLearningforDialogueGeneration”使用對(duì)抗生成學(xué)習(xí)GAN產(chǎn)生對(duì)話目前模型生成的對(duì)話大都來(lái)自于訓(xùn)練數(shù)據(jù)集，這就一定程度上限制了產(chǎn)生相應(yīng)的多樣性、豐富程度等。所以引入GAN來(lái)生成更接近于人類(lèi)語(yǔ)言的響應(yīng)。這里使用一個(gè)Seq-to-Seq作為生成器，在用一個(gè)鑒別器來(lái)標(biāo)記生成的響應(yīng)是人類(lèi)語(yǔ)言還是機(jī)器生成語(yǔ)言，這樣Seq-to-Seq最終生成的響應(yīng)會(huì)越來(lái)越接近人類(lèi)語(yǔ)言。這部分內(nèi)容會(huì)在第六章進(jìn)行介紹，或者參考其在2017年發(fā)表在EMNLP上的文章〃Adversariallearningforneuraldialoguegeneration”。交互式QA對(duì)話機(jī)器人其次探討bot如何通過(guò)online學(xué)習(xí)完善自己，使得交互性更強(qiáng)。要求其可以：學(xué)會(huì)向人類(lèi)提問(wèn)，何時(shí)何處問(wèn)什么從online學(xué)習(xí)，根據(jù)錯(cuò)誤改進(jìn)自己通過(guò)提問(wèn)進(jìn)行交互學(xué)習(xí)因?yàn)槟壳皢?wèn)答系統(tǒng)當(dāng)遇到自己回答不了的問(wèn)題時(shí)（沒(méi)見(jiàn)過(guò)的表達(dá)形式，自己不知道的東西等情況），往往會(huì)做出很差的回應(yīng)或者重定向到其他資源（展示搜索網(wǎng)頁(yè)的結(jié)果）。但我們更希望機(jī)器人在遇到這種問(wèn)題時(shí)可以通過(guò)向?qū)Ψ教釂?wèn)的方式來(lái)進(jìn)行交互式問(wèn)答進(jìn)而解決該問(wèn)題。可以通過(guò)離線學(xué)習(xí)或者在線強(qiáng)化學(xué)習(xí)的方式進(jìn)行訓(xùn)練。這部分內(nèi)容將會(huì)在第七章進(jìn)行介紹，也可以參考其在2017年發(fā)表在ICLR上的論文〃Learningthroughdialogueinteractionsbyaskingquestions”。Human-in-the-Loop的對(duì)話學(xué)習(xí)目前的對(duì)話機(jī)器人大都使用固定的數(shù)據(jù)集提前訓(xùn)練好之后就開(kāi)始使用，但很多情況下我們需要機(jī)器人上線之后不斷地根據(jù)具體環(huán)境改善自己，也就是要進(jìn)行在線學(xué)習(xí)，根據(jù)對(duì)方的反饋來(lái)不斷地調(diào)整自己。所以作者使用一個(gè)teacher-student的對(duì)話數(shù)據(jù)集并結(jié)合強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練。這部分工作將在第，八章進(jìn)行介紹，也可以參考其2017年發(fā)表在ICLR上的文章“Dialoguelearningwithhuman-in-the-loop”。第二章背景知識(shí)這一部分主要介紹了論文中使用到的Seq-to-Seq模型、MemoryNetwork模型、增強(qiáng)學(xué)習(xí)中的policygradient方法這三塊內(nèi)容。如果不熟悉的同學(xué)可以抽時(shí)間看一看，這里因?yàn)橹耙呀?jīng)對(duì)Seq-to-Seq和MemNN兩部分有所掌握，所以主要看了一下policynetwork方面的知識(shí)，當(dāng)做是背景知識(shí)補(bǔ)充。強(qiáng)化學(xué)習(xí)中兩個(gè)主流的方法就是Q_learning和PolicyNetwork，相比Q_learning，policynetwork不需要顯示的求解估值函數(shù)，而且對(duì)于連續(xù)動(dòng)作和狀態(tài)空間的問(wèn)題，也可