2024阿里神馬智能對話問答

阿里神馬智能對話問答的一些積累。開發(fā)的語智能助手是類似于度秘，Siri我們知識圖譜的建立已經(jīng)有三年的時間了，在國內(nèi)也是有著top22、對話系統(tǒng)關于對話系統(tǒng)，我們都知道里面最重要的三個部分就是NLU、DM、NLG。這是一個非常是指對話理解，自然語言，DM相當于大腦，CM是上下文的管理。NLU其實就是把一個非結(jié)構(gòu)的自然語言轉(zhuǎn)換為結(jié)構(gòu)化的可執(zhí)行的函數(shù)。如果是人來處理這理，過濾掉一些廢話的信息。對于NLU來說其實就是識別問題的領域以及意圖，這其實是slot。關鍵點是我們怎么能夠把這些3、DM對話管理通用性會很差。通用性是一個必須的要求，我們怎么才能做到通用性，我們用到了一個blanstek方法，上面會有一個本體的知識庫，有點像知識圖譜，準確的來說知識圖譜是本IntentSlotDM，它首先會有很多領域，比如是開車打電話，開車聽音樂的。在領域的下面又會有一些功能，類似機構(gòu)或者公司的架構(gòu)。其中的root就是老大，什么都能做。我DM大家認為前面就是一套規(guī)則，現(xiàn)在很火的是增強學習，深度學習，RNN他們之間有什么關系，這里闡述一下。在學術(shù)上，DMDSTpolicyDST是對話狀態(tài)的識別，類似于NLU，但是現(xiàn)在加入了機器學習的方法（目前相對于傳統(tǒng)的基于詞典等方法沒有明顯的優(yōu)勢），policy方法相對比較死板，雖然可以加一些隨機的路徑，而Policy話有沒有錯誤、背后的真正意思是什么和處理過后的數(shù)據(jù)？所以POMDP應用于不確定性和自動策略優(yōu)化的情況。目前又推出了一個基于深度學習的增強學習的方法DRL。比如阿爾法狗，用深度學習的方法將不同的狀態(tài)建模，應用不同的Policy。我們拿對話與阿爾法狗進行對比，阿爾法狗在19x19的棋盤做出那么多的決策，對于對話利用模擬器收集數(shù)據(jù)slotNLG實現(xiàn)方法在學術(shù)界也是熱點討論的，在工業(yè)界主要還是基于模版，因為模版有便于控基于知識圖譜的問答，重點在于query結(jié)構(gòu)化，準確率高但覆蓋率低。第二種是高質(zhì)量問queryqueryQA資源和積累才可以做的。所以整體的流程是天貓精靈日志過去，然后問題分類分為CNN閑queryquery和其他問答query。然后在經(jīng)過UGC生產(chǎn)、外包生產(chǎn)和問答url挖掘最終確定高質(zhì)量問答、眾包審核和挖掘?qū)彊?quán)威數(shù)據(jù)之間以及答案與知識圖譜之間），答案質(zhì)量模型和Qt相似度模型。RNN+attentionRNN的query，然后在做一個attention。之后在算他的分數(shù)，選擇出分數(shù)較高的。另外在召回段，相關包括對話理解和相關匹配；有趣：多樣性、個性化和場景化；可持續(xù)包括用戶畫可以通過一些手段來優(yōu)化，比如加一些attention，來優(yōu)化他的回答。在decoder過程中決這個問題，現(xiàn)在通過的方法只有兩種，第一個是通過seq2seq加attention的方式來優(yōu)化，第二種是優(yōu)化他的lossfunction。不斷的優(yōu)化目標函數(shù)。提升回答的多樣性?，F(xiàn)在很多是基于CAVE的方法來提升多樣性和魯棒性。當然也有很多種方法，這只是其中CHATAGG、排序觸發(fā)和語料模型。CHATAGG序、對話和問答三部分，排序觸發(fā)包括了基礎文本，VSMBM25、翻譯模型、DL生成式