2024獵戶星空NLP技術(shù)進(jìn)展及產(chǎn)品應(yīng)用

獵戶星空NLPiphone4ssiri，人背景噪聲以及機(jī)器自己產(chǎn)生的聲音消除以取得一個干凈的信號，由于現(xiàn)在多采用麥克風(fēng)陣SR之后通過NLUSTPolicyRankingactionNLG塊生成機(jī)器要表達(dá)的想法并通過TTS把文本轉(zhuǎn)化為音頻并利用speaker播放出來。別非常大，對于ASR和NLP如果沒有相應(yīng)的垂直行業(yè)知識預(yù)練，效果往往會比較差）；NLP智能交互服務(wù)、自然語言理解、智能對話、問答聊天系統(tǒng)、三方技能服務(wù)，做綜合決策，并支持業(yè)務(wù)線配置，用戶自定義技能的開放平臺。首歡快的歌叫小蘋果”，“北京明天可以洗車嗎”。CEO810NLPquery/ASRcontext/用戶信息/語境等內(nèi)容，首先在基礎(chǔ)NLP工作中進(jìn)行query用戶query的槽位進(jìn)行抽取，對領(lǐng)域和槽位進(jìn)行綜合管理得出用戶真正的意圖做一個結(jié)構(gòu)activelearning要強(qiáng)調(diào)的一點(diǎn)是對于NLU這部分詞典資源數(shù)據(jù)的清洗是非常重要的，我們一般直接拿過來的人力，而且非常重要，如果資源清洗的不好，所有的線上NLU效果都會變差，必須通過CFG于領(lǐng)域在冷啟動階段的語義解析，NLU的新需求大多基于此進(jìn)行快速開發(fā)。在積累了大量首先我們將領(lǐng)域分類模塊替換為模型，這里我們基于LSTM做了一個模型層面的意圖和領(lǐng)LSTMLSTMsoftmax意圖分類同樣基于此模型，在領(lǐng)域分類上準(zhǔn)確率可以達(dá)到93%，在意圖分類上準(zhǔn)確率可以達(dá)到96%。雙向LSTM加CRF，線上總體準(zhǔn)確率可達(dá)92%。雙向LSTM內(nèi)層特征可以做一些共享和互補(bǔ)，這對系統(tǒng)的整體效果是有幫助的，我們借鑒了一些公開的論文做了一個聯(lián)合學(xué)習(xí)模型，將slot抽取和意圖分類最終做了一個統(tǒng)一的損queryquery庫構(gòu)建和答案生成。實(shí)現(xiàn)方法有三種：1）基于檢索式QA系統(tǒng)；2）基于知識圖譜的QA庫，相似query不同義以及同義query差別大等。目前我們線上跑的系統(tǒng)主要是基于檢索式的智能問答系統(tǒng)，query進(jìn)來后先進(jìn)行經(jīng)過rank后得到answer。此外，由于ASR存在許多識別錯誤，我們會做一些拼音層面的BIBI用戶畫像這個基礎(chǔ)service在上層做一個語義理解以及內(nèi)容推送，廣告系統(tǒng)的一個應(yīng)用。用戶畫像根據(jù)設(shè)備d用者，所以通過設(shè)備d主動quy及點(diǎn)播情況來刻畫用戶，我們描述的主要是一些相關(guān)的有聲內(nèi)容的維度以及一些用戶的基本信息，比如用戶的地點(diǎn)、性別、職業(yè)等。用戶交互的頻度，用戶每個quryfm,music；出去玩吧！”但是如果用戶在不斷地謾罵機(jī)器人，機(jī)器人就會接受用戶的每個query并