從問答到直播小蜜虛擬主播的多模態(tài)技術(shù)實踐

小蜜虛擬主播的多模態(tài)技術(shù)實踐趙中州達(dá)摩院高級算法專家2020年12月天貓雙11第12年帶貨更強(qiáng)勁小蜜—雙11背后的新變化比相當(dāng)于10萬名人工客服的工作量店小蜜對話輪次能力等同于58.6萬名人工客服2018.11.12018.11.11熱線智能客服外呼規(guī)模支持音畫同步多模態(tài)交互全球消費者覆蓋數(shù)區(qū)，18種語言2020.11.12020.11.11為什么要做虛擬主播播限制時段怯場雙11十大黑科技—圍繞虛擬主播的交互新形態(tài)?通過播報內(nèi)容背后的意圖與情緒表?通過播報內(nèi)容背后的意圖與情緒表達(dá)，動態(tài)插入特色口升人物感染力與生動性今天的大促活動也太劃算了吧！殼很酥脆，夾心也是入口即化哦?智能場控系統(tǒng)?1對多問答、閑聊?暖場?游戲?發(fā)紅包?拉關(guān)注??智能劇本系統(tǒng)?挖掘多種商品內(nèi)容，自動生成合理、順暢、專業(yè)的報劇本?動態(tài)關(guān)聯(lián)圖片、視頻及3D模型等多媒體內(nèi)容，形成圖文劇本，提升貨品表現(xiàn)力圖從問答到直播，面臨的新挑戰(zhàn)從問答到直播的技術(shù)演進(jìn)劇本合成文案生成視覺呈現(xiàn)知識推理圖譜構(gòu)建劇本合成文案生成視覺呈現(xiàn)知識推理圖譜構(gòu)建意圖分類任務(wù)型對話問題生成文檔問答視覺問答動作驅(qū)動人臉重建情感TTS劇劇本編排虛擬人決策情感計算行為驅(qū)動直播間協(xié)同虛擬主播技術(shù)大圖(播報+問答)PartIIPartI直播PartIIPartI直播商品概要細(xì)節(jié)介紹活動優(yōu)惠用戶痛點商品問答亮點功能商品展示文案挖掘/生成文本改寫文本改寫圖譜對齊編排模式挖掘圖譜推理圖譜推理結(jié)構(gòu)規(guī)劃銜接素材篩選素材篩選機(jī)器閱讀問題生成問題生成視覺問答呈現(xiàn)多模態(tài)匹配細(xì)粒度理解細(xì)粒度理解美觀度評估素材排序素材銜接素材銜接PartI.從問答到直播，長劇本創(chuàng)作是首要挑戰(zhàn)重選品打爆點內(nèi)容專業(yè)多樣能種草有共鳴視聽呈現(xiàn)結(jié)合學(xué)術(shù)定義—Text/StoryGenerationStoryGenerationDataset:StoryGenerationDataset:WritingPrompts|開放式/生成不可控Ref:HierarchicalNeuralStoryGeneration(ACL2018)AKnowledge-EnhancedPretrainingModelforCommonsenseStoryGeneration(TACL2020)Dataset:ROTOWIRE/WIKIBIO|短文本/強(qiáng)依賴數(shù)據(jù)Ref:LongandDiverseTextGenerationwithPlanning-basedHierarchicalVariationalModel(EMNLP2019)學(xué)術(shù)定義—StoryTelling/StoryVisualizationVisualStoryTellingDataset：VIST|短文本/圖片元素多、差異大Ref:VisualStorytelling(NAACL2016)StorytellingfromanImageStreamUsingSceneGraphs(AAAI2020)StoryVisualizationDataset:CLEVR-SV/Pororo-SV|預(yù)研性方向/生成效果差Ref:StoryGAN:ASequentialConditionalGANforStoryVisualization(CVPR2019)虛擬主播劇本構(gòu)建流程詞語組詞語組頁測測質(zhì)量檢測量素材的挑戰(zhàn)—詳情頁結(jié)構(gòu)化改寫黃金配比配方，深為發(fā)絲注入清爽凈驗重排 (已切圖)LayoutembeddingObjectembeddingdel方入洗發(fā)凈化活力素材的挑戰(zhàn)—圖結(jié)構(gòu)賣點生成Novelgraph2textalgorithmSOTAon內(nèi)部和公開數(shù)據(jù)集Agenda,DuIEYunzhouShiZhilingLuoPengchengZhu,FengJi,WeiZhou,HaiqingChen,andYujiuYang.2020.G2T:GeneratingFluentDescriptionsforKnowledgeGraph.InProceedingsofthe43rdInternationalACMSIGIR2020.結(jié)構(gòu)的挑戰(zhàn)—引入知識圖譜增強(qiáng)邏輯性POI基礎(chǔ)生成的劇本更具有可信度，更符合消費者的認(rèn)強(qiáng)化真實感效)基于電商知識圖譜的知識推理[銜接句1]：接下來看一下面料材質(zhì)。[銜接句1]：接下來看一下面料材質(zhì)。和細(xì)膩[句子4]，讓每一個穿過它的人都愛不釋手，不易發(fā)生過敏的氣，保持干爽，上身十分純凈舒服[句子4]，舒適親膚不扎人[句子2.棉布材質(zhì)最大的特點就是吸濕性和吸汗性能極強(qiáng)，可以保3.棉布的透氣性較好，因此可以讓你時刻保持干爽整潔。凈舒服。?句子shuffle：學(xué)習(xí)句子重排能力?隨機(jī)丟棄/替換連詞&助詞：學(xué)習(xí)銜接能力?構(gòu)造重復(fù)樣本?[SEG1][SEG2],[SEG1][SEG3]-?保持多樣性，提升素材利用率型.4.6PartII.從問答到直播，關(guān)注點變化引發(fā)的問答新挑戰(zhàn)…后問答打卡/關(guān)注/轉(zhuǎn)發(fā)/口令惠問答某直播間對話分布?指令問答——可枚舉，確定性高?活動優(yōu)惠——玩法多，頻繁變動?商品問答——范圍廣，問題長尾?售中售后——占比小，易標(biāo)準(zhǔn)化豐富的答案來源vs高昂的維護(hù)成本通過閱讀理解，降低人工配置成本?基于海量問答語料預(yù)訓(xùn)練據(jù)做精調(diào)?借助不同任務(wù)的共同學(xué)習(xí)使模型在多場景提升10+F1從答到問—通過QAMaker輔助知識構(gòu)建純抽取業(yè)務(wù)可控性不足領(lǐng)域冷啟動缺乏訓(xùn)練語料文檔拆解慢，知識庫構(gòu)建成本高引入詳情頁內(nèi)容支持輕量化問答多模態(tài)閱讀理解—支持主觀、長尾問題回復(fù)?一圖勝千言，不僅可以回答事實類問題，還可以回答非事實類、主觀類問題，促進(jìn)成交轉(zhuǎn)化。芒果好吃嗎那你這個不會勾絲吧這款襪子是純棉透氣的嗎多模態(tài)閱讀理解—支持視覺-文字的匹配與對齊店心心心心念念等著它ll情頁圖片ROI細(xì)節(jié)右就可以取下化妝棉，然后在全臉再噴灑適量的純露，舒緩整個臉部肌視頻/關(guān)鍵幀這款T恤是圓領(lǐng)設(shè)計。圓領(lǐng)的設(shè)計，貼PVPV細(xì)節(jié)圖多模態(tài)閱讀理解挑戰(zhàn)?早期采用機(jī)器閱讀理解(MRC)的方案，對商品詳情頁中的OCR文字進(jìn)行閱讀理解，但純文本模態(tài)解決的問題?判斷一幅圖片能否回答用戶的問題，需要綜合理解多模態(tài)信息，包括用戶問題，圖片中的文字和圖像信息，這給算法帶來新的挑戰(zhàn)切圖任務(wù)中，通過邊緣檢測和文字聚類的方法容易產(chǎn)生誤切分多模態(tài)預(yù)訓(xùn)練如火如荼LXMERTVLBERTViLBERTVideoBertUNITERUnicoder-VL小蜜多模態(tài)算法—MMTK(MultiModalToolkit)MMTK多模態(tài)語言模型?構(gòu)造圖文跨模態(tài)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練–詳情頁圖片與OCR文字的對應(yīng)關(guān)系–詳情頁圖片的上下拼接關(guān)系–利用圖片中識別的對象、OCR的BoundingBox的坐標(biāo)位置信息等。?設(shè)計針對商品詳情圖的預(yù)訓(xùn)練任務(wù)–MTP：隨機(jī)掩蓋部分文本，利用圖片和上下文預(yù)測缺失文本–MIFR：隨機(jī)掩蓋圖片目標(biāo)，利用文本和其它目標(biāo)預(yù)測缺失目標(biāo)的特征–ITM：預(yù)測文本和圖片是否匹配–IRP：預(yù)測兩張圖片之間的關(guān)系準(zhǔn)確率圖片檢索召回訓(xùn)練態(tài)預(yù)訓(xùn)練異步處理實時問答可以定時多久小蜜視覺問答/劇本配圖流程異步處理實時問答可以定時多久總結(jié)?智能人機(jī)交互正在全面轉(zhuǎn)變?yōu)橐曨l、圖像、語音、文本多模態(tài)融合的交互方式，帶來更為擬人和豐富的交互體驗，虛擬人將成為人機(jī)交互的新入口。?