知識(shí)圖譜構(gòu)建實(shí)踐

3連通企業(yè)內(nèi)外部異構(gòu)數(shù)據(jù)連通大數(shù)據(jù)技術(shù)與AI連通企業(yè)內(nèi)外部異構(gòu)數(shù)據(jù)連通大數(shù)據(jù)技術(shù)與AI技術(shù)連通人類(lèi)智能和人工智能勢(shì)通過(guò)“眼睛”“耳朵”數(shù)字化轉(zhuǎn)型趨勢(shì)數(shù)字化轉(zhuǎn)型趨勢(shì)銷(xiāo)存、人財(cái)物數(shù)據(jù)化，應(yīng)用場(chǎng)景碎片化問(wèn)題；解決知識(shí)資產(chǎn)化問(wèn)題，13）：）：結(jié)詞嵌入層OB-LOCI-LOCcccbbbhhhwww愛(ài)中國(guó)cbOOB-LOCI-LOCcccbbbhhhwww愛(ài)中國(guó)cbOhhww我我依存層(關(guān)系)序列層(實(shí)體)依存層(關(guān)系)序列層(實(shí)體)于于……..... .…表示學(xué)習(xí)G=(V,E)特征節(jié)點(diǎn)分類(lèi)鏈接預(yù)測(cè)節(jié)點(diǎn)相似度xi八(1)yiyi(k)yi(1)xi無(wú)監(jiān)督組件無(wú)監(jiān)督組件……參數(shù)共享有監(jiān)督組件……拉普拉斯拉普拉斯特征映射……參數(shù)共享……節(jié)點(diǎn)j節(jié)點(diǎn)節(jié)點(diǎn)j節(jié)點(diǎn)ixj(1)yjyj(k)jy(1)jxjf(t):=f(t|H(f(t):=f(t|H(t))t時(shí)刻之前的概率F(t)t=Tt1t2t3tt+dtt=Tt時(shí)刻之后的概率歷史H(t)歷史H(t)）：參數(shù)數(shù)據(jù)映射清洗對(duì)齊結(jié)果先驗(yàn)對(duì)齊清洗對(duì)齊結(jié)果先驗(yàn)對(duì)齊知識(shí)庫(kù)知識(shí)融合結(jié)構(gòu)化數(shù)據(jù)庫(kù)≤>格式轉(zhuǎn)換知識(shí)庫(kù)知識(shí)融合結(jié)構(gòu)化數(shù)據(jù)庫(kù)≤>格式轉(zhuǎn)換信息抽取資源預(yù)處理識(shí)別抽取資源聯(lián)合訓(xùn)練模型預(yù)訓(xùn)練語(yǔ)言模型聯(lián)合訓(xùn)練模型預(yù)訓(xùn)練語(yǔ)言模型非結(jié)構(gòu)化文本化文本類(lèi)別屬性子類(lèi)不相交傳播(a)圖嵌入模型(b)圖匹配網(wǎng)絡(luò)據(jù)很多時(shí)候需要全圖計(jì)算，文檔管理文檔管理知識(shí)按照預(yù)先的約定（結(jié)構(gòu)體系、符號(hào)體系）去表人類(lèi)所生產(chǎn)和表達(dá)的知識(shí)能夠讓機(jī)器可讀、可執(zhí)行。機(jī)器可以從數(shù)據(jù)源中抽取、歸納出知識(shí)并形式化的 配置文件模型抽取業(yè)務(wù)指標(biāo)標(biāo)簽邏輯E多類(lèi)別多類(lèi)別少數(shù)類(lèi)別多類(lèi)別有周期無(wú)周期單元素多變量少數(shù)類(lèi)別多類(lèi)別有周期無(wú)周期少數(shù)類(lèi)別少數(shù)類(lèi)別長(zhǎng)期時(shí)序短期時(shí)序長(zhǎng)期時(shí)序短期時(shí)序 單元素單變量不同時(shí)刻不同時(shí)刻不同元素 少量數(shù)據(jù)不同元素 少量數(shù)據(jù)單變量?jī)蓚€(gè)變量 大量數(shù)據(jù)可視化單變量?jī)蓚€(gè)變量 大量數(shù)據(jù)可視化三個(gè)變量組成兩個(gè)變量三個(gè)變量組成兩個(gè)變量動(dòng)態(tài)動(dòng)態(tài)靜態(tài)靜態(tài)長(zhǎng)期短期長(zhǎng)期短期絕對(duì)組成相對(duì)比例絕對(duì)組成相對(duì)比例相對(duì)增減含子元素絕對(duì)組成相對(duì)比例絕對(duì)組成相對(duì)比例相對(duì)增減含子元素組成及絕對(duì)差簡(jiǎn)單份額組成及絕對(duì)差簡(jiǎn)單份額 ·從洞察到行動(dòng)；信息檢索常用框架知識(shí)庫(kù)增強(qiáng)的檢索算法知識(shí)增強(qiáng):知識(shí)增強(qiáng):文檔檢索:文檔重排序:文檔檢索:文檔重排序:排序特征集成排序特征集成相關(guān)文檔……嵌入表示增強(qiáng)的實(shí)體嵌入表示MwwMewMweM……嵌入表示增強(qiáng)的實(shí)體嵌入表示MwwMewMweMee注意力>>…………朱元璋家族族譜朱元璋描述類(lèi)型增強(qiáng)的實(shí)體>>家族族譜描述類(lèi)型嵌入表示交互矩陣M……………最終排序得分………Φ(M)?LIUZ,XIONGC,SUNM,etal.Entity-DuetNeuralRanking:UnderstandingtheRoleofKnowledgeGraphSemanticsinNeuralIn?XIONGC,POWERR,CALLANJ.Explicitsemanticrankingforacademicsearchviaknowledge推薦算法發(fā)展歷程：協(xié)同過(guò)濾、矩陣分解、邏輯回歸、特征交叉、GBDT+LR、大加入 加入 >基于單隱層自動(dòng)編碼器用神經(jīng)網(wǎng)絡(luò)替代協(xié)同過(guò)濾中的點(diǎn)積操作基于ResNet的基于單隱層自動(dòng)編碼器用神經(jīng)網(wǎng)絡(luò)替代協(xié)同過(guò)濾中的點(diǎn)積操作推薦系統(tǒng)與強(qiáng)化學(xué)習(xí)結(jié)合DRN在嵌入層與MLP之間加入注意力機(jī)制 >DIN推薦系統(tǒng)與強(qiáng)化學(xué)習(xí)結(jié)合DRN在嵌入層與MLP之間加入注意力機(jī)制 >DIN將因子分解機(jī)的隱向量作為嵌入表示初始化值DNN/MLPFNN加入ARGRU序列FNN加入ARGRU序列模型,對(duì)興趣演化過(guò)程建模將LR作為wide部分,將MLP作為Deep部分在Deep部分替換成有雙向交在Deep部分替換成有雙向交互層的MLPNFMDeep部分改進(jìn)DIENwideDeep部分改進(jìn)DIENwide部分改進(jìn)將wide部分由將wide部分由LR替換為FM在Deep部分加入注意力網(wǎng)絡(luò)將wide部分替換為跨層網(wǎng)絡(luò)處理特征交叉AFMAFMKGEKGE引入學(xué)習(xí)>>>推薦系統(tǒng)用戶(hù)向量物品向量知識(shí)庫(kù)實(shí)體向量關(guān)系向量推薦系統(tǒng)用戶(hù)向量物品向量知識(shí)庫(kù)實(shí)體向量關(guān)系向量(a)依次學(xué)習(xí)實(shí)體向量關(guān)系向量學(xué)習(xí)>知識(shí)庫(kù)KGE實(shí)體向量實(shí)體向量關(guān)系向量學(xué)習(xí)>知識(shí)庫(kù)KGE實(shí)體向量關(guān)系向量用戶(hù)向量物品向量知識(shí)庫(kù)KGE >推薦系統(tǒng)用戶(hù)向量物品向量推薦系統(tǒng)用戶(hù)向量物品向量推薦系統(tǒng)推薦系統(tǒng)(b)聯(lián)合學(xué)習(xí)(c)交替學(xué)習(xí)?YUB,ZHOUC,ZHANGC,etal.APrivacy-PreservingMulti-TaskFrameworkforKnowledgeGraphEnhancedRecommendatio知識(shí)庫(kù)問(wèn)答可以分為：>>≤≤得分s得分s(q,a)=f(q)Tg(a)候選答案與問(wèn)句的匹配度嵌入模型 ①-嵌入模型 ①-嵌入矩陣W嵌入矩陣W嵌入矩陣W嵌入矩陣W問(wèn)句的嵌入式表示f(q)子圖的嵌入式表示g(a)子圖的二進(jìn)制編碼子圖的二進(jìn)制編碼問(wèn)句的二進(jìn)制編碼唐朝唐朝素葉城素葉城碎葉城李白碎葉城李白安西都護(hù)府候選答案子圖a(碎葉城)安西都護(hù)府候選答案子圖a(碎葉城)問(wèn)句中的實(shí)體FAQ問(wèn)答的一般框架BORDESA,CHOPRAS,WESTONJ.QuestionAnsweringwithS演繹推理技術(shù)演繹推理技術(shù)歸納推理技術(shù) 本體推理方法基于規(guī)則推理 本體推理方法基于規(guī)則推理 邏輯編程推理 查詢(xún)重寫(xiě)方法 混合推理 產(chǎn)生式規(guī)則方法算法學(xué)習(xí)推理 邏輯編程推理 查詢(xún)重寫(xiě)方法 混合推理 產(chǎn)生式規(guī)則方法算法學(xué)習(xí)推理基于圖結(jié)構(gòu)基于表示學(xué)習(xí)時(shí)序預(yù)測(cè)推理元學(xué)習(xí)小樣本強(qiáng)化學(xué)習(xí)推理 y> y> z> z> z>xxxxxxxymarriedTo>zhasChild>xxymarriedTo-zhasChild:x真值 >≤邏輯連接真值 >≤邏輯連接邏輯知識(shí)實(shí)體嵌入關(guān)系嵌入GUOS,WANGQ,WANGL,etal.Jointlyembeddingknowledgegra√√√出生于出生于^坐落于??(圖靈,國(guó)籍,英國(guó))×√×√觀察到的√真。隱藏的×假?待預(yù)測(cè)權(quán)重QUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495實(shí)體預(yù)測(cè)關(guān)系路徑推理ηη>>頭實(shí)體描述ξ w1>τξ w1>τ w2η w2η w3 w3η> >w4η> >w4ηηw5 w6w5 w6ξ>τ w7ξ>τ w7θθ6ηθ7ηθ7>Ψ(t)…>ηητξiθθθθ詞嵌入查詢(xún)語(yǔ)義平均掩碼融合上下文特征抽取特征isA-1isA-1ATaleofATaleof>>>>>publish-1>publish-1>>SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018LAON,COHENW.Relationalretrievalusingacombinationofpath-constrainedrandomwalks[J].Machinelearning,2010KaaS建設(shè)經(jīng)驗(yàn)總結(jié)（1）數(shù)據(jù)源分析schema設(shè)計(jì)人工標(biāo)注模型開(kāi)發(fā)錯(cuò)誤分析圖譜構(gòu)?理解業(yè)務(wù)：資深的業(yè)務(wù)專(zhuān)家比蹩腳的數(shù)據(jù)分析師更有價(jià)值KaaS建設(shè)經(jīng)驗(yàn)總結(jié)（2）產(chǎn)出收益產(chǎn)出收益投入成本需求分析'方案設(shè)計(jì)'開(kāi)發(fā)'標(biāo)注'訓(xùn)練'運(yùn)維簡(jiǎn)單規(guī)則規(guī)則引擎簡(jiǎn)單模型復(fù)雜模型特征工程集成學(xué)習(xí)3 地物人事地物人事場(chǎng)人貨場(chǎng)人貨營(yíng)銷(xiāo)活動(dòng) TA媒體TA媒體渠道類(lèi)型投放代言人投放代言人指標(biāo)體系廣告指標(biāo)體系廣告人群標(biāo)簽人群標(biāo)簽興趣標(biāo)簽性別延展屬性興趣標(biāo)簽性別延展屬性成分基礎(chǔ)屬性功效成分基礎(chǔ)屬性功效行為使用關(guān)系行為使用關(guān)系年齡輿情輿情作者來(lái)源作者來(lái)源原文產(chǎn)品人群痛點(diǎn)產(chǎn)品人群痛點(diǎn)場(chǎng)景數(shù)據(jù)服務(wù)系統(tǒng)模型參數(shù)配置工作流配置可視化導(dǎo)航半自動(dòng)化經(jīng)營(yíng)報(bào)告數(shù)據(jù)服務(wù)系統(tǒng)模型參數(shù)配置工作流配置可視化導(dǎo)航半自動(dòng)化經(jīng)營(yíng)報(bào)告拖拽查詢(xún)SQL查詢(xún)規(guī)則集配置報(bào)表系統(tǒng)(明細(xì)報(bào)表、指標(biāo)體系)銷(xiāo)售直銷(xiāo)技能培訓(xùn)直銷(xiāo)績(jī)效考核渠道質(zhì)量監(jiān)控渠道分級(jí)管理貸后培訓(xùn)考核培訓(xùn)考核材料核驗(yàn)保全策略離線(xiàn)加工異構(gòu)數(shù)據(jù)管理決策引擎語(yǔ)義層(指標(biāo)體系、集市)主題層數(shù)據(jù)模型(資產(chǎn)目錄)文件交換區(qū)規(guī)則引擎工作流引擎異構(gòu)查詢(xún)反欺詐CRM催收策略鏡像同步業(yè)務(wù)系統(tǒng)信用評(píng)估分類(lèi)回歸異常檢測(cè)數(shù)據(jù)修復(fù)全量存儲(chǔ)時(shí)序表示關(guān)系圖譜爬蟲(chóng)消息隊(duì)列實(shí)時(shí)清洗衍生加工實(shí)時(shí)畫(huà)像運(yùn)營(yíng)客群細(xì)分客群凈值提升交叉銷(xiāo)售銷(xiāo)售直銷(xiāo)技能培訓(xùn)直銷(xiāo)績(jī)效考核渠道質(zhì)量監(jiān)控渠道分級(jí)管理貸后培訓(xùn)考核培訓(xùn)考核材料核驗(yàn)保全策略離線(xiàn)加工異構(gòu)數(shù)據(jù)管理決策引擎語(yǔ)義層(指標(biāo)體系、集市)主題層數(shù)據(jù)模型(資產(chǎn)目錄)文件交換區(qū)規(guī)則引擎工作流引擎異構(gòu)查詢(xún)反欺詐CRM催收策略鏡像同步業(yè)務(wù)系統(tǒng)信用評(píng)估分類(lèi)回歸異常檢測(cè)數(shù)據(jù)修復(fù)全量存儲(chǔ)時(shí)序表示關(guān)系圖譜爬蟲(chóng)消息隊(duì)列實(shí)時(shí)清洗衍生加工實(shí)時(shí)畫(huà)像運(yùn)營(yíng)客群細(xì)分客群凈值提升交叉銷(xiāo)售流失預(yù)警挽留特征工程三方在線(xiàn)學(xué)習(xí)離線(xiàn)文件模型管理數(shù)據(jù)路由資源管控服務(wù)監(jiān)控任務(wù)調(diào)度元數(shù)據(jù)維護(hù)數(shù)據(jù)規(guī)范特征工程三方在線(xiàn)學(xué)習(xí)離線(xiàn)文件模型管理數(shù)據(jù)路由資源管控服務(wù)監(jiān)控任務(wù)調(diào)度元數(shù)據(jù)維護(hù)數(shù)據(jù)規(guī)范質(zhì)量監(jiān)控權(quán)限與加解密控制檢索告警風(fēng)控客戶(hù)畫(huà)像統(tǒng)一授信資產(chǎn)質(zhì)量監(jiān)控規(guī)則有效性模型穩(wěn)定性數(shù)據(jù)資源數(shù)據(jù)資產(chǎn)-變量分布情況-變量分布情況-存量客戶(hù)數(shù)據(jù)探索性分析-潛在客戶(hù)數(shù)據(jù)探索性分析數(shù)據(jù)預(yù)處理>>>數(shù)據(jù)預(yù)處理>>>數(shù)據(jù)獲取模型評(píng)估模型開(kāi)發(fā)模型評(píng)估模型開(kāi)發(fā)信用評(píng)分信用評(píng)分-對(duì)接業(yè)務(wù)系統(tǒng)-對(duì)接業(yè)務(wù)系統(tǒng)o-分值刻度設(shè)置o-穩(wěn)定性監(jiān)控壞賬率壞賬率(a)寬度學(xué)習(xí)