知識圖譜構建實踐建設方案

知識圖譜構建實踐建設方案概念框架建設步驟3案例介紹技術趨勢數(shù)字化轉型趨勢數(shù)字化轉型趨勢計算智能計算智能信息化信息化感知智能感知智能通過“眼睛”“耳朵”認知智能認知智能智能化智能化知識圖譜知識圖譜連通企業(yè)內(nèi)外部異構數(shù)據(jù)>連通大數(shù)據(jù)技術與AI技術連通人類智能和人工智能數(shù)據(jù)中臺式數(shù)據(jù)湖式知識中臺式數(shù)據(jù)中臺式數(shù)據(jù)湖式知識中臺式知識圖譜服務化帶來哪些好處研究對象：組織內(nèi)的知識知識的不同類型知識的循環(huán)過程知識的不同類型參考：概念框架建設步驟3案例介紹?層次化?循環(huán)迭代數(shù)據(jù)類型問題現(xiàn)象問題實質技術任務結構化非結構化信息重疊結......CRF層詞嵌入層OI-LOCOI-LOChh序列層(實體)序列層(實體)b≤≤b≤≤hh>>>hhh>>>hwww中愛我國中愛我國 >依存層(關系)標簽嵌入 >依存層(關系)標簽嵌入>>依存嵌入詞/詞性嵌入層清華大學坐落于北京。輸入句子輸入句子詞嵌入詞嵌入表示學習G=(V,E)網(wǎng)絡嵌入特征節(jié)點分類鏈接預測節(jié)點相似度xi八(1)yiy(k)iyi(1)xi無監(jiān)督組件無監(jiān)督組件……參數(shù)共享……有監(jiān)督組件拉普拉斯拉普拉斯特征映射……參數(shù)共享……節(jié)點j節(jié)點節(jié)點j節(jié)點ixjyj(k)yjyj(1)xj[t,t+dt]時刻之間的概率ft):=f(ft):=f(t|H(t))t時刻之前的概率*F(t)t1t2t3tt+dt\t=TF(t)t時刻之后的概率歷史歷史H(t)S(t)參數(shù)知識庫1參數(shù)知識庫1數(shù)據(jù)映射對齊結果知識庫格式轉換知識融合資源對齊結果知識庫格式轉換知識融合資源先驗對齊信息抽取預訓練語言模型聯(lián)合訓練模型信息抽取預訓練語言模型聯(lián)合訓練模型知識庫2知識庫2化文本化文本類別屬性>子類不相交圖向量傳播向量空間相似度(a)圖嵌入模型向量空間相似度(b)圖匹配網(wǎng)絡?異構數(shù)據(jù)庫組合：融合后的增刪改查，及效率提升方案；?分層次的數(shù)據(jù)倉庫：大而全，存歷史、存全量；小而美，支持特定應用，實時響應、批量同步；?知識溯源：溯源元數(shù)據(jù)，血緣關系記錄與分析，可溯源哈希；據(jù)知識按照預先的約定（結構體系、符號體系）去表人類所生產(chǎn)和表達的知識能夠讓機器可讀、可執(zhí)行。機器可以從數(shù)據(jù)源中抽取、歸納出知識并形式化的文檔管理文檔管理 4相關性1概念定義檢索推薦(關聯(lián)的)概念體系下的事實(零散的)事實抽象具體幾類常見知識的執(zhí)行規(guī)范指標指標規(guī)則規(guī)則機器學習模型機器學習模型基于SCM的推理引擎工作流工作流WfMC參考實現(xiàn)一切知識管理相關的問題，歸根結底都是知識表示可視化的一般框架知識庫增強的可視化可視化的一般框架知識庫增強的可視化少數(shù)類別多類別多類別有周期無周期 單元素多變量少數(shù)類別多類別多類別有周期無周期少數(shù)類別少數(shù)類別長期時序短期時序長期時序短期時序單元素單變量單元素單變量不同時刻不同時刻不同元素不同元素少量數(shù)據(jù)單變量兩個變量少量數(shù)據(jù)單變量兩個變量大量數(shù)據(jù)可視化大量數(shù)據(jù)可視化三個變量兩個變量三個變量兩個變量 動態(tài) 靜態(tài) 短期長期 簡單份額相對增減含子元素組成及絕對差 簡單份額相對增減含子元素組成及絕對差·從洞察到行動；信息檢索常用框架知識庫增強的檢索算法2.數(shù)據(jù)增強1.神經(jīng)網(wǎng)絡模型2.預訓練模型2.稠密方法排序特征集成排序特征集成相關文檔…N-gram嵌入表示增強的實體嵌入表示…MwwMweMewM…N-gram嵌入表示增強的實體嵌入表示…MwwMweMewMee>>…Bigrams…Trigramsunigrams…Bigrams…Trigrams朱元璋朱元璋增強的實體 家族族譜MsoftMatchFeatureΦ(M)?LIUZ,XIONGC,SUNM,etal.Entity-DuetNeuralRanking:UnderstandingtheRoleofKnowledgeGraphSemanticsinNeuralInformationRetrieval[C]//ACL2018.?XIONGC,POWERR,CALLANJ.Explicitsemanticrankingforacademicsearchviaknowledgegraphembedding[C]//WWW2017.知識庫增強的推薦算法推薦算法發(fā)展歷程：知識庫增強的推薦算法實體向量關系向量知識庫用戶向量物品向實體向量關系向量知識庫用戶向量物品向量推薦系統(tǒng) >AutRecNeuralcFPNN加入Deepcrossing(a)依AutRecNeuralcFPNN加入Deepcrossing >知識庫知識庫 >知識庫知識庫實體向量關系向量實體向量關系向量用戶向量物品向量實體向量關系向量用戶向量物品向量>基于ResNet的學習用戶向量物品向量推薦系統(tǒng)推薦系統(tǒng)學習 >用神經(jīng)網(wǎng)絡替代協(xié)同過濾中的點積操作基于單隱層自動編碼器推薦系統(tǒng)與強化學習結合DRN >(c)交推薦系統(tǒng)與強化學習結合DRN >(c)交替學習 DIN將因子分解機的隱向量作為嵌入表示初始化值DIN將因子分解機的隱向量作為嵌入表示初始化值將將LR作為wide部分,FNNFNN化過程建模廠在Deep部分替換成有雙向交VVDeep部分Deep部分改進DIENwide部分改進在Deep部分加在Deep部分加入注意力網(wǎng)絡換為跨層網(wǎng)絡處理特征交叉NFMDeepFMAFMDeep&crossNFMDeepFMAFMDeep&crossFMFM?王喆．深度學習推薦系統(tǒng)[M]．北京：電子工業(yè)出版社，2020?YUB,ZHOUC,ZHANGC,etal.APrivacy-PreservingMulti-TaskFrameworkforKnowledgeGraphEnhancedRecommendation[J].IEEEAccess,2020?知識庫問答。?基于語義解析?基于信息抽取?基于向量建模得分s(q,a)得分s(q,a)=f(q)Tg(a)候選答案與問句的匹配度①嵌入模型①嵌入模型問句的嵌入式表示f(q)查詢點積問句的嵌入式表示f(q)查詢點積檢索模塊子圖的嵌入式表示g(a) >問句的二進制編碼子圖的二進制編碼 >問句的二進制編碼子圖的二進制編碼候選相似Freebase子圖唐朝問句q相似問句選擇模塊碎葉城素葉城≤候選相似Freebase子圖唐朝問句q相似問句選擇模塊碎葉城素葉城≤李白Tokmok——標準問題答案李白Tokmok——標準問題答案在Freebase中檢測在Freebase中檢測問句中的實體候選答案子圖安西都護府BORDESA,CHOPRAS,WESTONJ.QuestionAnsweringwithSubgraphEmbeddings[J].ComputerScience知識推理技術路線知識推理技術路線演繹推理技術歸納推理技術演繹推理技術歸納推理技術基于規(guī)則推理算法學習推理基于規(guī)則推理算法學習推理混合推理本體推理方法本體推理方法邏輯編程推理邏輯編程推理查詢重寫方法查詢重寫方法產(chǎn)生式規(guī)則方法產(chǎn)生式規(guī)則方法基于圖結構基于表示學習時序預測推理元學習小樣本強化學習推理marriedToinfluences……添加懸掛邊添加閉合邊hasChildsupervises y>marriedTo y>hasChild z>hasChild z>hasChild z>xxxxxxxmarriedToxmarriedTohasChildyzxmarriedTohasChildxy-z:hasChildhasChild(z,x)←marriedTo(y,z)∧hasChild(y,x)傳統(tǒng)的規(guī)則推理中的AMIE算法規(guī)則與知識聯(lián)合訓練邏輯知識真值≤ >≤邏輯連接(巴黎,坐落于,法國)關系嵌入實體嵌入關系嵌入GUOS,WANGQ,WANGL,etal.Jointlyembeddingknowledgegraphsandlogicalrules[C]//EMLP2016概率邏輯神經(jīng)網(wǎng)絡√√國籍←國籍←居住地√出生于^坐落于←國籍←國籍←從政于√×√×。觀察到的隱藏的×假待預測權重QUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495實體預測關系路徑推理ηη>>頭實體描述..頭實體描述..…..——心w1iξi>ττw2ηw3ηw3>>ηw4>>ηw4ηwηw5尾實體描述w6>尾實體描述w6>ξiτw7ξiτw7η尾實體名η>>…詞嵌入查詢η語義平均τ掩碼ξi融合θθ上下文特征θ抽取特征isAisA-1ATaleofATaleof>>>>>>>>SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018LAON,COHENW.Relationalretrievalusingacombinationofpath-constrainedrandomwalks[J].Machinelearning,20102.人機協(xié)同：3.主動學習：降低相似樣本的重復標注成本VROI=產(chǎn)出收益=應用價值?復用性投入成本需求分析'方案設計'開發(fā)'標注'訓練'運維VSSM簡單規(guī)則規(guī)則引擎簡單模型復雜模型特征工程集成學習概念框架建設步驟3案例介紹售前售中售后金融營銷、反欺詐、信用評分智能投顧、智能投研、反洗錢、行為評分、貸中提醒、核保核賠催收、審計、智能客服智能分診、藥物挖掘智能問診、影像診療、健康管理教育營銷、自適應學習、智能排課智能評測、分級閱讀視頻分析零售營銷物流管理、自主結算、數(shù)字供應商顧客行為分析、銷售復盤工業(yè)安全防護缺陷監(jiān)測、生產(chǎn)優(yōu)化、供應鏈優(yōu)化、機器人智能維保政務重點人員監(jiān)控、消防應急交通指揮、自動駕駛、一網(wǎng)通辦、一網(wǎng)通管、團伙發(fā)現(xiàn)、訴訟輔助消費品營銷公安地鐵制造業(yè)餐飲、零售 事地人物事地人物車輛工務機電信號人機料法人場人場貨貨消費品營銷公安地鐵制造業(yè)餐飲、零售人群人群曝光效果代言人媒體效果代言人媒體體系廣告體系廣告推廣推廣成分產(chǎn)品生產(chǎn)者消費者客戶成分產(chǎn)品生產(chǎn)者消費者客戶步驟場景步驟場景輿情洞察輿情洞察原文原文維度維度痛點場景情情感產(chǎn)品人群痛點產(chǎn)品人群痛點場景渠道質量監(jiān)控渠道分級管理直銷技能培訓直銷績效考核培訓考核培訓考核材料核驗保全策略反欺詐催收策略信用評估渠道質量監(jiān)控渠道分級管理直銷技能培訓直銷績效考核培訓考核培訓考核材料核驗保全策略反欺詐催收策略信用評估數(shù)據(jù)修復流失預警挽留客群凈值提升客群細分交叉銷售客戶畫像統(tǒng)一授信資產(chǎn)質量監(jiān)控規(guī)則有效性模型穩(wěn)定性產(chǎn)品、運營、風控、審計作業(yè)、銷管、產(chǎn)品、運營、風控、審計策略配置與管理模型參策略配置與管理模型參數(shù)配置規(guī)則集工作流數(shù)據(jù)服務系統(tǒng)拖拽查詢SQL查詢API查詢報表系統(tǒng)(明細報表、指標體系)半自動化經(jīng)營報告離線加工異構數(shù)據(jù)管理決策引擎數(shù)據(jù)源工作流引擎分類回歸關系圖譜在線學習數(shù)據(jù)路由離線加工異構數(shù)據(jù)管理決策引擎數(shù)據(jù)源工作流引擎分類回歸關系圖譜在線學習數(shù)據(jù)路由規(guī)則引擎模型管理特征工程異常檢測文件交換區(qū)主題層數(shù)據(jù)模型語義層(指標體系、集市)異構查詢鏡像同步鏡像同步全量存儲實時加工消息隊列全量存儲實時加工消息隊列實時清洗實時畫像衍生加工質量監(jiān)控質量監(jiān)控檢索告警數(shù)據(jù)規(guī)范檢索告警數(shù)據(jù)規(guī)范質量監(jiān)控權限與加解密控制元數(shù)據(jù)任務調度資源管控服務監(jiān)控數(shù)據(jù)資源數(shù)據(jù)資產(chǎn)知識資產(chǎn)數(shù)據(jù)獲取數(shù)據(jù)獲取>數(shù)據(jù)預處理>探索性分析>正<——<正