知識圖譜構(gòu)建實(shí)踐

知識圖譜構(gòu)建實(shí)踐1

2概念框架

為什么要用知識圖譜

兩類用戶、三類知識

技術(shù)框架建設(shè)步驟

六步建設(shè)法

經(jīng)驗(yàn)總結(jié)案例介紹

營銷實(shí)踐

金融實(shí)踐

地鐵實(shí)踐

媒資實(shí)踐

政務(wù)實(shí)踐3目錄知識圖譜 連通企業(yè)內(nèi)外部異構(gòu)數(shù)據(jù) 連通大數(shù)據(jù)技術(shù)與AI技術(shù) 連通人類智能和人工智能

通過“眼睛”“耳朵”等器官，機(jī)器也擁有視

覺、聽覺、觸覺等感知

能力。能夠幫助人類完

成“看”和“聽”的簡

單工作。

釋放AI紅利，并解決AI應(yīng)用場景碎片化問題；

解決知識資產(chǎn)化問題，

緩解知識難分享、難傳

承、難管理；

機(jī)器具備像人類一樣的學(xué)習(xí)和思考能力，能夠

獨(dú)自做出決策和采取行

動(dòng)，能夠部分或全部替

代人類的工作

存儲和處理海量數(shù)據(jù)。能夠幫助人類完成大量

的存儲和復(fù)雜的計(jì)算。

這一步是感知和認(rèn)知的

基礎(chǔ)。

整合業(yè)務(wù)系統(tǒng)、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)數(shù)據(jù)，使

得數(shù)據(jù)分析參與到生

產(chǎn)與經(jīng)營環(huán)節(jié)，決策

過程有據(jù)可循。

無紙化辦公，使得進(jìn)銷存、人財(cái)物數(shù)據(jù)化，

實(shí)現(xiàn)數(shù)據(jù)在線，提升

管理和決策效率數(shù)字化轉(zhuǎn)型趨勢AI技術(shù)趨勢認(rèn)知智能智能化感知智能信息化網(wǎng)絡(luò)化計(jì)算智能時(shí)代背景增效?知識庫增強(qiáng)的檢索、推薦、可視化、規(guī)劃?可解釋性強(qiáng)，更貼近業(yè)務(wù)語言創(chuàng)新?標(biāo)簽關(guān)聯(lián)→語義空間距離→

二階推理?反事實(shí)干預(yù)、問答降本?復(fù)用性強(qiáng)：員工間、問題間、領(lǐng)域間?穩(wěn)定性高：數(shù)據(jù)源變化數(shù)據(jù)挖掘的三種工作范式數(shù)據(jù)中臺式知識中臺式數(shù)據(jù)湖式知識圖譜服務(wù)化帶來哪些好處參考：?野中郁次郎

：《創(chuàng)造知識的企業(yè)》?國家標(biāo)準(zhǔn)委

：知識管理框架，GB/T

23703研究對象：組織內(nèi)的知識知識的不同類型知識的循環(huán)過程?事實(shí)知識

Know-what?原理知識

Know-why?決策知識

Know-how?知識官：中高層管理者?知識工程師：一線人員兩類用戶三類知識用戶與知識類型系統(tǒng)架構(gòu)：KaaS（Knowledgeasa

Service）概念框架

為什么要用知識圖譜

兩類用戶、三類知識

技術(shù)框架建設(shè)步驟

六步建設(shè)法

經(jīng)驗(yàn)總結(jié)案例介紹

營銷實(shí)踐

金融實(shí)踐

地鐵實(shí)踐

媒資實(shí)踐

政務(wù)實(shí)踐231目錄1.

知識建模2.知識抽取3.

知識管理4.

知識計(jì)算5.知識應(yīng)用6.

知識演化HI→AIAI→OI

OI→

HI六步建設(shè)法六步建設(shè)法（1）：知識建模任務(wù)體系示例類別體系示例?

原則

：?

層次化

?

網(wǎng)絡(luò)化

?

一般性

?

約束性

?

可維護(hù)?

可協(xié)作

?

方式

：?

自頂向下?

自底向上?

循環(huán)迭代六步建設(shè)法（1）：知識建模六步建設(shè)法（2）：知識抽取數(shù)據(jù)類型問題現(xiàn)象問題實(shí)質(zhì)技術(shù)任務(wù)結(jié)構(gòu)化結(jié)構(gòu)不統(tǒng)一、

質(zhì)量不穩(wěn)定規(guī)范性問題數(shù)據(jù)治理數(shù)據(jù)映射非結(jié)構(gòu)化信息丟失、

信息冗余、

信息重疊詞匯歧義、結(jié)構(gòu)鴻溝、

常識不完備實(shí)體識別關(guān)系抽取事件抽取隱性知識難總

結(jié)知識表示事理識別網(wǎng)絡(luò)嵌入表示時(shí)序嵌入時(shí)序點(diǎn)過程知識抽取技術(shù)路線圖CRF層BiLSTM層詞嵌入層B-LOCc2b2h2w4我BiLSTM-CRF模型依存層(關(guān)系)softmax標(biāo)簽嵌入序列層(實(shí)體)softmaxtanh隱藏層LSTM單元……依存嵌入詞/詞性嵌入層prep

pobj清華

大學(xué)

坐落

于

北京。聯(lián)合學(xué)習(xí)的序列樹結(jié)構(gòu)LSTM模型PHYStanhBi-TreeLSTM

B-ORG

I-ORGtanhBiLSTM詞嵌入表示層

詞語級別特征表示流水線法：DMCNN模型a

cameramandiedwhenatankfiredinBaghdad聯(lián)合學(xué)習(xí)法：JRNN模型實(shí)體識別、關(guān)系抽取、事件抽取記憶矩陣論元矩陣

觸發(fā)詞預(yù)測雙向LSTM句子嵌入句子級別特征抽取句子特征

卷積層

動(dòng)態(tài)多層池化層特征表示記憶

矩陣a

cameraman

diedwhen

an

American

tank

?redin…

LSTM單元

嵌入

dropout詞嵌入實(shí)體類型嵌入

依存關(guān)系嵌入a

cameramandiedwhena

tank?redin

Baghdad本地特征抽取器特征映射3特征映射2max(C13)

max(C12)

max(C11)實(shí)體提及“cameraman”實(shí)體提及“Baghdad”北京坐落大學(xué)于事件類型

特征預(yù)測輸出上下文

特征分類輸出層輸入句子詞嵌入層LSTM單元位置

特征隱藏層特征映射1h3h4h1b3b4b1I-LOC隱藏層w3w2w1nsubjc4c1c3愛中國OO...……參數(shù)共享有監(jiān)督組件…………參數(shù)共享……

時(shí)間序列網(wǎng)絡(luò)結(jié)構(gòu)節(jié)點(diǎn)分類鏈接預(yù)測節(jié)點(diǎn)相似度…

…xj (1)yjy

(k)y

(1)xjjxi八

(1)yiy

(k)y

(1)xiiit

1

t2

t

3

t

t+dt*t時(shí)刻之前的概率F

(t)t時(shí)刻之后的概率S*(t)隱性知識無監(jiān)督組件

無監(jiān)督組件[t,t+dt]時(shí)刻之間的概率*f

(t)

:=f(t|H(t))SDNE模型拉普拉斯

特征映射歷史H(t)*f

(t)dtG=(

V,E)表示學(xué)習(xí)網(wǎng)絡(luò)嵌入|V|

×k特征t=T節(jié)點(diǎn)j節(jié)點(diǎn)ij六步建設(shè)法（3）：知識管理

類別屬性子類

不相交本體1person

Document本體2Agent

Documents本體融合實(shí)例/關(guān)系融合流程融合格式轉(zhuǎn)換先驗(yàn)對齊對齊結(jié)果知識庫知識庫2知識庫1(a)圖嵌入模型

(b)圖匹配網(wǎng)絡(luò)知識融合Reviewer

paperReviewsubmission知識融合Author

paperReview聯(lián)合訓(xùn)練模型預(yù)訓(xùn)練語言模型圖向量傳播預(yù)處理識別

抽取治理結(jié)構(gòu)化數(shù)據(jù)庫信息抽取

writtenBY向量空間相似度向量空間相似度數(shù)據(jù)映射化文本haswritten資源非結(jié)構(gòu)參數(shù)≤

>清洗映射分類典型代表典型應(yīng)用場景數(shù)據(jù)模型優(yōu)點(diǎn)不足關(guān)系型MySQL

，

OracleOLTP的絕大多數(shù)場景二維表格模型易理解，使用方便，易于

維護(hù)和支持SQL讀寫效率低，固定的表結(jié)構(gòu)，面向日益復(fù)雜多樣的場景略顯呆板列存儲Cassandra

HBase,分布式的文件系統(tǒng)以列簇式存儲，將同一

列數(shù)據(jù)存在一起查詢速度快，可擴(kuò)展性強(qiáng)，

更容易進(jìn)行分布式擴(kuò)展功能相對局限鍵值型Redis

，Oracle

BDB內(nèi)容緩存，主要用于處理大量數(shù)據(jù)的高訪問負(fù)載，也用于一些日志系統(tǒng)等Key指向Value的鍵值對，通常用Hashtable來實(shí)現(xiàn)查詢速度快數(shù)據(jù)無結(jié)構(gòu)化，通常只被當(dāng)做字符串或者二進(jìn)制數(shù)據(jù)文檔型MongoDB

CouchDB,Web應(yīng)用數(shù)據(jù)結(jié)構(gòu)要求不嚴(yán)格，表結(jié)構(gòu)可變，不需要預(yù)先定義表結(jié)構(gòu)支持嵌套結(jié)構(gòu)，支持二級索引，可對任意字段進(jìn)行高效查詢查詢性能不高，而且缺乏

統(tǒng)一的查詢語法時(shí)序OpenTSDB，ClickHouse異常檢測、趨勢分析、

系統(tǒng)運(yùn)維由數(shù)據(jù)源（標(biāo)簽）、度

量、時(shí)間戳三部分表示寫入與查詢速度快，可擴(kuò)

展性強(qiáng)功能相對局限圖數(shù)據(jù)庫Neo4j

，

InfoGrid專注于構(gòu)建關(guān)系，如社

交網(wǎng)絡(luò)，推薦系統(tǒng)等。圖結(jié)構(gòu)利用圖結(jié)構(gòu)相關(guān)算法，如

最短路徑尋址等很多時(shí)候需要全圖計(jì)算，

結(jié)構(gòu)不易實(shí)現(xiàn)分布式集群知識存儲?

異構(gòu)數(shù)據(jù)庫組合：融合后的增刪改查，及效率提升方案；?

分層次的數(shù)據(jù)倉庫：大而全，存歷史、存全量；小而美，支持特定應(yīng)用，實(shí)時(shí)響應(yīng)、批量同步；?

知識溯源：溯源元數(shù)據(jù)，血緣關(guān)系記錄與分析，可溯源哈希；六步建設(shè)法（4）：知識計(jì)算

因果性

因果推斷4

相關(guān)性

1規(guī)則

模型工作流概念定義(關(guān)聯(lián)的)概念體系下的事實(shí)數(shù)倉集市語義庫

數(shù)據(jù)圖譜可視化探索配置文件

模型抽取業(yè)務(wù)指標(biāo)標(biāo)簽邏輯

ETL邏輯(零散的)事實(shí)互聯(lián)網(wǎng)物聯(lián)網(wǎng)L1：從人到人的非結(jié)構(gòu)化知識表示：處于這一層次的知識，無論是言傳身教，還是文字

圖表，都屬于非結(jié)構(gòu)化表達(dá)，需要人去閱讀、理解、

吸收，然后加以利用。L2：從人到人的半結(jié)構(gòu)化知識表示：知識按照預(yù)先的約定（結(jié)構(gòu)體系、符號體系）去表達(dá)，便于讀者快速檢索和理解。如：藥品說明書L3：從人到機(jī)的結(jié)構(gòu)化知識表示：人類所生產(chǎn)和表達(dá)的知識能夠讓機(jī)器可讀、可執(zhí)行。

L4：從機(jī)到機(jī)的結(jié)構(gòu)化知識表示：機(jī)器可以從數(shù)據(jù)源中抽取、

歸納出知識并形式化的

表達(dá)，然后在應(yīng)用環(huán)節(jié)自動(dòng)化執(zhí)行。知識計(jì)算的四個(gè)層次文檔管理KaaSUGC文件抽象具體檢索推薦行為日志業(yè)務(wù)數(shù)據(jù)(更新的)(先驗(yàn)的)幾類常見知識的執(zhí)行規(guī)范機(jī)器學(xué)習(xí)模型工作流因果模型規(guī)則指標(biāo)基于SCM的推理引擎WfMC參考實(shí)現(xiàn)PMML規(guī)范六步建設(shè)法（5）：知識應(yīng)用KGE方法歸類一切知識管理相關(guān)的問題，歸根結(jié)底都是知識表示問題。·從解釋性洞察，到探索性洞察；

·從洞察到行動(dòng)；可視化的一般框架知識庫增強(qiáng)的可視化

stackedareachart

Linehistogram

可視化Tableswithembeddedcharts對比分布關(guān)系stacked

100%barchartwithBarchartverticalscatterplot

bubble

sizestacked

100%

areachartstacked

100%

barchart無周期stackedbarchart短期相對比例簡單份額不同時(shí)刻短期時(shí)序有周期多類別兩個(gè)變量絕對組成三個(gè)變量兩個(gè)變量相對增減長期少數(shù)類別含子元素靜態(tài)不同元素少數(shù)類別動(dòng)態(tài)長期時(shí)序waterfallchartvariablewithchart絕對組成相對比例BarchartverticalBarcharthorizontalcircularareachart

單元素單變量

單元素多變量scatterplot單變量scatterplotpiechartTreemapLinechartLinechartBarhistogram組成及絕對差可視化

大量數(shù)據(jù)

少量數(shù)據(jù)多類別組成subcomponents檢索信息檢索常用框架知識庫增強(qiáng)的檢索算法EDRM模型技術(shù)框架?LIUZ,XIONG

C,

SUNM,

et

al.

Entity-DuetNeuralRanking:Understanding

the

Role

of

Knowledge

Graph

Semantics

inNeural

Information

Retrieval[C]//

ACL2018.?XIONGC,POWERR,

CALLAN

J.

Explicit

semantic

ranking

for

academic

search

via

knowledge

graph

embedding[C]//WWW2017.unigramsCNN…Bigrams…Trigrams增強(qiáng)的實(shí)體嵌入表示N-gram嵌入表示增強(qiáng)的實(shí)體嵌入表示MwwMewMweMee排序特征集成知識增強(qiáng):1.知識圖譜2.數(shù)據(jù)增強(qiáng)文檔檢索:1.稀疏方法2.稠密方法文檔重排序:1.神經(jīng)網(wǎng)絡(luò)模型2.預(yù)訓(xùn)練模型……朱元璋描述類型家族族譜描述類型查詢文檔softMatchFeatureΦ(M)步驟1

步驟2

家族族譜朱元璋交互矩陣M最終排序

得分top-k文檔相關(guān)文檔kernelpooling注意力步驟3CNN>>…………推薦算法發(fā)展歷程：協(xié)同過濾、矩陣分解、邏輯回歸、特征交叉、GBDT+LR、大規(guī)模分段線性模

型、深度學(xué)習(xí)推薦?王喆．深度學(xué)習(xí)推薦系統(tǒng)[M]

．北京：電子工業(yè)出版社，2020?YUB,ZHOU

C,ZHANG

C,

et

al.A

Privacy-Preserving

Multi-Task

Framework

for

Knowledge

Graph

Enhanced

Recommendation[J].

IEEE

Access,

2020在Deep部分替換成有雙向交互層的MLPNFM實(shí)體向量

關(guān)系向量學(xué)習(xí)>知識庫增強(qiáng)的推薦算法KGE

引入

學(xué)習(xí)>

>

>(b)聯(lián)合學(xué)習(xí)

(c)交替學(xué)習(xí)DNN/MLP加入ARGRU序列模型,對興趣演化過程建模將LR作為wide部分,

將MLP作為Deep部分實(shí)體向量

關(guān)系向量

用戶向量

物品向量將wide部分替

換為跨層網(wǎng)絡(luò)

處理特征交叉Deep&crosswide&Deepwide部分改進(jìn)DeepcrossingDeep部分改進(jìn)推薦系統(tǒng)用戶向量

物品向量推薦系統(tǒng)實(shí)體向量

關(guān)系向量將因子分解機(jī)的隱向量

作為嵌入表示初始化值交替學(xué)習(xí)MKR在嵌入層與MLP之

間加入注意力機(jī)制在Deep部分加

入注意力網(wǎng)絡(luò)用神經(jīng)網(wǎng)絡(luò)替代協(xié)同過濾中的點(diǎn)積操作將wide部分由

LR替換為FMAutRecFNNAFMDeepFMNeuralcFFMDRNPNNKGE

>學(xué)習(xí)

>推薦系統(tǒng)與

強(qiáng)化學(xué)習(xí)結(jié)合基于ResNet的

經(jīng)典DNN結(jié)構(gòu)推薦DIENDIN用戶向量

物品向量

>加入Product層基于單隱層

自動(dòng)編碼器(a)依次學(xué)習(xí)}推薦系統(tǒng)知識庫知識庫知識庫KGEFAQ問答的一般框架向量建模方法示意圖BORDESA,CHOPRA

S,WESTONJ.QuestionAnsweringwith

SubgraphEmbeddings[J].Computer

Science唐朝素葉城碎葉城Tokmok安西都護(hù)府知識庫問答可以分為：?

基于語義解析?

基于信息抽取?

基于向量建模問答系統(tǒng)可以分為：?

信息檢索式問答、?

FAQ問答、?

知識庫問答。FAQ

①-

相似問句

選擇模塊候選答案與問句的匹配度候選相似

問句查詢問句標(biāo)準(zhǔn)問題

答案問句的二進(jìn)制編碼φ(q)子圖的二進(jìn)制編碼Ψ(a)問句的嵌入式表示f(q)候選答案子圖

a(碎葉城)子圖的嵌入式表示g(a)在Freebase中檢測

問句中的實(shí)體嵌入矩陣

W嵌入矩陣

W得分s(q,a)

=f(q)Tg(a)Freebase子圖嵌入模型“詩

人

李

白

的

出

生

地

是

哪

里

?”問答問句q檢索模塊點(diǎn)積李白>≤六步建設(shè)法（6）：知識演化?r

y

>marriedTo

y

>hasChild

z

>hasChild

z

>hasChild

z

>hasChildhasChild(z,x)←marriedTo(y,z)∧hasChild(y,x)基于圖結(jié)構(gòu)基于表示學(xué)習(xí)時(shí)序預(yù)測推理

元學(xué)習(xí)小樣本強(qiáng)化學(xué)習(xí)推理添加懸掛邊添加閉合邊y

marriedTo

-

z

hasChild

:知識推理技術(shù)路線y

marriedTo

>z

hasChild

>演繹推理技術(shù)

歸納推理技術(shù)hasChildsupervises……marriedToinfluences……傳統(tǒng)的規(guī)則推理中的AMIE算法基于規(guī)則推理算法學(xué)習(xí)推理

產(chǎn)生式規(guī)則方法

本體推理方法知識推理

查詢重寫方法

邏輯編程推理

混合推理xxxxx?r概率邏輯神經(jīng)網(wǎng)絡(luò)(圖靈,出生于,倫敦)(圖靈,居住地,英國)知識推理規(guī)則與知識聯(lián)合訓(xùn)練KALE算法示意圖GUO

S,WANGQ,WANGL,etal.Jointlyembedding

knowledge

graphs

and

logical

rules[C]//

EMLP2016

觀察到的

√

真。

隱藏的

×

假?

1.5待預(yù)測權(quán)重pLogicNet示意圖QUM,TANGJ.Probabilisticlogicneuralnetworksforreasoning//arXiv:1906.08495實(shí)體嵌入關(guān)系嵌入真值[0,1]邏輯知識√√×√(巴黎,首都,法國)(巴黎,坐落于,法國)國籍

←居住地國籍

←

從政于出生于

^坐落于

←

國籍1.5(倫敦,坐落于,英國)(圖靈,從政于,英國)?

(圖靈,國籍,英國)邏輯連接≤

>真值++2.60.2知識推理實(shí)體預(yù)測關(guān)系路徑推理θ3θ5θ6θ4ηηθ2頭實(shí)體描述Φ(h)

…

關(guān)系名Ψ(r)

…

尾實(shí)體描述Φ(t)

…

尾實(shí)體名Ψ(t)

…

ητ

ξ

iθθ詞嵌入

查詢語義平均內(nèi)容掩碼目標(biāo)融合上下文

特征抽取特征LAON,COHENW.Relationalretrievalusingacombinationof

path-constrainedrandomwalks[J].Machinelearning,2010PatrickBront?isA

>θ7θ1SHIB,WENINGERT.Open-worldknowledgegraphcompletion[C]//AAAI2018Painter>頭實(shí)體名

…

Charlotte

Bront?WriterATaleof

Two

CitiesCharles

DickensNovelJaneEyreConMask算法示意圖PRA算法示意圖hasFatherpublish-1publish-1

wroteΨ(h)isA-1i

ξ

i

ξ

iwroteisA?isAisAisAisA

w6

w7

w

1

w2

w3

w4w5ηηη>>>>>>>>ττ1.

領(lǐng)域schema：先自上而下確定一級主題，再自下而上針對場景做主題分解2.

人機(jī)協(xié)同：?理解業(yè)務(wù)：資深的業(yè)務(wù)專家比蹩腳的數(shù)據(jù)分析師更有價(jià)值?理解技術(shù)的局限性：歷史≠未來，關(guān)聯(lián)≠因果，一階智能?先機(jī)器反向標(biāo)注，再人工修正3.

主動(dòng)學(xué)習(xí)：降低相似樣本的重復(fù)標(biāo)注成本4.多行業(yè)KG協(xié)同、語境，如：獵豹穿越森林?jǐn)?shù)據(jù)源分析schema設(shè)計(jì)人工標(biāo)注模型開發(fā)錯(cuò)誤分析圖譜構(gòu)建迭代更新KaaS建設(shè)經(jīng)驗(yàn)總結(jié)（1）精度難保障反復(fù)做無用功算法門檻高依賴專家經(jīng)驗(yàn)認(rèn)知偏差大難以一步到位標(biāo)注成本高結(jié)果一致性差1.

ROI：?

平衡與妥協(xié)：數(shù)據(jù)成本、時(shí)間成本、運(yùn)維成本、人力成本?

商業(yè)價(jià)值、社會(huì)價(jià)值

，行業(yè)標(biāo)準(zhǔn)化程度2.

解決實(shí)際問題，不全是訓(xùn)練模型：?

管理手段

+技術(shù)手段?

數(shù)據(jù)質(zhì)量、標(biāo)注成本、現(xiàn)場考察?

場景容錯(cuò)性：技術(shù)上限v.s.商用下限3.

訓(xùn)模型不全是高大上的算法：?

規(guī)則、線性模型不一定比非線性模型差，關(guān)鍵在特征?

提高泛化能力是永遠(yuǎn)的追求，加快速度也是?

傳統(tǒng)行業(yè)中多數(shù)場景下可解釋性很重要?

數(shù)據(jù)利用能力：從未標(biāo)記、有噪音的數(shù)據(jù)中學(xué)習(xí)LRDLMFSVMDT

NBROI

=

=

投入成本需求分析'方案設(shè)計(jì)'開發(fā)'標(biāo)注'訓(xùn)練'運(yùn)維KaaS建設(shè)經(jīng)驗(yàn)總結(jié)（2）產(chǎn)出收益應(yīng)用價(jià)值

?復(fù)用性簡單規(guī)則規(guī)則引擎簡單模型復(fù)雜模型特征工程集成學(xué)習(xí)1

2概念框架

為什么要用知識圖譜

兩類用戶、三類知識

技術(shù)框架建設(shè)步驟

六步建設(shè)法

經(jīng)驗(yàn)總結(jié)案例介紹

營銷實(shí)踐

金融實(shí)踐

地鐵實(shí)踐

媒資實(shí)踐

政務(wù)實(shí)踐3目錄售前售中售后金融營銷、反欺詐、信用評分智能投顧、智能投研、反洗錢、行為評分、貸中提醒、核保核賠催收、審計(jì)、智能客服醫(yī)療智能分診、藥物挖掘智能問診、影像診療、健康管理電子病歷、自動(dòng)回訪教育營銷、自適應(yīng)學(xué)習(xí)、智能排課智能評測、分級閱讀視頻分析零售營銷物流管理、自主結(jié)算、數(shù)字供應(yīng)商顧客行為分析、銷售復(fù)盤工業(yè)安全防護(hù)缺陷監(jiān)測、生產(chǎn)優(yōu)化、供應(yīng)鏈優(yōu)化、機(jī)器人智能維保政務(wù)重點(diǎn)人員監(jiān)控、消防應(yīng)急交通指揮、自動(dòng)駕駛、一網(wǎng)通辦、一網(wǎng)通管、

團(tuán)伙發(fā)現(xiàn)、訴訟輔助行業(yè)應(yīng)用消費(fèi)品營銷公安地鐵制造業(yè)餐飲、零售消費(fèi)品營銷公安地鐵制造業(yè)餐飲、零售車輛

工務(wù)

機(jī)電

信號人

機(jī)

料法

環(huán)圖譜化什么？——企業(yè)的核心生產(chǎn)要素和核心價(jià)值創(chuàng)造活動(dòng)營銷活動(dòng)供應(yīng)鏈案件偵破

社會(huì)治理事實(shí)知識：企業(yè)的核心生產(chǎn)要素技能知識：企業(yè)的核心價(jià)值創(chuàng)造活動(dòng)生產(chǎn)制造

運(yùn)營調(diào)度

供應(yīng)鏈協(xié)同 消費(fèi)者產(chǎn)品

銷售活動(dòng)

供應(yīng)鏈

服務(wù)活動(dòng)

設(shè)備管理

組織應(yīng)急處置設(shè)備維護(hù)車輛運(yùn)行人場人物地貨事技術(shù)方案業(yè)務(wù)需求營銷場景示例推廣技能體系多人協(xié)作編輯類別體系洞察營銷場景示例功效成分產(chǎn)品輿情關(guān)系網(wǎng)絡(luò)客戶廣告品牌品類性別維

度情

感原文來源曝

光效

果指標(biāo)體系投放人群標(biāo)簽興趣標(biāo)簽延展屬性年齡作者日期行為時(shí)序媒體內(nèi)容基礎(chǔ)屬性代言人TA使用渠道類型消費(fèi)者生產(chǎn)者場

景場

景步

驟痛

點(diǎn)人

群探索性洞察

猜測事物間可能存在的關(guān)系，尋

求機(jī)會(huì)做驗(yàn)證

如：針對特定客群，探索營銷創(chuàng)

意內(nèi)容關(guān)聯(lián)性洞察

以二部圖的方式展現(xiàn)要素間的關(guān)

聯(lián)關(guān)系

如：聲量統(tǒng)計(jì)解釋性洞察

根據(jù)結(jié)果，一步步反推，探尋結(jié)

果背后的原因

如：對于爆款產(chǎn)品，分析其成果

的營銷策略營銷洞察實(shí)踐產(chǎn)品人群場景痛點(diǎn)線下門店示例：導(dǎo)購話術(shù)推薦為了在劃傷時(shí)劃痕不明顯，特意多上了一層漆有的。這款車有5層漆珍珠白有底漆嗎？?

數(shù)據(jù)質(zhì)量問題：跨系統(tǒng)、歷史遺留；?統(tǒng)計(jì)口徑問題：經(jīng)營指標(biāo)不一致，口徑難以統(tǒng)一；?手工報(bào)表：零散的需求很多，提數(shù)周期長；?數(shù)據(jù)利用度低：無法加工復(fù)雜邏輯的衍生變量；?打通內(nèi)外部數(shù)據(jù)，構(gòu)建關(guān)系網(wǎng)絡(luò)；?統(tǒng)一建模平臺與系統(tǒng)接口，消除煙囪；?縮短建模周期；風(fēng)控客戶畫像統(tǒng)一授信資產(chǎn)質(zhì)量監(jiān)控規(guī)則有效性模型穩(wěn)定性銷售運(yùn)營客群細(xì)分客群凈值提升交叉銷售流失預(yù)警挽留直銷技能培訓(xùn)直銷績效考核

渠道質(zhì)量監(jiān)控

渠道分級管理需求與痛點(diǎn)技術(shù)方案金融：需求、方案數(shù)據(jù)資源數(shù)據(jù)資產(chǎn)知識資產(chǎn)離線加工異構(gòu)數(shù)據(jù)管理決策引擎語義層(指標(biāo)體系、集市)主題層數(shù)據(jù)模型(資產(chǎn)目錄)報(bào)表系統(tǒng)(明細(xì)報(bào)表、指標(biāo)體系)培訓(xùn)考核保全策略催收策略數(shù)據(jù)修復(fù)信用評估反欺詐材料核驗(yàn)培訓(xùn)考核全量存儲ID關(guān)聯(lián)打通異構(gòu)查詢在線學(xué)習(xí)特征工程模型管理數(shù)據(jù)路由時(shí)序表示關(guān)系圖譜工作流引擎分類回歸規(guī)則引擎異常檢測產(chǎn)品、運(yùn)營、

風(fēng)控、審計(jì)作業(yè)、銷管、

財(cái)務(wù)、高管實(shí)時(shí)畫像衍生加工消息隊(duì)列實(shí)時(shí)清洗API查詢SQL查詢拖拽查詢半自動(dòng)化

經(jīng)營報(bào)告鏡像同步文件交換區(qū)數(shù)據(jù)規(guī)范

質(zhì)量監(jiān)控權(quán)限與加

解密控制日志收集

檢索告警服務(wù)監(jiān)控資源管控任務(wù)調(diào)度可視化

導(dǎo)航模型參

數(shù)配置規(guī)則集配置工作流

配置元數(shù)據(jù)

維護(hù)策略配置與管理三方爬蟲離線文件業(yè)務(wù)

系統(tǒng)CRMSDK數(shù)據(jù)服務(wù)系統(tǒng)質(zhì)量監(jiān)控實(shí)時(shí)加工貸后審批數(shù)據(jù)源壞賬率?

數(shù)據(jù)：人行征信+外部數(shù)據(jù)?

算法：模型集成?

重點(diǎn)：大數(shù)據(jù)紅利?

數(shù)據(jù)：人行征信+外部數(shù)據(jù)?

算法：在線學(xué)習(xí)?

重點(diǎn)：客戶特征漂移問題?

數(shù)據(jù)：人行征信報(bào)告?

技術(shù)：線性模型?

重點(diǎn)：強(qiáng)變量的精耕細(xì)作?

數(shù)據(jù)：人行征信報(bào)告?

技術(shù)：非線性模型?

重點(diǎn)：算法優(yōu)化X

強(qiáng)變量

弱變量

隱藏單元

輸出單元偏置梯度支持向量真實(shí)壞賬率

線上LR最新LRGBTSMOB金融：信用評分模型(a)寬度學(xué)習(xí)

(b)寬深度學(xué)習(xí)(c)深度學(xué)習(xí)變量選擇模型開發(fā)數(shù)據(jù)獲取實(shí)施跟蹤數(shù)據(jù)預(yù)處理探索性分析信用評分模型評估M第一階段：第二階段：第三階段：第四階段：-基礎(chǔ)分值o

-

分值刻度設(shè)置>>>-

Ks指標(biāo)-變量離散化-有效性監(jiān)控

o-

穩(wěn)定性監(jiān)控-擬合度曲線

o

-穩(wěn)定度指標(biāo)-存量客戶數(shù)據(jù)-潛在客戶數(shù)據(jù)-WOE變換

o

-交叉驗(yàn)證-變量分布情況-

中位數(shù)、均值-對接業(yè)務(wù)系統(tǒng)-好壞比-缺失值處理-異常值處理-單變量分析-共線性分析=

1X各模型效果-壞賬率表現(xiàn)(按通過率40%計(jì)算)T

Y12

3

4

5

6

78910

111213

141516

17