蘇寧大數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)課件

1、蘇寧大數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)技術(shù)創(chuàng)新 變革未來0102030405總覽數(shù)據(jù)建模與指標(biāo)化 維度管理指標(biāo)查詢服務(wù)與OLAP引擎總結(jié)數(shù)據(jù)中臺(tái)出現(xiàn)之前銷 售 域業(yè)務(wù)系統(tǒng)采集DPA匯總層SOR基礎(chǔ)層 SSA緩沖層諸葛PC諸葛APP數(shù) 據(jù) 倉 庫 層數(shù)據(jù)集市DM物 流 域業(yè)務(wù)系統(tǒng)采集DPA匯總層SOR基礎(chǔ)層 SSA緩沖層天眼數(shù) 據(jù) 倉 庫 層數(shù)據(jù)集市DM數(shù)據(jù)平臺(tái) vs 數(shù)據(jù)中臺(tái)數(shù)據(jù)平臺(tái)有完整的數(shù)據(jù)模型設(shè)計(jì)，但偏重設(shè)計(jì)和技術(shù)，在執(zhí)行過程中，很難保證數(shù)據(jù)的全，數(shù)據(jù)應(yīng) 用一般不跨過數(shù)據(jù)中心初期數(shù)據(jù)發(fā)展快，效率高，快速體現(xiàn)業(yè)務(wù)價(jià)值，但是隨著數(shù)倉的建設(shè)，數(shù)據(jù)量急速鰲加， 整體成本居高不下，導(dǎo)致數(shù)據(jù)混亂、災(zāi)難。數(shù)據(jù)中臺(tái)數(shù)據(jù)

2、中臺(tái)的基本理念是：將所有數(shù)據(jù)匯聚到數(shù)據(jù)中臺(tái)，每個(gè)數(shù)據(jù)應(yīng)用都以數(shù)據(jù)中臺(tái)為唯一 數(shù)據(jù)來源。蘇寧數(shù)據(jù)中臺(tái)的目標(biāo)是為蘇寧的數(shù)據(jù)戰(zhàn)略提供有力的支撐，從企業(yè)全局進(jìn)行統(tǒng)一規(guī)劃，統(tǒng) 一建設(shè)，強(qiáng)調(diào)數(shù)據(jù)的“全”，從設(shè)計(jì)、組織、建設(shè)、流程角度保障了模式的落地。數(shù)據(jù)中臺(tái)的建設(shè)減低了數(shù)據(jù)使用門檻數(shù)據(jù)中臺(tái)系統(tǒng)架構(gòu)計(jì)算存儲(chǔ)引擎基礎(chǔ)服務(wù)用戶數(shù)據(jù)服務(wù)數(shù)倉管理運(yùn)維監(jiān)控多租戶隔離集群部署數(shù)據(jù)應(yīng)用引擎可視化引擎Z數(shù)據(jù)服務(wù)引擎 數(shù)據(jù)分析引擎數(shù)據(jù)應(yīng)用畫像引擎BI報(bào)表可視化大屏精準(zhǔn)營銷個(gè)性化推薦More數(shù)據(jù)開發(fā)套件數(shù)據(jù)集成實(shí)時(shí)任務(wù)開發(fā)任務(wù)運(yùn)維離M任務(wù)開發(fā)數(shù)據(jù)倉庫主題域維度 庫用戶主題域銷售題域商品主題域數(shù)據(jù)治理套件數(shù)據(jù)質(zhì)量數(shù)據(jù)地圖數(shù)據(jù)模型

3、模型指標(biāo)報(bào)表體系系統(tǒng)架構(gòu)數(shù)據(jù)倉庫指標(biāo)定義指標(biāo)層天工數(shù)據(jù)層：可I-引擎統(tǒng)O維度庫模型層事實(shí)表維表數(shù)據(jù) API解析引擎計(jì)劃引擎執(zhí)行引擎OLAPOLAPAL引擎OLAP數(shù)據(jù)+速引擎OLAP任務(wù)調(diào)度公共維度表ADSDWSDWD數(shù)據(jù)倉庫指標(biāo)定義指標(biāo)層數(shù)據(jù)層：可視+引擎統(tǒng)I維度庫模型層事實(shí)表維表數(shù)據(jù) API解析引擎計(jì)劃引擎執(zhí)A引擎OLAPOLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務(wù)調(diào)度公共維度表ADSDWSDWD0102030405總覽數(shù)據(jù)建模與指標(biāo)化 維度管理指標(biāo)查詢服務(wù)與OLAP引擎總結(jié)為什么是星型模型反范式3NFOLAPOLTP星型雪花允許數(shù)據(jù)適當(dāng) 冗余，縮短操 作數(shù)據(jù)的時(shí)間， 用空間換取時(shí) 間

4、避免數(shù)據(jù)冗余， 減少數(shù)據(jù)庫的 空間建 模 過 程數(shù)據(jù)建模模型基本屬性確認(rèn)確認(rèn)/儲(chǔ)介質(zhì)選擇事實(shí)表選擇維表和維度選擇字段類型屬性設(shè)置cube組合建 模 分 析業(yè)務(wù)過程分析事務(wù)型事實(shí)寬表周期性快照事實(shí)寬表累計(jì)快照事實(shí)寬表確認(rèn)粒度數(shù)據(jù)來涼模型基本屬性類型星型寬表定制類時(shí)效類型實(shí)時(shí)離線離線實(shí)時(shí)時(shí)序類型時(shí)序非時(shí)序構(gòu)建類別+細(xì)匯總明細(xì)匯總調(diào)度類型任務(wù)流調(diào)度周期模型存儲(chǔ)星型寬表定制類ESPGDRUID時(shí)序非時(shí)序匯總明細(xì)匯總定制化的建模方案會(huì)員系統(tǒng)數(shù) 倉會(huì)員字典表訪間流量表會(huì)員購買表 O L Ap會(huì)員購買信息（根據(jù)會(huì)員去重）存儲(chǔ)過程（生成會(huì)員序列ID）存儲(chǔ)過程（bitmap全量和增量數(shù)據(jù)）查詢維度月留存bitm

5、ap查詢維度半年留存bitmap 查詢維度年留存bitmap查詢維度新買家 bitmap查詢維度純新買家 bitmap查詢維度老買家 bitmap查詢維度新老買家 bitmap指標(biāo)定義指標(biāo)基礎(chǔ)信息多種時(shí)間粒度多種時(shí)間周期多單位換算度量計(jì) 算 函 數(shù) ： max/min/count/countdistinct/sum/avg/abs 累計(jì)函數(shù) lastday衍生計(jì)算表達(dá)式支持邏輯流 支持運(yùn)算符時(shí)間計(jì)算函數(shù) 異常數(shù)據(jù)個(gè)性化篩選條件統(tǒng)一維度支持 自定/維度支持 自定/參數(shù)支持指標(biāo)屬性可比 占比同環(huán)比 均值可視化測(cè)試小天工多維度數(shù)據(jù)驗(yàn)證 性能驗(yàn)證模型、指標(biāo)多版本體系原則狀態(tài)分成上線歷史開發(fā)中上線單一/

6、標(biāo)來源于上線的模型上線衍生/標(biāo)中的單一/標(biāo)必定是上線版本歷史版本模型有凍結(jié)期，凍結(jié)期結(jié)束此版本模型刪 除，關(guān)聯(lián)歷史/標(biāo)下線模型、指標(biāo)多版本體系模型新版本上線模型版本回滾指標(biāo)新版本上線指標(biāo)版本回滾菲容性校驗(yàn)PV3V.l.0流量3Vl.2流量3Vl.3會(huì)員-Vl.0會(huì)員-Vl.l會(huì)員-V.l.3會(huì)員-V.l.4會(huì)員-Vl.2衍生指標(biāo)_l-Vl.4衍生指標(biāo)_2-Vl.2衍生指標(biāo)_2-Vl.3會(huì)員-Vl.2模型單一指標(biāo)uV - Vl.2uV- Vl.3衍生指標(biāo)衍生指標(biāo)_l-Vl.3Druidda1a0.2rcel da1a0.2rce2PG1ablel1able2 1able3上線歷史開發(fā)中數(shù)據(jù)倉庫指

7、標(biāo)定義指標(biāo)層數(shù)據(jù)層：可視+引擎統(tǒng)I維度庫模型層事實(shí)表維表數(shù)據(jù) API解析引擎計(jì)劃引擎執(zhí)A引擎OLAPOLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務(wù)調(diào)度公共維度表ADSDWSDWD0102030405總覽數(shù)據(jù)建模與指標(biāo)化 維度管理指標(biāo)查詢服務(wù)與OLAP引擎總結(jié)統(tǒng)一維度建設(shè)背景標(biāo)準(zhǔn)維度業(yè)務(wù)口徑不統(tǒng)一，缺乏T效 的管理流程來對(duì)/進(jìn)行管理和約 束，維度建設(shè)存 在重復(fù)和歧義成本對(duì)于維度服務(wù)的開發(fā)，各個(gè)產(chǎn)品 中心需要各自實(shí) 現(xiàn)，造成開發(fā)成 本重復(fù)投入。例 如公司的維度。工具ETL開發(fā)人員產(chǎn)品人員，存在大 量手工配置表需 要規(guī)則維護(hù)，缺 乏快速開發(fā)工具。平臺(tái)業(yè)務(wù)人員想查詢維度信L，缺乏 可靠的公共E臺(tái) 去

8、快速方便的查 詢。統(tǒng)一維度管理目標(biāo)根據(jù)業(yè)務(wù)需求， 提供快速定義維 度的功能，保證 維度的唯一性完善的維度管理 流程，對(duì)維度新 增，變更，下線 全生命周期管理建立維度全鏈路 統(tǒng)一的數(shù)據(jù)監(jiān)控 體系，提升平臺(tái) 數(shù)據(jù)安全提供高效、穩(wěn) 定的維度查詢 服務(wù)，滿足高 井發(fā)的查詢維度開 發(fā)管理維度信 息管理維度監(jiān) 控管理維度數(shù) 據(jù)服務(wù)統(tǒng)一維度系統(tǒng)架構(gòu)維度管理時(shí)效分類實(shí)時(shí)離線維護(hù)分類主數(shù)據(jù)維度手工維度層次類型層級(jí)維度非層級(jí)維度維度類型普通維度父子維度角色扮演維度雜項(xiàng)維度日歷時(shí)間維度維度任務(wù)數(shù)倉離線HIVEUDMSMYSQLHBASEMYSQLELASTICSEARCHREDIS本地緩存數(shù)倉實(shí)時(shí)TOPICUDMS

9、HBASE天工百川統(tǒng)一權(quán)限重點(diǎn)服務(wù)支持支撐實(shí)施Join編碼與名稱轉(zhuǎn)換離線計(jì)算KAFKARPC服務(wù)推R三層緩存架構(gòu)OLAPRPC服務(wù)數(shù)據(jù)倉庫指標(biāo)定義指標(biāo)層數(shù)據(jù)層：可視+引擎統(tǒng)I維度庫模型層事實(shí)表維表數(shù)據(jù) API解析引擎計(jì)劃引擎執(zhí)A引擎OLAPOLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務(wù)調(diào)度公共維度表ADSDWSDWD0102030405總覽數(shù)據(jù)建模與指標(biāo)化 維度管理指標(biāo)查詢服務(wù)與OLAP引擎總結(jié)離線模型加速方案實(shí)時(shí)模型加速方案kafkaSpark StreamHDFSH ASE統(tǒng)一維度庫ZookeeperDRUIDESPGRPC指標(biāo)數(shù)據(jù)查詢服務(wù)基本規(guī)則校驗(yàn)后，將指標(biāo)奎詢進(jìn)行解析，獲 得解析器

10、結(jié)果按照模型，時(shí)間粒度，過濾維度等創(chuàng)建c 剖計(jì)劃;經(jīng)過sort優(yōu)化器，join優(yōu)化器，cost優(yōu)化器 等優(yōu)化器，優(yōu)化執(zhí)行計(jì)劃生成物理計(jì)劃多線程奎詢引擎自動(dòng)化計(jì)算器，包括：join計(jì)算器（衍生指 標(biāo)計(jì)算器，同環(huán)比計(jì)算器），占比計(jì)算器解 析 引 擎校 驗(yàn) 器解 析計(jì) 劃 引 擎邏輯 計(jì)劃優(yōu)化 器物理 計(jì)劃執(zhí) 1引 擎查 詢計(jì) 算HTTPRPCSPARK SQLOLAP指標(biāo)數(shù)據(jù)查詢服務(wù)一執(zhí)行J劃NodelNode2Node3Node4Nodel_lNodel_24比 J算Node3_lNode3_2C比 J算衍生 J算4比 J算衍生 J算2比 J算3井 J算3井 J算均值 J算ROOT精度 J算排序 J算計(jì)劃節(jié)點(diǎn)計(jì)算屬性節(jié)點(diǎn)屬性邏輯計(jì)劃優(yōu)化器查詢計(jì)算joinjoinjoin排序優(yōu)1器Cube優(yōu)1器Join優(yōu)1器Cost優(yōu)1器 路由優(yōu)1器OLAP-數(shù)據(jù)服務(wù)OLAP-SPARKParquetOptimizerDruidOptimizerESOptimizer