蘇寧數(shù)據(jù)中臺架構(gòu)實踐

銷售域銷售域諸葛諸葛APP諸葛PC數(shù)據(jù)集市數(shù)據(jù)集市DM數(shù)據(jù)倉庫層DPA匯總層DPA匯總層SORSOR基礎(chǔ)層SSASSA緩沖層業(yè)務(wù)系統(tǒng)采集業(yè)務(wù)系統(tǒng)采集物流域物流域天眼天眼數(shù)據(jù)集市數(shù)據(jù)集市DM數(shù)據(jù)倉庫層DPA匯總層DPA匯總層SORSOR基礎(chǔ)層SSASSA緩沖層業(yè)務(wù)系統(tǒng)采集業(yè)務(wù)系統(tǒng)采集數(shù)據(jù)平臺vs數(shù)據(jù)中臺有完整的數(shù)據(jù)模型設(shè)計,但偏重設(shè)計和技術(shù),在執(zhí)行過程中,很難保證數(shù)據(jù)的全,數(shù)據(jù)應(yīng)用—般不跨過數(shù)據(jù)中心初期數(shù)據(jù)發(fā)展快,效率高,快速體現(xiàn)業(yè)務(wù)價值,但是隨著數(shù)倉的建設(shè),數(shù)據(jù)量急速疊加,整體成本居高不下,導(dǎo)致數(shù)據(jù)混亂、災(zāi)難。數(shù)據(jù)中臺的基本理念是:將所有數(shù)據(jù)匯聚到數(shù)據(jù)中臺,每個數(shù)據(jù)應(yīng)用都以數(shù)據(jù)中臺為唯—蘇寧數(shù)據(jù)中臺的目標(biāo)是為蘇寧的數(shù)據(jù)戰(zhàn)略提供有力的支撐,從企業(yè)全局進(jìn)行統(tǒng)—規(guī)劃,統(tǒng)—建設(shè),強調(diào)數(shù)據(jù)的“全”,從設(shè)計、組織、建設(shè)、流程角度保障了模式的落地。數(shù)據(jù)中臺的建設(shè)減低了數(shù)據(jù)使用門檻數(shù)據(jù)應(yīng)用BIBI報表可視化大屏可視化大屏精準(zhǔn)營銷個性化推薦個性化推薦More數(shù)據(jù)應(yīng)用引擎基礎(chǔ)服務(wù)用戶數(shù)據(jù)服務(wù)用戶數(shù)據(jù)服務(wù)數(shù)據(jù)開發(fā)套件數(shù)據(jù)倉庫主題域數(shù)據(jù)治理套件數(shù)倉管理庫運維監(jiān)控多租戶隔離集群部署計算存儲引擎天工數(shù)據(jù)層:可視化引擎統(tǒng)一維度庫統(tǒng)一維度庫指標(biāo)層數(shù)據(jù)API指標(biāo)層數(shù)據(jù)API模型層公共維度表模型層公共維度表OLAP數(shù)據(jù)倉庫數(shù)據(jù)倉庫天工數(shù)據(jù)層:可視化引擎統(tǒng)I維度庫統(tǒng)I維度庫指標(biāo)層數(shù)據(jù)API指標(biāo)層模型層公共維度表模型層公共維度表OLAP數(shù)據(jù)倉庫數(shù)據(jù)倉庫避免數(shù)據(jù)冗余,避免數(shù)據(jù)冗余,雪花反范式反范式OLAP星型冗余,縮短操作數(shù)據(jù)的時間,間建模過程業(yè)務(wù)過程分析周期性快照事實寬表建模過程業(yè)務(wù)過程分析周期性快照事實寬表確認(rèn)粒度/數(shù)據(jù)來源累計快照事實寬表事務(wù)型事實寬表建模分析模型基本屬性確認(rèn)選擇事實表確認(rèn)存儲介質(zhì)模型基本屬性確認(rèn)選擇事實表確認(rèn)存儲介質(zhì)選擇維表和維度選擇字段類型/屬性設(shè)置設(shè)置cube組合時效類型實時離線離線+實時非時序時序類型時序構(gòu)建類別匯總時效類型實時離線離線+實時非時序時序類型時序構(gòu)建類別匯總類型星型寬表定制類調(diào)度類型任務(wù)流調(diào)度周期調(diào)度周期… 會員系統(tǒng)LP(生成會員序列ID)(根據(jù)會員去重)查詢維度半年留存bitmap查詢維度月留存(生成會員序列ID)(根據(jù)會員去重)查詢維度半年留存bitmap查詢維度月留存bitmap查詢維度年留存bitmap(bitmap全量和增量數(shù)據(jù))查詢維度老買家查詢維度老買家查詢維度新老買家查詢維度新買家查詢維度純新買家查詢維度純新買家計算函數(shù):max/min/count/countdistinct/sum/avg/abs累計函數(shù):Iastday多種時間粒度多種時間周期多單位換算統(tǒng)—維度支持自定義維度支持統(tǒng)—維度支持自定義維度支持自定義參數(shù)支持可比同環(huán)比均值支持邏輯流支持運算符時間計算函數(shù)異常數(shù)據(jù)小天工多維度數(shù)據(jù)驗證性能驗證歷史版本模型有凍結(jié)期,凍結(jié)期結(jié)束此版本模型刪除,關(guān)聯(lián)歷史指標(biāo)下線模型模型UV一V1.2流量一V1.2datasource1UV一V1.3流量一V1.3歷史上線開發(fā)中DruidUV一V1.2流量一V1.2datasource1UV一V1.3流量一V1.3歷史上線開發(fā)中衍生指標(biāo)-1一V1.3衍生指標(biāo)-1一V1.4PV一V.1.0會員一V1.2tabIe1會員一V.1.3 會員一V1.1tabIe2 會員一V1.2 會員一V1.0衍生指標(biāo)-2一V1.2會員一V1.2tabIe1會員一V.1.3 會員一V1.1tabIe2 會員一V1.2 會員一V1.0衍生指標(biāo)-2一V1.2衍生指標(biāo)-2一V1.3會員一V.1.4模型新版本上線模型版本回滾指標(biāo)新版本上線指標(biāo)版本回滾兼容性校驗天工數(shù)據(jù)層:可視化引擎統(tǒng)I維度庫統(tǒng)I維度庫指標(biāo)層數(shù)據(jù)API指標(biāo)層數(shù)據(jù)API模型層公共維度表模型層公共維度表OLAP數(shù)據(jù)倉庫數(shù)據(jù)倉庫維度業(yè)務(wù)口徑不統(tǒng)—,缺乏有效的管理流程來對其進(jìn)行管理和約束,維度建設(shè)存在重復(fù)和歧義對于維度服務(wù)的對于維度服務(wù)的開發(fā),各個產(chǎn)品中心需要各自實現(xiàn),造成開發(fā)成本重復(fù)投入。例如公司的維度。ETL開發(fā)人員/產(chǎn)品人員,存在大量手工配置表需要規(guī)則維護(hù),缺乏快速開發(fā)工具。業(yè)務(wù)人員想查詢業(yè)務(wù)人員想查詢維度信息,缺乏可靠的公共平臺去快速方便的查流程,對維度新增,變更,下線根據(jù)業(yè)務(wù)需求,流程,對維度新增,變更,下線維度信息管理維度開維度信息管理維度監(jiān)控管理維度監(jiān)控管理體系,提升平臺服務(wù),滿足高元數(shù)據(jù)管理系統(tǒng) 元數(shù)據(jù)管理系統(tǒng) 統(tǒng)一權(quán)限慧眼百川天工維度管理系統(tǒng)維度管理維度管理系統(tǒng)維度管理維度服務(wù)個性化配置表維表管理維表服務(wù)倉庫配置表用戶自定義用戶自定義分析獨特維表臺維度模型層源系統(tǒng)提供維表源系統(tǒng)提供維表(MDM,其他系統(tǒng)含維表)維度類型維度類型普通維度父子維度角色扮演維度普通維度父子維度角色扮演維度雜項維度日歷時間維度維護(hù)分類?主數(shù)據(jù)維度?手工維度時效分類層次類型時效分類層次類型?實時?層級維度?非層級維度重點服務(wù)支持:重點服務(wù)支持:天工百川OLAP統(tǒng)一權(quán)限天工百川OLAP統(tǒng)一權(quán)限三層緩存架構(gòu)天工數(shù)據(jù)層:可視化引擎統(tǒng)I維度庫指標(biāo)層模型層數(shù)據(jù)統(tǒng)I維度庫指標(biāo)層模型層數(shù)據(jù)APIOLAP公共維度表公共維度表數(shù)據(jù)倉庫數(shù)據(jù)倉庫IDE 數(shù)據(jù)集遷移 IDE 數(shù)據(jù)集遷移 ALLUXIOSparkALLUXIOSpark維表2維表1…Spark事實表維表2維表1…Spark事實表 kafkakafkaHDFSHDFSzookeeper統(tǒng)一維度庫DRUIDSparkStreamzookeeper統(tǒng)一維度庫DRUIDSparkStreamHTTP?基本規(guī)則校驗后,將指標(biāo)查詢進(jìn)行解析,獲?基本規(guī)則校驗后,將指標(biāo)查詢進(jìn)行解析,獲得解析器結(jié)果?按照模型,時間粒度,過濾維度等創(chuàng)建邏輯計劃;?經(jīng)過sort優(yōu)化器,join優(yōu)化器,cost優(yōu)化器等優(yōu)化器,優(yōu)化執(zhí)行計劃?生成物理計劃?多線程查詢引擎?自動化計算器,包括:join計算器(衍生指標(biāo)計算器,同環(huán)比計算器),占比計算器解析引擎解解校驗器計劃引擎邏輯邏輯計劃優(yōu)化優(yōu)化器物理物理計劃執(zhí)行引擎詢計計OLAPROOTjoinROOTjoin…cube優(yōu)化器cost優(yōu)化器joinjoinjoinNode3-1Node1-1Node3-1Node1-1計算.查詢.邏輯計劃計算.查詢.邏輯計劃.優(yōu)化器DruidoptimizerEsoptimizerEs-HadoopEsPGoptimizerspark-JDBCspark-Druid+HDFsDruidoptim