數(shù)據(jù)中臺技術(shù)架構(gòu)方法論與實踐

轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺技術(shù)架構(gòu)方法論與實踐李軍轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺負(fù)責(zé)人?

2016年4月

加入轉(zhuǎn)轉(zhuǎn)從0開始組建數(shù)據(jù)產(chǎn)品、研發(fā)、架構(gòu)、統(tǒng)計分析團(tuán)隊?

2017年7月

負(fù)責(zé)轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺建設(shè)?此前先后在騰訊、58同城從事大數(shù)據(jù)研發(fā)、架構(gòu)、管理?

十年的大數(shù)據(jù)研發(fā)、架構(gòu)、管理、行業(yè)經(jīng)驗轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺負(fù)責(zé)人李軍轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺1、建設(shè)背景與目標(biāo)2、技術(shù)架構(gòu)與思路3、構(gòu)建過程：

3.1

PaaS3.2

DaaS3.3

DA4、未來發(fā)展方向5、建設(shè)經(jīng)驗總結(jié)圈子、拍賣、寄賣、回收、自營、視頻，切客…廣告、注冊、搜索推薦、風(fēng)控、IM、支付、客服…APP、小程序、垂類；線上、線下；C2X，B2B，X2C復(fù)雜生態(tài)縱深鏈路MVP30+1400+1、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺的背景與目標(biāo)?外部業(yè)務(wù)：數(shù)據(jù)臟、亂、差，業(yè)務(wù)不滿意?內(nèi)部研發(fā)：疲于奔命、四處救火，普遍苦惱SQL-Boy，人肉提數(shù)機?

方案：數(shù)據(jù)中臺建設(shè)?目標(biāo)：復(fù)用、賦能、降本提效流程規(guī)范響應(yīng)及時1、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺的背景與目標(biāo)數(shù)據(jù)共享數(shù)據(jù)安全形式單一孤島重復(fù)指標(biāo)重復(fù)煙囪模式臨時取數(shù)時間保障5轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺1、建設(shè)背景與目標(biāo)2、技術(shù)架構(gòu)與思路3、構(gòu)建過程：

3.1

PaaS3.2

DaaS3.3

DA4、未來發(fā)展方向5、建設(shè)經(jīng)驗總結(jié)數(shù)據(jù)資源集中全域數(shù)據(jù)基礎(chǔ)架構(gòu)全鏈路技術(shù)產(chǎn)品能力復(fù)用賦能業(yè)務(wù)企業(yè)級平臺組織2、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺技術(shù)架構(gòu)與思路?

到底什么是數(shù)據(jù)中臺？有什么特點？7數(shù)據(jù)傳輸實時/批量數(shù)據(jù)建模/存儲數(shù)據(jù)應(yīng)用/業(yè)務(wù)反饋數(shù)據(jù)采集數(shù)據(jù)統(tǒng)計/

分析/挖掘渠道分析BI報表商品分析交易分析用戶分析訂單分析行為分析搜索推薦競品分析商業(yè)分析應(yīng)用治理指標(biāo)字典

血緣關(guān)系

數(shù)據(jù)地圖Flink數(shù)據(jù)存儲層MySQL數(shù)據(jù)傳輸層Lego2、數(shù)據(jù)中臺技術(shù)架構(gòu)與思路畫像檔案事件漏斗A/B

Test自助留存監(jiān)控告警電視看板數(shù)據(jù)產(chǎn)品智能挖掘

自助報表

精細(xì)化推送運營系統(tǒng)

客服系統(tǒng)搜索推薦

質(zhì)檢系統(tǒng)PaaS（Platform-as-a-Service）DaaS（Data-as-a-Service）服務(wù)業(yè)務(wù)化業(yè)務(wù)數(shù)據(jù)化資產(chǎn)服務(wù)化MapReduceHDFS數(shù)據(jù)資產(chǎn)化業(yè)務(wù)系統(tǒng)商品系統(tǒng)

財務(wù)系統(tǒng)交易主題業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)集市層數(shù)據(jù)倉庫層DA（數(shù)據(jù)應(yīng)用層）DruidZZRedis商品主題后端日志廣告主題戰(zhàn)略競對行為主題線下表單用戶主題前端埋點收入主題三方廣告StormHBaseSparkHiveKylinTiDB事件模型主題表留存模型主題表質(zhì)量安全管理生命周期管理實時自助框架畫像提取平臺數(shù)據(jù)計算層Sqoop源數(shù)據(jù)層ServerFlumeKafkaWS8轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺1、建設(shè)背景與目標(biāo)2、技術(shù)架構(gòu)與思路3、構(gòu)建過程：3.1

PaaS3.2

DaaS3.3

DA4、未來發(fā)展方向5、建設(shè)經(jīng)驗總結(jié)?

核心組件/功能–

Flink、

Flume、

Kafka、Hadoop、Spark、HBase

等存儲計算框架–

Docker云平臺日志采集系統(tǒng)–

蒼鷹大數(shù)據(jù)管理平臺–

Skynet

調(diào)度平臺3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

PaaS?

zzdp大數(shù)據(jù)平臺?目標(biāo)–高可用、

高性能、

可擴展的大數(shù)據(jù)全鏈路一站式解決方案10數(shù)據(jù)存儲層TiDB

HBase異構(gòu)數(shù)據(jù)源Server

DBPaaS（Platform-as-a-Service）數(shù)據(jù)計算層Flink

SparkStormMapReduceKylinDruid3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

PaaS蒼鷹數(shù)據(jù)治理平臺Lego日志采集平臺ZZRedisADKafkaDockerMySQLSpiderHDFSSDKSkynet調(diào)度平臺11?為集群提供立體監(jiān)控、自助化、可視化運維服務(wù)，保障高可用?

核心功能?

集群日常使用情況報表統(tǒng)計與跟蹤?

冷數(shù)據(jù)壓縮、刪除

、小文件定期自動合并?

日常各類自助化運維操作、

監(jiān)控告警?

權(quán)限管理?

資產(chǎn)管理與優(yōu)化治理：

用戶/任務(wù)/日志/表

總量、增量、異常數(shù)TOP3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

PaaS?

蒼鷹大數(shù)據(jù)管理平臺：高峰負(fù)載121%超長任務(wù)數(shù)?

效果小文件30%101133、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

PaaS?

Skynet

調(diào)度平臺–輕量級、

可維護(hù)、

可擴展–

與Hadoop生態(tài)融合?

核心功能–

任務(wù)精準(zhǔn)時刻調(diào)度–

依賴方式靈活多樣–

根據(jù)任務(wù)自建血緣關(guān)系?效果20,000+99.99%任務(wù)數(shù)可用性3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DaaS?

傳統(tǒng)的數(shù)倉為何在數(shù)據(jù)中臺地位如此重要？承數(shù)據(jù)啟業(yè)務(wù)?目標(biāo)：?

匯聚全域數(shù)據(jù)打破數(shù)據(jù)孤島，沉淀企業(yè)完整

穩(wěn)定

準(zhǔn)確的數(shù)據(jù)資產(chǎn)?

核心組件/功能–

Galaxy

全域數(shù)據(jù)倉庫–iQuery自助式、

可視化查詢分析平臺數(shù)據(jù)質(zhì)量管理數(shù)據(jù)倉庫層用戶主題

商品主題

交易主題

收入主題

廣告主題

行為主題源數(shù)據(jù)層前端埋點后端日志業(yè)務(wù)數(shù)據(jù)庫三方廣告戰(zhàn)略競對線下表單數(shù)據(jù)服務(wù)層iQuery

ZeppelinZZSCF數(shù)據(jù)集市層留存模型主題表

事件模型主題表

畫像提取平臺

實時自助框架

生命周期管理DaaS（Data-as-a-Service）143、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DaaS?

Galaxy

全域數(shù)據(jù)倉庫目標(biāo)：–

統(tǒng)一的數(shù)據(jù)建模標(biāo)準(zhǔn)、規(guī)范–

開放的數(shù)據(jù)存儲、建模、計算能力–可落地、可擴展，滿足轉(zhuǎn)轉(zhuǎn)未來2年，千萬日活的業(yè)務(wù)體量?數(shù)據(jù)量總數(shù)據(jù)

30PB+

日增量

50TB+

元數(shù)據(jù)20,000+15163、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DaaS?

數(shù)據(jù)倉庫構(gòu)建之路：

Galaxy

全域數(shù)據(jù)倉庫離線整體流程3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DaaS?

Galaxy

全域數(shù)據(jù)倉庫效果2017.7-至今業(yè)務(wù)共建、自治600++運營

+線上服務(wù)70%2016.6-2017.6平臺研發(fā)1400++監(jiān)控

+業(yè)務(wù)輸出40%2015.11-2016.

6業(yè)務(wù)支撐500+分析20%簡單報表

Case

by

CaseBI

平臺

數(shù)據(jù)倉庫數(shù)據(jù)中臺

全域數(shù)倉時間段：模式

：業(yè)務(wù)需求：業(yè)務(wù)場景：

覆蓋人群：173、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DaaS?

DaaS

目標(biāo)–支撐數(shù)據(jù)服務(wù)化建設(shè)→數(shù)據(jù)價值輸出?平臺、

工具、

API→服務(wù)化建設(shè)?面向PM、運營、RD、分析師等多種角色→數(shù)據(jù)平民化，觸達(dá)更多人&場景18–

數(shù)倉統(tǒng)一可落地的流程規(guī)范，統(tǒng)一認(rèn)知：?層次明確合理：規(guī)則、

層次、

劃分、

依賴清晰→不做不定項選擇，質(zhì)量控制和運維?

流程機制約束：審批+巡檢

→

先污染后治理3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DaaS?

DaaS

落地的關(guān)鍵點-119?

DaaS

落地的關(guān)鍵點-2–業(yè)務(wù)與數(shù)據(jù)增長，海量數(shù)據(jù)、報表、標(biāo)簽是服務(wù)能力的象征，但會帶來哪些問題？?信息過載，數(shù)據(jù)沼澤→負(fù)資產(chǎn)?尋找數(shù)據(jù)、理解數(shù)據(jù)、

信任數(shù)據(jù)、

使用數(shù)據(jù)→矛盾凸顯？06

02

05

被誰使用？

07

04能不能取到？3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DaaS成本收益？質(zhì)量如何？有哪些?什么關(guān)系？如何理解？在哪里?03是否安全？08090121?

DaaS

落地的關(guān)鍵點-2–

數(shù)據(jù)資產(chǎn)管理?元數(shù)據(jù)管理?生命周期管理?性能優(yōu)化?權(quán)限管理3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DaaS3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DA?

DA

：轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)應(yīng)用層?目標(biāo)–數(shù)據(jù)業(yè)務(wù)化，價值輸出，形成完整的數(shù)據(jù)閉環(huán)→數(shù)據(jù)能力共享、賦能?

產(chǎn)品矩陣：–What（BI報表、Skyeye、畫像）–Why（根因分析、Report）–

How

（智能Push、A/B

Test

、API…）223、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺構(gòu)建過程：

DA?

數(shù)據(jù)智能：數(shù)據(jù)科學(xué)之路?

目標(biāo)：

Hindsight

→

Insight

→

Foresight–

數(shù)據(jù)是DT時代的

“石油”，但價值需要被進(jìn)一步的提煉和挖掘–

廣告投放

/

根因分析／智能告警–

用戶挖掘/付費提醒/流失預(yù)警23轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺1、建設(shè)背景與目標(biāo)2、技術(shù)架構(gòu)與思路3、構(gòu)建過程：

3.1

PaaS3.2

DaaS3.3

DA4、未來發(fā)展方向5、建設(shè)經(jīng)驗總結(jié)?

中臺的目標(biāo)?從IT到DT→數(shù)字化、智能化；互聯(lián)網(wǎng)、大數(shù)據(jù)；產(chǎn)業(yè)互聯(lián)網(wǎng)；5G、IoT、AI–提升產(chǎn)業(yè)、人員協(xié)同效率，資源、浪費、決策?

轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺：數(shù)據(jù)

+

算法

=

智能服務(wù)

→

讓正確的事情發(fā)生應(yīng)用廣度數(shù)據(jù)中臺場景數(shù)據(jù)量增長用戶數(shù)增長ETL查詢復(fù)雜度復(fù)雜度場景復(fù)雜度復(fù)雜度4、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺未來方向讓正確的事情發(fā)生資產(chǎn)運營階段Foresight發(fā)生