數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)方法論與實(shí)踐

轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)方法論與實(shí)踐李軍轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)負(fù)責(zé)人?

2016年4月

加入轉(zhuǎn)轉(zhuǎn)從0開始組建數(shù)據(jù)產(chǎn)品、研發(fā)、架構(gòu)、統(tǒng)計(jì)分析團(tuán)隊(duì)?

2017年7月

負(fù)責(zé)轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)建設(shè)?此前先后在騰訊、58同城從事大數(shù)據(jù)研發(fā)、架構(gòu)、管理?

十年的大數(shù)據(jù)研發(fā)、架構(gòu)、管理、行業(yè)經(jīng)驗(yàn)轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)負(fù)責(zé)人李軍轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)1、建設(shè)背景與目標(biāo)2、技術(shù)架構(gòu)與思路3、構(gòu)建過(guò)程：

3.1

PaaS3.2

DaaS3.3

DA4、未來(lái)發(fā)展方向5、建設(shè)經(jīng)驗(yàn)總結(jié)圈子、拍賣、寄賣、回收、自營(yíng)、視頻，切客…廣告、注冊(cè)、搜索推薦、風(fēng)控、IM、支付、客服…APP、小程序、垂類；線上、線下；C2X，B2B，X2C復(fù)雜生態(tài)縱深鏈路MVP30+1400+1、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)的背景與目標(biāo)?外部業(yè)務(wù)：數(shù)據(jù)臟、亂、差，業(yè)務(wù)不滿意?內(nèi)部研發(fā)：疲于奔命、四處救火，普遍苦惱SQL-Boy，人肉提數(shù)機(jī)?

方案：數(shù)據(jù)中臺(tái)建設(shè)?目標(biāo)：復(fù)用、賦能、降本提效流程規(guī)范響應(yīng)及時(shí)1、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)的背景與目標(biāo)數(shù)據(jù)共享數(shù)據(jù)安全形式單一孤島重復(fù)指標(biāo)重復(fù)煙囪模式臨時(shí)取數(shù)時(shí)間保障5轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)1、建設(shè)背景與目標(biāo)2、技術(shù)架構(gòu)與思路3、構(gòu)建過(guò)程：

3.1

PaaS3.2

DaaS3.3

DA4、未來(lái)發(fā)展方向5、建設(shè)經(jīng)驗(yàn)總結(jié)數(shù)據(jù)資源集中全域數(shù)據(jù)基礎(chǔ)架構(gòu)全鏈路技術(shù)產(chǎn)品能力復(fù)用賦能業(yè)務(wù)企業(yè)級(jí)平臺(tái)組織2、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)與思路?

到底什么是數(shù)據(jù)中臺(tái)？有什么特點(diǎn)？7數(shù)據(jù)傳輸實(shí)時(shí)/批量數(shù)據(jù)建模/存儲(chǔ)數(shù)據(jù)應(yīng)用/業(yè)務(wù)反饋數(shù)據(jù)采集數(shù)據(jù)統(tǒng)計(jì)/

分析/挖掘渠道分析BI報(bào)表商品分析交易分析用戶分析訂單分析行為分析搜索推薦競(jìng)品分析商業(yè)分析應(yīng)用治理指標(biāo)字典

血緣關(guān)系

數(shù)據(jù)地圖Flink數(shù)據(jù)存儲(chǔ)層MySQL數(shù)據(jù)傳輸層Lego2、數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)與思路畫像檔案事件漏斗A/B

Test自助留存監(jiān)控告警電視看板數(shù)據(jù)產(chǎn)品智能挖掘

自助報(bào)表

精細(xì)化推送運(yùn)營(yíng)系統(tǒng)

客服系統(tǒng)搜索推薦

質(zhì)檢系統(tǒng)PaaS（Platform-as-a-Service）DaaS（Data-as-a-Service）服務(wù)業(yè)務(wù)化業(yè)務(wù)數(shù)據(jù)化資產(chǎn)服務(wù)化MapReduceHDFS數(shù)據(jù)資產(chǎn)化業(yè)務(wù)系統(tǒng)商品系統(tǒng)

財(cái)務(wù)系統(tǒng)交易主題業(yè)務(wù)數(shù)據(jù)庫(kù)數(shù)據(jù)集市層數(shù)據(jù)倉(cāng)庫(kù)層DA（數(shù)據(jù)應(yīng)用層）DruidZZRedis商品主題后端日志廣告主題戰(zhàn)略競(jìng)對(duì)行為主題線下表單用戶主題前端埋點(diǎn)收入主題三方廣告StormHBaseSparkHiveKylinTiDB事件模型主題表留存模型主題表質(zhì)量安全管理生命周期管理實(shí)時(shí)自助框架畫像提取平臺(tái)數(shù)據(jù)計(jì)算層Sqoop源數(shù)據(jù)層ServerFlumeKafkaWS8轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)1、建設(shè)背景與目標(biāo)2、技術(shù)架構(gòu)與思路3、構(gòu)建過(guò)程：3.1

PaaS3.2

DaaS3.3

DA4、未來(lái)發(fā)展方向5、建設(shè)經(jīng)驗(yàn)總結(jié)?

核心組件/功能–

Flink、

Flume、

Kafka、Hadoop、Spark、HBase

等存儲(chǔ)計(jì)算框架–

Docker云平臺(tái)日志采集系統(tǒng)–

蒼鷹大數(shù)據(jù)管理平臺(tái)–

Skynet

調(diào)度平臺(tái)3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

PaaS?

zzdp大數(shù)據(jù)平臺(tái)?目標(biāo)–高可用、

高性能、

可擴(kuò)展的大數(shù)據(jù)全鏈路一站式解決方案10數(shù)據(jù)存儲(chǔ)層TiDB

HBase異構(gòu)數(shù)據(jù)源Server

DBPaaS（Platform-as-a-Service）數(shù)據(jù)計(jì)算層Flink

SparkStormMapReduceKylinDruid3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

PaaS蒼鷹數(shù)據(jù)治理平臺(tái)Lego日志采集平臺(tái)ZZRedisADKafkaDockerMySQLSpiderHDFSSDKSkynet調(diào)度平臺(tái)11?為集群提供立體監(jiān)控、自助化、可視化運(yùn)維服務(wù)，保障高可用?

核心功能?

集群日常使用情況報(bào)表統(tǒng)計(jì)與跟蹤?

冷數(shù)據(jù)壓縮、刪除

、小文件定期自動(dòng)合并?

日常各類自助化運(yùn)維操作、

監(jiān)控告警?

權(quán)限管理?

資產(chǎn)管理與優(yōu)化治理：

用戶/任務(wù)/日志/表

總量、增量、異常數(shù)TOP3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

PaaS?

蒼鷹大數(shù)據(jù)管理平臺(tái)：高峰負(fù)載121%超長(zhǎng)任務(wù)數(shù)?

效果小文件30%101133、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

PaaS?

Skynet

調(diào)度平臺(tái)–輕量級(jí)、

可維護(hù)、

可擴(kuò)展–

與Hadoop生態(tài)融合?

核心功能–

任務(wù)精準(zhǔn)時(shí)刻調(diào)度–

依賴方式靈活多樣–

根據(jù)任務(wù)自建血緣關(guān)系?效果20,000+99.99%任務(wù)數(shù)可用性3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DaaS?

傳統(tǒng)的數(shù)倉(cāng)為何在數(shù)據(jù)中臺(tái)地位如此重要？承數(shù)據(jù)啟業(yè)務(wù)?目標(biāo)：?

匯聚全域數(shù)據(jù)打破數(shù)據(jù)孤島，沉淀企業(yè)完整

穩(wěn)定

準(zhǔn)確的數(shù)據(jù)資產(chǎn)?

核心組件/功能–

Galaxy

全域數(shù)據(jù)倉(cāng)庫(kù)–iQuery自助式、

可視化查詢分析平臺(tái)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)倉(cāng)庫(kù)層用戶主題

商品主題

交易主題

收入主題

廣告主題

行為主題源數(shù)據(jù)層前端埋點(diǎn)后端日志業(yè)務(wù)數(shù)據(jù)庫(kù)三方廣告戰(zhàn)略競(jìng)對(duì)線下表單數(shù)據(jù)服務(wù)層iQuery

ZeppelinZZSCF數(shù)據(jù)集市層留存模型主題表

事件模型主題表

畫像提取平臺(tái)

實(shí)時(shí)自助框架

生命周期管理DaaS（Data-as-a-Service）143、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DaaS?

Galaxy

全域數(shù)據(jù)倉(cāng)庫(kù)目標(biāo)：–

統(tǒng)一的數(shù)據(jù)建模標(biāo)準(zhǔn)、規(guī)范–

開放的數(shù)據(jù)存儲(chǔ)、建模、計(jì)算能力–可落地、可擴(kuò)展，滿足轉(zhuǎn)轉(zhuǎn)未來(lái)2年，千萬(wàn)日活的業(yè)務(wù)體量?數(shù)據(jù)量總數(shù)據(jù)

30PB+

日增量

50TB+

元數(shù)據(jù)20,000+15163、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DaaS?

數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建之路：

Galaxy

全域數(shù)據(jù)倉(cāng)庫(kù)離線整體流程3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DaaS?

Galaxy

全域數(shù)據(jù)倉(cāng)庫(kù)效果2017.7-至今業(yè)務(wù)共建、自治600++運(yùn)營(yíng)

+線上服務(wù)70%2016.6-2017.6平臺(tái)研發(fā)1400++監(jiān)控

+業(yè)務(wù)輸出40%2015.11-2016.

6業(yè)務(wù)支撐500+分析20%簡(jiǎn)單報(bào)表

Case

by

CaseBI

平臺(tái)

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)中臺(tái)

全域數(shù)倉(cāng)時(shí)間段：模式

：業(yè)務(wù)需求：業(yè)務(wù)場(chǎng)景：

覆蓋人群：173、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DaaS?

DaaS

目標(biāo)–支撐數(shù)據(jù)服務(wù)化建設(shè)→數(shù)據(jù)價(jià)值輸出?平臺(tái)、

工具、

API→服務(wù)化建設(shè)?面向PM、運(yùn)營(yíng)、RD、分析師等多種角色→數(shù)據(jù)平民化，觸達(dá)更多人&場(chǎng)景18–

數(shù)倉(cāng)統(tǒng)一可落地的流程規(guī)范，統(tǒng)一認(rèn)知：?層次明確合理：規(guī)則、

層次、

劃分、

依賴清晰→不做不定項(xiàng)選擇，質(zhì)量控制和運(yùn)維?

流程機(jī)制約束：審批+巡檢

→

先污染后治理3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DaaS?

DaaS

落地的關(guān)鍵點(diǎn)-119?

DaaS

落地的關(guān)鍵點(diǎn)-2–業(yè)務(wù)與數(shù)據(jù)增長(zhǎng)，海量數(shù)據(jù)、報(bào)表、標(biāo)簽是服務(wù)能力的象征，但會(huì)帶來(lái)哪些問(wèn)題？?信息過(guò)載，數(shù)據(jù)沼澤→負(fù)資產(chǎn)?尋找數(shù)據(jù)、理解數(shù)據(jù)、

信任數(shù)據(jù)、

使用數(shù)據(jù)→矛盾凸顯？06

02

05

被誰(shuí)使用？

07

04能不能取到？3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DaaS成本收益？質(zhì)量如何？有哪些?什么關(guān)系？如何理解？在哪里?03是否安全？08090121?

DaaS

落地的關(guān)鍵點(diǎn)-2–

數(shù)據(jù)資產(chǎn)管理?元數(shù)據(jù)管理?生命周期管理?性能優(yōu)化?權(quán)限管理3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DaaS3、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DA?

DA

：轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)應(yīng)用層?目標(biāo)–數(shù)據(jù)業(yè)務(wù)化，價(jià)值輸出，形成完整的數(shù)據(jù)閉環(huán)→數(shù)據(jù)能力共享、賦能?

產(chǎn)品矩陣：–What（BI報(bào)表、Skyeye、畫像）–Why（根因分析、Report）–

How

（智能Push、A/B

Test

、API…）223、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)構(gòu)建過(guò)程：

DA?

數(shù)據(jù)智能：數(shù)據(jù)科學(xué)之路?

目標(biāo)：

Hindsight

→

Insight

→

Foresight–

數(shù)據(jù)是DT時(shí)代的

“石油”，但價(jià)值需要被進(jìn)一步的提煉和挖掘–

廣告投放

/

根因分析／智能告警–

用戶挖掘/付費(fèi)提醒/流失預(yù)警23轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)1、建設(shè)背景與目標(biāo)2、技術(shù)架構(gòu)與思路3、構(gòu)建過(guò)程：

3.1

PaaS3.2

DaaS3.3

DA4、未來(lái)發(fā)展方向5、建設(shè)經(jīng)驗(yàn)總結(jié)?

中臺(tái)的目標(biāo)?從IT到DT→數(shù)字化、智能化；互聯(lián)網(wǎng)、大數(shù)據(jù)；產(chǎn)業(yè)互聯(lián)網(wǎng)；5G、IoT、AI–提升產(chǎn)業(yè)、人員協(xié)同效率，資源、浪費(fèi)、決策?

轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)：數(shù)據(jù)

+

算法

=

智能服務(wù)

→

讓正確的事情發(fā)生應(yīng)用廣度數(shù)據(jù)中臺(tái)場(chǎng)景數(shù)據(jù)量增長(zhǎng)用戶數(shù)增長(zhǎng)ETL查詢復(fù)雜度復(fù)雜度場(chǎng)景復(fù)雜度復(fù)雜度4、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)中臺(tái)未來(lái)方向讓正確的事情發(fā)生資產(chǎn)運(yùn)營(yíng)階段Foresight發(fā)生