數(shù)據(jù)中臺(tái)架構(gòu)建設(shè)方法論

1、 數(shù)據(jù)中臺(tái)架構(gòu)建設(shè)方法論1種策略、2項(xiàng)保障、3條目標(biāo)、4套體系、5個(gè)步驟目 錄 TOC o 1-3 h z u HYPERLINK l _Toc60753257 一、持續(xù)讓數(shù)據(jù)用起來的價(jià)值框架 PAGEREF _Toc60753257 h 3 HYPERLINK l _Toc60753258 二、數(shù)據(jù)中臺(tái)建設(shè)方法論 PAGEREF _Toc60753258 h 5 HYPERLINK l _Toc60753259 三、數(shù)據(jù)中臺(tái)架構(gòu) PAGEREF _Toc60753259 h 14不能把數(shù)據(jù)中臺(tái)簡單看作一個(gè)項(xiàng)目或產(chǎn)品，建設(shè)數(shù)據(jù)中臺(tái)要從戰(zhàn)略、認(rèn)知、組織保障等更高的層面做規(guī)劃。3.2節(jié)重點(diǎn)介紹的數(shù)

2、據(jù)中臺(tái)建設(shè)方法論體系，是筆者們多年大數(shù)據(jù)領(lǐng)域從業(yè)經(jīng)驗(yàn)和多個(gè)數(shù)據(jù)中臺(tái)建設(shè)經(jīng)驗(yàn)的總結(jié)。希望這套數(shù)據(jù)中臺(tái)建設(shè)方法論可以起到指引作用，幫助企業(yè)結(jié)合自身特點(diǎn)，在戰(zhàn)略規(guī)劃牽引下，建立起一套可持續(xù)運(yùn)行的中臺(tái)建設(shè)機(jī)制，從而加速企業(yè)在數(shù)字化轉(zhuǎn)型上的進(jìn)展。持續(xù)讓數(shù)據(jù)用起來的價(jià)值框架數(shù)據(jù)中臺(tái)的使命就是持續(xù)讓數(shù)據(jù)用起來，它的一個(gè)根本性創(chuàng)新就是把“數(shù)據(jù)資產(chǎn)”作為一個(gè)基礎(chǔ)要素獨(dú)立出來，讓成為資產(chǎn)的數(shù)據(jù)作為生產(chǎn)資料融入業(yè)務(wù)價(jià)值創(chuàng)造過程，持續(xù)產(chǎn)生價(jià)值。數(shù)據(jù)中臺(tái)作為整個(gè)企業(yè)各個(gè)業(yè)務(wù)所需數(shù)據(jù)服務(wù)的提供方，通過自身的平臺(tái)能力和業(yè)務(wù)對(duì)數(shù)據(jù)的不斷滋養(yǎng)（業(yè)務(wù)數(shù)據(jù)化），會(huì)形成一套高效可靠的數(shù)據(jù)資產(chǎn)體系和數(shù)據(jù)服務(wù)能力（數(shù)據(jù)資產(chǎn)化和資產(chǎn)服務(wù)化

3、）。這樣一來，當(dāng)出現(xiàn)新的市場(chǎng)變化，需要構(gòu)建新的前臺(tái)應(yīng)用時(shí)，數(shù)據(jù)中臺(tái)可以迅速提供數(shù)據(jù)服務(wù)（服務(wù)業(yè)務(wù)化），從而敏捷地響應(yīng)企業(yè)的創(chuàng)新。業(yè)務(wù)產(chǎn)生數(shù)據(jù)，數(shù)據(jù)服務(wù)業(yè)務(wù)，業(yè)務(wù)在陽，數(shù)據(jù)在陰，陰陽互補(bǔ)，形成閉環(huán)（見圖3-1）。圖1-1業(yè)務(wù)與數(shù)據(jù)閉環(huán)這個(gè)價(jià)值框架融入企業(yè)的運(yùn)營活動(dòng)中就能支撐數(shù)據(jù)中臺(tái)的組織地位：數(shù)據(jù)中臺(tái)必須擁有與企業(yè)的設(shè)計(jì)部門、制造部門、銷售部門等同樣重要的地位（見圖1-2）。圖1-2數(shù)據(jù)中臺(tái)的組織地位數(shù)據(jù)中臺(tái)不是單純的技術(shù)疊加，不是一個(gè)技術(shù)化的大數(shù)據(jù)平臺(tái)，二者有本質(zhì)區(qū)別。大數(shù)據(jù)平臺(tái)更關(guān)心技術(shù)層面的事情，包括研發(fā)效率、平臺(tái)的大數(shù)據(jù)處理能力等，針對(duì)的往往是技術(shù)人員；而數(shù)據(jù)中臺(tái)的核心是數(shù)據(jù)服務(wù)能力，要

4、結(jié)合場(chǎng)景，比如精準(zhǔn)營銷、風(fēng)控等，通過服務(wù)直接賦能業(yè)務(wù)應(yīng)用。數(shù)據(jù)中臺(tái)不僅面向技術(shù)人員，更需要面向多個(gè)部門的業(yè)務(wù)人員。這在建設(shè)過程中要特別注意，不論是由信息化部門牽頭還是由業(yè)務(wù)部門牽頭執(zhí)行數(shù)據(jù)中臺(tái)項(xiàng)目，都需要在整個(gè)企業(yè)內(nèi)部形成一張有共識(shí)的藍(lán)圖：數(shù)據(jù)是企業(yè)的戰(zhàn)略資產(chǎn)（見圖1-3）。圖1-3數(shù)據(jù)是企業(yè)的戰(zhàn)略資產(chǎn)數(shù)據(jù)中臺(tái)建設(shè)方法論對(duì)于圖1-4所示的數(shù)據(jù)中臺(tái)建設(shè)方法論體系，需要從組織、保障、準(zhǔn)則、內(nèi)容、步驟5個(gè)層面全面考慮，以確保數(shù)據(jù)中臺(tái)建設(shè)和實(shí)施能如期完成。1種戰(zhàn)略行動(dòng)：把用數(shù)據(jù)中臺(tái)驅(qū)動(dòng)業(yè)務(wù)發(fā)展定位為企業(yè)級(jí)戰(zhàn)略，全局謀劃。2項(xiàng)保障條件：通過宣導(dǎo)統(tǒng)一組織間的數(shù)據(jù)認(rèn)知，通過流程加速組織變革。3條目標(biāo)準(zhǔn)則：將

5、數(shù)據(jù)的可見、可用、可運(yùn)營3個(gè)核心準(zhǔn)則始終貫穿于中臺(tái)建設(shè)的全過程，保障建設(shè)在正確軌道上。4套建設(shè)內(nèi)容：通過技術(shù)體系、數(shù)據(jù)體系、服務(wù)體系、運(yùn)營體系建設(shè)保證中臺(tái)建設(shè)的全面性和可持續(xù)性。5個(gè)關(guān)鍵步驟：通過理現(xiàn)狀、立架構(gòu)、建資產(chǎn)、用數(shù)據(jù)、做運(yùn)營5個(gè)關(guān)鍵行動(dòng)控制中臺(tái)建設(shè)關(guān)鍵節(jié)點(diǎn)的質(zhì)量。圖1-4數(shù)據(jù)中臺(tái)建設(shè)方法論體系1種戰(zhàn)略行動(dòng)建設(shè)數(shù)據(jù)中臺(tái)是為了支撐企業(yè)數(shù)字化、智能化升級(jí)，通過全局的維度支撐業(yè)務(wù)，讓企業(yè)在市場(chǎng)上更具競爭優(yōu)勢(shì)，因此需要從公司戰(zhàn)略層面來規(guī)劃。在中臺(tái)建設(shè)過程中，會(huì)涉及所有相關(guān)業(yè)態(tài)、各塊資源的協(xié)調(diào)和推進(jìn)，這都需要站在更高的層面來考慮。當(dāng)然，具體在實(shí)施過程中，為了能快速迭代推進(jìn)，也會(huì)采取從點(diǎn)到面的突破

6、方法，從某個(gè)業(yè)務(wù)或者某個(gè)部門開始，初步構(gòu)建看到成效再逐步推廣，但不影響其作為核心戰(zhàn)略的定位。數(shù)據(jù)中臺(tái)要求整個(gè)企業(yè)共用一個(gè)數(shù)據(jù)技術(shù)平臺(tái)、共建數(shù)據(jù)體系、共享數(shù)據(jù)服務(wù)能力?，F(xiàn)實(shí)中，企業(yè)業(yè)務(wù)發(fā)展不均衡，各種部門墻導(dǎo)致共建、共享非常困難。數(shù)據(jù)中臺(tái)不僅是對(duì)技術(shù)架構(gòu)的改變，還是對(duì)整個(gè)企業(yè)業(yè)務(wù)運(yùn)轉(zhuǎn)模式的改變，需要企業(yè)在組織架構(gòu)和資源方面給予支持，所以中臺(tái)是一個(gè)企業(yè)的戰(zhàn)略行動(dòng)，絕非一個(gè)項(xiàng)目組或者一個(gè)小團(tuán)隊(duì)就能做的。數(shù)據(jù)中臺(tái)牽涉企業(yè)的方方面面，你要了解整個(gè)企業(yè)的業(yè)務(wù)情況，進(jìn)行業(yè)務(wù)梳理，還要有技術(shù)的支撐、組織的支撐，否則很難推動(dòng)落實(shí)。啟動(dòng)數(shù)據(jù)中臺(tái)一定要有戰(zhàn)略規(guī)劃，首先它是“一把手工程”，只有企業(yè)的一把手才有這種推力

7、來推動(dòng)數(shù)據(jù)中臺(tái)的建設(shè)。數(shù)據(jù)中臺(tái)的目標(biāo)是實(shí)現(xiàn)企業(yè)經(jīng)營的數(shù)據(jù)化、精細(xì)化、智能化，本質(zhì)是建設(shè)一套可持續(xù)讓企業(yè)數(shù)據(jù)用起來的機(jī)制。需要有相應(yīng)的組織、制度、流程、資源的保障。2種保障條件數(shù)據(jù)中臺(tái)是企業(yè)級(jí)戰(zhàn)略，支撐企業(yè)數(shù)字化轉(zhuǎn)型，涉及企業(yè)的方方面面，數(shù)據(jù)中臺(tái)戰(zhàn)略的執(zhí)行必然伴隨著企業(yè)組織保障以及整個(gè)企業(yè)數(shù)據(jù)意識(shí)的提升。首先，中臺(tái)戰(zhàn)略的實(shí)施需要有組織保障。與組織對(duì)應(yīng)的是資源與責(zé)任，數(shù)據(jù)中臺(tái)由誰來建、誰來維護(hù)、誰來經(jīng)營、業(yè)務(wù)需求怎么承接、效果怎么衡量等問題，已經(jīng)超出IT的范疇，需要企業(yè)更高層面對(duì)應(yīng)的組織來保障。圖3-5所示為中臺(tái)組織架構(gòu)。企業(yè)實(shí)施數(shù)據(jù)中臺(tái)戰(zhàn)略，必須首先建立起數(shù)據(jù)中臺(tái)團(tuán)隊(duì)，讓他們負(fù)責(zé)中臺(tái)的建設(shè)、維護(hù)

8、、運(yùn)營以及業(yè)務(wù)的承接和中臺(tái)服務(wù)的推廣等。另外，有了中臺(tái)，企業(yè)的運(yùn)轉(zhuǎn)模式發(fā)生了變化，業(yè)務(wù)、后臺(tái)、管理等團(tuán)隊(duì)也需要有對(duì)應(yīng)的組織人員與中臺(tái)團(tuán)隊(duì)對(duì)接。圖1-5中臺(tái)組織架構(gòu)其次，中臺(tái)戰(zhàn)略的實(shí)施需要提升全企業(yè)的數(shù)據(jù)意識(shí)。數(shù)據(jù)文化是數(shù)據(jù)中臺(tái)戰(zhàn)略不可或缺的部分，數(shù)據(jù)中臺(tái)的推進(jìn)依賴于數(shù)據(jù)文化的建立，反過來，企業(yè)數(shù)據(jù)文化的沉淀又是數(shù)據(jù)中臺(tái)建設(shè)的產(chǎn)出。大家談?wù)摯髷?shù)據(jù)比較多，但經(jīng)常對(duì)什么是大數(shù)據(jù)感到困惑，在筆者們看來，大數(shù)據(jù)和當(dāng)年提的“互聯(lián)網(wǎng)+”一樣，是一種考慮問題的思維方式，用互聯(lián)網(wǎng)思維、數(shù)據(jù)思維來發(fā)現(xiàn)問題，解決問題。因此，用一句話來概括數(shù)據(jù)文化：用數(shù)據(jù)說話。可以從以下方面來提升數(shù)據(jù)意識(shí)：（1）數(shù)據(jù)采集意識(shí)建議盡可

9、能采集一切業(yè)務(wù)觸點(diǎn)數(shù)據(jù)，隨著技術(shù)的發(fā)展，采集的方式也越來越多，比如業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)、埋點(diǎn)數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、傳感器數(shù)據(jù)等。了解可能的數(shù)據(jù)采集方式，盡可能把有價(jià)值的數(shù)據(jù)通過技術(shù)手段采集下來。（2）數(shù)據(jù)標(biāo)準(zhǔn)化意識(shí)之所以需要進(jìn)行數(shù)據(jù)治理，是因?yàn)閿?shù)據(jù)不標(biāo)準(zhǔn)。如果希望數(shù)據(jù)發(fā)揮價(jià)值，就需要保持統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)的意識(shí)，只有不同部門、不同業(yè)務(wù)對(duì)于數(shù)據(jù)的理解都一致了，才能減少因數(shù)據(jù)口徑不一導(dǎo)致的資源浪費(fèi)。（3）數(shù)據(jù)使用意識(shí)未來數(shù)據(jù)應(yīng)用會(huì)涉及方方面面，每一個(gè)業(yè)務(wù)環(huán)節(jié)都有可能用到數(shù)據(jù)的能力，所以所有企業(yè)員工都要掌握數(shù)據(jù)可能的使用方式，知道在實(shí)際業(yè)務(wù)操作過程中應(yīng)該怎么使用數(shù)據(jù)。另外，數(shù)據(jù)能夠找出人類經(jīng)驗(yàn)和人腦無法找出的關(guān)聯(lián)

10、關(guān)系，比如啤酒和尿布的故事，就要求打破原有經(jīng)驗(yàn)，用更高的數(shù)據(jù)意識(shí)來發(fā)揮數(shù)據(jù)對(duì)于業(yè)務(wù)的價(jià)值。（4）數(shù)據(jù)安全意識(shí)還必須具備數(shù)據(jù)安全意識(shí)，有些數(shù)據(jù)即使對(duì)業(yè)務(wù)有價(jià)值，但由于侵犯隱私或者觸犯法律等因素，也不能用，或者需要換一種合法的方式使用。企業(yè)員工需要有足夠的數(shù)據(jù)安全定級(jí)、脫敏的意識(shí)。3項(xiàng)目標(biāo)準(zhǔn)則數(shù)據(jù)中臺(tái)的3項(xiàng)目標(biāo)準(zhǔn)則可見、可用、可運(yùn)營，不僅可作為企業(yè)在數(shù)據(jù)中臺(tái)建設(shè)中的具體建設(shè)指引，也可用來客觀評(píng)估目前建設(shè)內(nèi)容的完整度。這3項(xiàng)目標(biāo)準(zhǔn)則的評(píng)估細(xì)則見表3-1。表3-1數(shù)據(jù)中臺(tái)建設(shè)目標(biāo)評(píng)估表4套建設(shè)內(nèi)容建設(shè)內(nèi)容是數(shù)據(jù)中臺(tái)建設(shè)的核心，是可呈現(xiàn)的產(chǎn)出物，也是數(shù)據(jù)中臺(tái)價(jià)值所在，前面的戰(zhàn)略措施、保障條件、目標(biāo)準(zhǔn)則都

11、是為了建設(shè)內(nèi)容能夠順利產(chǎn)出并且可以持續(xù)發(fā)揮價(jià)值。筆者認(rèn)為數(shù)據(jù)中臺(tái)的建設(shè)內(nèi)容包含技術(shù)體系、數(shù)據(jù)體系、服務(wù)體系、運(yùn)營體系四大體系，通過這四套體系的建設(shè)實(shí)現(xiàn)數(shù)據(jù)中臺(tái)讓數(shù)據(jù)持續(xù)用起來的目標(biāo)。技術(shù)體系是基礎(chǔ)支撐，就像是骨架一樣撐起整個(gè)數(shù)據(jù)中臺(tái)。數(shù)據(jù)體系就像是數(shù)據(jù)中臺(tái)的血肉，數(shù)據(jù)中臺(tái)對(duì)外呈現(xiàn)的主要內(nèi)容就是數(shù)據(jù)體系。服務(wù)體系是數(shù)據(jù)中臺(tái)的價(jià)值所在，就像數(shù)據(jù)中臺(tái)的靈魂一樣，激活靜止的骨架、血肉，讓中臺(tái)動(dòng)起來，發(fā)揮價(jià)值。運(yùn)營體系是數(shù)據(jù)中臺(tái)的守護(hù)者，通過運(yùn)營體系保證整個(gè)中臺(tái)的健康、持續(xù)運(yùn)轉(zhuǎn)。1.技術(shù)體系技術(shù)體系分兩個(gè)層面：大數(shù)據(jù)存儲(chǔ)計(jì)算技術(shù)和數(shù)據(jù)中臺(tái)工具技術(shù)組件，技術(shù)體系主要關(guān)注點(diǎn)是工具技術(shù)組件。大數(shù)據(jù)存儲(chǔ)計(jì)算技術(shù)

12、，比如Hadoop、Spark、Flink、Greenplum、Elasticsearch、Redis、Phoenix等，相對(duì)標(biāo)準(zhǔn)，企業(yè)只需要進(jìn)行合理選型即可，并不需要自己建設(shè)，而且技術(shù)難度很大，企業(yè)也不太可能自己建設(shè)。數(shù)據(jù)中臺(tái)工具技術(shù)組件包括數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)管控等。數(shù)據(jù)中臺(tái)是企業(yè)制定和實(shí)施數(shù)據(jù)匯聚、建模和加工規(guī)范的場(chǎng)所，也是企業(yè)數(shù)據(jù)體系存儲(chǔ)管理的工具平臺(tái)。通過工具化、產(chǎn)品化、可視化降低技術(shù)門檻，讓數(shù)據(jù)能夠被更方便地加工使用。2.數(shù)據(jù)體系數(shù)據(jù)體系是數(shù)據(jù)中臺(tái)建設(shè)、管理、使用的核心要素，全企業(yè)的數(shù)據(jù)通過各種方式匯聚到數(shù)據(jù)中臺(tái)，在數(shù)據(jù)中臺(tái)按照一定的建模方式進(jìn)行加工，形成企業(yè)

13、的數(shù)據(jù)資產(chǎn)體系。數(shù)據(jù)中臺(tái)始終圍繞著數(shù)據(jù)體系的建設(shè)和使用，讓數(shù)據(jù)體系盡可能完整、準(zhǔn)確、使用廣泛。不同企業(yè)的業(yè)務(wù)不同、數(shù)據(jù)不同，數(shù)據(jù)體系的內(nèi)容不同，但是建設(shè)的方法和對(duì)工具的要求是相似的，需要在中臺(tái)工具和建設(shè)方法的基礎(chǔ)上針對(duì)不同的企業(yè)建設(shè)不同的數(shù)據(jù)體系。3.服務(wù)體系數(shù)據(jù)中臺(tái)與大數(shù)據(jù)平臺(tái)的最主要區(qū)別是數(shù)據(jù)能更方便地以服務(wù)化的方式支撐業(yè)務(wù)，而這是通過數(shù)據(jù)中臺(tái)服務(wù)體系實(shí)現(xiàn)的。服務(wù)體系是通過數(shù)據(jù)中臺(tái)的服務(wù)組件能力，把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，比如客戶微觀畫像服務(wù)、信用評(píng)估服務(wù)、風(fēng)險(xiǎn)預(yù)警服務(wù)等，讓數(shù)據(jù)能夠方便地參與到業(yè)務(wù)中并為業(yè)務(wù)帶去價(jià)值。筆者經(jīng)常聽到的數(shù)字化轉(zhuǎn)型、數(shù)據(jù)化經(jīng)營，就是讓業(yè)務(wù)決策通過數(shù)據(jù)而不是僅憑經(jīng)驗(yàn)

14、，需要的正是數(shù)據(jù)服務(wù)能力。每家企業(yè)的業(yè)務(wù)不同，對(duì)數(shù)據(jù)服務(wù)的訴求也不同，數(shù)據(jù)中臺(tái)無法產(chǎn)品化地提供企業(yè)所需的所有數(shù)據(jù)服務(wù)能力。數(shù)據(jù)中臺(tái)通過提供數(shù)據(jù)服務(wù)生成、發(fā)布、監(jiān)控、管理功能，幫助企業(yè)逐個(gè)建立屬于自己的每一個(gè)數(shù)據(jù)服務(wù)，逐步完成企業(yè)數(shù)據(jù)服務(wù)體系的構(gòu)建。4.運(yùn)營體系運(yùn)營體系是數(shù)據(jù)中臺(tái)得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ)。運(yùn)營體系包括平臺(tái)流程規(guī)范執(zhí)行監(jiān)督、平臺(tái)資源占用的監(jiān)管及優(yōu)化推動(dòng)、數(shù)據(jù)質(zhì)量的監(jiān)督及改進(jìn)推動(dòng)、數(shù)據(jù)價(jià)值的評(píng)估、數(shù)據(jù)服務(wù)的推廣、稽查排名等。其目標(biāo)是讓平臺(tái)可以持續(xù)健康運(yùn)轉(zhuǎn)，產(chǎn)生持續(xù)價(jià)值。數(shù)據(jù)中臺(tái)是個(gè)復(fù)雜工程，數(shù)據(jù)的匯聚、開發(fā)、管理、服務(wù)都是要持續(xù)進(jìn)行的工作，如果沒有運(yùn)營體系的保障，可能會(huì)導(dǎo)致后期的參與

15、者無從下手，隨著時(shí)間的推移，數(shù)據(jù)的質(zhì)量、服務(wù)的效率也會(huì)持續(xù)下降，進(jìn)而導(dǎo)致中臺(tái)無法使用。數(shù)據(jù)中臺(tái)是一個(gè)持續(xù)的過程，一旦啟動(dòng)，就不能暫停，更不能停止，而保障數(shù)據(jù)中臺(tái)持續(xù)高效運(yùn)轉(zhuǎn)的就是這套運(yùn)營體系。5個(gè)關(guān)鍵步驟數(shù)據(jù)中臺(tái)在具體落地實(shí)施時(shí)，要結(jié)合技術(shù)、產(chǎn)品、數(shù)據(jù)、服務(wù)、運(yùn)營等5個(gè)方面，逐步開展相關(guān)的工作，在構(gòu)建閉環(huán)時(shí)會(huì)多考慮基礎(chǔ)設(shè)施部分的能力。一旦閉環(huán)建設(shè)完成，就可以在各個(gè)環(huán)節(jié)不斷豐富能力，逐步成為數(shù)據(jù)應(yīng)用的完整體系。根據(jù)筆者的實(shí)踐經(jīng)驗(yàn)，數(shù)據(jù)中臺(tái)的建設(shè)過程主要通過5個(gè)關(guān)鍵步驟來完成，如圖3-6所示。圖1-6中臺(tái)建設(shè)的5個(gè)關(guān)鍵步驟1.理現(xiàn)狀梳理企業(yè)的系統(tǒng)建設(shè)、已經(jīng)擁有的數(shù)據(jù)以及業(yè)務(wù)特點(diǎn)等現(xiàn)狀，了解企業(yè)對(duì)數(shù)

16、據(jù)中臺(tái)的認(rèn)知，以及相應(yīng)的數(shù)據(jù)文化建設(shè)情況。點(diǎn)對(duì)點(diǎn)地與業(yè)務(wù)部門、IT部門進(jìn)行溝通，獲取企業(yè)的產(chǎn)品和服務(wù)信息，形成業(yè)務(wù)現(xiàn)狀調(diào)研報(bào)告，同時(shí)了解目前企業(yè)以怎樣的組織形態(tài)來保證客戶的服務(wù)能力。詳細(xì)調(diào)研目前企業(yè)的IT建設(shè)情況和業(yè)務(wù)數(shù)據(jù)沉淀情況，比如采用的什么數(shù)據(jù)庫、數(shù)據(jù)量、數(shù)據(jù)字段和更新周期等，以便后續(xù)更好地設(shè)計(jì)技術(shù)架構(gòu)。2.立架構(gòu)根據(jù)現(xiàn)狀形成整體的規(guī)劃藍(lán)圖，形成技術(shù)產(chǎn)品、數(shù)據(jù)體系、服務(wù)方式以及運(yùn)營重點(diǎn)等相關(guān)的方案，梳理并確立各塊架構(gòu)。企業(yè)信息架構(gòu)經(jīng)常談到的4A，即業(yè)務(wù)架構(gòu)、技術(shù)架構(gòu)、應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)都需要在這個(gè)階段進(jìn)行確認(rèn)。這4個(gè)架構(gòu)具體介紹如下：業(yè)務(wù)架構(gòu)：保障數(shù)據(jù)中臺(tái)能夠適用于企業(yè)的業(yè)務(wù)運(yùn)管模型和流

17、程體系。技術(shù)架構(gòu)：主要是指技術(shù)體系中的數(shù)據(jù)基座，主要根據(jù)業(yè)務(wù)架構(gòu)近遠(yuǎn)期規(guī)劃，對(duì)數(shù)據(jù)的存儲(chǔ)和計(jì)算進(jìn)行統(tǒng)一的選型。應(yīng)用架構(gòu)：特指數(shù)據(jù)中臺(tái)應(yīng)用架構(gòu)，后面幾個(gè)關(guān)鍵步驟的內(nèi)容所依賴的工具主要由數(shù)據(jù)中臺(tái)作為平臺(tái)應(yīng)用來承接。組織架構(gòu)：主要是保證中臺(tái)項(xiàng)目的順利落地需要企業(yè)考慮的整體組織保障，其中的角色有業(yè)務(wù)人員、IT人員、供應(yīng)商和相關(guān)負(fù)責(zé)人。3.建資產(chǎn)結(jié)合數(shù)據(jù)架構(gòu)的整體設(shè)計(jì)，通過數(shù)據(jù)資產(chǎn)體系建設(shè)方法，幫助企業(yè)構(gòu)建既符合場(chǎng)景需求又滿足數(shù)據(jù)架構(gòu)要求的數(shù)據(jù)資產(chǎn)體系并實(shí)施落地。這個(gè)步驟涉及數(shù)據(jù)匯聚、數(shù)據(jù)倉庫建設(shè)、標(biāo)簽體系建設(shè)以及應(yīng)用數(shù)據(jù)建設(shè)，其中最關(guān)鍵的是標(biāo)簽體系建設(shè)。所謂標(biāo)簽體系是面向具體對(duì)象構(gòu)建的全維度數(shù)據(jù)標(biāo)簽，

18、通過標(biāo)簽體系可以方便地支撐應(yīng)用，大數(shù)據(jù)的核心魅力和服務(wù)能力主要就體現(xiàn)在標(biāo)簽體系的服務(wù)能力上。4.用數(shù)據(jù)從應(yīng)用場(chǎng)景出發(fā)，將已經(jīng)構(gòu)建的數(shù)據(jù)資產(chǎn)通過服務(wù)化方式，應(yīng)用到具體的業(yè)務(wù)中，發(fā)揮數(shù)據(jù)價(jià)值。將數(shù)據(jù)資產(chǎn)快速形成服務(wù)能力并與業(yè)務(wù)進(jìn)行對(duì)接，在業(yè)務(wù)中產(chǎn)生數(shù)據(jù)價(jià)值，實(shí)現(xiàn)數(shù)據(jù)的服務(wù)化、業(yè)務(wù)化。在服務(wù)過程中，數(shù)據(jù)安全是不得不考慮的問題，哪些人能看到什么數(shù)字資產(chǎn)，能選擇什么類型的服務(wù)都是需要嚴(yán)格審核的。5.做運(yùn)營數(shù)據(jù)應(yīng)用于業(yè)務(wù)后，其產(chǎn)生的價(jià)值通過運(yùn)營的能力不斷優(yōu)化迭代，并讓更多的人感知到數(shù)據(jù)的價(jià)值點(diǎn)。數(shù)據(jù)中臺(tái)建設(shè)是一個(gè)持續(xù)建設(shè)和運(yùn)營的過程，所謂持續(xù)建設(shè)和運(yùn)營是指在架構(gòu)基本穩(wěn)定的情況下，不斷循環(huán)第35步，多方角色

19、會(huì)圍繞核心KPI不斷挖掘數(shù)據(jù)和業(yè)務(wù)場(chǎng)景的結(jié)合點(diǎn)，不斷根據(jù)質(zhì)量和價(jià)值兩個(gè)點(diǎn)來運(yùn)營優(yōu)化。企業(yè)通過多個(gè)組織之間的配合推進(jìn)，會(huì)逐步形成企業(yè)特有的數(shù)據(jù)文化和認(rèn)知，這是企業(yè)在數(shù)字化轉(zhuǎn)型中非常重要但很難跨越的點(diǎn)。數(shù)據(jù)中臺(tái)架構(gòu)通過前面對(duì)數(shù)據(jù)中臺(tái)建設(shè)方法論體系的介紹，了解了數(shù)據(jù)中臺(tái)的行動(dòng)、保障、準(zhǔn)則、內(nèi)容和步驟。這一節(jié)將讓大家了解數(shù)據(jù)中臺(tái)的總體架構(gòu)、包含的模塊、模塊之間的關(guān)系以及運(yùn)轉(zhuǎn)機(jī)制。數(shù)據(jù)中臺(tái)的目標(biāo)是讓數(shù)據(jù)持續(xù)用起來，通過數(shù)據(jù)中臺(tái)提供的工具、方法和運(yùn)行機(jī)制，把數(shù)據(jù)變?yōu)橐环N服務(wù)能力，讓數(shù)據(jù)更方便地被業(yè)務(wù)所使用。圖3-7所示為數(shù)據(jù)中臺(tái)的總體架構(gòu)圖，數(shù)據(jù)中臺(tái)是位于底層存儲(chǔ)計(jì)算平臺(tái)與上層的數(shù)據(jù)應(yīng)用之間的一整套體系。

20、數(shù)據(jù)中臺(tái)屏蔽掉底層存儲(chǔ)平臺(tái)的計(jì)算技術(shù)復(fù)雜性，降低對(duì)技術(shù)人才的需求，讓數(shù)據(jù)的使用成本更低。通過數(shù)據(jù)中臺(tái)的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力，服務(wù)于企業(yè)業(yè)務(wù)。數(shù)據(jù)安全管理、數(shù)據(jù)運(yùn)營體系保障數(shù)據(jù)中臺(tái)可以長期健康、持續(xù)運(yùn)轉(zhuǎn)。1.數(shù)據(jù)匯聚數(shù)據(jù)匯聚是數(shù)據(jù)中臺(tái)數(shù)據(jù)接入的入口。數(shù)據(jù)中臺(tái)本身幾乎不產(chǎn)生數(shù)據(jù)，所有數(shù)據(jù)來自于業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等，這些數(shù)據(jù)分散在不同的網(wǎng)絡(luò)環(huán)境和存儲(chǔ)平臺(tái)中，難以利用，很難產(chǎn)生業(yè)務(wù)價(jià)值。數(shù)據(jù)匯聚是數(shù)據(jù)中臺(tái)必須提供的核心工具，把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)方便地采集到數(shù)據(jù)中臺(tái)中進(jìn)行集中存儲(chǔ)，為后續(xù)的加工建模做準(zhǔn)備。數(shù)據(jù)匯

21、聚方式一般有數(shù)據(jù)庫同步、埋點(diǎn)、網(wǎng)絡(luò)爬蟲、消息隊(duì)列等；從匯聚的時(shí)效性來分，有離線批量匯聚和實(shí)時(shí)采集。2.數(shù)據(jù)開發(fā)通過數(shù)據(jù)匯聚模塊匯聚到中臺(tái)的數(shù)據(jù)沒有經(jīng)過處理，基本是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起的，這樣業(yè)務(wù)還是很難使用。圖1-7數(shù)據(jù)中臺(tái)總體架構(gòu)圖數(shù)據(jù)開發(fā)是一整套數(shù)據(jù)加工以及加工過程管控的工具，有經(jīng)驗(yàn)的數(shù)據(jù)開發(fā)、算法建模人員利用數(shù)據(jù)加工模塊提供的功能，可以快速把數(shù)據(jù)加工成對(duì)業(yè)務(wù)有價(jià)值的形式，提供給業(yè)務(wù)使用。數(shù)據(jù)開發(fā)模塊主要面向開發(fā)人員、分析人員，提供離線、實(shí)時(shí)、算法開發(fā)工具，以及任務(wù)的管理、代碼發(fā)布、運(yùn)維、監(jiān)控、告警等一系列集成工具，方便使用，提升效率。3.數(shù)據(jù)體系有了數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊，中臺(tái)已經(jīng)具備傳統(tǒng)數(shù)據(jù)倉庫（后面簡稱：數(shù)倉）平臺(tái)的基本能力，可以做數(shù)據(jù)的匯聚以及各種數(shù)據(jù)開發(fā)，就可以建立企業(yè)的數(shù)據(jù)體系。之前說數(shù)據(jù)體系是中臺(tái)的血肉，開發(fā)、管理、使用的都是數(shù)據(jù)。大數(shù)據(jù)時(shí)代，數(shù)據(jù)量大，增長快，業(yè)務(wù)對(duì)數(shù)據(jù)的依賴也會(huì)越來越高，必須考慮數(shù)據(jù)的一致性和可復(fù)用性，垂直的、煙囪式的數(shù)據(jù)和數(shù)據(jù)服務(wù)的建設(shè)方式注定不能長久存在。不同的企業(yè)因業(yè)務(wù)不同導(dǎo)致數(shù)據(jù)不同，數(shù)據(jù)建設(shè)的內(nèi)容也不同，但是建設(shè)方法可以相似，數(shù)據(jù)要統(tǒng)一建設(shè)，筆者建議數(shù)據(jù)按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)。