數(shù)字智慧方案數(shù)據(jù)中臺(tái)應(yīng)用場景10構(gòu)建某汽車集團(tuán)數(shù)據(jù)中臺(tái)解決方案

某企業(yè)集團(tuán)數(shù)據(jù)湖解決方案“數(shù)據(jù)湖”構(gòu)建某汽車集團(tuán)數(shù)據(jù)中臺(tái)數(shù)據(jù)湖|PART1看到的現(xiàn)象表面原因過渡原因根本原因大數(shù)據(jù)平臺(tái)待建數(shù)據(jù)庫計(jì)算能力不足數(shù)據(jù)量大個(gè)性化平臺(tái)業(yè)務(wù)數(shù)據(jù)孤島實(shí)時(shí)海量存儲(chǔ)計(jì)算人力不足成本過高技術(shù)沉淀不足數(shù)據(jù)湖因運(yùn)而生萌生V0.12016.04產(chǎn)品

V1.02017.06沙盒

V3.02018.06未來

Vx.x2019.12沉淀

V0.22016.12成熟

V2.02017.12品牌

V4.02018.12單位格級(jí)別統(tǒng)一權(quán)限管理金融級(jí)自動(dòng)化數(shù)據(jù)加密敏感數(shù)據(jù)脫敏金融級(jí)數(shù)據(jù)加密數(shù)據(jù)備份及容災(zāi)功能數(shù)據(jù)快照及數(shù)據(jù)回溯百億級(jí)數(shù)據(jù)亞秒級(jí)查詢高性能查詢數(shù)據(jù)庫數(shù)據(jù)實(shí)時(shí)接入異構(gòu)數(shù)據(jù)庫數(shù)據(jù)融合每秒百萬級(jí)數(shù)據(jù)接入實(shí)時(shí)大數(shù)據(jù)海量數(shù)據(jù)機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘系統(tǒng)海量小文件存儲(chǔ)及檢索便捷科學(xué)計(jì)算應(yīng)用數(shù)據(jù)湖數(shù)據(jù)湖管理模塊原始數(shù)據(jù)庫入湖數(shù)據(jù)出湖->科學(xué)家工作臺(tái)數(shù)據(jù)鏈路管理科學(xué)家工作臺(tái)數(shù)據(jù)湖事件管理數(shù)據(jù)鏈路（發(fā)送端）詳情數(shù)據(jù)鏈路（接收端）管理數(shù)據(jù)表同步管理數(shù)據(jù)表Merge管理數(shù)據(jù)鏈路配置數(shù)據(jù)加密，訪問權(quán)限，脫敏設(shè)置數(shù)據(jù)治理模塊數(shù)據(jù)湖租戶租戶數(shù)據(jù)庫管理數(shù)據(jù)資產(chǎn)事件管理數(shù)據(jù)表列表數(shù)據(jù)庫狀態(tài)信息元數(shù)據(jù)導(dǎo)入數(shù)據(jù)表詳情數(shù)據(jù)血緣數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)庫元數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)表訪問日志科學(xué)家工作臺(tái)數(shù)據(jù)挖掘/分析項(xiàng)目管理項(xiàng)目文件/資源管理會(huì)話(docker)管理JupyterIDE和運(yùn)行環(huán)境數(shù)據(jù)同步鏈路SAICDATALINKSAICDataLinkSAICDataLink是上汽集團(tuán)自主研發(fā)的數(shù)據(jù)同步鏈路，適配上汽數(shù)據(jù)湖平臺(tái)。完成異構(gòu)數(shù)據(jù)庫數(shù)據(jù)實(shí)時(shí)同步到上汽數(shù)據(jù)湖的工作，具有以下特點(diǎn)：支持Oracle，DB2，MySQL，MongoDB，PostgreSQL等數(shù)據(jù)庫異步非阻塞方式讀取數(shù)據(jù)庫Log文件，對數(shù)據(jù)庫不構(gòu)成壓力實(shí)時(shí)同步：2秒數(shù)據(jù)延遲(局域網(wǎng))數(shù)據(jù)存儲(chǔ)，傳輸加密：數(shù)據(jù)存儲(chǔ)使用AES，3DES加密，數(shù)據(jù)傳輸使用HTTPS加密支持局域網(wǎng)/廣域網(wǎng)數(shù)據(jù)同步強(qiáng)數(shù)據(jù)一致性校驗(yàn)，保證在網(wǎng)絡(luò)條件差的情況下不丟失一條數(shù)據(jù)無狀態(tài)鏈路設(shè)計(jì)，動(dòng)態(tài)擴(kuò)容，基于容器的自動(dòng)運(yùn)維Hock方式提供數(shù)據(jù)同步鏈路開發(fā)接口，支持用戶自定義Lua腳本擴(kuò)展數(shù)據(jù)鏈路功能SAICDataLink架構(gòu)圖（局域網(wǎng)）

SAICDataLinkSAICDataLink架構(gòu)圖（廣域網(wǎng)）

SAICDataLink數(shù)據(jù)湖經(jīng)濟(jì)型分析

報(bào)價(jià)單價(jià)(每TB)OracleOGG4萬/Core1000萬左右（200鏈路）Oracleexadata1000~2000萬100TB10萬/TBSAPHANA320萬256G1280萬/TBTeradata300萬30~40T100萬/TB據(jù)了解某大型企業(yè)Oracleexadata和SAPHANA，各花了400萬和320萬。數(shù)據(jù)湖建設(shè)成本，單臺(tái)機(jī)器40T，目前市面上這類機(jī)器的價(jià)格大概在10萬左右，軟件成本按照1年算，平均10個(gè)成員（100萬/人/年）大致1000萬。按照10套軟件的輸出平攤，100萬（開發(fā)成本）+(10萬硬件成本/40T（存儲(chǔ)容量）)=100萬+0.25萬/TB實(shí)施成本，目前實(shí)施人員（外包）成本大致為70萬/人/年，按一個(gè)季度的實(shí)施成本為17.5萬元。企業(yè)上線數(shù)據(jù)湖的預(yù)估成本（按照10套數(shù)據(jù)湖產(chǎn)品輸出計(jì)算）：

100萬+0.25萬/TB+17.5萬數(shù)據(jù)湖3.0數(shù)據(jù)湖4.0節(jié)省70%以上建設(shè)成本Guide