大數(shù)據(jù)湖體系規(guī)劃與建設方案相關兩份資料

大

數(shù)

據(jù)

湖

體

系

規(guī)

劃與

建

設

方

案目錄12345背

景：大數(shù)據(jù)湖的發(fā)展背景與建設理念體

系：大數(shù)據(jù)湖體系規(guī)劃與建設思路生態(tài)圈：探索新興業(yè)務入湖建設模式共

享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃運

營：大數(shù)據(jù)湖一體化運營管理建設數(shù)據(jù)架構(gòu)與承載體系的演變過程完整性、一致性、交互穩(wěn)定性，并發(fā)性，異?？苫謴托云髽I(yè)級跨域整合、業(yè)務擴展性、架構(gòu)設計合理性、流程規(guī)范性存儲經(jīng)濟性、高性能、高擴展、高并發(fā)、靈活模型適配性E.F.Codd發(fā)明DBMSBillInmon提出DW概念Google發(fā)布三篇論文1970’s1990’s2000’s123數(shù)據(jù)庫時代數(shù)據(jù)倉庫時代大數(shù)據(jù)平臺時代關系型數(shù)據(jù)庫解決了信息時代的數(shù)據(jù)資源存儲和管理，實現(xiàn)了電子化的文件柜DW研究和解決了從數(shù)據(jù)庫中獲取信息的問題，通過OLAP、數(shù)據(jù)挖掘等幫助企業(yè)決策分析，構(gòu)建商業(yè)智能（BI）面對大數(shù)據(jù)5V特點，采用分布式、并行化的存儲和計算架構(gòu)，提升數(shù)據(jù)處理能力ü

對象：PB級，80%以上非結(jié)構(gòu)化數(shù)據(jù)ü

技術：分布式架構(gòu)、云計算、虛擬化等ü

CAP原理：CAP

BASEü

采用數(shù)據(jù)模型表示數(shù)據(jù)結(jié)構(gòu)，冗余小ü

面向事務管理，具有ACID特性ü

面向主題的，關注用戶重點業(yè)務ü

集成的，跨越歷史、區(qū)域、系統(tǒng)…ü

穩(wěn)定的，具有只讀性質(zhì)，以查詢?yōu)橹鳕?/p>

以時間序列存儲，非規(guī)范化管理ü

數(shù)據(jù)統(tǒng)一管理和控制，易維護和擴充ü

程序與數(shù)據(jù)獨立，具有良好用戶接口ü

目標：線性擴展、彈性計算、實時響應、動態(tài)調(diào)節(jié)背景：數(shù)據(jù)快速入湖，分析更加智能，應用更加多樣，服務更加開放u

更多企業(yè)數(shù)據(jù)將進入數(shù)據(jù)湖，來自傳統(tǒng)系統(tǒng)的數(shù)據(jù)和傳感器等新型數(shù)據(jù)資源不斷融合，數(shù)據(jù)孤島將繼續(xù)被打破。u

隨著大數(shù)據(jù)分析能力的不斷提高，人工智能的重要性被逐步提升。當今最先進的機器學習和人工智能系統(tǒng)正在超越傳統(tǒng)的基于規(guī)則的算法，創(chuàng)建出能夠理解、學習、預測、適應，甚至可以自主操作的系統(tǒng)。大數(shù)據(jù)發(fā)展趨勢分析數(shù)據(jù)服務以更加深度的數(shù)據(jù)開放，跨行業(yè)大數(shù)據(jù)關聯(lián)。?

以更多樣的應用能力，構(gòu)建針對性行業(yè)解決方案。?數(shù)據(jù)服務深度數(shù)據(jù)開放，針對方案制定數(shù)據(jù)應用?智能應用，基于AI與機器學習分析，個性化服務提供。數(shù)據(jù)應用?

應用快速構(gòu)建，基于數(shù)據(jù)湖進行細粒度的收集、探索和分析應用更加智能，構(gòu)建更加快速?

從深度學習到機器學習，從機器學習到人工智能。數(shù)據(jù)分析數(shù)據(jù)分析?

基于數(shù)據(jù)湖的大量的原始數(shù)據(jù)，深度訓練，快速分析人工智能分析，直引湖中數(shù)據(jù)數(shù)據(jù)治理入湖即治理，針對性對數(shù)據(jù)源系統(tǒng)輸入數(shù)據(jù)制定入湖標準?數(shù)據(jù)治理?

數(shù)據(jù)驅(qū)動治理規(guī)范，以數(shù)據(jù)為核心實時制定治理規(guī)范。數(shù)據(jù)驅(qū)動規(guī)范，入湖標準制定數(shù)據(jù)平臺?

數(shù)據(jù)平臺存儲方式向數(shù)據(jù)湖模式轉(zhuǎn)變，多數(shù)據(jù)匯聚。?

支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)多數(shù)據(jù)入湖?

。數(shù)據(jù)湖數(shù)據(jù)湖產(chǎn)生背景及概念提出企業(yè)現(xiàn)在正處于大數(shù)據(jù)的“焦慮期”問題？挑戰(zhàn)？

p

存儲成本問題：海量數(shù)據(jù)需要在多環(huán)境、多級下重復存儲，存儲開銷大p

數(shù)據(jù)形態(tài)問題：應用大多聚焦在經(jīng)過加工后的再生數(shù)據(jù)，原始數(shù)據(jù)無法得到充分利用變革！p

業(yè)務響應問題：必須事先進行充分規(guī)劃和較長周期加工，欠缺運營所需的靈活性和時效性數(shù)據(jù)湖一詞是2011年由Pentaho首席技術官詹姆斯

迪克森最初提出的，參照“數(shù)據(jù)集市”得來。ü

較小的數(shù)據(jù)存儲庫ü

如同瓶裝水，經(jīng)過過濾包裝結(jié)構(gòu)化后以供使用ü

數(shù)據(jù)來源于不同地方ü

如同湖泊，存儲更自然狀態(tài)下的大量的水n

預先設定問題n

集中存儲+無限能力n

使用方式單一n

用戶各取所需數(shù)據(jù)集市數(shù)據(jù)湖數(shù)據(jù)湖的定義與特性把你以前在磁帶上擁有的東西倒入到數(shù)據(jù)湖，然后開始探索該數(shù)據(jù)。重要的只把需要的數(shù)據(jù)倒入到Hadoop；如果你想結(jié)合來自數(shù)據(jù)湖的信息和客戶關系管理系統(tǒng)（CRM）里面的信息，我們就進行連接，只有需要時才執(zhí)行這番數(shù)詹姆斯·迪克森

據(jù)結(jié)合。數(shù)據(jù)湖是一種在系統(tǒng)或存儲庫中以自然格式存儲數(shù)據(jù)的方法，它有助于以各種模式和結(jié)構(gòu)形式配置數(shù)據(jù)，通常是對象塊或文件。湖中的數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)從關系數(shù)據(jù)庫（行和列），半結(jié)構(gòu)化數(shù)據(jù)（CSV、XML、JSON的日志），非結(jié)構(gòu)化數(shù)據(jù)（電子郵件，文檔，PDF）和二進制數(shù)據(jù)（圖像、音頻、視頻）從而形成一個集中式數(shù)據(jù)存儲容納所有形式的數(shù)據(jù)。維基百科把不同結(jié)構(gòu)的數(shù)據(jù)統(tǒng)一存儲，使不同數(shù)據(jù)有一致的存儲方式，在使用時方便連接，真正解決數(shù)據(jù)集成問題。數(shù)據(jù)湖（DataLake）核心思想n

全部采集（CollectEverything）n

隨處研究（DiveInAnywhere）n

靈活訪問（FlexibleAccess）存儲一切，分析一切，創(chuàng)建所需從對比中理解數(shù)據(jù)湖概念

—

優(yōu)勢篇對比項數(shù)據(jù)倉庫數(shù)據(jù)湖支持數(shù)據(jù)類型

有限的數(shù)據(jù)類型支持，以結(jié)構(gòu)化為主支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)湖世界里，沒有關于已經(jīng)取得的數(shù)據(jù)假設。一旦數(shù)據(jù)發(fā)生，即開始在細粒度級別收集數(shù)據(jù)。業(yè)務流程發(fā)現(xiàn)基于數(shù)據(jù)與輸入數(shù)據(jù)過程開始于業(yè)務流程識別，通常由數(shù)據(jù)管理者和業(yè)務負責人基數(shù)據(jù)采集方式于數(shù)據(jù)和業(yè)務的某種假設寫入模式，建立模型對數(shù)據(jù)進行某類格式和結(jié)構(gòu)的處理，為了讀取模式，接受原始形式的數(shù)據(jù)，在數(shù)據(jù)細粒度級別收集、數(shù)據(jù)處理能力

減少數(shù)據(jù)的復雜性，比較難于實現(xiàn)上卷（Rollup）和鉆取探索和分析非常簡單（Drilldown）分析，該設計可能需要妥協(xié)一定粒度的數(shù)據(jù)數(shù)據(jù)庫架構(gòu)演變需要謹慎，過程耗時，成本較高，影響較大，不存在結(jié)構(gòu)問題，支持復雜數(shù)據(jù)類型，便于重置數(shù)據(jù)模型、查詢和應用，并具有簡單的重建關系的能力架構(gòu)重建能力需要對原有數(shù)據(jù)進行重構(gòu)動態(tài)性擴展性敏捷性差，采用靜態(tài)固定配置，基于業(yè)務流程驅(qū)動而設計系統(tǒng)提供預定義的業(yè)務需求高度敏捷，動態(tài)靈活配置，基于數(shù)據(jù)的業(yè)務流程定義點燃創(chuàng)新和新的商業(yè)機會從對比中理解數(shù)據(jù)湖概念

—

劣勢篇對比項數(shù)據(jù)倉庫數(shù)據(jù)湖數(shù)據(jù)規(guī)劃體系具有周密的數(shù)據(jù)發(fā)現(xiàn)、采集、探索和轉(zhuǎn)換的數(shù)據(jù)計劃，易于突顯數(shù)據(jù)價值

不太重視事先的數(shù)據(jù)規(guī)劃，允許存儲任何數(shù)據(jù)，難以抓取數(shù)據(jù)價值數(shù)據(jù)利用率高，按數(shù)據(jù)優(yōu)先級和數(shù)據(jù)可用性的大小進行組織，可以快速定

數(shù)據(jù)利用率低，缺少數(shù)據(jù)優(yōu)先級排序，需要花費大量時間查找和分數(shù)據(jù)利用效率位所需數(shù)據(jù)析前的準備數(shù)據(jù)需求響應能力復雜性和難度邏輯可解釋性安全性具有較高的需求響應能力，可以保證平穩(wěn)高效的數(shù)據(jù)訪問較低，建設規(guī)模與成本可控數(shù)據(jù)響應延遲較高，整個分析過程容易中斷很高，建設難度與規(guī)模呈線性增長趨勢，隱性成本較高欠缺語義一致性和嚴格的元數(shù)據(jù)，數(shù)據(jù)關系較為松散，難以解釋比較新的技術，需要持續(xù)完善數(shù)據(jù)組織邏輯性強，數(shù)據(jù)關系可解釋性較高多年發(fā)展歷程，保護數(shù)據(jù)的能力比較成熟企業(yè)的業(yè)務行家和專業(yè)人員，技術門檻低適用對象面向熟練用戶、科學領域的數(shù)據(jù)科學家，技術門檻高潛在風險數(shù)據(jù)湖是大數(shù)據(jù)概念的延伸數(shù)據(jù)湖的能力視圖數(shù)據(jù)湖并非是個全新概念1.

“數(shù)據(jù)湖”是關于企業(yè)應用大數(shù)據(jù)的概念，是面向企業(yè)的最佳的大數(shù)據(jù)的解決方案p

多樣化的數(shù)據(jù)存儲數(shù)據(jù)能力要求p

高效的數(shù)據(jù)處理p

存儲全部數(shù)據(jù)p

處理任何數(shù)據(jù)p

訪問任何數(shù)據(jù)2.

“數(shù)據(jù)湖”不僅是數(shù)據(jù)存儲和處理的單元，也是釋放數(shù)據(jù)價值的過程3.

企業(yè)大數(shù)據(jù)應用成功的關鍵并不是存儲所有的數(shù)據(jù)，而是要創(chuàng)建一個更有意義的“數(shù)據(jù)湖”，幫助企業(yè)加速提取高價值數(shù)據(jù)的速度4.

數(shù)據(jù)湖是大數(shù)據(jù)發(fā)展方向上的高級階段，是一種建設理念，而不是一種特定的實施方法IT能n

支持所有用戶力

n

更容易適應變化要求5.

“數(shù)據(jù)湖”是個架構(gòu)概念，是數(shù)據(jù)倉庫的一種演進，是一種n

更快的洞悉能力大數(shù)據(jù)概念下的延伸數(shù)據(jù)湖概念上的甄別數(shù)據(jù)湖是……數(shù)據(jù)湖不是……1、用戶可以訪問大量原始數(shù)據(jù)的環(huán)境2、一個開發(fā)和驗證分析模型的環(huán)境，然后將其轉(zhuǎn)化為生產(chǎn)1、用于安置企業(yè)所有數(shù)據(jù)的一個數(shù)據(jù)倉庫或數(shù)據(jù)集市2、替代運營數(shù)據(jù)存儲（ODS）3、高性能的生產(chǎn)環(huán)境3、用于探索數(shù)據(jù)以獲得洞察力的分析沙箱4、企業(yè)級目錄，可幫助用戶查找數(shù)據(jù)并將業(yè)務術語與技術元數(shù)據(jù)鏈接起來4、生產(chǎn)型報表的應用程序5、一個專門建立的系統(tǒng)來解決一個特定的問題（盡管專門建立的數(shù)據(jù)集市可以從數(shù)據(jù)湖中提供）5、一個支持重用數(shù)據(jù)轉(zhuǎn)換和查詢的環(huán)境數(shù)據(jù)湖體系的架構(gòu)規(guī)劃數(shù)據(jù)湖的邏輯架構(gòu)數(shù)據(jù)湖的數(shù)據(jù)架構(gòu)p

持久層（PersitentLayer）：存放所有從和外部獲取的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)p

分析沙箱（AnalyticsSandbox）：數(shù)據(jù)科學家和分析師被授予持久層的訪問權限并使用進行數(shù)據(jù)研究和實驗p

探索數(shù)據(jù)源（Curated）：數(shù)據(jù)分析師會將有商業(yè)價值的數(shù)據(jù)進行處理并創(chuàng)建新的數(shù)據(jù)源以提供給業(yè)務分析師p

可操作層（Operationallayer）：業(yè)務分析師繼續(xù)精煉已處理過的數(shù)據(jù)，和數(shù)據(jù)管理團隊一起將這些數(shù)據(jù)轉(zhuǎn)換為更為容易操作和使用的數(shù)據(jù)，存放之以便得到更廣泛的使用Hadoop不一定是數(shù)據(jù)湖的組成部分，只是它是目前最理想的選擇！數(shù)據(jù)湖建設的四個階段p

端到端的業(yè)務支撐能力p

穩(wěn)定的成熟度服務架構(gòu)p

靈活完善的企業(yè)運營模式協(xié)作交互階段p

分析能力增強p

優(yōu)化探索環(huán)境0403p

豐富價值發(fā)現(xiàn)模型基礎架構(gòu)階段p

EDW與DataLake協(xié)作02p

對外生產(chǎn)價值輸送能力p

數(shù)據(jù)服務和運營管理能力成熟運營階段01價值挖掘階段p

整合數(shù)據(jù)湖基礎設施p

可擴展的數(shù)據(jù)處理和攝入大多數(shù)企業(yè)處于前三個階段的建設和完善過程中……p

數(shù)據(jù)目錄管理趨于完善數(shù)據(jù)湖體系的建設要點與風險分析數(shù)據(jù)湖關鍵點建設難點與風險靈活自動化的采集與存儲企業(yè)全局數(shù)據(jù)的掌握與預測組織和編目數(shù)據(jù)管理統(tǒng)一的透明訪問方式數(shù)據(jù)質(zhì)量和可靠性統(tǒng)一元數(shù)據(jù)規(guī)范和管控能力業(yè)務關聯(lián)場景的數(shù)據(jù)理解系統(tǒng)化的質(zhì)量管控體系無感知的分布式架構(gòu)（存儲、計算、網(wǎng)絡）分布技術的規(guī)劃和擴展能力參考：來自實踐中數(shù)據(jù)湖建設內(nèi)容業(yè)界主流公司的數(shù)據(jù)湖規(guī)劃

—

HortonworksHortonworks公司基于

Hadoop生態(tài)構(gòu)建的數(shù)據(jù)湖提出的現(xiàn)代化數(shù)據(jù)架構(gòu)（MordenDataArchitecture），從南向北包含四個層面：數(shù)據(jù)采集層（DataAcquisitionLayer）數(shù)據(jù)采集層負責從數(shù)據(jù)源抽取和移動數(shù)據(jù)，并將數(shù)據(jù)存放到數(shù)據(jù)湖中。采集的數(shù)據(jù)源包括傳統(tǒng)的關系型或事務型系統(tǒng)、用戶獲取的數(shù)據(jù)、非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)、外部數(shù)據(jù)或流數(shù)據(jù)等。數(shù)據(jù)監(jiān)管層（DataCurationLayer）數(shù)據(jù)監(jiān)管層負責數(shù)據(jù)湖中的數(shù)據(jù)組織、定型并為其他層提供消費，包含數(shù)據(jù)標準化流程制定，數(shù)據(jù)創(chuàng)建、脫敏、清洗、轉(zhuǎn)換、維護、管理和展現(xiàn)等工作。數(shù)據(jù)供應層（DataProvisioningLayer）數(shù)據(jù)供應層采用更適用于業(yè)務報表和分析的傳統(tǒng)數(shù)據(jù)儲存方式，使用OLAP、數(shù)據(jù)倉庫和數(shù)據(jù)集市降低數(shù)據(jù)消費的復雜度并提供快速的交互式查詢和分析。數(shù)據(jù)消費層（DataConsumptionLayer）數(shù)據(jù)消費層提供所有最終用戶的接口，對于不同用戶對數(shù)據(jù)的需求，大量和多元化的工具和技術會被用于該層。業(yè)界主流公司對于數(shù)據(jù)湖的規(guī)劃

—

IBMIBM公司提出的數(shù)據(jù)湖架構(gòu)，包括六大關鍵部件：一．數(shù)據(jù)湖資源庫按照數(shù)據(jù)特點進行原始格式的分類存儲庫二．企業(yè)IT交互統(tǒng)一提供企業(yè)生產(chǎn)側(cè)系統(tǒng)與數(shù)據(jù)湖資源庫的靈活交互，快速配置能力三．原始數(shù)據(jù)交互為數(shù)據(jù)價值發(fā)現(xiàn)提供安全的資源分析訪問接口與試驗環(huán)境四．目錄接口唯一權威的數(shù)據(jù)湖元數(shù)據(jù)發(fā)布和訪問模式五．基于可視化的交互統(tǒng)一可視化的業(yè)務應用交互接口和沙箱環(huán)境六．信息集成與治理集成的數(shù)據(jù)湖運營管理工具與環(huán)境目錄12345背

景：大數(shù)據(jù)湖的發(fā)展背景與建設理念體

系：大數(shù)據(jù)湖體系規(guī)劃與建設思路生態(tài)圈：探索新興業(yè)務入湖建設模式共

享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃運

營：大數(shù)據(jù)湖一體化運營管理建設大數(shù)據(jù)湖體系規(guī)劃生產(chǎn)型系統(tǒng)交互分析OLAP挖掘工具平臺工具應用生態(tài)圈系統(tǒng)應用構(gòu)建工具省分專區(qū)生態(tài)圈專區(qū)服務對象應用專區(qū)外部系統(tǒng)互聯(lián)網(wǎng)合作伙伴分析型系統(tǒng)運營管控API數(shù)據(jù)沙箱訪問接口（JDBC、ODBC）跨架構(gòu)數(shù)據(jù)聯(lián)邦訪問共享統(tǒng)一數(shù)據(jù)服務代理（DataBroker）訪問接入規(guī)范統(tǒng)一數(shù)據(jù)接入邏輯化視圖數(shù)據(jù)同源異構(gòu)訪問安數(shù)據(jù)湖統(tǒng)一目錄<統(tǒng)一服務數(shù)據(jù)集>緩存加速數(shù)據(jù)共享標準全規(guī)范存儲計算加速計算側(cè)cache實時檢索和流處理引擎統(tǒng)一索引層交互式查詢引擎計算調(diào)度規(guī)范資源申請規(guī)范計算處理協(xié)同計算引擎離線批處理引擎TB級計算計算資源調(diào)度自動調(diào)度

按需使用資源池化

彈性伸縮角色權限數(shù)據(jù)分類規(guī)范數(shù)據(jù)模型規(guī)范生產(chǎn)數(shù)據(jù)(1+N)

操作/臨時存儲原生數(shù)據(jù)(1+N)

就近/分域存儲MySql主數(shù)據(jù)(1)整合數(shù)據(jù)(1)

全網(wǎng)/分層支撐應用數(shù)據(jù)(N)

分區(qū)建設規(guī)全網(wǎng)統(tǒng)一數(shù)據(jù)存儲范TXTOracleHDFSHbaseGreenplum…元字典規(guī)范PB級存儲存儲規(guī)范結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫/格式文件等）半結(jié)構(gòu)化數(shù)據(jù)（XML/TXT等）非結(jié)構(gòu)化數(shù)據(jù)（語音、視頻等）采集接入規(guī)范生產(chǎn)直采前置采集同步鏡像統(tǒng)一接入配置網(wǎng)絡爬蟲IOT接入生產(chǎn)系統(tǒng)駐留數(shù)據(jù)接入運營管源數(shù)據(jù)提供規(guī)范生產(chǎn)模型規(guī)范可視化定義

即配即用透明化部署

實時接入調(diào)度理大吞吐管道規(guī)范源端系統(tǒng)BSSOSSMSS網(wǎng)絡/平臺生態(tài)圈外部系統(tǒng)互聯(lián)網(wǎng)大數(shù)據(jù)湖存儲能力規(guī)劃——統(tǒng)一標準/分區(qū)存儲制定全集團統(tǒng)一數(shù)據(jù)標準，采取分域分類的數(shù)據(jù)入湖策略，構(gòu)建生產(chǎn)、原生、整合/應用、專區(qū)等分區(qū)數(shù)據(jù)存儲及計算能力，實現(xiàn)數(shù)據(jù)原生入湖、按需使用的宗旨，為全國1+31省提供應用數(shù)據(jù)服務能力，注智生產(chǎn)激發(fā)生產(chǎn)力。數(shù)據(jù)訪問存儲分區(qū)原則：數(shù)據(jù)計算p

生產(chǎn)數(shù)據(jù)區(qū)：遵循電信集團數(shù)據(jù)建模標準及主數(shù)據(jù)規(guī)范要求；規(guī)范層面屬于大數(shù)據(jù)湖范疇，物理資源層面可采用湖資源也可自建；p

原生數(shù)據(jù)區(qū)：分域分類存儲生產(chǎn)數(shù)據(jù)；將非標準數(shù)據(jù)做標準化轉(zhuǎn)化；離線批量內(nèi)存計算及緩存機器學習交互式查詢協(xié)同計算非結(jié)構(gòu)化計算實時流式資源池化，彈性技術計算資源管理自動調(diào)度，按需使用主數(shù)據(jù)區(qū)省份專區(qū)生態(tài)圈

互聯(lián)網(wǎng)專區(qū)智能連接智慧家庭物聯(lián)網(wǎng)新興ICT內(nèi)蒙貴州

河北遼寧

寧夏…金融人員組織資源運營管理整合數(shù)據(jù)區(qū)：采用大數(shù)據(jù)挖掘等技術進行實體歸集補全；構(gòu)建實體關聯(lián)視圖；pBSS原

OSS原

MSS原網(wǎng)絡/平實體關聯(lián)視圖省份B/O側(cè)生產(chǎn)系統(tǒng)數(shù)據(jù)存儲集團橫向系統(tǒng)生數(shù)據(jù)

生數(shù)據(jù)

生數(shù)據(jù)

臺數(shù)據(jù)客戶產(chǎn)品渠道營銷資源服務自然人集團橫

生態(tài)圈

生態(tài)圈產(chǎn)品客戶……向數(shù)據(jù)

-ICT-金融主數(shù)據(jù)區(qū)：存儲企業(yè)級全網(wǎng)主數(shù)據(jù)，大數(shù)據(jù)主數(shù)據(jù)唯一提供者；應用專區(qū)：本著數(shù)據(jù)不出湖，充分挖掘數(shù)據(jù)價值原則，為使用者提供基于自有、原生、整合數(shù)據(jù)的處理空間，面向應用開展數(shù)據(jù)處理工作；網(wǎng)絡/平臺生產(chǎn)系統(tǒng)（前置預處理）p生態(tài)圈生產(chǎn)系統(tǒng)實體對齊編碼統(tǒng)一轉(zhuǎn)換生產(chǎn)數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)p存儲資源管理數(shù)據(jù)接入大數(shù)據(jù)湖原生數(shù)據(jù)區(qū)規(guī)劃——原生入湖/分類存儲/按需使用以原生入湖分類存儲按需使用為宗旨，分域分類存儲按周期存儲原生數(shù)據(jù)，為云公司、集團ODS、省份大數(shù)據(jù)平臺提供原生數(shù)據(jù)共享服務，為湖內(nèi)整合數(shù)據(jù)區(qū)、應用數(shù)據(jù)區(qū)提供原生數(shù)據(jù)服務。共享服務數(shù)據(jù)數(shù)據(jù)專區(qū)生產(chǎn)系統(tǒng)移動/固網(wǎng)DPIHANA數(shù)OIDDMR/CDRCM/CP

計費詳單ODMS翼支付集約積分…據(jù)省份專區(qū)BSS系統(tǒng)數(shù)據(jù)共享OSS系統(tǒng)MSS系統(tǒng)EDA系統(tǒng)生態(tài)圈專區(qū)…原生數(shù)據(jù)區(qū)CRM計費客戶服務…采購輔助ERP財務輔助工程輔助久其省+集團電渠服務量BSSMSS數(shù)據(jù)OSS數(shù)據(jù)EDA數(shù)據(jù)綜合資源裝維EDA直采原生數(shù)據(jù)專區(qū)共享數(shù)據(jù)

PPMVSOP人力原生入湖主數(shù)據(jù)區(qū)日志留存DPI移動感知實體關聯(lián)視圖共享悅ME行業(yè)短

ODMS集團固網(wǎng)DPIOIDD集團橫向系統(tǒng)電渠商機

微信易信量號百4G數(shù)據(jù)終端…DPI網(wǎng)絡/平橫向數(shù)據(jù)政企KPIMR/CDR臺數(shù)據(jù)4G分組域話單集約積分渠道PM/CM

智能網(wǎng)管信化數(shù)據(jù)整合區(qū)生態(tài)圈系統(tǒng)原生數(shù)據(jù)整合共享互聯(lián)網(wǎng)金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT應用翼支付IWIFINFC產(chǎn)品云堤海洋衛(wèi)星寬帶天翼云盤

189郵箱翼機通+

旺鋪助手

號簿助手實體關聯(lián)視圖…智能

視頻

聚組網(wǎng)

通話

精彩車管天翼網(wǎng)關樂駕生態(tài)圈數(shù)據(jù)流量控專家企業(yè)云翼校通

天翼對講

外勤助手

手機看店安全辦公

加密通道

21CN

語音云甜橙欺詐盾愛音樂統(tǒng)一賬號

4G-QoS新視通4G預處理入湖枝繁葉茂類網(wǎng)絡/平臺系統(tǒng)地產(chǎn)大數(shù)

旅游大數(shù)據(jù)家庭云專屬云影像云天翼視訊天翼閱讀愛游戲愛動漫天翼空間易信據(jù)實體對齊編碼標準化大數(shù)據(jù)湖整合數(shù)據(jù)區(qū)規(guī)劃——構(gòu)建企業(yè)級核心實體關聯(lián)視圖整合數(shù)據(jù)區(qū)完成數(shù)據(jù)清洗、編碼轉(zhuǎn)換、實體對齊及構(gòu)建企業(yè)級核心實體關聯(lián)視圖，為應用專區(qū)提供整合數(shù)據(jù)服務。整合數(shù)據(jù)區(qū)保持數(shù)據(jù)原子性粒度，不對數(shù)據(jù)做聚合處理，不影響業(yè)務專區(qū)業(yè)務指標加工處理。實體關聯(lián)視圖p

保存原子性：整合數(shù)據(jù)區(qū)數(shù)據(jù)不做聚合操作，保持數(shù)據(jù)原子性，不影響專區(qū)應用指標加工處理；p

實體補齊性：對核心實體根據(jù)不同原生數(shù)據(jù)進行屬性補齊；llCP/SP訂購位置信息p

實體關聯(lián)性：面向?qū)嶓w全業(yè)務流程數(shù)據(jù)，整合各域數(shù)據(jù)實現(xiàn)實體跨域關聯(lián)視圖；p

共享一致性：按照湖應用的使用需求進行共性提煉，實現(xiàn)統(tǒng)一的公共寬表建設；核心實體自然人…實體對齊數(shù)據(jù)清洗自然人聚合管理政企客戶沖突管理外部數(shù)據(jù)管理規(guī)則管理組織實體沉淀合作伙伴員工地域大數(shù)據(jù)湖應用數(shù)據(jù)專區(qū)規(guī)劃——面向應用的自建自維數(shù)據(jù)專區(qū)大數(shù)據(jù)湖為業(yè)務應用場景提供具有數(shù)據(jù)存儲、數(shù)據(jù)計算、數(shù)據(jù)服務及數(shù)據(jù)應用訪問能力的應用專區(qū)，用戶可自行獲取數(shù)據(jù)，面向特定應用場景完成數(shù)據(jù)加工處理；大數(shù)據(jù)湖提供專區(qū)申請及監(jiān)控管理，以保證專區(qū)健康、有價運營。生態(tài)圈專區(qū)應用其它專區(qū)應用省份專區(qū)應用p

獨立性：保證資源獨立性、數(shù)據(jù)獨立性、應用獨立性；p

可用性：保證存儲、計算、數(shù)據(jù)資源高可用性及穩(wěn)定性；確保專區(qū)資源可在線、平滑擴展；應用數(shù)據(jù)專區(qū)運營監(jiān)控應用成果評估資源利用率數(shù)據(jù)處理規(guī)范性使用頻度安全性監(jiān)控專區(qū)回收整合數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)主數(shù)據(jù)區(qū)專區(qū)管理專區(qū)劃分專區(qū)申請自有數(shù)據(jù)專區(qū)審批專區(qū)變更p

易用性：提供豐富的可視化開發(fā)及專區(qū)運營工具；p

可管理性：大數(shù)據(jù)湖對專區(qū)具備監(jiān)控、審計能力；p

數(shù)據(jù)服務性：專區(qū)數(shù)據(jù)可以數(shù)據(jù)形式服務，也可開發(fā)應用直接鏈接調(diào)用；省份專區(qū)-內(nèi)蒙應用數(shù)據(jù)生態(tài)圈專區(qū)-…省份專區(qū)-…整合區(qū)數(shù)據(jù)原生數(shù)據(jù)實時采集

批量采集

消息采集數(shù)據(jù)接入源端生產(chǎn)系統(tǒng)/數(shù)據(jù)倉庫共享訪問大數(shù)據(jù)湖主數(shù)據(jù)區(qū)規(guī)劃

——

企業(yè)級核心/統(tǒng)一運營保障主數(shù)據(jù)區(qū)負責存儲全域主數(shù)據(jù)，并確保與主數(shù)據(jù)生產(chǎn)者保持同步，為大數(shù)據(jù)湖各區(qū)提供唯一主數(shù)據(jù)源，以保證湖中企業(yè)級核心實體數(shù)據(jù)的一致性和完整性，提升大數(shù)據(jù)湖運營效率及效果。數(shù)據(jù)專區(qū)p

統(tǒng)一主數(shù)據(jù)標準：面向全國各域各生產(chǎn)系統(tǒng)提供主數(shù)據(jù)標準；省份

內(nèi)專區(qū)

蒙貴州河北遼寧寧夏生態(tài)圈專區(qū)智能連接智慧家庭物聯(lián)網(wǎng)新興ICT金融…主數(shù)據(jù)整合數(shù)據(jù)p

統(tǒng)一主數(shù)據(jù)存儲：面向大數(shù)據(jù)湖提供統(tǒng)一主數(shù)據(jù)存儲能力；主數(shù)據(jù)區(qū)原生數(shù)據(jù)服務專區(qū)主數(shù)據(jù)客戶產(chǎn)品渠道訂單組織…主數(shù)據(jù)整合數(shù)據(jù)區(qū)主數(shù)據(jù)管理p

統(tǒng)一主數(shù)據(jù)整合：清洗整合各域主數(shù)據(jù)，形成統(tǒng)一、標準、唯一主數(shù)據(jù)；p

統(tǒng)一主數(shù)據(jù)服務：為大數(shù)據(jù)湖中各區(qū)提供主數(shù)據(jù)服務；主數(shù)據(jù)整合主數(shù)據(jù)目錄主數(shù)據(jù)共享主數(shù)據(jù)評估原生數(shù)據(jù)主數(shù)據(jù)入湖原生數(shù)據(jù)區(qū)生產(chǎn)數(shù)據(jù)入湖數(shù)據(jù)接入集團橫向生產(chǎn)系統(tǒng)省份BMO生產(chǎn)系統(tǒng)網(wǎng)絡/平臺系統(tǒng)生態(tài)圈生產(chǎn)系統(tǒng)其他系統(tǒng)目錄12345背

景：大數(shù)據(jù)湖的發(fā)展背景與建設理念體

系：大數(shù)據(jù)湖體系規(guī)劃與建設思路生態(tài)圈：探索新興業(yè)務入湖建設模式共

享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃運

營：大數(shù)據(jù)湖一體化運營管理建設基于大數(shù)據(jù)湖的生態(tài)圈建設模式生態(tài)圈應用生態(tài)運營協(xié)同API生態(tài)資源互換生態(tài)精準營銷生態(tài)創(chuàng)新發(fā)現(xiàn)沙箱JDBCODBC智能連接互聯(lián)網(wǎng)金融智慧家庭新興ICTIPTV用戶流量軌跡客戶感知數(shù)據(jù)翼支付合作商戶

客戶金融特征支付風險識別物聯(lián)網(wǎng)

終端設備列表客戶故障記錄訪問共享生態(tài)圈統(tǒng)一共享目錄生態(tài)圈客戶數(shù)據(jù)

/

特征畫像數(shù)據(jù)

/

客戶感知數(shù)據(jù)

/…生態(tài)圈原生數(shù)據(jù)/主數(shù)據(jù)/整合數(shù)據(jù)/專區(qū)數(shù)據(jù)離線批處理引擎實時流處理引擎機器學習引擎協(xié)同計算引擎DataBroker內(nèi)存計算引擎大數(shù)據(jù)湖Spark計算處理數(shù)據(jù)存儲HiveMPPStromR圖數(shù)據(jù)庫Redisstreaming計算資源按需動態(tài)調(diào)配計算需求分類

/

資源隊列管控

/

租戶任務管理計算規(guī)模

/

優(yōu)先級別

/

時間窗規(guī)劃智能連接智慧家庭統(tǒng)一賬號客戶特征行為軌跡新興ICT物聯(lián)網(wǎng)地產(chǎn)大金融欺詐分析專區(qū)車管專家營銷云盤客戶洞察家庭圈畫像生產(chǎn)副本

生產(chǎn)正本（已建）

（新建）原生數(shù)據(jù)整合數(shù)據(jù)應用數(shù)據(jù)數(shù)據(jù)專區(qū)互聯(lián)網(wǎng)金融共性基礎數(shù)據(jù)專業(yè)應用數(shù)據(jù)天翼高清天翼網(wǎng)關天翼云盤189郵箱家庭云地產(chǎn)大數(shù)據(jù)生態(tài)圈系統(tǒng)iWIFI海洋寬帶智能組網(wǎng)翼支付甜橙欺詐盾物聯(lián)網(wǎng)卡車管專家已建新建生態(tài)圈入湖指導原則p

核心生態(tài)圈數(shù)據(jù)量龐大、繁雜，同時入庫對計算資源、并行處理能力、運營效率提出了極大的要求，基于此，應構(gòu)建科學、完整的入湖流程及標準，保證生態(tài)圈數(shù)據(jù)能夠順利、高效的入湖并發(fā)揮效果價值驅(qū)動入湖邏輯目標驅(qū)動入湖原則業(yè)務驅(qū)動數(shù)據(jù)分類生態(tài)核心資料生態(tài)經(jīng)營數(shù)據(jù)生態(tài)營銷數(shù)據(jù)權重系維度說明優(yōu)先級數(shù)p

貼近實際：充分融合業(yè)務需求，遵循業(yè)務優(yōu)先原則準確性

數(shù)據(jù)準確無誤

0.282完整性

數(shù)據(jù)完整

0.213高中低中高高1

了解生態(tài)2掌握生態(tài)3開展生態(tài)業(yè)p

計算效率：充分保證數(shù)據(jù)質(zhì)量，讓計算效率顯著提升p

邊際效益：合理控制數(shù)據(jù)入湖速度、在成本控制的前提下，實現(xiàn)效益最大化業(yè)務關鍵概念整體經(jīng)營狀況務數(shù)字化營銷一致性

數(shù)據(jù)記錄規(guī)范

0.087及時性

數(shù)據(jù)獲取及時

0.234生態(tài)管理數(shù)據(jù)生態(tài)協(xié)同數(shù)據(jù)價值性復用性數(shù)據(jù)價值關聯(lián)性0.2350.3474

實現(xiàn)生態(tài)管5

開拓生態(tài)業(yè)p

生態(tài)創(chuàng)新：數(shù)據(jù)、業(yè)務、需求間的融會貫通，實現(xiàn)生態(tài)圈的關聯(lián)及衍生場景理運營一體化務智慧創(chuàng)新生態(tài)圈入湖建設思路與步驟解決生產(chǎn)經(jīng)營看數(shù)：以生態(tài)圈應用和價值提升需求為導向，優(yōu)先將客戶、經(jīng)營、階段一階段二營銷、管理、生產(chǎn)方面的核心主數(shù)據(jù)入湖，滿足當前業(yè)務發(fā)展和管理需求主數(shù)據(jù)經(jīng)營數(shù)據(jù)?

收入數(shù)據(jù)?

發(fā)展數(shù)據(jù)?

繳費數(shù)據(jù)?

…..營銷數(shù)據(jù)?

業(yè)務訂購數(shù)據(jù)

?

財務數(shù)據(jù)?

紅包數(shù)據(jù)?

金融消費數(shù)據(jù)

?

資源/庫存數(shù)據(jù)管理數(shù)據(jù)業(yè)態(tài)生產(chǎn)數(shù)據(jù)?

原始數(shù)據(jù)?

生態(tài)協(xié)同數(shù)據(jù)?

業(yè)務流程數(shù)據(jù)?

…..?

客戶數(shù)據(jù)?

產(chǎn)品數(shù)據(jù)?

賬戶數(shù)據(jù)?

….?

成本/補貼數(shù)據(jù)?

…..?

……開展大數(shù)據(jù)價值挖掘：將各模塊未導入的全量數(shù)據(jù)入湖，同時豐富生態(tài)邊際和互聯(lián)網(wǎng)數(shù)據(jù)，拓展應用場景，實現(xiàn)大數(shù)據(jù)精準營銷和管理主數(shù)據(jù)?

渠道數(shù)據(jù)?

供應商數(shù)據(jù)

?

交易類數(shù)據(jù)?

商客數(shù)據(jù)經(jīng)營數(shù)據(jù)?

活動數(shù)據(jù)營銷數(shù)據(jù)?

業(yè)務感知數(shù)據(jù)

?

人力資源數(shù)據(jù)?

卡券數(shù)據(jù)?

保險數(shù)據(jù)?

….管理數(shù)據(jù)業(yè)態(tài)生產(chǎn)數(shù)據(jù)?

互聯(lián)網(wǎng)數(shù)據(jù)?

用戶行為數(shù)據(jù)?

活動數(shù)據(jù)?

….?

運維數(shù)據(jù)?

網(wǎng)絡數(shù)據(jù)?

….?

….?

….生數(shù)據(jù)深度拓展：不斷豐富和拓展數(shù)據(jù)湖的數(shù)據(jù)，包含數(shù)據(jù)的橫向范圍和縱向深度p

優(yōu)p

業(yè)補充采集數(shù)據(jù)?

….缺失的原生態(tài)數(shù)據(jù)?

….其他數(shù)據(jù)?

….p

先核心后邊p

先難后易?….?….?….p

先生態(tài)高于業(yè)務次高于運營管生態(tài)圈入湖建設要求與規(guī)范p

生態(tài)圈入湖要求ü

立足中國電信企業(yè)級視角ü

生產(chǎn)側(cè)與數(shù)據(jù)側(cè)建設協(xié)同?

生產(chǎn)：原生接入保障?

數(shù)據(jù)：共享服務保障püüüü運營原則前瞻性生態(tài)數(shù)據(jù)運營p

原生數(shù)據(jù)入湖方案全面性初始化全量上傳歷史全量同步后續(xù)變更采集周期增量采集全量合并整合全量合并整合ü

資料類：科學性ü

交易類：合理性ü

主數(shù)據(jù)/編碼類：實時全量同步p

運營規(guī)范要求（聯(lián)動同步）生產(chǎn)源端規(guī)范入湖建設演進ü

業(yè)務調(diào)整通知：新業(yè)務定義，生產(chǎn)約束變更、業(yè)務流程變更等ü

數(shù)據(jù)運營同步：模型結(jié)構(gòu)變更、歷史數(shù)據(jù)調(diào)整、口徑新增/調(diào)整等p

生態(tài)入湖步驟p

原生數(shù)據(jù)規(guī)范保障ü

依據(jù)數(shù)據(jù)價值推進生態(tài)數(shù)據(jù)入湖ü

業(yè)務規(guī)范：業(yè)務指導、流程、制度等文檔ü

主數(shù)據(jù)：范圍、內(nèi)容及管理規(guī)范ü

生產(chǎn)模型建設規(guī)范：新增/變更模型遵循大數(shù)據(jù)湖整體規(guī)范要求ü

生態(tài)圈需求驅(qū)動原生數(shù)據(jù)的入湖ü

數(shù)據(jù)字典：數(shù)據(jù)模型、編碼約束、元數(shù)據(jù)等ü

數(shù)據(jù)流圖(DFD)：生產(chǎn)數(shù)據(jù)流、加工數(shù)據(jù)流等ü

指標口徑：術語定義、報表指標說明等p

原生入湖演進ü

原則上遵循生態(tài)數(shù)據(jù)原生入湖ü

當原生入湖存在海量采集（性價比低），理解/支撐困難等情況，允許按照如下原則進行非原生數(shù)據(jù)入湖：①核心和經(jīng)營入湖：非原生采集，匯入整合層②營銷和運營入湖：根據(jù)需要采集原生并逐步替換③生態(tài)協(xié)同入湖：完全實現(xiàn)原生數(shù)據(jù)入湖p

生態(tài)能力入湖規(guī)劃ü

數(shù)據(jù)規(guī)模：生態(tài)全量、核心資料、經(jīng)營數(shù)據(jù)等大小ü

更新頻率：交易頻率、業(yè)務變更頻率等ü

存儲結(jié)構(gòu)：生產(chǎn)數(shù)據(jù)存儲模式、存儲周期、分層結(jié)構(gòu)等ü

接入要求：I/O帶寬、接入約束、生產(chǎn)備份情況等生態(tài)圈入湖ü

生態(tài)業(yè)務變動大且原生結(jié)果滯后數(shù)據(jù)，允許前瞻性獲取生產(chǎn)變化過程表，避免數(shù)據(jù)模型的大幅調(diào)整規(guī)范

價值

靈活生態(tài)圈數(shù)據(jù)整合處理原則及關鍵點大數(shù)據(jù)湖整合區(qū)建設原則①

基于共性化數(shù)據(jù)處理，支撐廣泛、穩(wěn)定的共享應用；②

支撐湖標準化的數(shù)據(jù)規(guī)范轉(zhuǎn)換；③

跨域數(shù)據(jù)的關聯(lián)性和橫向?qū)R；生態(tài)圈數(shù)據(jù)整合關鍵點統(tǒng)一ID生態(tài)圈自然人實體歸集與對齊客戶資料歸集應具備基于資料信息的規(guī)則匹配識別和基于客戶海量的通信相關信息的挖掘識別方法：1）通過規(guī)則匹配識別技術，高效地完成準確性較高的資料信息自然人識別；2）基于大數(shù)據(jù)技術構(gòu)建自然人識別模式，作為規(guī)則識別的有效補充，提高自然人識別成功率，減少人工核查確認工作量。實體歸集數(shù)據(jù)流程實體歸集過程基于實體完整性原生數(shù)據(jù)自然人識別自然人沉淀專區(qū)應用保證上層覆蓋性自然人黑名單信息自然人基本

自然人有效移網(wǎng)自然人用戶360信息差異數(shù)據(jù)下發(fā)…信息戶數(shù)信息智能連接智慧家庭新興ICT數(shù)據(jù)整合/加工規(guī)則整合歸集自然人基本信息自自底證件號碼姓名

地址聯(lián)系人工作單位

…餐自然人擴展信息自然人用戶信息自然人用戶擴展信息差異數(shù)據(jù)規(guī)則庫頂用戶向向綜合評價上自然人:客戶A下編碼標準化模型轉(zhuǎn)化/編碼統(tǒng)一餐用戶自然人用戶信息自然人用戶擴展屬性表自然人基本信息自然人擴展信息大數(shù)據(jù)識別照片留存交際圈位置軌跡虛擬身份繳費信息終端信息客戶接觸

…物聯(lián)網(wǎng)原生數(shù)據(jù)用戶信息表用戶產(chǎn)品訂購客戶信息客戶實名認證互聯(lián)網(wǎng)金融客戶聯(lián)系人信用度用戶積分

郵寄信息基于業(yè)務邏輯關鍵能力要求：p

規(guī)則識別和大數(shù)據(jù)技術識別配合完成資料聚合；深度應用大數(shù)據(jù)識別技術，通過照片留存、交際圈、位置軌跡、虛擬身份等信息，識別出從資料層面不能反映出的同一自然人。p

大數(shù)據(jù)技術識別應用到的技術：文本分詞、文本匹配、似度計算、多音字庫、象形字庫、網(wǎng)絡圖譜算法、指紋權重、關系傳遞等；生態(tài)圈數(shù)據(jù)接入與存儲通過對五大生態(tài)圈數(shù)據(jù)采集入湖，統(tǒng)一規(guī)范轉(zhuǎn)換后，為各類專區(qū)應用提供數(shù)據(jù)支撐。大數(shù)據(jù)湖原生數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)應用數(shù)據(jù)區(qū)生態(tài)收入貢獻互金業(yè)務訂購用戶行為軌跡…智能連接智慧家庭互聯(lián)網(wǎng)金融專區(qū)物聯(lián)網(wǎng)專區(qū)p

生態(tài)圈入湖互聯(lián)網(wǎng)金融物聯(lián)網(wǎng)新興ICT…根據(jù)生態(tài)圈系統(tǒng)的建設情況，科學規(guī)劃多種采集方式入湖生態(tài)創(chuàng)新專區(qū)…主數(shù)據(jù)區(qū)p

生態(tài)圈數(shù)據(jù)規(guī)范圍繞大數(shù)據(jù)湖功能分區(qū)，探索各類數(shù)據(jù)的存儲要求和能力建設統(tǒng)一客戶信息用戶關聯(lián)信息統(tǒng)一帳戶信息生態(tài)業(yè)務產(chǎn)品標準編碼信息新業(yè)務采集入湖模式探索數(shù)據(jù)分區(qū)規(guī)劃對接應用需求湖存儲功能定義專區(qū)規(guī)范制定批量采集實時采集p

生態(tài)應用服務生態(tài)采集支撐入湖采集能力驗證準實時采集針對生態(tài)業(yè)務應用需求，五大生態(tài)確定大數(shù)據(jù)湖的應用支撐模式，構(gòu)建專區(qū)建設規(guī)范智能連接智慧家庭互聯(lián)網(wǎng)金融新興ICT物聯(lián)網(wǎng)圈數(shù)據(jù)目錄12345背

景：大數(shù)據(jù)湖的發(fā)展背景與建設理念體

系：大數(shù)據(jù)湖體系規(guī)劃與建設思路生態(tài)圈：探索新興業(yè)務入湖建設模式共

享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃運

營：大數(shù)據(jù)湖一體化運營管理建設大數(shù)據(jù)場景下數(shù)據(jù)服務的能力建設要求?

跨底層數(shù)據(jù)存儲平臺混搭架構(gòu)平臺，如多種數(shù)據(jù)存儲體系，如關系型DB、KV-DB、文件系統(tǒng)等HDFS、MPP、SMP等?統(tǒng)一標準化數(shù)據(jù)查詢?跨數(shù)據(jù)結(jié)構(gòu)的邏輯化訪問通用的數(shù)據(jù)查詢語言，支持跨平臺訪問，如PL/SQL，HQL等多應用系統(tǒng)的物理結(jié)構(gòu)透明化邏輯封裝，如OLTP、OLAP等統(tǒng)一標準化透明化安全?靈活安全的權限管控機制?外部應用的便捷接入多種數(shù)據(jù)服務場景的權限管控，如查詢、分析等多種應用接入能力，如JDBC、Socket等高效大數(shù)據(jù)場景：混搭架構(gòu)平臺、多系統(tǒng)共存、不同數(shù)據(jù)體系、各種應用場景需求大數(shù)據(jù)湖統(tǒng)一訪問共享建設規(guī)劃

——

統(tǒng)一目錄/透明訪問訪問共享是湖中數(shù)據(jù)和應用、能力之間的橋梁，任何功能/應用模塊使用湖中數(shù)據(jù)時，不需要關心數(shù)據(jù)的存儲方式、存儲介質(zhì)、存儲位置等信息，只要和訪問共享連接既可以實現(xiàn)湖中數(shù)據(jù)的訪問數(shù)統(tǒng)一訪問共享：管、用、看p

管：基于湖中數(shù)據(jù)構(gòu)建統(tǒng)一數(shù)據(jù)目錄，屏蔽湖中數(shù)據(jù)物理存儲地址，提供實現(xiàn)湖中可共享數(shù)據(jù)的管理據(jù)能力數(shù)據(jù)采集數(shù)據(jù)加工數(shù)據(jù)挖掘數(shù)據(jù)服務封裝數(shù)據(jù)應用可視化數(shù)據(jù)訪問接口數(shù)據(jù)服務中間件目錄管控數(shù)據(jù)訪問接口數(shù)據(jù)緩存API接口JDBC/ODBC消息數(shù)據(jù)開放訪問共享p用：數(shù)據(jù)服務中間件為應用提供多樣化數(shù)據(jù)接口訪問能力，如API、JDBC/ODBC、消息、訂閱等能力數(shù)據(jù)訪問引擎函數(shù)計算規(guī)則配置接口鑒權數(shù)據(jù)授權權限申請授權審批內(nèi)存計算統(tǒng)計分析統(tǒng)一數(shù)據(jù)目錄數(shù)據(jù)讀取p

看：目錄視圖為開發(fā)者提供湖中可共享數(shù)據(jù)的統(tǒng)一目錄視圖，并管理湖中數(shù)據(jù)訪問授權數(shù)據(jù)計算與存儲資源計算引擎數(shù)據(jù)存儲文本數(shù)據(jù)ORACLEHIVEHBASE…統(tǒng)一訪問共享典型應用場景專區(qū)應用開發(fā)者通過統(tǒng)一訪問引擎訪問湖中共享數(shù)據(jù)，專區(qū)應用直接訪問自有專區(qū)數(shù)據(jù)，實現(xiàn)湖中數(shù)據(jù)統(tǒng)一共享管控和應用訪問靈活訪問自有專區(qū)數(shù)據(jù)新建系統(tǒng)數(shù)據(jù)挖掘能力開放（API）專區(qū)應用4123服務網(wǎng)關數(shù)據(jù)探索數(shù)據(jù)可視化共享數(shù)據(jù)訪問共享數(shù)據(jù)訪問專區(qū)數(shù)據(jù)訪問數(shù)據(jù)加工共享數(shù)據(jù)訪問數(shù)據(jù)挖掘數(shù)據(jù)挖掘結(jié)果服務封裝服務訂閱生產(chǎn)系統(tǒng)數(shù)據(jù)訪問數(shù)據(jù)訪問數(shù)據(jù)訪問訪問共享數(shù)據(jù)服務中間件目錄管控自有數(shù)據(jù)接口統(tǒng)一數(shù)據(jù)目錄遵循入湖規(guī)范數(shù)據(jù)計算與存儲資源生產(chǎn)數(shù)據(jù)原生數(shù)據(jù)整合數(shù)據(jù)專區(qū)數(shù)據(jù)統(tǒng)一數(shù)據(jù)目錄

——

共享列表/質(zhì)量保障/安全可控基于湖中具備共享條件的數(shù)據(jù)構(gòu)建統(tǒng)一數(shù)據(jù)目錄，通過訪問引擎為應用開發(fā)者、數(shù)據(jù)運營者提供湖中數(shù)據(jù)訪問能力，是數(shù)據(jù)應用、運營和價值實現(xiàn)的基礎。訪問共享數(shù)據(jù)服務中間件湖中數(shù)據(jù)只有經(jīng)過質(zhì)量和安全評估，符合應用開發(fā)的條件后，在明確開放審批流程的前提下，進入統(tǒng)一數(shù)據(jù)目錄對外共享目錄管控審核通過統(tǒng)一數(shù)據(jù)目錄結(jié)合元數(shù)據(jù)及數(shù)據(jù)統(tǒng)計信息開放流程定義數(shù)據(jù)描述及統(tǒng)計信息數(shù)據(jù)稽核開放范圍審核人工審核表、視圖數(shù)據(jù)安全審核數(shù)據(jù)質(zhì)量審核元數(shù)據(jù)管理運營者數(shù)據(jù)存儲大數(shù)據(jù)服務關鍵能力：統(tǒng)一數(shù)據(jù)接入/轉(zhuǎn)換/服務對接能力數(shù)據(jù)應用數(shù)據(jù)服務能力開放工具報表、應用等Query、API等查詢工具、挖掘工具、OLAP工具等統(tǒng)一對外接入（JDBC、Socket、Restful）緩存優(yōu)先內(nèi)存轉(zhuǎn)換訪問鑒權脫敏加密AQL解釋查詢數(shù)據(jù)聯(lián)邦數(shù)據(jù)集關聯(lián)統(tǒng)一數(shù)據(jù)服務代理Data

Broker格式轉(zhuǎn)換統(tǒng)一維表元數(shù)據(jù)性能優(yōu)化數(shù)據(jù)安全源端連接數(shù)據(jù)預覽性能安全統(tǒng)一數(shù)據(jù)連接（AgentPL/SQL

HQL

PostgresSQL…connector）SMP數(shù)據(jù)庫Oracle、Mysql、傳統(tǒng)文件系統(tǒng)Excel、XML、Json、…大數(shù)據(jù)系統(tǒng)Hive、Hbase、Impala、…MPP數(shù)據(jù)庫GreenPlum、Vertica、…OLAP引擎ApacheKylin、Cognos、…DB2、…統(tǒng)一數(shù)據(jù)服務中間件

——

跨域聯(lián)邦/標準查詢/統(tǒng)一訪問p

跨底層數(shù)據(jù)存儲平臺多種數(shù)據(jù)存儲體系，如關系型DB、KV-DB、文件系統(tǒng)等p

統(tǒng)一標準化數(shù)據(jù)查詢通用的數(shù)據(jù)查詢語言，支持跨平臺訪問，如PL/SQL，HQL等p

靈活安全的權限管控機制多種數(shù)據(jù)服務場景的權限管控，如查詢、分析等p

跨數(shù)據(jù)結(jié)構(gòu)的邏輯化訪問多應用系統(tǒng)的物理結(jié)構(gòu)透明化邏輯封裝，如OLTP、OLAP等p

外部應用的便捷接入多種應用接入能力，如JDBC、Socket等各類跨架構(gòu)數(shù)據(jù)源端連接與訪問靈活自主的數(shù)據(jù)服務集定義39DataBroker查詢語法AQL語法（類SQL）：常用函數(shù)：40DataBroker查詢示例示例1：在用戶增長數(shù)據(jù)集中,查詢2018年10月比9月的入網(wǎng)用戶增長比例,按地區(qū)分組,按排序字段排序示例2：按照省份，將流量按照100M為步長分檔統(tǒng)計，并忽略小于10M的用戶數(shù)SELETROUND((month_ten-month_nine)/month_nine)as“增長比例”,user_areaas“地區(qū)”FROMuser_in_month_detailSELECTarea_no,segm_step(data_flow,100,10)as"流量分檔",count(user_id)as"用戶數(shù)"FROMuser_used_flowGROUPBYuser_areaGROUPBYarea_no,SEGM_STEP(data_flow,100,10)as"流量分檔”O(jiān)RDERBYorder_code示例3：按照省，賬期，分組統(tǒng)計指標1，指標2值，同時統(tǒng)計行小計，行總計，列小計，列合計，并將省，賬期轉(zhuǎn)為交叉列，省份為河北與甘肅。SELECTgroup_typeAS"分組"FROMBIG_DATA_SETtACROSS(sum(指標1)as“指標1”,sum(指標3)for(PROVINCE,ACCT_MONTH)WHEREt.PROVINCEin('河北','甘肅')ORDERBYgroup_typeASCROLLALL目錄12345背

景：大數(shù)據(jù)湖的發(fā)展背景與建設理念體

系：大數(shù)據(jù)湖體系規(guī)劃與建設思路生態(tài)圈：探索新興業(yè)務入湖建設模式共

享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃運

營：大數(shù)據(jù)湖一體化運營管理建設大數(shù)據(jù)湖運營管理體系規(guī)劃大數(shù)據(jù)湖運營管理能夠為全網(wǎng)提供統(tǒng)一的運營和協(xié)同管控，包括運維支撐、運營監(jiān)控和數(shù)據(jù)生態(tài)評估等多個方面，實現(xiàn)各類數(shù)據(jù)風險和隱患的快速排查，提升運營效率，為智慧化的運營戰(zhàn)略奠定基礎。全面性規(guī)范化可視化統(tǒng)一運營管理運營監(jiān)控運維支撐數(shù)據(jù)生態(tài)評估接入用戶監(jiān)控任務狀態(tài)監(jiān)控應用稽核問題派單數(shù)據(jù)分布數(shù)據(jù)熱點冗余評估質(zhì)量評估采集監(jiān)控數(shù)據(jù)分區(qū)監(jiān)控共享服務監(jiān)控問題跟蹤通知管理日志管理價值評估安全評估外圍系統(tǒng)交互監(jiān)控質(zhì)量探索工具已建設建設中未建設大數(shù)據(jù)湖統(tǒng)一運營監(jiān)控

——

全生命周期監(jiān)控/運營規(guī)范顯性化運營監(jiān)控主要為大數(shù)據(jù)湖提供數(shù)據(jù)生產(chǎn)監(jiān)控和數(shù)據(jù)運營監(jiān)控兩方面的能力。其中數(shù)據(jù)生產(chǎn)監(jiān)控主要提供從數(shù)據(jù)采集、數(shù)據(jù)分區(qū)存儲到共享的監(jiān)控；數(shù)據(jù)運營監(jiān)控實現(xiàn)對接入系統(tǒng)的用戶信息、任務執(zhí)行的狀態(tài)，以及與外圍應用系統(tǒng)的交互操作進行監(jiān)控，并進行全景展示。數(shù)據(jù)監(jiān)控視圖運營監(jiān)控視圖采集監(jiān)控：接入用戶監(jiān)控：對從各類數(shù)據(jù)源采集入湖數(shù)據(jù)是否符合接入規(guī)范進行監(jiān)控對已接入大數(shù)據(jù)湖的用戶類型、操作權限，并發(fā)用戶量等信息進行監(jiān)控數(shù)據(jù)分區(qū)監(jiān)控：任務狀態(tài)監(jiān)控：對大數(shù)據(jù)湖中的原生數(shù)據(jù)、整合數(shù)據(jù)等各類數(shù)據(jù)是否按分區(qū)規(guī)范存儲進行監(jiān)控對大數(shù)據(jù)湖中各類任務運行的異常狀態(tài)進行實時的監(jiān)控共享服務監(jiān)控：外圍系統(tǒng)交互監(jiān)控：對湖中可共享的各類數(shù)據(jù)是否符合共享標準和規(guī)范進行監(jiān)控提供外圍應用系統(tǒng)與大數(shù)據(jù)湖進行各類交互操作的監(jiān)控數(shù)據(jù)生命周期程序任務存儲分區(qū)用戶操作運維支撐：打造閉環(huán)的數(shù)據(jù)質(zhì)量管控體系通過構(gòu)建數(shù)據(jù)質(zhì)量管控系統(tǒng)，打通數(shù)據(jù)湖與數(shù)據(jù)源端的交互，建立起稽核問題任務派發(fā)、追蹤及結(jié)果反饋的保障機制，提升稽核效率，實現(xiàn)閉環(huán)的數(shù)據(jù)質(zhì)量管控體系。l

工作重點：2.2.責任人通知運營管理系統(tǒng)?

異常問題閉環(huán)跟蹤針對入湖數(shù)據(jù)開展對賬、嵌入稽核和數(shù)據(jù)稽核。對于源端系統(tǒng)的數(shù)據(jù)質(zhì)量問題，實現(xiàn)異常問題派單和處理跟蹤反饋。ITSM數(shù)據(jù)質(zhì)量管控系統(tǒng)2.1.問題派單3.處理反饋派單管理工單追蹤處理反饋源端問題派單1.1.異常1.2.異常?

ITSM系統(tǒng)打通實現(xiàn)異常問題快速通知相關人員。4.重傳上傳共享源端嵌入稽核數(shù)據(jù)稽核采集對賬下游1.3.異常運維支撐：增加數(shù)據(jù)質(zhì)量稽核能力提供自助化的數(shù)據(jù)分析和質(zhì)量探索服務，基于分布式計算能力，通過探索分析工具和SQL調(diào)試器進行數(shù)據(jù)質(zhì)量自助探索，增加對業(yè)務、關聯(lián)稽核的手段，并生成質(zhì)量報告和統(tǒng)計報表。應用指標驗證由數(shù)據(jù)應用方根據(jù)應用需要和口徑進行自主分析探索，探索結(jié)果可固化為專項稽核。分析探索方式數(shù)據(jù)源整改BSSMSS交互式可視化的數(shù)據(jù)剖析基于SQL的數(shù)據(jù)剖析質(zhì)量探索成果數(shù)據(jù)可用性反饋數(shù)據(jù)采集數(shù)據(jù)可用性驗證報告數(shù)據(jù)質(zhì)量探索報告質(zhì)量探索分析報表稽核規(guī)則固化建議…分析探索內(nèi)容OSS評分驗證反饋數(shù)據(jù)基礎質(zhì)量驗證（空值統(tǒng)計、重復統(tǒng)計、主外鍵統(tǒng)計…）網(wǎng)絡數(shù)據(jù)橫向平臺互聯(lián)網(wǎng)數(shù)據(jù)關聯(lián)驗證（跨域關聯(lián)、跨賬期關聯(lián)、跨省關聯(lián)…）稽核規(guī)則固化核心業(yè)務指標驗證（在網(wǎng)用戶數(shù)、出賬用戶數(shù)、傭金總額…）應用指標驗證…運維支撐：自助化數(shù)據(jù)質(zhì)量分析工具展示利用自助化數(shù)據(jù)質(zhì)量分析工具，應用人員可對湖中數(shù)據(jù)質(zhì)量進行自行分析和探索，而不必依賴專業(yè)技術人員，提前了解湖中數(shù)據(jù)特征。提供EXCEL方式的海量數(shù)據(jù)庫操作提供數(shù)據(jù)深度統(tǒng)計和分析方法數(shù)據(jù)生態(tài)評估：大數(shù)據(jù)湖生態(tài)健康評估與優(yōu)化價值評估數(shù)據(jù)分布數(shù)據(jù)熱點ü

生產(chǎn)區(qū)：操作存儲/臨時數(shù)據(jù)ü

原生區(qū)：就近存儲/分域數(shù)據(jù)ü

整合區(qū)：存儲統(tǒng)一規(guī)范后數(shù)據(jù)ü

……ü

發(fā)現(xiàn)：數(shù)據(jù)訪問頻率ü

優(yōu)化：優(yōu)化熱點配置ü

提升：支撐效率提升ü

……ü

從應用的角度評估ü

從唯一性角度評估ü

從數(shù)據(jù)類型角度評估ü

從數(shù)據(jù)結(jié)構(gòu)角度評估質(zhì)量評估冗余評估安全評估ü

跨域共性存儲ü

系統(tǒng)口徑交叉與包容性檢查ü

檢查數(shù)據(jù)相似度ü

……ü

制定安全評估策略ü

數(shù)據(jù)分級安全評估ü

訪問操作安全評估ü

……üüüü前置稽核嵌入稽核專項稽核應用稽核大數(shù)據(jù)湖數(shù)據(jù)規(guī)范標準體系數(shù)據(jù)湖的規(guī)范標準不是一個個獨立的規(guī)范或標準，是有相互關系，互相作用的規(guī)范化、標準化體系。以滿足業(yè)務需求為基礎，全面覆蓋數(shù)據(jù)在湖內(nèi)從生產(chǎn)、存儲、計算、應用的生命周期，保障數(shù)據(jù)湖中數(shù)據(jù)的穩(wěn)定、安全、開放。業(yè)務需求數(shù)據(jù)湖要求標準規(guī)范IT保障?

訪問接入規(guī)范?

數(shù)據(jù)共享標準?

數(shù)據(jù)計算調(diào)度規(guī)范?

資源申請規(guī)范?

數(shù)據(jù)分類規(guī)范?

數(shù)據(jù)模型規(guī)范??????????需求管理?

可以信賴的數(shù)據(jù)?穩(wěn)定、可擴展的數(shù)據(jù)架構(gòu)主數(shù)據(jù)管理元數(shù)據(jù)管理模型規(guī)范檢查采集管控?

標準的建模原則，保準的命名規(guī)范，全面的數(shù)據(jù)項屬性?

融合數(shù)據(jù)的計算口徑、統(tǒng)一標準、可擴展融合模型?

數(shù)據(jù)需求開發(fā)的標準，命名規(guī)范、重要參數(shù)、標準字段名稱、數(shù)據(jù)類型、長度、枚舉值，統(tǒng)一的技術選型?

數(shù)據(jù)質(zhì)量的標準管理、流程、考核、通報?

數(shù)據(jù)基礎及關聯(lián)信息的標準統(tǒng)一管理?

統(tǒng)一、標準的業(yè)務口徑?

能夠快速查詢的能力?

標準化的數(shù)據(jù)治理數(shù)據(jù)質(zhì)量保障運營管理?

數(shù)據(jù)間可以方便跨域融合?

數(shù)據(jù)安全且使用無風險?

數(shù)據(jù)需求的快速響應?

數(shù)據(jù)方便查找、定位?

數(shù)據(jù)生成穩(wěn)定并持續(xù)更新角色權限規(guī)范??

元數(shù)據(jù)規(guī)范?

存儲規(guī)范安全保障?

數(shù)據(jù)的標準統(tǒng)一查看，訪問資源申請?多種的數(shù)據(jù)提取方式，數(shù)據(jù)訪問方式?

采集接入規(guī)范?

源數(shù)據(jù)提供規(guī)范生產(chǎn)模型規(guī)范共享訪問服務?

不同價值/分類數(shù)據(jù)的存儲形式/存儲介質(zhì)/存儲周期規(guī)范?

數(shù)據(jù)使用的租戶流程，資源要求???

數(shù)據(jù)安全的基本屬性，分級，分類運營管理規(guī)范?

數(shù)據(jù)使用的監(jiān)控、評估，問題的管理流程、制度?

生產(chǎn)數(shù)據(jù)的標準業(yè)務口徑?

主數(shù)據(jù)規(guī)范?安全規(guī)范數(shù)據(jù)規(guī)范標準貫穿落地數(shù)據(jù)規(guī)范標準貫穿數(shù)據(jù)的整個生命周期，從生產(chǎn)到應用的全流程，實現(xiàn)有規(guī)可依，有法可循。?

數(shù)據(jù)模型規(guī)范?

數(shù)據(jù)運營標準?

數(shù)據(jù)目錄標準?

數(shù)據(jù)資產(chǎn)標準?

……?

數(shù)據(jù)開發(fā)規(guī)范?

元數(shù)據(jù)標準?

整合質(zhì)量標準?

……?

元數(shù)據(jù)規(guī)范?

數(shù)據(jù)模型標準?

數(shù)據(jù)轉(zhuǎn)換標準數(shù)據(jù)生產(chǎn)數(shù)據(jù)入湖原生存儲數(shù)據(jù)整合開放應用運營監(jiān)控?

數(shù)據(jù)業(yè)務標準?

生產(chǎn)模型標準?

……?

主數(shù)據(jù)標準?

數(shù)據(jù)存儲標準?

原生質(zhì)量標準?

……?

數(shù)據(jù)開放標準?

數(shù)據(jù)應用標準?

數(shù)據(jù)安全標準?

……感謝聆聽！大數(shù)據(jù)湖總體規(guī)劃及大數(shù)據(jù)湖一體化運營管理建設方案目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設理念1生態(tài)圈：探索新興業(yè)務入湖建設模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運營：大數(shù)據(jù)湖一體化運營管理建設5體系：大數(shù)據(jù)湖體系規(guī)劃與建設思路2數(shù)據(jù)架構(gòu)與承載體系的演變過程完整性、一致性、交互穩(wěn)定性，并發(fā)性，異?？苫謴托詳?shù)據(jù)庫時代關系型數(shù)據(jù)庫解決了信息時代的數(shù)據(jù)資源存儲和管理，實現(xiàn)了電子化的文件柜采用數(shù)據(jù)模型表示數(shù)據(jù)結(jié)構(gòu)，冗余小面向事務管理，具有ACID特性數(shù)據(jù)統(tǒng)一管理和控制，易維護和擴充程序與數(shù)據(jù)獨立，具有良好用戶接口1數(shù)據(jù)倉庫時代DW研究和解決了從數(shù)據(jù)庫中獲取信息的問題，通過OLAP、數(shù)據(jù)挖掘等幫助企業(yè)決策分析，構(gòu)建商業(yè)智能（BI）面向主題的，關注用戶重點業(yè)務集成的，跨越歷史、區(qū)域、系統(tǒng)…穩(wěn)定的，具有只讀性質(zhì)，以查詢?yōu)橹饕詴r間序列存儲，非規(guī)范化管理2大數(shù)據(jù)平臺時代面對大數(shù)據(jù)5V特點，采用分布式、并行化的存儲和計算架構(gòu)，提升數(shù)據(jù)處理能力對象：PB級，80%以上非結(jié)構(gòu)化數(shù)據(jù)技術：分布式架構(gòu)、云計算、虛擬化等CAP原理：CAPBASE目標：線性擴展、彈性計算、實時響應、動態(tài)調(diào)節(jié)31970’s1990’sBillInmon提出DW概念E.F.Codd發(fā)明DBMS2000’sGoogle發(fā)布三篇論文存儲經(jīng)濟性、高性能、高擴展、高并發(fā)、靈活模型適配性企業(yè)級跨域整合、業(yè)務擴展性、架構(gòu)設計合理性、流程規(guī)范性背景：數(shù)據(jù)快速入湖，分析更加智能，應用更加多樣，服務更加開放更多企業(yè)數(shù)據(jù)將進入數(shù)據(jù)湖，來自傳統(tǒng)系統(tǒng)的數(shù)據(jù)和傳感器等新型數(shù)據(jù)資源不斷融合，數(shù)據(jù)孤島將繼續(xù)被打破。隨著大數(shù)據(jù)分析能力的不斷提高，人工智能的重要性被逐步提升。當今最先進的機器學習和人工智能系統(tǒng)正在超越傳統(tǒng)的基于規(guī)則的算法，創(chuàng)建出能夠理解、學習、預測、適應，甚至可以自主操作的系統(tǒng)。數(shù)據(jù)服務數(shù)據(jù)應用數(shù)據(jù)分析數(shù)據(jù)治理數(shù)據(jù)平臺以更加深度的數(shù)據(jù)開放，跨行業(yè)大數(shù)據(jù)關聯(lián)。以更多樣的應用能力，構(gòu)建針對性行業(yè)解決方案。數(shù)據(jù)平臺存儲方式向數(shù)據(jù)湖模式轉(zhuǎn)變，多數(shù)據(jù)匯聚。支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)多數(shù)據(jù)入湖。入湖即治理，針對性對數(shù)據(jù)源系統(tǒng)輸入數(shù)據(jù)制定入湖標準數(shù)據(jù)驅(qū)動治理規(guī)范，以數(shù)據(jù)為核心實時制定治理規(guī)范。從深度學習到機器學習，從機器學習到人工智能?；跀?shù)據(jù)湖的大量的原始數(shù)據(jù)，深度訓練，快速分析智能應用，基于AI與機器學習分析，個性化服務提供。應用快速構(gòu)建，基于數(shù)據(jù)湖進行細粒度的收集、探索和分析數(shù)據(jù)湖數(shù)據(jù)治理數(shù)據(jù)分析數(shù)據(jù)應用數(shù)據(jù)服務數(shù)據(jù)驅(qū)動規(guī)范，入湖標準制定人工智能分析，直引湖中數(shù)據(jù)大數(shù)據(jù)發(fā)展趨勢分析應用更加智能，構(gòu)建更加快速深度數(shù)據(jù)開放，針對方案制定數(shù)據(jù)湖產(chǎn)生背景及概念提出企業(yè)現(xiàn)在正處于大數(shù)據(jù)的“焦慮期”存儲成本問題：海量數(shù)據(jù)需要在多環(huán)境、多級下重復存儲，存儲開銷大數(shù)據(jù)形態(tài)問題：應用大多聚焦在經(jīng)過加工后的再生數(shù)據(jù)，原始數(shù)據(jù)無法得到充分利用業(yè)務響應問題：必須事先進行充分規(guī)劃和較長周期加工，欠缺運營所需的靈活性和時效性數(shù)據(jù)集市數(shù)據(jù)湖問題？挑戰(zhàn)？變革！數(shù)據(jù)湖一詞是2011年由Pentaho首席技術官詹姆斯

迪克森最初提出的，參照“數(shù)據(jù)集市”得來。較小的數(shù)據(jù)存儲庫如同瓶裝水，經(jīng)過過濾包裝結(jié)構(gòu)化后以供使用數(shù)據(jù)來源于不同地方如同湖泊，存儲更自然狀態(tài)下的大量的水預先設定問題使用方式單一集中存儲+無限能力用戶各取所需把不同結(jié)構(gòu)的數(shù)據(jù)統(tǒng)一存儲，使不同數(shù)據(jù)有一致的存儲方式，在使用時方便連接，真正解決數(shù)據(jù)集成問題。全部采集（CollectEverything）隨處研究（DiveInAnywhere）靈活訪問（FlexibleAccess）數(shù)據(jù)湖的定義與特性存儲一切，分析一切，創(chuàng)建所需數(shù)據(jù)湖（DataLake）核心思想

把你以前在磁帶上擁有的東西倒入到數(shù)據(jù)湖，然后開始探索該數(shù)據(jù)。重要的

只把需要的數(shù)據(jù)倒入到Hadoop；如果你想結(jié)合來自數(shù)據(jù)湖的信息和客戶關系

管理系統(tǒng)（CRM）里面的信息，我們就進行連接，只有需要時才執(zhí)行這番數(shù)

據(jù)結(jié)合。

數(shù)據(jù)湖是一種在系統(tǒng)或存儲庫中以自然格式存儲數(shù)據(jù)的方法，它有助于以各種

模式和結(jié)構(gòu)形式配置數(shù)據(jù)，通常是對象塊或文件。湖中的數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)

從關系數(shù)據(jù)庫（行和列），半結(jié)構(gòu)化數(shù)據(jù)（CSV、XML、JSON的日志），非

結(jié)構(gòu)化數(shù)據(jù)（電子郵件，文檔，PDF）和二進制數(shù)據(jù)（圖像、音頻、視頻）從

而形成一個集中式數(shù)據(jù)存儲容納所有形式的數(shù)據(jù)。詹姆斯·迪克森維基百科從對比中理解數(shù)據(jù)湖概念—優(yōu)勢篇對比項數(shù)據(jù)倉庫數(shù)據(jù)湖支持數(shù)據(jù)類型有限的數(shù)據(jù)類型支持，以結(jié)構(gòu)化為主支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)采集方式過程開始于業(yè)務流程識別，通常由數(shù)據(jù)管理者和業(yè)務負責人基于數(shù)據(jù)和業(yè)務的某種假設在數(shù)據(jù)湖世界里，沒有關于已經(jīng)取得的數(shù)據(jù)假設。一旦數(shù)據(jù)發(fā)生，即開始在細粒度級別收集數(shù)據(jù)。業(yè)務流程發(fā)現(xiàn)基于數(shù)據(jù)與輸入數(shù)據(jù)數(shù)據(jù)處理能力寫入模式，建立模型對數(shù)據(jù)進行某類格式和結(jié)構(gòu)的處理，為了減少數(shù)據(jù)的復雜性，比較難于實現(xiàn)上卷（Rollup）和鉆?。―rilldown）分析，該設計可能需要妥協(xié)一定粒度的數(shù)據(jù)讀取模式，接受原始形式的數(shù)據(jù)，在數(shù)據(jù)細粒度級別收集、探索和分析非常簡單架構(gòu)重建能力數(shù)據(jù)庫架構(gòu)演變需要謹慎，過程耗時，成本較高，影響較大，需要對原有數(shù)據(jù)進行重構(gòu)不存在結(jié)構(gòu)問題，支持復雜數(shù)據(jù)類型，便于重置數(shù)據(jù)模型、查詢和應用，并具有簡單的重建關系的能力動態(tài)性敏捷性差，采用靜態(tài)固定配置，基于業(yè)務流程驅(qū)動而設計系統(tǒng)高度敏捷，動態(tài)靈活配置，基于數(shù)據(jù)的業(yè)務流程定義擴展性提供預定義的業(yè)務需求點燃創(chuàng)新和新的商業(yè)機會從對比中理解數(shù)據(jù)湖概念—劣勢篇對比項數(shù)據(jù)倉庫數(shù)據(jù)湖數(shù)據(jù)規(guī)劃體系具有周密的數(shù)據(jù)發(fā)現(xiàn)、采集、探索和轉(zhuǎn)換的數(shù)據(jù)計劃，易于突顯數(shù)據(jù)價值不太重視事先的數(shù)據(jù)規(guī)劃，允許存儲任何數(shù)據(jù)，難以抓取數(shù)據(jù)價值數(shù)據(jù)利用效率數(shù)據(jù)利用率高，按數(shù)據(jù)優(yōu)先級和數(shù)據(jù)可用性的大小進行組織，可以快速定位所需數(shù)據(jù)數(shù)據(jù)利用率低，缺少數(shù)據(jù)優(yōu)先級排序，需要花費大量時間查找和分析前的準備數(shù)據(jù)需求響應能力具有較高的需求響應能力，可以保證平穩(wěn)高效的數(shù)據(jù)訪問數(shù)據(jù)響應延遲較高，整個分析過程容易中斷復雜性和難度較低，建設規(guī)模與成本可控很高，建設難度與規(guī)模呈線性增長趨勢，隱性成本較高邏輯可解釋性數(shù)據(jù)組織邏輯性強，數(shù)據(jù)關系可解釋性較高欠缺語義一致性和嚴格的元數(shù)據(jù)，數(shù)據(jù)關系較為松散，難以解釋安全性多年發(fā)展歷程，保護數(shù)據(jù)的能力比較成熟比較新的技術，需要持續(xù)完善適用對象企業(yè)的業(yè)務行家和專業(yè)人員，技術門檻低面向熟練用戶、科學領域的數(shù)據(jù)科學家，技術門檻高潛在風險數(shù)據(jù)湖數(shù)據(jù)沼澤數(shù)據(jù)湖是大數(shù)據(jù)概念的延伸多樣化的數(shù)據(jù)存儲高效的數(shù)據(jù)處理存儲全部數(shù)據(jù)處理任何數(shù)據(jù)訪問任何數(shù)據(jù)數(shù)據(jù)能力要求支持所有用戶更容易適應變化更快的洞悉能力IT能力要求數(shù)據(jù)湖的能力視圖數(shù)據(jù)湖并非是個全新概念“數(shù)據(jù)湖”是關于企業(yè)應用大數(shù)據(jù)的概念，是面向企業(yè)的最佳的大數(shù)據(jù)的解決方案“數(shù)據(jù)湖”不僅是數(shù)據(jù)存儲和處理的單元，也是釋放數(shù)據(jù)價值的過程企業(yè)大數(shù)據(jù)應用成功的關鍵并不是存儲所有的數(shù)據(jù)，而是要創(chuàng)建一個更有意義的“數(shù)據(jù)湖”，幫助企業(yè)加速提取高價值數(shù)據(jù)的速度數(shù)據(jù)湖是大數(shù)據(jù)發(fā)展方向上的高級階段，是一種建設理念，而不是一種特定的實施方法“數(shù)據(jù)湖”是個架構(gòu)概念，是數(shù)據(jù)倉庫的一種演進，是一種大數(shù)據(jù)概念下的延伸數(shù)據(jù)湖概念上的甄別1、用于安置企業(yè)所有數(shù)據(jù)的一個數(shù)據(jù)倉庫或數(shù)據(jù)集市2、替代運營數(shù)據(jù)存儲（ODS）3、高性能的生產(chǎn)環(huán)境4、生產(chǎn)型報表的應用程序5、一個專門建立的系統(tǒng)來解決一個特定的問題（盡管專門建立的數(shù)據(jù)集市可以從數(shù)據(jù)湖中提供）1、用戶可以訪問大量原始數(shù)據(jù)的環(huán)境2、一個開發(fā)和驗證分析模型的環(huán)境，然后將其轉(zhuǎn)化為生產(chǎn)3、用于探索數(shù)據(jù)以獲得洞察力的分析沙箱4、企業(yè)級目錄，可幫助用戶查找數(shù)據(jù)并將業(yè)務術語與技術元數(shù)據(jù)鏈接起來5、一個支持重用數(shù)據(jù)轉(zhuǎn)換和查詢的環(huán)境數(shù)據(jù)湖是……數(shù)據(jù)湖不是……數(shù)據(jù)湖體系的架構(gòu)規(guī)劃Hadoop不一定是數(shù)據(jù)湖的組成部分，只是它是目前最理想的選擇！數(shù)據(jù)湖的邏輯架構(gòu)數(shù)據(jù)湖的數(shù)據(jù)架構(gòu)持久層（PersitentLayer）：存放所有從和外部獲取的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)分析沙箱（AnalyticsSandbox）：數(shù)據(jù)科學家和分析師被授予持久層的訪問權限并使用進行數(shù)據(jù)研究和實驗探索數(shù)據(jù)源（Curated）：數(shù)據(jù)分析師會將有商業(yè)價值的數(shù)據(jù)進行處理并創(chuàng)建新的數(shù)據(jù)源以提供給業(yè)務分析師可操作層（Operationallayer）：業(yè)務分析師繼續(xù)精煉已處理過的數(shù)據(jù)，和數(shù)據(jù)管理團隊一起將這些數(shù)據(jù)轉(zhuǎn)換為更為容易操作和使用的數(shù)據(jù)，存放之以便得到更廣泛的使用數(shù)據(jù)湖建設的四個階段整合數(shù)據(jù)湖基礎設施可擴展的數(shù)據(jù)處理和攝入數(shù)據(jù)目錄管理趨于完善EDW與DataLake協(xié)作對外生產(chǎn)價值輸送能力數(shù)據(jù)服務和運營管理能力端到端的業(yè)務支撐能力穩(wěn)定的成熟度服務架構(gòu)靈活完善的企業(yè)運營模式分析能力增強優(yōu)化探索環(huán)境豐富價值發(fā)現(xiàn)模型價值挖掘階段基礎架構(gòu)階段成熟運營階段協(xié)作交互階段01020304大多數(shù)企業(yè)處于前三個階段的建設和完善過程中……建設難點與風險數(shù)據(jù)湖關鍵點數(shù)據(jù)湖體系的建設要點與風險分析靈活自動化的采集與存儲組織和編目數(shù)據(jù)管理統(tǒng)一的透明訪問方式數(shù)據(jù)質(zhì)量和可靠性無感知的分布式架構(gòu)（存儲、計算、網(wǎng)絡）企業(yè)全局數(shù)據(jù)的掌握與預測統(tǒng)一元數(shù)據(jù)規(guī)范和管控能力業(yè)務關聯(lián)場景的數(shù)據(jù)理解系統(tǒng)化的質(zhì)量管控體系分布技術的規(guī)劃和擴展能力參考：來自實踐中數(shù)據(jù)湖建設內(nèi)容目錄背景：大數(shù)據(jù)湖的發(fā)展背景與建設理念1生態(tài)圈：探索新興業(yè)務入湖建設模式3共享：大數(shù)據(jù)湖統(tǒng)一訪問共享規(guī)劃4運營：大數(shù)據(jù)湖一體化運營管理建設5體系：大數(shù)據(jù)湖體系規(guī)劃與建設思路2生產(chǎn)型系統(tǒng)分析型系統(tǒng)數(shù)據(jù)接入數(shù)據(jù)存儲生產(chǎn)數(shù)據(jù)(1+N)操作/臨時存儲原生數(shù)據(jù)(1+N)就近/分域存儲應用數(shù)據(jù)(N)分區(qū)建設應用計算處理整合數(shù)據(jù)(1)全網(wǎng)/分層支撐協(xié)同計算引擎實時檢索和流處理引擎結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫/格式文件等）半結(jié)構(gòu)化數(shù)據(jù)（XML/TXT等）非結(jié)構(gòu)化數(shù)據(jù)（語音、視頻等）統(tǒng)一索引層計算側(cè)cache生產(chǎn)系統(tǒng)駐留統(tǒng)一接入配置生態(tài)圈系統(tǒng)PB級存儲OracleMySqlHDFSHbaseGreenplumTXTTB級計算訪問共享API數(shù)據(jù)沙箱訪問接口（JDBC、ODBC）同源異構(gòu)訪問挖掘工具交互分析OLAP應用構(gòu)建工具生產(chǎn)直采前置采集存儲計算加速離線批處理引擎交互式查詢引擎計算資源調(diào)度IOT接入BSSOSSMSS網(wǎng)絡/平臺生態(tài)圈同步鏡像運營管控采集接入規(guī)范源數(shù)據(jù)提供規(guī)范數(shù)據(jù)分類規(guī)范數(shù)據(jù)模型規(guī)范元字典規(guī)范資源申請規(guī)范計算調(diào)度規(guī)范訪問接入規(guī)范數(shù)據(jù)共享標準生產(chǎn)模型規(guī)范數(shù)據(jù)湖統(tǒng)一目錄<統(tǒng)一服務數(shù)據(jù)集>邏輯化視圖緩存加速統(tǒng)一數(shù)據(jù)服務代理（DataBroker）統(tǒng)一數(shù)據(jù)接入跨架構(gòu)數(shù)據(jù)聯(lián)邦存儲規(guī)范數(shù)據(jù)安全規(guī)范角色權限規(guī)范運營管理規(guī)范資源池化

彈性伸縮自動調(diào)度

按需使用應用專區(qū)省分專區(qū)生態(tài)圈專區(qū)…源端系統(tǒng)可視化定義

即配即用透明化部署

實時接入調(diào)度平臺工具外部系統(tǒng)互聯(lián)網(wǎng)合作伙伴大吞吐管道服務對象外部系統(tǒng)互聯(lián)網(wǎng)網(wǎng)絡爬蟲主數(shù)據(jù)(1)全網(wǎng)統(tǒng)一大數(shù)據(jù)湖體系規(guī)劃大數(shù)據(jù)湖存儲能力規(guī)劃——統(tǒng)一標準/分區(qū)存儲制定全集團統(tǒng)一數(shù)據(jù)標準，采取分域分類的數(shù)據(jù)入湖策略，構(gòu)建生產(chǎn)、原生、整合/應用、專區(qū)等分區(qū)數(shù)據(jù)存儲及計算能力，實現(xiàn)數(shù)據(jù)原生入湖、按需使用的宗旨，為全國1+31省提供應用數(shù)據(jù)服務能力，注智生產(chǎn)激發(fā)生產(chǎn)力。數(shù)據(jù)存儲數(shù)據(jù)接入數(shù)據(jù)訪問運營管理數(shù)據(jù)計算計算資源管理資源池化，彈性技術自動調(diào)度，按需使用實時流式離線批量內(nèi)存計算及緩存機器學習交互式查詢協(xié)同計算非結(jié)構(gòu)化計算存儲資源管理結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)（日志/XML文件等）非結(jié)構(gòu)化數(shù)據(jù)（文件/圖片/音頻/視頻等）省份專區(qū)生態(tài)圈專區(qū)內(nèi)蒙生產(chǎn)數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)實體關聯(lián)視圖主數(shù)據(jù)區(qū)省份B/O側(cè)生產(chǎn)系統(tǒng)集團橫向系統(tǒng)生態(tài)圈生產(chǎn)系統(tǒng)網(wǎng)絡/平臺生產(chǎn)系統(tǒng)（前置預處理）編碼統(tǒng)一轉(zhuǎn)換實體對齊客戶產(chǎn)品渠道營銷資源服務自然人貴州河北遼寧寧夏…互聯(lián)網(wǎng)金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT人員組織資源產(chǎn)品客戶…BSS原生數(shù)據(jù)OSS原生數(shù)據(jù)MSS原生數(shù)據(jù)網(wǎng)絡/平臺數(shù)據(jù)集團橫向數(shù)據(jù)生態(tài)圈-ICT生態(tài)圈-金融…存儲分區(qū)原則：生產(chǎn)數(shù)據(jù)區(qū)：遵循電信集團數(shù)據(jù)建模標準及主數(shù)據(jù)規(guī)范要求；規(guī)范層面屬于大數(shù)據(jù)湖范疇，物理資源層面可采用湖資源也可自建；原生數(shù)據(jù)區(qū)：分域分類存儲生產(chǎn)數(shù)據(jù)；將非標準數(shù)據(jù)做標準化轉(zhuǎn)化；整合數(shù)據(jù)區(qū)：采用大數(shù)據(jù)挖掘等技術進行實體歸集補全；構(gòu)建實體關聯(lián)視圖；主數(shù)據(jù)區(qū)：存儲企業(yè)級全網(wǎng)主數(shù)據(jù)，大數(shù)據(jù)主數(shù)據(jù)唯一提供者；應用專區(qū)：本著數(shù)據(jù)不出湖，充分挖掘數(shù)據(jù)價值原則，為使用者提供基于自有、原生、整合數(shù)據(jù)的處理空間，面向應用開展數(shù)據(jù)處理工作；大數(shù)據(jù)湖原生數(shù)據(jù)區(qū)規(guī)劃——原生入湖/分類存儲/按需使用以原生入湖分類存儲按需使用為宗旨，分域分類存儲按周期存儲原生數(shù)據(jù)，為云公司、集團ODS、省份大數(shù)據(jù)平臺提供原生數(shù)據(jù)共享服務，為湖內(nèi)整合數(shù)據(jù)區(qū)、應用數(shù)據(jù)區(qū)提供原生數(shù)據(jù)服務。原生數(shù)據(jù)區(qū)生態(tài)圈數(shù)據(jù)網(wǎng)絡/平臺數(shù)據(jù)集團橫向數(shù)據(jù)BSS數(shù)據(jù)OSS數(shù)據(jù)MSS數(shù)據(jù)EDA數(shù)據(jù)共享服務數(shù)據(jù)生產(chǎn)系統(tǒng)BSS系統(tǒng)OSS系統(tǒng)MSS系統(tǒng)EDA系統(tǒng)集團橫向系統(tǒng)生態(tài)圈系統(tǒng)…網(wǎng)絡/平臺系統(tǒng)原生入湖預處理入湖數(shù)據(jù)共享原生數(shù)據(jù)專區(qū)共享原生數(shù)據(jù)整合共享數(shù)據(jù)整合區(qū)數(shù)據(jù)專區(qū)實體關聯(lián)視圖共享互聯(lián)網(wǎng)金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT應用枝繁葉茂類翼支付甜橙欺詐盾IWIFI統(tǒng)一賬號NFC產(chǎn)品4G-QoS云堤流量控海洋衛(wèi)星寬帶天翼網(wǎng)關智能組網(wǎng)視頻通話聚精彩車管專家樂駕天翼云盤企業(yè)云189郵箱翼校通翼機通+天翼對講旺鋪助手外勤助手號簿助手手機看店愛音樂天翼視訊天翼閱讀愛游戲愛動漫天翼空間易信新視通4G家庭云安全辦公專屬云加密通道影像云21CN地產(chǎn)大數(shù)據(jù)語音云旅游大數(shù)據(jù)移動感知DPI4G分組域話單固網(wǎng)DPI日志留存DPIOIDDMR/CDRPM/CM智能網(wǎng)管電渠悅ME商機行業(yè)短信ODMS量化微信易信號百4G數(shù)據(jù)集約積分政企KPI渠道終端…CRM計費客戶服務PPMVSOP…綜合資源采購輔助財務輔助工程輔助ERP人力久其裝維EDA直采省+集團電渠服務量省份專區(qū)生態(tài)圈專區(qū)…實體關聯(lián)視圖編碼標準化實體對齊移動/固網(wǎng)DPIOIDDMR/CDRCM/CP計費詳單HANA數(shù)據(jù)ODMS翼支付集約積分…主數(shù)據(jù)區(qū)大數(shù)據(jù)湖整合數(shù)據(jù)區(qū)規(guī)劃——構(gòu)建企業(yè)級核心實體關聯(lián)視圖保存原子性：整合數(shù)據(jù)區(qū)數(shù)據(jù)不做聚合操作，保持數(shù)據(jù)原子性，不影響專區(qū)應用指標加工處理；實體補齊性：對核心實體根據(jù)不同原生數(shù)據(jù)進行屬性補齊；實體關聯(lián)性：面向?qū)嶓w全業(yè)務流程數(shù)據(jù)，整合各域數(shù)據(jù)實現(xiàn)實體跨域關聯(lián)視圖；共享一致性：按照湖應用的使用需求進行共性提煉，實現(xiàn)統(tǒng)一的公共寬表建設；整合數(shù)據(jù)區(qū)完成數(shù)據(jù)清洗、編碼轉(zhuǎn)換、實體對齊及構(gòu)建企業(yè)級核心實體關聯(lián)視圖，為應用專區(qū)提供整合數(shù)據(jù)服務。整合數(shù)據(jù)區(qū)保持數(shù)據(jù)原子性粒度，不對數(shù)據(jù)做聚合處理，不影響業(yè)務專區(qū)業(yè)務指標加工處理。實體對齊實體關聯(lián)視圖參與營銷活動產(chǎn)品訂購資源配給上門服務用戶投訴修障維護用戶使用存量經(jīng)營用戶出賬產(chǎn)品實體跨域關聯(lián)視圖構(gòu)建BSS數(shù)據(jù)客戶信息訂購信息OSS數(shù)據(jù)MSS數(shù)據(jù)網(wǎng)絡/平臺裝維信息開通信息傭金結(jié)算成本信息用戶投訴率行為數(shù)據(jù)質(zhì)量數(shù)據(jù)消費信息服務信息資源數(shù)據(jù)報障數(shù)據(jù)財務收入補貼數(shù)據(jù)客戶產(chǎn)品渠道營銷資源服務合作伙伴核心實體自然人…CP/SP訂購位置信息自然人員工組織地域政企客戶合作伙伴數(shù)據(jù)清洗外部數(shù)據(jù)管理規(guī)則管理實體沉淀聚合管理沖突管理大數(shù)據(jù)湖應用數(shù)據(jù)專區(qū)規(guī)劃——面向應用的自建自維數(shù)據(jù)專區(qū)獨立性：保證資源獨立性、數(shù)據(jù)獨立性、應用獨立性；可用性：保證存儲、計算、數(shù)據(jù)資源高可用性及穩(wěn)定性；確保專區(qū)資源可在線、平