大數(shù)據(jù)湖體系規(guī)劃與建設(shè)方案

大數(shù)據(jù)湖體系規(guī)劃與建設(shè)方案1122334455數(shù)據(jù)架構(gòu)與承載體系的演變過程完整性、一致性、交互穩(wěn)定性，并發(fā)性，異?？苫謴托云髽I(yè)級跨域整合、業(yè)務擴展性、架構(gòu)設(shè)計合理性、流程規(guī)范性存儲經(jīng)濟性、高性能、高擴展、高并發(fā)、靈活模型適配性11面向主題的，關(guān)注用戶重點業(yè)務背景：數(shù)據(jù)快速入湖，分析更加智能，應用更加多樣，服務更加開放u更多企業(yè)數(shù)據(jù)將進入數(shù)據(jù)湖，來自傳統(tǒng)系統(tǒng)的數(shù)據(jù)和傳感器等新型數(shù)據(jù)資源不斷融合，數(shù)據(jù)孤島將繼續(xù)被打破。u隨著大數(shù)據(jù)分析能力的不斷提高，人工智能的重要性被逐步提升。當今最先進的機器學習和人工智能系統(tǒng)正在超越傳統(tǒng)的基于規(guī)則的算法，創(chuàng)建出能夠理解、學習、預測、適應，甚至可以自主操作的系統(tǒng)。大數(shù)據(jù)發(fā)展趨勢分析大數(shù)據(jù)發(fā)展趨勢分析數(shù)據(jù)服務數(shù)據(jù)服務數(shù)據(jù)應用數(shù)據(jù)應用數(shù)據(jù)分析 數(shù)據(jù)治理數(shù)據(jù)平臺 數(shù)據(jù)平臺數(shù)據(jù)湖數(shù)據(jù)服務數(shù)據(jù)應用數(shù)據(jù)分析數(shù)據(jù)治理數(shù)據(jù)湖產(chǎn)生背景及概念提出企業(yè)現(xiàn)在正處于大數(shù)據(jù)的“焦慮期”存儲成本問題：海量數(shù)據(jù)需要在多環(huán)境、多級下重復存儲，存儲開銷大數(shù)據(jù)形態(tài)問題：應用大多聚焦在經(jīng)過加工后的再生數(shù)據(jù)，原始數(shù)據(jù)無法得到充分利用業(yè)務響應問題：必須事先進行充分規(guī)劃和較長周期加工，欠缺運營所需的靈活性和時效性n預先設(shè)定問題n使用方式單一n集中存儲+無限能力n用戶各取所需數(shù)據(jù)集市數(shù)據(jù)湖數(shù)據(jù)湖的定義與特性數(shù)據(jù)湖核心思想數(shù)據(jù)湖核心思想把不同結(jié)構(gòu)的數(shù)據(jù)統(tǒng)一存儲，使不同數(shù)據(jù)有一致的存儲方式，在使用時方便連接，真正解決數(shù)據(jù)集成問題。存儲一切，分析一切，創(chuàng)建所需從對比中理解數(shù)據(jù)湖概念—優(yōu)勢篇對比項數(shù)據(jù)倉庫數(shù)據(jù)湖從對比中理解數(shù)據(jù)湖概念—劣勢篇對比項數(shù)據(jù)倉庫數(shù)據(jù)湖數(shù)據(jù)湖數(shù)據(jù)沼澤數(shù)據(jù)沼澤數(shù)據(jù)湖是大數(shù)據(jù)概念的延伸數(shù)據(jù)湖的能力視圖數(shù)據(jù)湖并非是個全新概念1.“1.“數(shù)據(jù)湖”是關(guān)于企業(yè)應用大數(shù)據(jù)的概念，是面向企業(yè)的最佳的大數(shù)據(jù)的解決方案2.“數(shù)據(jù)湖”不僅是數(shù)據(jù)存儲和處理的單元，也是釋放數(shù)據(jù)價值的過程3.企業(yè)大數(shù)據(jù)應用成功的關(guān)鍵并不是存儲所有的數(shù)據(jù)，而是要創(chuàng)建一個更有意義的“數(shù)據(jù)湖”，幫助企業(yè)加速提取高價值數(shù)據(jù)的速度4.數(shù)據(jù)湖是大數(shù)據(jù)發(fā)展方向上的高級階段，是一種建設(shè)理念，而不是一種特定的實施方法5.“數(shù)據(jù)湖”是個架構(gòu)概念，是數(shù)據(jù)倉庫的一種演進，是一種數(shù)據(jù)能力要求多樣化的數(shù)據(jù)存儲數(shù)據(jù)能力要求高效的數(shù)據(jù)處理存儲全部數(shù)據(jù)處理任何數(shù)據(jù)訪問任何數(shù)據(jù)n支持所有用戶n更容易適應變化n更快的洞悉能力數(shù)據(jù)湖概念上的甄別數(shù)據(jù)湖是……1、用戶可以訪問大量原始數(shù)據(jù)的環(huán)境2、一個開發(fā)和驗證分析模型的環(huán)境，然后將其轉(zhuǎn)化為生產(chǎn)3、用于探索數(shù)據(jù)以獲得洞察力的分析沙箱4、企業(yè)級目錄，可幫助用戶查找數(shù)據(jù)并將業(yè)務術(shù)語與技術(shù)元數(shù)據(jù)鏈接起來5、一個支持重用數(shù)據(jù)轉(zhuǎn)換和查詢的環(huán)境數(shù)據(jù)湖不是……1、用于安置企業(yè)所有數(shù)據(jù)的一個數(shù)據(jù)倉庫或數(shù)據(jù)集市2、替代運營數(shù)據(jù)存儲（ODS）3、高性能的生產(chǎn)環(huán)境4、生產(chǎn)型報表的應用程序5、一個專門建立的系統(tǒng)來解決一個特定的問題（盡管專門建立的數(shù)據(jù)集市可以從數(shù)據(jù)湖中提供）VS數(shù)據(jù)湖體系的架構(gòu)規(guī)劃數(shù)據(jù)湖的邏輯架構(gòu)數(shù)據(jù)湖的數(shù)據(jù)架構(gòu)數(shù)據(jù)湖建設(shè)的四個階段協(xié)作交互階段協(xié)作交互階段04030403基礎(chǔ)架構(gòu)階段基礎(chǔ)架構(gòu)階段成熟運營階段01價值挖掘階段01數(shù)據(jù)湖體系的建設(shè)要點與風險分析數(shù)據(jù)湖關(guān)鍵點建設(shè)難點與風險業(yè)界主流公司的數(shù)據(jù)湖規(guī)劃—HortonworksHortonworks公司基于Hadoop生態(tài)構(gòu)建的數(shù)據(jù)湖提出的現(xiàn)代化數(shù)據(jù)架構(gòu)（MordenDataArchitecture），從南向北包含四個層面：數(shù)據(jù)采集層（DataAcquisitionLayer）數(shù)據(jù)采集層負責從數(shù)據(jù)源抽取和移動數(shù)據(jù)，并將數(shù)據(jù)源包括傳統(tǒng)的關(guān)系型或事務型系統(tǒng)、用戶獲取數(shù)據(jù)監(jiān)管層（DataCurationLayer）數(shù)據(jù)監(jiān)管層負責數(shù)據(jù)湖中的數(shù)據(jù)組織、定型并為準化流程制定，數(shù)據(jù)創(chuàng)建、脫敏、清洗、轉(zhuǎn)換數(shù)據(jù)供應層（DataProvisioningLayer）數(shù)據(jù)供應層采用更適用于業(yè)務報表和分析的傳統(tǒng)數(shù)數(shù)據(jù)消費層（DataConsumptionLayer）數(shù)據(jù)消費層提供所有最終用戶的接口，對于不同業(yè)界主流公司對于數(shù)據(jù)湖的規(guī)劃—IBM境1122334455大數(shù)據(jù)湖體系規(guī)劃應用構(gòu)建工具交互分析OLAP挖掘工具生態(tài)圈應用構(gòu)建工具交互分析OLAP挖掘工具生態(tài)圈系統(tǒng)分析型系統(tǒng)生產(chǎn)型系統(tǒng)生態(tài)圈專區(qū)省分專區(qū)服務對象互聯(lián)網(wǎng)互聯(lián)網(wǎng)合作伙伴合作伙伴訪問共享同源異構(gòu)訪問APIAPI數(shù)據(jù)沙箱訪問接口（JDBC、ODBC）統(tǒng)一數(shù)據(jù)接入邏輯化視圖數(shù)據(jù)湖統(tǒng)一目錄<統(tǒng)一服務數(shù)據(jù)集>緩存加速數(shù)據(jù)安全規(guī)范數(shù)據(jù)安全規(guī)范角色權(quán)限規(guī)范角色權(quán)限規(guī)范運營管理規(guī)范運營管理規(guī)范計算處理TB級計算存儲計算加速存儲計算加速資源池化l彈性伸縮計算資源調(diào)度自動調(diào)度l按需使用數(shù)據(jù)存儲PB級存儲 主數(shù)據(jù)(1)全網(wǎng)統(tǒng)一生產(chǎn)數(shù)據(jù)(1+N) 主數(shù)據(jù)(1)全網(wǎng)統(tǒng)一生產(chǎn)數(shù)據(jù)(1+N)操作/臨時存儲整合數(shù)據(jù)(1)全網(wǎng)/分層支撐應用數(shù)據(jù)(N)分區(qū)建設(shè)…原生數(shù)據(jù)(1+N)原生數(shù)據(jù)(1+N)就近/分域存儲數(shù)據(jù)接入大吞吐管道 生產(chǎn)直采生產(chǎn)直采可視化定義l即配即用統(tǒng)一接入配置透明化部署l實時接入調(diào)度源端系統(tǒng)大數(shù)據(jù)湖存儲能力規(guī)劃——統(tǒng)一標準/分區(qū)存儲數(shù)據(jù)存儲數(shù)據(jù)訪問資源池化，彈性技術(shù)計算資源管理自動調(diào)度，按需使用數(shù)據(jù)計算互聯(lián)網(wǎng)金融新興智慧家庭智能連接物聯(lián)網(wǎng)……數(shù)據(jù)存儲數(shù)據(jù)訪問資源池化，彈性技術(shù)計算資源管理自動調(diào)度，按需使用數(shù)據(jù)計算互聯(lián)網(wǎng)金融新興智慧家庭智能連接物聯(lián)網(wǎng)……營銷資源服務自然人客戶產(chǎn)品渠道集團橫向系統(tǒng)網(wǎng)絡/平臺生產(chǎn)系統(tǒng)（前置預處理）省份B/O側(cè)生產(chǎn)系統(tǒng)生態(tài)圈生產(chǎn)系統(tǒng)OSS原生數(shù)據(jù)…BSS原生數(shù)據(jù)生數(shù)據(jù)集團橫向數(shù)據(jù)生態(tài)圈-ICT生態(tài)圈數(shù)據(jù)接入運營管理現(xiàn)數(shù)據(jù)原生入湖、按需使用的宗旨，為全國1+31省提供應用數(shù)據(jù)服務能力，注智生產(chǎn)激發(fā)生產(chǎn)力。存儲分區(qū)原則：生產(chǎn)數(shù)據(jù)區(qū)：遵循電信集團數(shù)據(jù)建模標準及主數(shù)據(jù)規(guī)范要求；規(guī)范層面屬于大數(shù)據(jù)湖范疇，物理資源層面可采用湖資源也可自建；原生數(shù)據(jù)區(qū)：分域分類存儲生產(chǎn)數(shù)據(jù)；將非標準數(shù)據(jù)做標準化轉(zhuǎn)化；整合數(shù)據(jù)區(qū)：采用大數(shù)據(jù)挖掘等技術(shù)進行實體歸集補全；構(gòu)建實體關(guān)聯(lián)視圖；主數(shù)據(jù)區(qū)：存儲企業(yè)級全網(wǎng)主數(shù)據(jù)，大數(shù)據(jù)主數(shù)據(jù)唯一提供者；應用專區(qū)：本著數(shù)據(jù)不出湖，充分挖掘數(shù)據(jù)價值原則，為使用者提供基于自有、原生、整合數(shù)據(jù)的處理空間，面向應用開展數(shù)據(jù)處理工作；大數(shù)據(jù)湖原生數(shù)據(jù)區(qū)規(guī)劃——原生入湖/分類存儲/按需使用以原生入湖分類存儲按需使用為宗旨，分域分類存儲按周期存儲原生數(shù)據(jù)，為云公司、集團ODS、省份大數(shù)據(jù)平臺提供原生數(shù)據(jù)為湖內(nèi)整合數(shù)據(jù)區(qū)、應用數(shù)據(jù)區(qū)提供原生數(shù)據(jù)服務。主數(shù)據(jù)區(qū)統(tǒng)…主數(shù)據(jù)區(qū)統(tǒng)… 數(shù)據(jù)共享原生數(shù)據(jù)區(qū)固網(wǎng)DPI日志留存OIDD移動感知智能網(wǎng)管MR/C4G分組域話單加密通道OD量化集約積分悅商機微信易信PM/CM電渠4G數(shù)據(jù)終端號百渠道…行業(yè)短信政企財務輔助人力工程輔助久其采購輔助視頻計費VSOP客戶服務…團電渠服務量企業(yè)云直采綜合資源裝維新興ICT應用愛游戲愛音樂愛動漫CRMPPM外勤助手旅游大數(shù)據(jù)地產(chǎn)大數(shù)據(jù)枝繁葉茂類智慧家庭智能連接物聯(lián)網(wǎng)原生數(shù)據(jù)專區(qū)共享…實體關(guān)聯(lián)視圖共享原生數(shù)據(jù)整合共享原生數(shù)據(jù)整合共享湖大數(shù)據(jù)湖整合數(shù)據(jù)區(qū)規(guī)劃——構(gòu)建企業(yè)級核心實體關(guān)聯(lián)視圖整合數(shù)據(jù)區(qū)完成數(shù)據(jù)清洗、編碼轉(zhuǎn)換、實體對齊及構(gòu)建企業(yè)級核心實體關(guān)聯(lián)視圖，為應用專區(qū)提供整合數(shù)據(jù)服務。整合數(shù)據(jù)保存原子性：整合數(shù)據(jù)區(qū)數(shù)據(jù)不做聚合操作保存原子性：整合數(shù)據(jù)區(qū)數(shù)據(jù)不做聚合操作，保持數(shù)據(jù)原子性，不影響專區(qū)應用指標加工處理；實體補齊性：對核心實體根據(jù)不同原生數(shù)據(jù)進行屬性補齊；實體關(guān)聯(lián)性：面向?qū)嶓w全業(yè)務流程數(shù)據(jù)，整合各域數(shù)據(jù)實現(xiàn)實體跨域關(guān)聯(lián)視圖；共享一致性：按照湖應用的使用需求進行共性提煉，實現(xiàn)統(tǒng)一的公共寬表建設(shè)；實體關(guān)聯(lián)視圖l開通信息l客戶信息l訂購信息消費信息服務信息l裝維信息l資源數(shù)據(jù)l報障數(shù)據(jù)l傭金結(jié)算財務收入補貼數(shù)據(jù)l開通信息l客戶信息l訂購信息消費信息服務信息l裝維信息l資源數(shù)據(jù)l報障數(shù)據(jù)l傭金結(jié)算財務收入補貼數(shù)據(jù)l行為數(shù)據(jù)l質(zhì)量數(shù)據(jù)購給務訴護用賬CP/SP訂購位置信息營客戶產(chǎn)品渠道營銷資源服務合作伙伴自然人…實體對齊數(shù)據(jù)清洗沖突管理外部數(shù)據(jù)管理規(guī)則管理實體沉淀聚合管理數(shù)據(jù)清洗沖突管理外部數(shù)據(jù)管理規(guī)則管理實體沉淀聚合管理政企客戶政企客戶合作伙伴自然人組織地域員工大數(shù)據(jù)湖應用數(shù)據(jù)專區(qū)規(guī)劃——面向應用的自建自維數(shù)據(jù)專區(qū)獨立性：保證資源獨立性、數(shù)據(jù)獨立性、應用獨立性；可用性：保證存儲、計算、數(shù)據(jù)資源高可用性及穩(wěn)定性；確保專區(qū)資源可在線、平滑擴展；獨立性：保證資源獨立性、數(shù)據(jù)獨立性、應用獨立性；可用性：保證存儲、計算、數(shù)據(jù)資源高可用性及穩(wěn)定性；確保專區(qū)資源可在線、平滑擴展；易用性：提供豐富的可視化開發(fā)及專區(qū)運營工具；可管理性：大數(shù)據(jù)湖對專區(qū)具備監(jiān)控、審計能力；數(shù)據(jù)服務性：專區(qū)數(shù)據(jù)可以數(shù)據(jù)形式服務，也可開發(fā)應用直接鏈接調(diào)用；原生數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)應用數(shù)據(jù)專區(qū)原生數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)應用數(shù)據(jù)專區(qū)估 專區(qū)申請專區(qū)審批?！蠀^(qū)數(shù)據(jù) 實時采集批量采集消息采集數(shù)據(jù)接入共享訪問 源端生產(chǎn)系統(tǒng)/數(shù)據(jù)倉庫大數(shù)據(jù)湖主數(shù)據(jù)區(qū)規(guī)劃——企業(yè)級核心/統(tǒng)一運營保障主數(shù)據(jù)區(qū)負責存儲全域主數(shù)據(jù)，并確保與主數(shù)據(jù)生產(chǎn)者保持同步，為大數(shù)據(jù)湖各區(qū)提供唯一主數(shù)據(jù)源，以保證湖中企業(yè)統(tǒng)一主數(shù)據(jù)標準：面向全國各域各生產(chǎn)系統(tǒng)提供主統(tǒng)一主數(shù)據(jù)標準：面向全國各域各生產(chǎn)系統(tǒng)提供主數(shù)據(jù)標準；統(tǒng)一主數(shù)據(jù)存儲：面向大數(shù)據(jù)湖提供統(tǒng)一主數(shù)據(jù)存儲能力；統(tǒng)一主數(shù)據(jù)整合：清洗整標準、唯一主數(shù)據(jù)；統(tǒng)一主數(shù)據(jù)服務：為大數(shù)據(jù)湖中各區(qū)提供主數(shù)據(jù)服務；數(shù)據(jù)專區(qū)數(shù)據(jù)專區(qū)網(wǎng)網(wǎng)…主數(shù)據(jù)整合數(shù)據(jù)整合數(shù)據(jù)區(qū)主數(shù)據(jù)區(qū)客戶產(chǎn)品渠道訂單主數(shù)據(jù)主數(shù)據(jù)整合數(shù)據(jù)整合數(shù)據(jù)區(qū)主數(shù)據(jù)區(qū)客戶產(chǎn)品渠道訂單主數(shù)據(jù)原生數(shù)據(jù)主數(shù)據(jù)入湖原生數(shù)據(jù)服務專區(qū)原生數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)1122334455基于大數(shù)據(jù)湖的生態(tài)圈建設(shè)模式 API訪問共享 生態(tài)圈客戶數(shù)據(jù)生態(tài)圈客戶數(shù)據(jù)/特征畫像數(shù)據(jù)/客戶感知數(shù)據(jù)/…生態(tài)圈統(tǒng)一共享目錄生態(tài)圈原生數(shù)據(jù)/主數(shù)據(jù)/整合數(shù)據(jù)/專區(qū)數(shù)據(jù)RR圖數(shù)據(jù)庫Sparkstreaming大數(shù)據(jù)湖計算處理Strom大數(shù)據(jù)湖計算處理Strom計算需求分類/資源隊列管控計算需求分類/資源隊列管控/租戶任務管理計算資源按需動態(tài)調(diào)配計算規(guī)模/優(yōu)先級別/時間窗規(guī)劃原生數(shù)據(jù)原生數(shù)據(jù)應用數(shù)據(jù)專業(yè)應用數(shù)據(jù)生產(chǎn)副本生產(chǎn)正本物聯(lián)網(wǎng)物聯(lián)網(wǎng)數(shù)據(jù)存儲整合數(shù)據(jù)共性基礎(chǔ)數(shù)據(jù)數(shù)據(jù)接入采集源連接/采集方式（采集源連接/采集方式（FTP/API/流式/…）數(shù)據(jù)湖采集一站式配置目標驅(qū)動入湖原則生態(tài)圈入湖指導原則目標驅(qū)動入湖原則業(yè)務驅(qū)動數(shù)據(jù)分類生態(tài)營銷數(shù)據(jù)生態(tài)核心生態(tài)營銷數(shù)據(jù)生態(tài)核心資料開展生態(tài)業(yè)務數(shù)字化營銷3開展生態(tài)業(yè)務數(shù)字化營銷3了解生態(tài)業(yè)務關(guān)鍵概念掌握生態(tài)整體經(jīng)營狀況2生態(tài)協(xié)同數(shù)據(jù)生態(tài)生態(tài)協(xié)同數(shù)據(jù)實現(xiàn)生態(tài)管理運營一體化實現(xiàn)生態(tài)管理運營一體化4開拓生態(tài)業(yè)務智慧創(chuàng)新5價值驅(qū)動入湖邏輯數(shù)高中低中高高生態(tài)圈入湖建設(shè)思路與步驟解決生產(chǎn)經(jīng)營看數(shù)：以生態(tài)圈應用和價值提升需求為導向，優(yōu)先將客戶、經(jīng)營、營銷、管理、生產(chǎn)方面的核心主數(shù)據(jù)入湖，滿足當前業(yè)務發(fā)展和管理需求主數(shù)據(jù)?經(jīng)營數(shù)據(jù)?營銷數(shù)據(jù)?管理數(shù)據(jù)?業(yè)態(tài)生產(chǎn)數(shù)據(jù)?開展大數(shù)據(jù)價值挖掘：將各模塊未導入的全量數(shù)據(jù)入湖，同時豐富生態(tài)邊際和互聯(lián)網(wǎng)數(shù)據(jù)，拓展應用場景，實現(xiàn)大數(shù)據(jù)精準營銷和管理主數(shù)據(jù)經(jīng)營數(shù)據(jù)營銷數(shù)據(jù)管理數(shù)據(jù)業(yè)態(tài)生產(chǎn)數(shù)據(jù)?????數(shù)據(jù)深度拓展：不斷豐富和拓展數(shù)據(jù)湖的數(shù)據(jù)，包含數(shù)據(jù)的橫向范圍和縱向深度補充采集數(shù)據(jù)缺失的原生態(tài)數(shù)據(jù)其他數(shù)據(jù)?????運營原則生態(tài)數(shù)據(jù)運營運營原則生態(tài)數(shù)據(jù)運營數(shù)據(jù)流圖(DFD)：生產(chǎn)數(shù)據(jù)流、加工數(shù)數(shù)據(jù)規(guī)模：生態(tài)全量、核心資料、經(jīng)營數(shù)據(jù)存儲結(jié)構(gòu)：生產(chǎn)數(shù)據(jù)存儲模式、存儲周期、分層 后續(xù)變更采集 后續(xù)變更采集= 周期增量采集=入湖建設(shè)演進生產(chǎn)源端規(guī)范入湖建設(shè)演進生產(chǎn)源端規(guī)范數(shù)據(jù)運營同步：模型結(jié)構(gòu)變更、歷史數(shù)據(jù)調(diào)整、生態(tài)圈入湖規(guī)范價值靈活理財類型理財類型生態(tài)圈數(shù)據(jù)整合處理原則及關(guān)鍵點大數(shù)據(jù)湖整合區(qū)建設(shè)原則①基于共性化數(shù)據(jù)處理，支撐廣泛、穩(wěn)定的共享應用；②支撐湖標準化的數(shù)據(jù)規(guī)范轉(zhuǎn)換；③跨域數(shù)據(jù)的關(guān)聯(lián)性和橫向?qū)R；統(tǒng)一手機號碼交費助手統(tǒng)一手機號碼交費助手用戶ID綁卡代金券甜橙白條用戶ID代金券用戶統(tǒng)一ID手機號碼交費助手用戶手機號碼交費助手用戶綁卡用戶甜橙白條用戶……………①核心實體對齊：跨業(yè)務的實體數(shù)據(jù)一致性關(guān)聯(lián)綁卡用戶甜橙白條用戶……………支付類型理財產(chǎn)品理財金額統(tǒng)一客戶ID②生態(tài)業(yè)務聚合：聚焦各類業(yè)務應用支付類型理財產(chǎn)品理財金額統(tǒng)一客戶ID222222324223242生態(tài)圈自然人實體歸集與對齊客戶資料歸集應具備基于資料信息的規(guī)則匹配識別和基于客戶海量的通信相關(guān)信息的挖掘識別方法：自頂向下自底向上保證上層覆蓋性自然人黑名單信息自然人有效移網(wǎng)戶數(shù)信息自然人基本信息自然人用戶360信息差異數(shù)自頂向下自底向上保證上層覆蓋性自然人黑名單信息自然人有效移網(wǎng)戶數(shù)信息自然人基本信息自然人用戶360信息差異數(shù)據(jù)下發(fā)…自然人基本信息自然人用戶擴展信息自然人擴展信息自然人用戶信息差異數(shù)據(jù)…自然人用戶信息自然人用戶擴展屬性表自然人擴展信息自然人基本信息用戶信息表…綜合評價綜合評價關(guān)鍵能力要求：大數(shù)據(jù)技術(shù)識別應用到的技術(shù)：文本分詞、文本匹配、似度計算、多生態(tài)圈數(shù)據(jù)接入與存儲通過對五大生態(tài)圈通過對五大生態(tài)圈數(shù)據(jù)采集入湖，統(tǒng)一規(guī)范轉(zhuǎn)換后，為各類專區(qū)應用提供數(shù)據(jù)支撐。生態(tài)圈入湖生態(tài)圈數(shù)據(jù)規(guī)范生態(tài)應用服務大數(shù)據(jù)湖應用數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)應用數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)………主數(shù)據(jù)區(qū)統(tǒng)一客戶信息用戶關(guān)聯(lián)信息統(tǒng)一帳戶信息生態(tài)業(yè)務產(chǎn)品標準編碼信息湖存儲功能定義專區(qū)規(guī)范制定數(shù)據(jù)分區(qū)規(guī)劃對接應用需求………主數(shù)據(jù)區(qū)統(tǒng)一客戶信息用戶關(guān)聯(lián)信息統(tǒng)一帳戶信息生態(tài)業(yè)務產(chǎn)品標準編碼信息湖存儲功能定義專區(qū)規(guī)范制定數(shù)據(jù)分區(qū)規(guī)劃對接應用需求新業(yè)務采集生態(tài)采集支撐入湖模式探索新業(yè)務采集生態(tài)采集支撐入湖采集能力驗證實時采集1122334455大數(shù)據(jù)場景下數(shù)據(jù)服務的能力建設(shè)要求?跨底層數(shù)據(jù)存儲平臺統(tǒng)一?統(tǒng)一標準化數(shù)據(jù)查詢統(tǒng)一標準化?靈活安全的權(quán)限管控機制透明化安全?靈活安全的權(quán)限管控機制透明化安全高效大數(shù)據(jù)場景：混搭架構(gòu)平臺、多系統(tǒng)共存、不同數(shù)據(jù)體系、各種應用場景需求大數(shù)據(jù)湖統(tǒng)一訪問共享建設(shè)規(guī)劃——統(tǒng)一目錄/透明訪問訪問共享是湖中數(shù)據(jù)和應用、能力之間的橋梁，任何功能/應用模塊使用湖中數(shù)據(jù)時，不需要關(guān)心數(shù)據(jù)的存儲方式、存儲介質(zhì)、存儲位置等信息，只要和訪問共享連接既可以實現(xiàn)湖中數(shù)據(jù)的訪問數(shù)據(jù)能力數(shù)據(jù)能力應用加工訪問共享訪問共享 接口鑒權(quán) 計算引擎計算引擎數(shù)據(jù)計算與存儲資源…數(shù)據(jù)存儲…數(shù)據(jù)存儲統(tǒng)一訪問共享：管、用、看統(tǒng)一訪問共享典型應用場景專區(qū)應用開發(fā)者通過統(tǒng)一訪問引擎訪問湖中共享數(shù)據(jù)，專區(qū)應用直接訪問自有專區(qū)數(shù)據(jù)，實現(xiàn)湖中數(shù)據(jù)統(tǒng)一共享管控和應用訪問靈活訪問自有專區(qū)數(shù)據(jù)413加工-生產(chǎn)系統(tǒng)訪問共享413加工-生產(chǎn)系統(tǒng)訪問共享原生數(shù)據(jù)整合數(shù)據(jù)生產(chǎn)數(shù)據(jù)專區(qū)數(shù)據(jù)新建系統(tǒng)統(tǒng)一數(shù)據(jù)目錄——共享列表/質(zhì)量保障/安全可控基于湖中具備共享條件的數(shù)據(jù)構(gòu)建統(tǒng)一數(shù)據(jù)目錄，通過訪問引擎為應用開發(fā)者、數(shù)據(jù)運營者提供湖中數(shù)據(jù)訪問能力，是數(shù)據(jù)應用、運營和價值實現(xiàn)的基礎(chǔ)。訪問共享訪問共享 數(shù)據(jù)服務中間件 數(shù)據(jù)服務中間件統(tǒng)一數(shù)據(jù)目錄 結(jié)合元數(shù)據(jù)及數(shù)據(jù)統(tǒng)計信息數(shù)據(jù)描述及統(tǒng)計信息開放流程定義開放范圍審核人工審核數(shù)據(jù)稽核數(shù)據(jù)描述及統(tǒng)計信息開放流程定義開放范圍審核人工審核數(shù)據(jù)稽核數(shù)據(jù)安全審核數(shù)據(jù)質(zhì)量審核數(shù)據(jù)安全審核數(shù)據(jù)質(zhì)量審核元數(shù)據(jù)管理元數(shù)據(jù)管理大數(shù)據(jù)服務關(guān)鍵能力：統(tǒng)一數(shù)據(jù)接入/轉(zhuǎn)換/服務對接能力數(shù)據(jù)服務拿能力開放工具拿數(shù)據(jù)應用拿統(tǒng)一對外接入（JDBC、Socket、Restful）脫敏加密緩存優(yōu)先內(nèi)存統(tǒng)一對外接入（JDBC、Socket、Restful）脫敏加密緩存優(yōu)先內(nèi)存轉(zhuǎn)換訪問鑒權(quán)統(tǒng)一數(shù)據(jù)服務代理AQL connector）PL/SQLHQLPostgresSQL… connector）傳統(tǒng)文件系統(tǒng)大數(shù)據(jù)系統(tǒng)傳統(tǒng)文件系統(tǒng)大數(shù)據(jù)系統(tǒng)MPP數(shù)據(jù)庫OLAP引擎等數(shù)據(jù)數(shù)據(jù)服務數(shù)據(jù)計算數(shù)據(jù)連接SQMED志問各類跨架構(gòu)數(shù)據(jù)源端連接與訪問靈活自主的數(shù)據(jù)服務集定義DataBroker查詢語法AQL語法（類SQL）：常用函數(shù)：DataBroker查詢示例檔”示例1：在用戶增長數(shù)據(jù)集中,查詢2018年10月比9“增長比例”,user_areaas“地區(qū)”ACROSS(sum(指標1)as“指標1”,1122334455大數(shù)據(jù)湖運營管理體系規(guī)劃大數(shù)據(jù)湖運營管理能夠為全網(wǎng)提供統(tǒng)一的運營和協(xié)同管控，包括運維支撐、運營監(jiān)控和數(shù)據(jù)生態(tài)評估等多個方面，實現(xiàn)各類數(shù)據(jù)風險和隱患的快速排查，提升運營效率，為智慧化的運營戰(zhàn)略奠定基礎(chǔ)。數(shù)據(jù)生態(tài)評估統(tǒng)一運營管理數(shù)據(jù)生態(tài)評估運維支撐運營監(jiān)控運維支撐運營監(jiān)控已建設(shè)建設(shè)中未建設(shè)大數(shù)據(jù)湖統(tǒng)一運營監(jiān)控——全生命周期監(jiān)控/運營規(guī)范顯性化運營監(jiān)控視圖運營監(jiān)控主要為大數(shù)據(jù)湖提供數(shù)據(jù)生產(chǎn)監(jiān)控和數(shù)據(jù)運營監(jiān)控兩方面的能力。其中數(shù)據(jù)生產(chǎn)監(jiān)控主要提供從數(shù)據(jù)采集、數(shù)據(jù)分區(qū)存儲到共享的監(jiān)控；數(shù)據(jù)運營監(jiān)控實現(xiàn)對接入系統(tǒng)的用戶信息、任務執(zhí)行的狀態(tài)運營監(jiān)控視圖數(shù)據(jù)監(jiān)控視圖數(shù)據(jù)生命周期