大數(shù)據(jù)治理解決方案相關(guān)兩份資料

大數(shù)據(jù)治理方案一.大數(shù)據(jù)現(xiàn)狀二.大數(shù)據(jù)治理方案三.大數(shù)據(jù)案例解析一.大數(shù)據(jù)現(xiàn)狀所涉及行業(yè)：政府、公安、政法、人社、審計(jì)、水務(wù)、醫(yī)療、教育、電力、保險(xiǎn)、銀行等。沒(méi)有數(shù)據(jù)因?yàn)闃I(yè)務(wù)系統(tǒng)沒(méi)有對(duì)數(shù)據(jù)加以保存，或者因?yàn)樾姓虿荒荛_(kāi)放，即使上了大數(shù)據(jù)平臺(tái)，那也只是有了“殼”而并不能發(fā)揮大數(shù)據(jù)的作用和價(jià)值。數(shù)據(jù)采集影響源端業(yè)務(wù)系統(tǒng)大多數(shù)廠商通過(guò)各種開(kāi)源工具從業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，侵入式的工具不但影響了源端業(yè)務(wù)系統(tǒng)的正常使用，而且穩(wěn)定性極差，經(jīng)常出現(xiàn)各種丟數(shù)據(jù)的情況。人員消耗大，服務(wù)成本高，不僅沒(méi)有發(fā)揮大數(shù)據(jù)的價(jià)值，而且變成一種負(fù)擔(dān)。缺乏數(shù)據(jù)治理、不準(zhǔn)確、周期長(zhǎng)缺乏數(shù)據(jù)治理，對(duì)數(shù)據(jù)中存在的數(shù)據(jù)缺失、數(shù)據(jù)散亂、數(shù)據(jù)不一致，元數(shù)據(jù)頻繁變更，元數(shù)據(jù)類型多樣的問(wèn)題并沒(méi)有真正的處理和解決，即使有了大數(shù)據(jù)平臺(tái)其分析結(jié)果也不準(zhǔn)確。導(dǎo)致錯(cuò)誤的決策，大數(shù)據(jù)分析失去可信度。智能應(yīng)用并不智能通過(guò)對(duì)大數(shù)據(jù)與人工智能的營(yíng)銷(xiāo)，聲稱可以通過(guò)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的算法等，開(kāi)發(fā)各種類型的智能應(yīng)用，然而這些智能應(yīng)用因?yàn)閿?shù)據(jù)缺失、數(shù)據(jù)不準(zhǔn)確并不能真正的落地，最后變成一個(gè)”噱頭”。數(shù)據(jù)孤島，信息不一致，數(shù)據(jù)難以整合由于在不同時(shí)期、應(yīng)用不同技術(shù)、與不同廠商合作，建設(shè)了不同規(guī)模的業(yè)務(wù)應(yīng)用系統(tǒng)，導(dǎo)致大量數(shù)據(jù)孤島問(wèn)題，系統(tǒng)間信息不一致且難以整合，希望通過(guò)數(shù)據(jù)治理和大數(shù)據(jù)的建設(shè)對(duì)數(shù)據(jù)加以融合，解決數(shù)據(jù)中存在的各種問(wèn)題并讓各系統(tǒng)間數(shù)據(jù)能夠互聯(lián)互通。Demo≠結(jié)果，可視化≠大數(shù)據(jù)分析只關(guān)注到數(shù)據(jù)可視化中數(shù)據(jù)展示的效果，并以Demo和數(shù)據(jù)展示的效果來(lái)作為依據(jù)判斷大數(shù)據(jù)建設(shè)的預(yù)期效果，忽略了數(shù)據(jù)采集、數(shù)據(jù)治理、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算的重要性。大數(shù)據(jù)建設(shè)現(xiàn)狀：周期長(zhǎng)（問(wèn)題、協(xié)調(diào)……)2018DataGovernance數(shù)據(jù)缺、散、亂數(shù)據(jù)不規(guī)整，存在數(shù)據(jù)缺失、散亂的情況數(shù)據(jù)多源異構(gòu)業(yè)務(wù)系統(tǒng)眾多，數(shù)據(jù)往往來(lái)自幾十個(gè)不同品牌的業(yè)務(wù)系統(tǒng)元數(shù)據(jù)類型多樣元數(shù)據(jù)類型多樣,缺乏標(biāo)準(zhǔn)統(tǒng)一的元數(shù)據(jù)存儲(chǔ)

元數(shù)據(jù)頻繁變更各主題業(yè)務(wù)系統(tǒng)間數(shù)據(jù)變更后無(wú)法快速進(jìn)行數(shù)據(jù)統(tǒng)一缺乏業(yè)務(wù)詞匯標(biāo)準(zhǔn)缺乏貼合行業(yè)的專業(yè)業(yè)務(wù)詞匯標(biāo)準(zhǔn)數(shù)據(jù)不一致由于錄入或其他問(wèn)題造成的數(shù)據(jù)不一致情況數(shù)據(jù)治理：面臨的挑戰(zhàn)一.大數(shù)據(jù)現(xiàn)狀二.大數(shù)據(jù)治理方案三.大數(shù)據(jù)案例解析目錄二.大數(shù)據(jù)治理方案2.2大數(shù)據(jù)采集交換平臺(tái)2.4大數(shù)據(jù)資產(chǎn)管理平臺(tái)2.3大數(shù)據(jù)處理平臺(tái)2.1大數(shù)據(jù)整體架構(gòu)2.5大數(shù)據(jù)交換平臺(tái)2.6大數(shù)據(jù)接口運(yùn)維平臺(tái)2.7大數(shù)據(jù)分析挖掘平臺(tái)2.8大數(shù)據(jù)智能平臺(tái)

2.9大數(shù)據(jù)決策平臺(tái)

大數(shù)據(jù)整體架構(gòu)數(shù)據(jù)湖是經(jīng)過(guò)治理和整合的數(shù)據(jù)最佳存放環(huán)節(jié)數(shù)據(jù)湖架構(gòu)，實(shí)現(xiàn)數(shù)據(jù)治理與大數(shù)據(jù)應(yīng)用開(kāi)發(fā)的脫藕，可以支持應(yīng)用的百花齊放數(shù)據(jù)湖確保數(shù)據(jù)是用戶的數(shù)據(jù)，不是應(yīng)用開(kāi)發(fā)商的數(shù)據(jù)多個(gè)不同特色的應(yīng)用開(kāi)發(fā)，可以分別從數(shù)據(jù)湖獲得各自需要的數(shù)據(jù)，大大加快應(yīng)用開(kāi)發(fā)的速度BillInmon（數(shù)據(jù)倉(cāng)庫(kù)之父）2015年：事先對(duì)數(shù)據(jù)歸類建模的處理，可能對(duì)于大數(shù)據(jù)的各種離線分析有不足、需要演進(jìn)，因此數(shù)據(jù)建模方式也需要演進(jìn)?；蛟S應(yīng)該采取措施，把大量的原始數(shù)據(jù)初步處理后保存下來(lái)，為未來(lái)不斷應(yīng)用創(chuàng)新提供數(shù)據(jù)來(lái)源，而這個(gè)想法就是數(shù)據(jù)湖，現(xiàn)在廉價(jià)的存儲(chǔ)和大數(shù)據(jù)技術(shù)也提供了這個(gè)可能性。二.大數(shù)據(jù)治理方案2.2大數(shù)據(jù)采集集成平臺(tái)2.4大數(shù)據(jù)資產(chǎn)管理平臺(tái)2.3大數(shù)據(jù)處理平臺(tái)2.1大數(shù)據(jù)整體架構(gòu)2.5大數(shù)據(jù)交換平臺(tái)2.6大數(shù)據(jù)接口運(yùn)維平臺(tái)2.7大數(shù)據(jù)分析挖掘平臺(tái)2.8大數(shù)據(jù)智能平臺(tái)

2.9大數(shù)據(jù)決策平臺(tái)

Oracle數(shù)據(jù)庫(kù)PostgreSQL達(dá)夢(mèng)Dameng浪潮KDBFromother數(shù)據(jù)庫(kù)SQLServerDB2MySql國(guó)產(chǎn)數(shù)據(jù)庫(kù)MPP內(nèi)存數(shù)據(jù)庫(kù)常見(jiàn)數(shù)據(jù)庫(kù)消息隊(duì)列文本格式達(dá)夢(mèng)Dameng浪潮KDBDBoneEMCgreenplumgbase8MSaphanaSQLServerKafkatibcoTXTCSVXMLsql人大金倉(cāng)Kingbase南大通用GbaseBa神州通用HPVerticaDB2PostgreSQLMySql常見(jiàn)數(shù)據(jù)庫(kù)國(guó)產(chǎn)數(shù)據(jù)庫(kù)InformixsybaseTo大數(shù)據(jù)ToNoSqlGemfireFromKafkaHW云騰訊云阿里云天翼云Toother數(shù)據(jù)庫(kù)ToCloud

云端數(shù)據(jù)庫(kù)實(shí)時(shí)交換OracleSQLServerK-DBDB2MySQLPostgreSQLDMCDB中間庫(kù)第三方ETL接口文件結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)/云源ETL過(guò)程目標(biāo)端用戶實(shí)時(shí)多表關(guān)聯(lián)鏡像庫(kù)精簡(jiǎn)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)抓取模塊實(shí)時(shí)Loader實(shí)時(shí)單表轉(zhuǎn)換過(guò)濾準(zhǔn)實(shí)時(shí)對(duì)源數(shù)據(jù)庫(kù)的首次同步和實(shí)時(shí)增量跟蹤技術(shù)目標(biāo)數(shù)據(jù)庫(kù)或者云直接裝載源數(shù)據(jù)庫(kù)-接口文件和ETL-目標(biāo)庫(kù)多種通路選擇實(shí)現(xiàn)實(shí)時(shí)和準(zhǔn)實(shí)時(shí)轉(zhuǎn)換和共享鏡像庫(kù)精簡(jiǎn)庫(kù)數(shù)據(jù)庫(kù)實(shí)時(shí)交換與共享平臺(tái)功能

功能說(shuō)明數(shù)據(jù)實(shí)時(shí)抽取通過(guò)源系統(tǒng)端的Agent進(jìn)程對(duì)數(shù)據(jù)庫(kù)Log日志進(jìn)行實(shí)時(shí)分析，獲取交易指令，將交易指令和交易數(shù)據(jù)經(jīng)過(guò)格式轉(zhuǎn)化生成數(shù)據(jù)格式；過(guò)濾轉(zhuǎn)化為與生產(chǎn)應(yīng)用相吻合的指令；再次實(shí)時(shí)傳輸?shù)侥繕?biāo)端系統(tǒng)數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)換復(fù)制指定的數(shù)據(jù)、表、列支持?jǐn)?shù)據(jù)集中，即多個(gè)相同結(jié)構(gòu)的數(shù)據(jù)庫(kù)中將數(shù)據(jù)整合到一個(gè)庫(kù)中，同類的數(shù)據(jù)項(xiàng)集合放到一個(gè)表中支持?jǐn)?shù)據(jù)分發(fā)實(shí)時(shí)存儲(chǔ)和增量變化通知Agent將識(shí)別到的實(shí)時(shí)增量數(shù)據(jù)發(fā)送到中間數(shù)據(jù)庫(kù)，在此庫(kù)中維護(hù)一張和生產(chǎn)系統(tǒng)對(duì)應(yīng)的數(shù)據(jù)表；對(duì)數(shù)據(jù)進(jìn)行整合、過(guò)濾和判斷后通知訂閱方支持ETL實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)數(shù)據(jù)抽取支持增量抽取間隔到每幾秒鐘、幾分鐘、10分鐘生成一個(gè)接口文件支持從鏡像庫(kù)中獲取數(shù)據(jù)QETL支持多表關(guān)聯(lián)同步只復(fù)制到多表關(guān)聯(lián)結(jié)果集到目標(biāo)端支持復(fù)雜的sql模式支持多種同步維護(hù)模式保持分析日志模式而非sql查詢模式

從生產(chǎn)數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)，并經(jīng)過(guò)過(guò)濾、分析、整合、轉(zhuǎn)換后，將數(shù)據(jù)加載到大數(shù)據(jù)平臺(tái)或云平臺(tái)中源端數(shù)據(jù)庫(kù)的實(shí)時(shí)增量跟蹤技術(shù)目標(biāo)端實(shí)時(shí)復(fù)制轉(zhuǎn)換裝載技術(shù)中間過(guò)程中的接口文件技術(shù)中間過(guò)程中的中間庫(kù)技術(shù)中間過(guò)程中的準(zhǔn)實(shí)時(shí)復(fù)雜轉(zhuǎn)換（ETL）技術(shù)源數(shù)據(jù)庫(kù)RedoLogArchivedLog日志合成日志分析QUEUE目標(biāo)數(shù)據(jù)庫(kù)過(guò)濾SenderQUEUEYLoaderTransfor第三方ETLETL接口數(shù)據(jù)文件Receiver大數(shù)據(jù)/云功能數(shù)據(jù)庫(kù)數(shù)據(jù)復(fù)制與實(shí)時(shí)技術(shù)二.大數(shù)據(jù)治理方案2.2大數(shù)據(jù)采集集成平臺(tái)2.4大數(shù)據(jù)資產(chǎn)管理平臺(tái)2.3大數(shù)據(jù)處理平臺(tái)2.1大數(shù)據(jù)整體架構(gòu)2.5大數(shù)據(jù)交換平臺(tái)2.6大數(shù)據(jù)接口運(yùn)維平臺(tái)2.7大數(shù)據(jù)分析挖掘平臺(tái)2.8大數(shù)據(jù)智能平臺(tái)

2.9大數(shù)據(jù)決策平臺(tái)

大數(shù)據(jù)處理平臺(tái)定位提供統(tǒng)一查詢服務(wù)，支持多數(shù)據(jù)源數(shù)據(jù)關(guān)聯(lián)，支持查詢?cè)獢?shù)據(jù)、血緣和數(shù)據(jù)統(tǒng)計(jì)信息、支持?jǐn)?shù)據(jù)全文搜索基于spark，提供簡(jiǎn)單的用戶界面實(shí)現(xiàn)可視化查詢、多表關(guān)聯(lián)和交互式轉(zhuǎn)換集成各種數(shù)據(jù)存儲(chǔ)平臺(tái)，提供各類型的數(shù)據(jù)采集，支持?jǐn)?shù)據(jù)全量、增量采集，支持?jǐn)?shù)據(jù)清洗驗(yàn)證分析234查詢探索采集存儲(chǔ)數(shù)據(jù)準(zhǔn)備提供豐富的監(jiān)控界面，支持儀表盤(pán)，支持監(jiān)控流程、服務(wù)、作業(yè)健康狀態(tài)，支持告警，支持性能監(jiān)控5集中監(jiān)控提供豐富的組件，支持可視化拖拽編排流程、模板，簡(jiǎn)化數(shù)據(jù)流程、作業(yè)的管理，提高數(shù)據(jù)ETL效率1流程設(shè)計(jì)為企業(yè)用戶提供數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、調(diào)度、探索、監(jiān)控、安全等數(shù)據(jù)治理相關(guān)的一整套數(shù)據(jù)湖治理解決方案，提供數(shù)據(jù)分析師準(zhǔn)備數(shù)據(jù)的效率6集成方案

大數(shù)據(jù)處理平臺(tái):目標(biāo)效果目標(biāo)效果-數(shù)據(jù)治理前呼叫中心CRM系統(tǒng)訂單處理系統(tǒng)HR系統(tǒng)采購(gòu)系統(tǒng)數(shù)據(jù)財(cái)務(wù)報(bào)告客戶行為分析企業(yè)績(jī)效管理數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)客戶數(shù)據(jù)服務(wù)商數(shù)據(jù)合作伙伴數(shù)據(jù)容易產(chǎn)生的問(wèn)題：數(shù)據(jù)孤島、數(shù)據(jù)冗余、編碼不統(tǒng)一、數(shù)據(jù)不同步、缺乏一致性、訪問(wèn)繁瑣引入若干第三方應(yīng)用，或者定制開(kāi)發(fā)數(shù)據(jù)分析業(yè)務(wù)系統(tǒng)企業(yè)企業(yè)外部

大數(shù)據(jù)處理平臺(tái):目標(biāo)效果目標(biāo)效果-數(shù)據(jù)治理后呼叫中心CRM系統(tǒng)訂單處理系統(tǒng)HR系統(tǒng)采購(gòu)系統(tǒng)數(shù)據(jù)財(cái)務(wù)報(bào)告客戶行為分析企業(yè)績(jī)效管理數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)客戶數(shù)據(jù)服務(wù)商數(shù)據(jù)合作伙伴數(shù)據(jù)數(shù)據(jù)治理的價(jià)值:

數(shù)據(jù)共享、編碼統(tǒng)一、數(shù)據(jù)同步、內(nèi)容豐富、數(shù)據(jù)干凈、訪問(wèn)可控單一平臺(tái)、標(biāo)準(zhǔn)組件、拖拽可視化操作，支持定制(組件開(kāi)發(fā)接口支持java,scala,python,groovy,shell多種語(yǔ)言)數(shù)據(jù)分析業(yè)務(wù)系統(tǒng)企業(yè)企業(yè)外部數(shù)據(jù)湖治理平臺(tái)原始數(shù)據(jù)清洗后的數(shù)據(jù)數(shù)據(jù)質(zhì)量報(bào)告關(guān)聯(lián)數(shù)據(jù)加工數(shù)據(jù)共享數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)數(shù)據(jù)資產(chǎn)

大數(shù)據(jù)處理平臺(tái)——數(shù)據(jù)采集非結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)全量、增量、實(shí)時(shí)全量、增量、實(shí)時(shí)數(shù)據(jù)庫(kù)表CSV、XLSJSON、XML日志文檔、圖片音頻、視頻網(wǎng)頁(yè)、論壇關(guān)系型數(shù)據(jù)庫(kù)文件系統(tǒng)分布式文件系統(tǒng)網(wǎng)絡(luò)爬蟲(chóng)、全量、增量NoSQL數(shù)據(jù)庫(kù)圖數(shù)據(jù)庫(kù)GIS數(shù)據(jù)庫(kù)全量、增量數(shù)據(jù)存儲(chǔ)界面管理任務(wù)進(jìn)度日志界面監(jiān)控比對(duì)配置功能截圖——數(shù)據(jù)清洗、驗(yàn)證、轉(zhuǎn)換、分析功能截圖——數(shù)據(jù)轉(zhuǎn)換/脫敏功能截圖——質(zhì)量分析功能截圖——可視化關(guān)聯(lián)、交互式分析功能截圖——集中監(jiān)控功能截圖——全文搜索、訪問(wèn)控制2.2大數(shù)據(jù)采集集成平臺(tái)2.4大數(shù)據(jù)資產(chǎn)管理平臺(tái)2.3大數(shù)據(jù)處理平臺(tái)2.1大數(shù)據(jù)整體架構(gòu)2.5大數(shù)據(jù)交換平臺(tái)2.6大數(shù)據(jù)接口運(yùn)維平臺(tái)2.7大數(shù)據(jù)分析挖掘平臺(tái)2.8大數(shù)據(jù)智能平臺(tái)

2.9大數(shù)據(jù)決策平臺(tái)

二.大數(shù)據(jù)治理方案數(shù)據(jù)資產(chǎn)管理系統(tǒng)元數(shù)據(jù)源OracleMySQLSQLServerPostgreSQL…技術(shù)元數(shù)據(jù)管理元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)手工錄入批量導(dǎo)入自動(dòng)采集/更新元數(shù)據(jù)采集血緣分析數(shù)據(jù)地圖訪問(wèn)安全數(shù)據(jù)趨勢(shì)數(shù)據(jù)回滾E-R圖CWM模型標(biāo)準(zhǔn)數(shù)據(jù)生命周期表結(jié)構(gòu)對(duì)比實(shí)時(shí)性能展示實(shí)時(shí)會(huì)話管理圖形化診斷大數(shù)據(jù)資產(chǎn)管理系統(tǒng)

數(shù)據(jù)資產(chǎn)管控——資產(chǎn)視圖數(shù)據(jù)資產(chǎn)管理2.2大數(shù)據(jù)采集集成平臺(tái)2.4大數(shù)據(jù)資產(chǎn)管理平臺(tái)2.3大數(shù)據(jù)處理平臺(tái)2.1大數(shù)據(jù)整體架構(gòu)2.5大數(shù)據(jù)交換平臺(tái)2.6大數(shù)據(jù)接口運(yùn)維平臺(tái)2.7大數(shù)據(jù)分析挖掘平臺(tái)2.8大數(shù)據(jù)智能平臺(tái)

2.9大數(shù)據(jù)決策平臺(tái)

二.大數(shù)據(jù)治理方案

數(shù)據(jù)共享平臺(tái)——目標(biāo)維持現(xiàn)有平臺(tái)不變現(xiàn)有平臺(tái)數(shù)據(jù)訪問(wèn)能平移到中間件。多協(xié)議支持,擴(kuò)展性強(qiáng),部署靈活！提供基礎(chǔ)組件,公共組件,業(yè)務(wù)組件功能。引入緩存,內(nèi)存數(shù)據(jù)庫(kù)提升性能基礎(chǔ)數(shù)據(jù)，字典數(shù)據(jù)，業(yè)務(wù)數(shù)據(jù)整理篩選業(yè)務(wù)無(wú)縫水平擴(kuò)展垂直擴(kuò)展多樣的監(jiān)控管理手段降低開(kāi)發(fā)難度，提高開(kāi)發(fā)效率數(shù)據(jù)資產(chǎn)訪問(wèn)控制質(zhì)量報(bào)告變動(dòng)告警數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)內(nèi)容數(shù)據(jù)目錄數(shù)據(jù)共享主題庫(kù)接口管理文檔API服務(wù)訪問(wèn)統(tǒng)計(jì)質(zhì)量報(bào)告變動(dòng)告警數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)內(nèi)容數(shù)據(jù)目錄公共庫(kù)各平臺(tái)、接口統(tǒng)一的接入中間件平臺(tái)獲取數(shù)據(jù)、服務(wù)，降低平臺(tái)、接口直接與數(shù)據(jù)庫(kù)交互平臺(tái)、接口解耦統(tǒng)一管理業(yè)務(wù)剝離、遷移緩存、內(nèi)存數(shù)據(jù)庫(kù)WEB中間件主要業(yè)務(wù)功能引入緩存和內(nèi)存數(shù)據(jù)庫(kù)，降低與關(guān)系型數(shù)據(jù)庫(kù)交互次數(shù)，數(shù)據(jù)清理，篩選，提升性能將數(shù)據(jù)庫(kù)一些業(yè)務(wù)實(shí)現(xiàn)剝離或遷移至中間件平臺(tái)，以服務(wù)的方式提供出去數(shù)據(jù)交換.場(chǎng)景1.支持接口發(fā)短信支付接口作業(yè)調(diào)度短信服務(wù)組件支付接口組件校驗(yàn)過(guò)濾記錄日志作業(yè)調(diào)度框架作業(yè)1作業(yè)2作業(yè)N數(shù)據(jù)庫(kù)組件DB統(tǒng)一認(rèn)證組件郵件組件…WEB中間件數(shù)據(jù)篩選統(tǒng)計(jì)數(shù)據(jù)存儲(chǔ)緩存（訪問(wèn)頻率極高，重復(fù)性數(shù)據(jù)）內(nèi)存數(shù)據(jù)庫(kù)（一天的經(jīng)營(yíng)性數(shù)據(jù)、統(tǒng)計(jì)性數(shù)據(jù)）關(guān)系型數(shù)據(jù)庫(kù)（作為備份、大數(shù)據(jù)量存儲(chǔ)）數(shù)據(jù)交換.場(chǎng)景2.數(shù)據(jù)查詢查詢網(wǎng)吧信息記錄日志調(diào)用服務(wù)校驗(yàn)過(guò)濾緩存組件內(nèi)存數(shù)據(jù)庫(kù)組件數(shù)據(jù)庫(kù)組件DBRedis服務(wù)器12YN345同步緩存同步緩存數(shù)據(jù)同步（全量、增量）WEB界面緩存動(dòng)態(tài)管理（方法級(jí)別）WEB界面數(shù)據(jù)庫(kù)管理、監(jiān)控123第一次訪問(wèn)第二次訪問(wèn)目前直接訪問(wèn)DISKWEB中間件數(shù)據(jù)篩選統(tǒng)計(jì)數(shù)據(jù)屬性經(jīng)營(yíng)性數(shù)據(jù)（營(yíng)業(yè)額數(shù)據(jù)）活躍性數(shù)據(jù)（使用頻率很高）數(shù)據(jù)量不大數(shù)據(jù)統(tǒng)計(jì)內(nèi)存實(shí)時(shí)統(tǒng)計(jì)每次訪問(wèn)記錄緩存或內(nèi)存關(guān)系型數(shù)據(jù)庫(kù)定時(shí)同步。定時(shí)后臺(tái)統(tǒng)計(jì)Hadoop第三方組件Storm流式計(jì)算數(shù)據(jù)交換系統(tǒng).示例.服務(wù)器.接口管理服務(wù)器管理組件管理數(shù)據(jù)交換系統(tǒng).示例.攔截器及監(jiān)控?cái)r截器管理性能監(jiān)控2.2大數(shù)據(jù)采集集成平臺(tái)2.4大數(shù)據(jù)資產(chǎn)管理平臺(tái)

2.3大數(shù)據(jù)處理平臺(tái)2.1大數(shù)據(jù)整體架構(gòu)2.5大數(shù)據(jù)交換平臺(tái)2.6大數(shù)據(jù)接口運(yùn)維平臺(tái)2.7大數(shù)據(jù)分析挖掘平臺(tái)2.8大數(shù)據(jù)智能平臺(tái)

2.9大數(shù)據(jù)決策平臺(tái)

二.大數(shù)據(jù)治理方案分布式架構(gòu)應(yīng)用架構(gòu)由集中式向分布式演進(jìn)后，整個(gè)調(diào)用關(guān)系變得復(fù)雜?？缬蚩逯行南到y(tǒng)一個(gè)完整的調(diào)用過(guò)程可能橫跨多個(gè)服務(wù)及數(shù)據(jù)中心。系統(tǒng)指標(biāo)狀況無(wú)法準(zhǔn)確知道整體系統(tǒng)性能及運(yùn)行情況。系統(tǒng)獨(dú)立分布式架構(gòu)由復(fù)雜且較大規(guī)模集群構(gòu)成，各個(gè)應(yīng)用之間相當(dāng)獨(dú)立，可能由不同團(tuán)隊(duì)、不同語(yǔ)言實(shí)現(xiàn)。業(yè)務(wù)復(fù)雜復(fù)雜的調(diào)用導(dǎo)致系統(tǒng)出問(wèn)題后難以定位問(wèn)題。接口運(yùn)維平臺(tái)：應(yīng)用系統(tǒng)現(xiàn)狀1)根據(jù)拓?fù)淇上鄳?yīng)計(jì)算組件、平臺(tái)、物理設(shè)備的實(shí)時(shí)吞吐量;2)包括整體調(diào)用的響應(yīng)時(shí)間和各個(gè)服務(wù)的響應(yīng)時(shí)間等;3)錯(cuò)誤記錄，根據(jù)服務(wù)返回統(tǒng)計(jì)單位時(shí)間異常次數(shù);4)告警功能，提供各種閥值警告功能。核心功能接口運(yùn)維平臺(tái)接口運(yùn)維平臺(tái)AGENT無(wú)侵入部署對(duì)原服務(wù)無(wú)影響，資源消耗極低；準(zhǔn)確掌握生產(chǎn)一線應(yīng)用部署情況；提供可追溯的性能數(shù)據(jù)，量化IT系統(tǒng)服務(wù)狀態(tài)；從調(diào)用鏈全流程性能角度，識(shí)別關(guān)鍵調(diào)用鏈，協(xié)助系統(tǒng)人員持續(xù)性的優(yōu)化。特點(diǎn)、作用2.2大數(shù)據(jù)采集集成平臺(tái)2.4大數(shù)據(jù)資產(chǎn)管理平臺(tái)

2.3大數(shù)據(jù)處理平臺(tái)2.1大數(shù)據(jù)整體架構(gòu)2.5大數(shù)據(jù)交換平臺(tái)2.6大數(shù)據(jù)接口運(yùn)維平臺(tái)2.7大數(shù)據(jù)分析挖掘平臺(tái)

2.8大數(shù)據(jù)智能平臺(tái)

2.9大數(shù)據(jù)決策平臺(tái)

二.大數(shù)據(jù)治理方案自助統(tǒng)計(jì)分析企業(yè)級(jí)、公共級(jí)大數(shù)據(jù)智能分析平臺(tái)超大數(shù)據(jù)集上提供亞秒級(jí)SQL分析能力、支持互聯(lián)網(wǎng)級(jí)高并發(fā)訪問(wèn)的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品，是以行業(yè)標(biāo)準(zhǔn)的數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能方法論架構(gòu)DW（DataWarehouse)）onHadoop的解決方案為業(yè)務(wù)用戶、分析師及工程師提供簡(jiǎn)便、快捷的大數(shù)據(jù)分析服務(wù)；自助式敏捷BI：建模的高性能查詢、自助式建模、無(wú)需編程、JDBC／ODBC支持、非侵入式部署等突出優(yōu)點(diǎn)的同時(shí)數(shù)據(jù)湖等方面進(jìn)行了創(chuàng)新自助統(tǒng)計(jì)分析功能數(shù)據(jù)集模塊：該模塊可對(duì)數(shù)據(jù)集進(jìn)行分類管理，并可對(duì)其進(jìn)行修改刪除操作；主要根據(jù)業(yè)務(wù)需求構(gòu)建數(shù)據(jù)模型，通過(guò)選擇拖拽方式操作便捷，并可手動(dòng)修改定制自助統(tǒng)計(jì)分析。超高性能支持ANSISQL查詢標(biāo)準(zhǔn)和自定義SQL查詢內(nèi)存建立數(shù)據(jù)模型(數(shù)據(jù)立方體Cube)，建模速度快極低的查詢開(kāi)銷(xiāo)，支持大規(guī)模并發(fā)查詢場(chǎng)景基于Cube預(yù)計(jì)算技術(shù)，支持超大數(shù)據(jù)集上的亞秒級(jí)查詢響應(yīng)支持明細(xì)數(shù)據(jù)查詢支持?jǐn)?shù)據(jù)流式數(shù)據(jù)增量構(gòu)建模型超高性能支持ANSISQL查詢標(biāo)準(zhǔn)和自定義SQL查詢內(nèi)存建立數(shù)據(jù)模型(數(shù)據(jù)立方體Cube)，建模速度快極低的查詢開(kāi)銷(xiāo)，支持大規(guī)模并發(fā)查詢場(chǎng)景基于Cube預(yù)計(jì)算技術(shù)，支持超大數(shù)據(jù)集上的亞秒級(jí)查詢響應(yīng)支持明細(xì)數(shù)據(jù)查詢支持?jǐn)?shù)據(jù)流式數(shù)據(jù)增量構(gòu)建模型結(jié)果導(dǎo)出支持結(jié)果圖和表之間靈活轉(zhuǎn)換，結(jié)果集的旋轉(zhuǎn)(行列轉(zhuǎn)置)，支持結(jié)果導(dǎo)出（PDF、Excel、圖片等）和打印

2.2大數(shù)據(jù)采集集成平臺(tái)2.4大數(shù)據(jù)資產(chǎn)管理平臺(tái)

2.3大數(shù)據(jù)處理平臺(tái)2.1大數(shù)據(jù)整體架構(gòu)2.5大數(shù)據(jù)交換平臺(tái)2.6大數(shù)據(jù)接口運(yùn)維平臺(tái)2.7大數(shù)據(jù)分析挖掘平臺(tái)2.8大數(shù)據(jù)智能平臺(tái)2.9大數(shù)據(jù)決策平臺(tái)

二.大數(shù)據(jù)治理方案知識(shí)圖譜.圖圖是相互連接的事物及其關(guān)系的一種結(jié)構(gòu)化表達(dá)。信息讀取是順序的過(guò)程，要求閱讀者在大腦中將信息串聯(lián)形成理解，而圖能夠即時(shí)傳達(dá)信息，易于揭示復(fù)雜的模式.在社交網(wǎng)絡(luò)、交通網(wǎng)絡(luò)、通訊網(wǎng)絡(luò)、資金網(wǎng)絡(luò)等展現(xiàn)場(chǎng)景下，都有比較直觀的展現(xiàn)效果圖存儲(chǔ)技術(shù)是支持知識(shí)圖譜應(yīng)用的關(guān)鍵技術(shù)之一。知識(shí)圖譜（知識(shí)引擎）是多種技術(shù)的綜合應(yīng)用，包括自然語(yǔ)言識(shí)別（NLP）、機(jī)器學(xué)習(xí)及圖存儲(chǔ)技術(shù)等，其大量知識(shí)來(lái)源于非結(jié)構(gòu)化數(shù)據(jù)。知識(shí)圖譜的整體使用過(guò)程包括知識(shí)獲取、知識(shí)融合、知識(shí)存儲(chǔ)、知識(shí)推理、知識(shí)應(yīng)用等步驟，典型應(yīng)用場(chǎng)景包括搜索引擎、問(wèn)答系統(tǒng)等知識(shí)圖譜-構(gòu)建過(guò)程.知識(shí)推理應(yīng)用知識(shí)抽取知識(shí)融合知識(shí)加工實(shí)體抽取關(guān)系抽取屬性抽取知識(shí)合并實(shí)體鏈接實(shí)體消歧共指消解知識(shí)推理本體構(gòu)建質(zhì)量評(píng)估第三方知識(shí)庫(kù)知識(shí)圖庫(kù)知識(shí)圖譜構(gòu)建過(guò)程比如在美國(guó)限制向中興通訊出口的消息發(fā)布之后，如果我們有中興通訊的客戶供應(yīng)商、合作伙伴以及競(jìng)爭(zhēng)對(duì)手的關(guān)系圖譜，就能在中興通訊停牌的情況下快速地篩選出受影響的國(guó)際國(guó)內(nèi)上市公司從而挖掘投資機(jī)會(huì)或者進(jìn)行投資組合風(fēng)險(xiǎn)控制知識(shí)圖譜-應(yīng)用PageRank算法——發(fā)現(xiàn)重要頂點(diǎn)算法原理1）數(shù)量假設(shè)：在Web圖模型中，如果一個(gè)頁(yè)面節(jié)點(diǎn)接收到的其他網(wǎng)頁(yè)指向的入鏈數(shù)量越多，那么這個(gè)頁(yè)面越重要。2）質(zhì)量假設(shè)：指向頁(yè)面A的入鏈質(zhì)量不同，質(zhì)量高的頁(yè)面會(huì)通過(guò)鏈接向其他頁(yè)面?zhèn)鬟f更多的權(quán)重。所以越是質(zhì)量高的頁(yè)面指向頁(yè)面A，則頁(yè)面A越重要。PageRank算法剛開(kāi)始賦予每個(gè)網(wǎng)頁(yè)相同的重要性得分，通過(guò)迭代遞歸計(jì)算來(lái)更新每個(gè)頁(yè)面節(jié)點(diǎn)的Pag場(chǎng)景：在犯罪團(tuán)伙通訊網(wǎng)絡(luò)中尋找重點(diǎn)人NO.PageRankValue10.0509140520.0573676330.1442252240.2448744950.0812838460.2438724870.0702747980.0357291690.03572916100.035729知識(shí)圖譜-應(yīng)用基于現(xiàn)有的知識(shí)圖譜信息，推斷出當(dāng)前圖譜不存在但實(shí)際中存在的真是關(guān)系知識(shí)圖譜技術(shù)可以幫助我們快速構(gòu)建一個(gè)法律知識(shí)圖譜，目前還缺乏法律知識(shí)圖譜的理論工作。跟其他領(lǐng)域的知識(shí)圖譜相比，法律知識(shí)圖譜需要考慮法律的邏輯，下面就是一個(gè)法律知識(shí)圖譜的片段：從上面這個(gè)例子可以看出，每一個(gè)犯罪行為都有主體、客體、主觀要件和客觀要件，我們就需要從文本中去抽取這些信息，從而形成一個(gè)關(guān)于犯罪行為的圖譜，而通過(guò)對(duì)海量判決書(shū)的挖掘，可以建立犯罪行為之間的關(guān)聯(lián)，比如說(shuō)，防衛(wèi)過(guò)當(dāng)和故意傷害之間有一個(gè)關(guān)聯(lián)，即誤判為的關(guān)系。通過(guò)這個(gè)圖譜，給定一個(gè)判決書(shū)，可以輔助法官判的一個(gè)案件是否有誤判，是否需要補(bǔ)充信息。知識(shí)圖譜-應(yīng)用2.2大數(shù)據(jù)采集集成平臺(tái)2.4大數(shù)據(jù)資產(chǎn)管理平臺(tái)

2.3大數(shù)據(jù)處理平臺(tái)2.1大數(shù)據(jù)整體架構(gòu)2.5大數(shù)據(jù)交換平臺(tái)2.6大數(shù)據(jù)接口運(yùn)維平臺(tái)2.7大數(shù)據(jù)分析挖掘平臺(tái)2.8大數(shù)據(jù)智能平臺(tái)

2.9大數(shù)據(jù)決策平臺(tái)

二.大數(shù)據(jù)治理方案決策管理系統(tǒng).功能支持功能性解耦支持同步與異步任務(wù)支持任務(wù)生命周期管理支持任務(wù)DAG的設(shè)計(jì)和表達(dá)用無(wú)碼圖形設(shè)計(jì)器建立復(fù)雜的工作流程價(jià)值:提升人和組織的生產(chǎn)力沉淀標(biāo)準(zhǔn)化，體系化的知識(shí)全方位業(yè)務(wù)流程化管理，過(guò)程透明化提升處理時(shí)效提升處理數(shù)量減少系統(tǒng)間溝通成本讓管理變得可預(yù)期(端到端的業(yè)務(wù)流程)數(shù)據(jù)可追溯，審計(jì)無(wú)憂大數(shù)據(jù)決策平臺(tái)-示例決策系統(tǒng)流程跟蹤決策系統(tǒng)流程編輯一.大數(shù)據(jù)現(xiàn)狀與數(shù)據(jù)治理緣由二.大數(shù)據(jù)治理方案三.大數(shù)據(jù)案例解析目錄大數(shù)據(jù)案例解析-深圳龍崗智慧城區(qū)XX信息化現(xiàn)狀與問(wèn)題隨著XX智慧城區(qū)項(xiàng)目建設(shè)的推進(jìn)，已經(jīng)取得較顯著成效，但通過(guò)前置機(jī)方式從各部門(mén)、各系統(tǒng)采集數(shù)據(jù)時(shí)，卻遇到以下諸多問(wèn)題：

（1）數(shù)據(jù)不能實(shí)時(shí)從各系統(tǒng)同步到大數(shù)據(jù)中心，導(dǎo)致不能實(shí)時(shí)統(tǒng)計(jì)與分析；

（2）前置機(jī)由所屬單位進(jìn)行管理，出現(xiàn)問(wèn)題不能及時(shí)發(fā)現(xiàn)和提醒；

（3）建設(shè)智慧城區(qū)項(xiàng)目，前置機(jī)無(wú)法采集非結(jié)構(gòu)化的海量數(shù)據(jù)（如交通視頻、安防視頻、物聯(lián)網(wǎng)數(shù)據(jù)等），導(dǎo)致無(wú)法實(shí)現(xiàn)智能圖像識(shí)別、智能運(yùn)維能等人工智能服務(wù)，城市智慧難以充分體現(xiàn)；

（4）前置機(jī)實(shí)施需要原廠商較多配合和開(kāi)發(fā)工作，推進(jìn)、協(xié)調(diào)、運(yùn)維都難度較大。在大數(shù)據(jù)和人工智能時(shí)代，迫切需要利用大數(shù)據(jù)復(fù)制技術(shù)、實(shí)時(shí)流技術(shù)、大數(shù)據(jù)采集與集成技術(shù)、人工智能技術(shù)等建設(shè)龍崗智慧城區(qū)大數(shù)據(jù)集成與交換平臺(tái)，解決傳統(tǒng)前置機(jī)采集數(shù)據(jù)方式的上述諸多問(wèn)題。某區(qū)政府?dāng)?shù)據(jù)共享交換平臺(tái)實(shí)現(xiàn)數(shù)據(jù)采集與交換、數(shù)據(jù)治理。將現(xiàn)有信息系統(tǒng)與各部門(mén)相關(guān)的信息資源進(jìn)行統(tǒng)一采集、清洗、脫敏和標(biāo)準(zhǔn)化。信息資源目錄遵循統(tǒng)一的標(biāo)準(zhǔn)規(guī)范組織管理所有政務(wù)信息資源，釆用元數(shù)據(jù)對(duì)信息資源特征進(jìn)行描述，形成統(tǒng)一規(guī)范的目錄內(nèi)容，通過(guò)對(duì)目錄內(nèi)容的有效組織和管理，形成目錄信息庫(kù)，為信息資源的匯聚、共享以及對(duì)應(yīng)用的支撐提供信息資源的發(fā)現(xiàn)定位服務(wù)。公共信息資源共享交換平臺(tái)門(mén)戶和與市級(jí)共享交換平臺(tái)的對(duì)接。門(mén)戶實(shí)現(xiàn)各類應(yīng)用的統(tǒng)一入口，統(tǒng)一管理和統(tǒng)一登錄。①構(gòu)建大數(shù)據(jù)治理體系，成立數(shù)據(jù)治理組織結(jié)構(gòu)、治理流程、治理制度等方面，遵循平臺(tái)建設(shè)先行，將數(shù)據(jù)治理作為推進(jìn)平臺(tái)建設(shè)的重要手段和措施，加快智慧城區(qū)數(shù)據(jù)資產(chǎn)化進(jìn)程；②基于迪思杰DataXOne+DataLKOne+大數(shù)據(jù)平臺(tái)，可以快速定制與開(kāi)發(fā)龍崗智慧城區(qū)大數(shù)據(jù)集成和交換平臺(tái)、大數(shù)據(jù)中心；③建設(shè)龍崗智慧城區(qū)大數(shù)據(jù)中心，分為區(qū)基礎(chǔ)庫(kù)、8+1行業(yè)應(yīng)用庫(kù)、交換和共享庫(kù)等，將分散在各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一集中，便于各部門(mén)、各系統(tǒng)進(jìn)行數(shù)據(jù)共享和數(shù)據(jù)交換；嗯嗯XX智慧城區(qū)大數(shù)據(jù)治理1期大數(shù)據(jù)集成與交換平臺(tái)方案架構(gòu)某市衛(wèi)計(jì)委區(qū)域醫(yī)療健康大數(shù)據(jù)實(shí)現(xiàn)以患者為中心、以時(shí)間為軸線，將多源端病歷數(shù)據(jù)聚合、形成統(tǒng)一標(biāo)準(zhǔn)病歷，支持分級(jí)診療與雙向轉(zhuǎn)診等業(yè)務(wù)，并且大數(shù)據(jù)還可以挖掘價(jià)值，實(shí)現(xiàn)人工智能時(shí)代的智慧醫(yī)療XX市衛(wèi)計(jì)委在項(xiàng)目前期充分調(diào)研和學(xué)習(xí)了國(guó)內(nèi)各地醫(yī)療大數(shù)據(jù)項(xiàng)目。在以下幾個(gè)方面有了明確的認(rèn)識(shí)專業(yè)的數(shù)據(jù)治理在項(xiàng)目中的重要性衛(wèi)計(jì)委在近兩年完成的大數(shù)據(jù)項(xiàng)目中發(fā)現(xiàn)，在項(xiàng)目建設(shè)初期普遍關(guān)注大數(shù)據(jù)的上層應(yīng)用，忽視數(shù)據(jù)治理的重要性。當(dāng)項(xiàng)目上線以后才發(fā)現(xiàn)因?yàn)閿?shù)據(jù)采集工具的選擇不當(dāng)，數(shù)據(jù)質(zhì)量不達(dá)標(biāo)等問(wèn)題導(dǎo)致的上層應(yīng)用的擱置和新業(yè)務(wù)無(wú)法拓展的問(wèn)題比比皆是。因此在與XX市衛(wèi)計(jì)委溝通的過(guò)程中，衛(wèi)計(jì)委對(duì)數(shù)據(jù)的采集方式，數(shù)據(jù)質(zhì)量和大數(shù)據(jù)平臺(tái)的存儲(chǔ)方面提出了高標(biāo)準(zhǔn)、嚴(yán)要求。

是專業(yè)的數(shù)據(jù)治理公司衛(wèi)計(jì)委了解到市面上做大數(shù)據(jù)項(xiàng)目的公司在數(shù)據(jù)采集方面普遍采用不支持ddl，低效的jdbc/odbc技術(shù)。而的EnhancedETL在關(guān)系型數(shù)據(jù)采集領(lǐng)域性能優(yōu)越。并且有完整的數(shù)據(jù)治理體系，不是簡(jiǎn)單進(jìn)行數(shù)據(jù)加工存儲(chǔ)后提供給上層應(yīng)用就竣工了。的數(shù)據(jù)治理不僅要保證數(shù)據(jù)質(zhì)量，還對(duì)數(shù)據(jù)進(jìn)行血統(tǒng)分析、生命周期的管理。真正的將數(shù)據(jù)作為資產(chǎn)進(jìn)行歸置和管理。從架構(gòu)層面，迪思杰提供了高標(biāo)準(zhǔn)的大數(shù)據(jù)平臺(tái)建設(shè)的三層架構(gòu)。DataXone集成了數(shù)據(jù)庫(kù)實(shí)時(shí)復(fù)制技術(shù)EnhancedETL，也集成了

開(kāi)發(fā)的先進(jìn)爬蟲(chóng)技術(shù)，還有大數(shù)據(jù)技術(shù)中標(biāo)準(zhǔn)的Flume、Sqoop等。對(duì)外提供支持非結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)采集服務(wù)，無(wú)需開(kāi)發(fā)就能快速完成文件、目錄、網(wǎng)絡(luò)日志數(shù)據(jù)采集功能，支持二次開(kāi)發(fā)插件滿足定制數(shù)據(jù)采集功能。采用關(guān)系型數(shù)據(jù)庫(kù)實(shí)時(shí)復(fù)制轉(zhuǎn)換技術(shù)（EnhancedETL），在采集數(shù)據(jù)庫(kù)數(shù)據(jù)時(shí)擁有實(shí)時(shí)優(yōu)勢(shì)（延遲1-5秒鐘）、高性能優(yōu)勢(shì)（每小時(shí)單個(gè)數(shù)據(jù)庫(kù)數(shù)百GB）、實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換優(yōu)勢(shì)、源生產(chǎn)端低干擾優(yōu)勢(shì)。方案采用數(shù)據(jù)湖，就能夠支持不同大數(shù)據(jù)應(yīng)用開(kāi)發(fā)商從數(shù)據(jù)湖調(diào)取數(shù)據(jù)，避免為了特定應(yīng)用四處采集數(shù)據(jù)的被動(dòng)局面。數(shù)據(jù)湖架構(gòu)達(dá)到了高靈活度，低延時(shí)，開(kāi)放的目的。真正將數(shù)據(jù)治理與上層應(yīng)用進(jìn)行剝離，為后期的專業(yè)數(shù)據(jù)治理，專業(yè)應(yīng)用開(kāi)發(fā)提供了可能。案例——某省會(huì)城市衛(wèi)計(jì)委醫(yī)療大數(shù)據(jù)方案優(yōu)勢(shì)為什么選擇？某券商數(shù)據(jù)集成案例地市1-oracle地市2-oracle地市n-oracle數(shù)據(jù)倉(cāng)庫(kù)-oracle…業(yè)務(wù)1-oracle業(yè)務(wù)2-oracle業(yè)務(wù)n-oracle…EnhancedETLQETL

案例介紹湖北某券商客戶使用EnhancedETL將各地市的數(shù)據(jù)集中復(fù)制匯聚集成到數(shù)據(jù)倉(cāng)庫(kù)，然后使用QETL對(duì)數(shù)據(jù)實(shí)時(shí)導(dǎo)出并進(jìn)行組合運(yùn)算，將轉(zhuǎn)換后的數(shù)據(jù)集實(shí)時(shí)同步到各業(yè)務(wù)庫(kù)。案例功能特點(diǎn)源端為組合視圖，目標(biāo)端直接同步的結(jié)果集為表中；目標(biāo)數(shù)據(jù)涉及多個(gè)用戶下的多張表，QETL只關(guān)注客戶所需數(shù)據(jù)，最小化同步范圍，節(jié)省系統(tǒng)資源；只跟蹤業(yè)務(wù)所需字段，避免了敏感字段數(shù)據(jù)的向下傳遞；某行業(yè)某塊業(yè)務(wù)所需的數(shù)據(jù)，業(yè)務(wù)上僅需要通過(guò)一條SQL從多張分別擁有百萬(wàn)和幾億條的數(shù)據(jù)表中提取所需結(jié)果，該結(jié)果返回僅有幾十條數(shù)據(jù)，傳統(tǒng)的推送方式要么達(dá)不到實(shí)時(shí)要求，要么占用較大資源，現(xiàn)通過(guò)QETL實(shí)時(shí)的推送所需的幾十條數(shù)據(jù)的結(jié)果集，簡(jiǎn)化了同步方式、大大提高了同步效率，深受客戶好評(píng)，并將大量推廣應(yīng)用。某省交警大數(shù)據(jù)應(yīng)急指揮平臺(tái)XX交警大數(shù)據(jù)應(yīng)急指揮平臺(tái)結(jié)構(gòu)化描述行人結(jié)構(gòu)化車(chē)輛結(jié)構(gòu)化騎行結(jié)構(gòu)化車(chē)輛實(shí)時(shí)布控?zé)o/套牌分析GIS應(yīng)用（同行分析/頻繁過(guò)車(chē)分析）XX交警大數(shù)據(jù)應(yīng)急指揮平臺(tái)數(shù)據(jù)集成源端無(wú)干擾采集：基于日志解析的數(shù)據(jù)庫(kù)實(shí)時(shí)復(fù)制采集多源異構(gòu)數(shù)據(jù)支持：支持DB2、Oracle、SQLserver、MySQL、Informix、Dameng、人大金倉(cāng)等等數(shù)據(jù)實(shí)時(shí)清洗：數(shù)據(jù)過(guò)濾、數(shù)據(jù)剔重、類型轉(zhuǎn)換、編碼映射、文件拆分與合并、維度轉(zhuǎn)換等數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)換：數(shù)據(jù)合并、數(shù)據(jù)拆分、行列互換、排序、修改、去重等數(shù)據(jù)實(shí)時(shí)脫敏：姓名脫敏、地址脫敏、隨機(jī)查表替換、洗牌混淆、參數(shù)算數(shù)置換等數(shù)據(jù)存儲(chǔ)檢索結(jié)構(gòu)化描述視頻轉(zhuǎn)碼：支持多廠商（海康、大華、科達(dá)…），多封裝格式支持（AVI、MP4…），多編碼格式支持（H.264、MPEG-4…）圖像識(shí)別：智能識(shí)別技術(shù)和先進(jìn)的圖像識(shí)別算法，對(duì)實(shí)時(shí)視頻流、錄像文件、圖片的識(shí)別處理。結(jié)構(gòu)化描述：視頻、圖片中的人、車(chē)輛、人騎車(chē)特征信息提取和結(jié)構(gòu)化描述。人臉比對(duì)：人像采集及監(jiān)測(cè)、人像預(yù)處理、人像特征提取以及匹配與識(shí)別。應(yīng)用分析數(shù)據(jù)橫向關(guān)聯(lián)與業(yè)務(wù)碰撞：利用數(shù)據(jù)湖匯聚多種業(yè)務(wù)數(shù)據(jù)，運(yùn)用大數(shù)據(jù)技術(shù)加以情報(bào)比對(duì)碰撞，將提取信息與案件信息整合成一個(gè)有機(jī)整體。交互式多維分析：拖拉拽的方式進(jìn)行數(shù)據(jù)建模與可視化多維分析。數(shù)據(jù)可視化：數(shù)據(jù)大屏、儀表盤(pán)基礎(chǔ)組件、圖標(biāo)組件、GIS可視化等。分布式存儲(chǔ)：滿足大規(guī)模存儲(chǔ)應(yīng)用的需要、提高了系統(tǒng)的可靠性、可用性和存取效率，還易于橫向擴(kuò)展?？焖贆z索能力：快速的查詢引擎與索引構(gòu)建，秒級(jí)響應(yīng)。特征檢索：指定區(qū)域、活動(dòng)物大小、移動(dòng)方向、顏色等關(guān)鍵特征，對(duì)大范圍的視頻進(jìn)行統(tǒng)一搜索。圖形檢索：通過(guò)人臉動(dòng)態(tài)目標(biāo)、車(chē)輛動(dòng)態(tài)目標(biāo)、人形形態(tài)目標(biāo)、人車(chē)圖像分離等找出相似視頻或圖像。XX公安數(shù)據(jù)綜合管理和數(shù)據(jù)治理平臺(tái)統(tǒng)一的數(shù)據(jù)綜合管理平臺(tái)為上層大數(shù)據(jù)分析應(yīng)用提供數(shù)據(jù)來(lái)源基礎(chǔ)和質(zhì)量保障，。通過(guò)對(duì)數(shù)據(jù)集成平臺(tái)的建設(shè)實(shí)現(xiàn)公安業(yè)務(wù)系統(tǒng)數(shù)據(jù)、部廳下發(fā)數(shù)據(jù)、政府部門(mén)共享數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)采集匯聚，并采用過(guò)濾、清洗、轉(zhuǎn)換等數(shù)據(jù)處理，構(gòu)建一個(gè)統(tǒng)一的、穩(wěn)定的、當(dāng)前的細(xì)節(jié)數(shù)據(jù)集成，實(shí)現(xiàn)對(duì)全警種業(yè)務(wù)源數(shù)據(jù)、各委辦局源數(shù)據(jù)和公共信息的集成。數(shù)據(jù)治理統(tǒng)一平臺(tái)通過(guò)數(shù)據(jù)管理平臺(tái)的建設(shè)實(shí)現(xiàn)對(duì)元數(shù)據(jù)的有效管理，實(shí)現(xiàn)數(shù)據(jù)的有效治理，實(shí)現(xiàn)為持續(xù)的數(shù)據(jù)質(zhì)量保障、數(shù)據(jù)可獲得性和數(shù)據(jù)安全性，形成統(tǒng)一、完善的數(shù)據(jù)治理體系，建立數(shù)據(jù)資源目錄，為數(shù)據(jù)共享以及對(duì)應(yīng)用建設(shè)提供信息資源的發(fā)現(xiàn)定位服務(wù)。統(tǒng)一數(shù)據(jù)共享服務(wù)平臺(tái)標(biāo)準(zhǔn)化、模塊化、插件式的數(shù)據(jù)服務(wù)平臺(tái)，實(shí)現(xiàn)平臺(tái)數(shù)據(jù)的統(tǒng)一訪問(wèn)接口。統(tǒng)一數(shù)據(jù)綜合應(yīng)用深度挖掘數(shù)據(jù)內(nèi)含的巨大價(jià)值，主動(dòng)發(fā)現(xiàn)有實(shí)戰(zhàn)指導(dǎo)意義的情報(bào)線索，實(shí)現(xiàn)數(shù)據(jù)的綜合應(yīng)用、深度應(yīng)用。XX公安數(shù)據(jù)綜合管理和數(shù)據(jù)治理平臺(tái)關(guān)系查詢快遞分析套牌分析某省公安廳警綜大數(shù)據(jù)交換與治理案例數(shù)據(jù)匯聚延時(shí)3-5秒數(shù)據(jù)匯聚延時(shí)3-5秒數(shù)據(jù)運(yùn)維與監(jiān)控某公安廳警綜大數(shù)據(jù)交換與治理案例謝謝聆聽(tīng)大數(shù)據(jù)治理平臺(tái)

建設(shè)與應(yīng)用解決方案

大數(shù)據(jù)治理平臺(tái)背景大數(shù)據(jù)治理平臺(tái)應(yīng)用場(chǎng)景分析大數(shù)據(jù)治理平臺(tái)建設(shè)方案大數(shù)據(jù)時(shí)代到來(lái)，我們已被海量數(shù)據(jù)信息包圍刑偵信息輿情信息監(jiān)測(cè)數(shù)據(jù)用戶信息風(fēng)險(xiǎn)信息管理數(shù)據(jù)數(shù)據(jù)廣告數(shù)據(jù)輿情數(shù)據(jù)搜索數(shù)據(jù)研發(fā)數(shù)據(jù)社交數(shù)據(jù)第三方數(shù)據(jù)電信持有大量用戶數(shù)據(jù)，對(duì)數(shù)據(jù)資產(chǎn)的售出，將成為行業(yè)的新增長(zhǎng)點(diǎn)。金融各行業(yè)的金融信息流可結(jié)合第三方數(shù)據(jù)，更深入分析客戶情況。制造從傳統(tǒng)制造到互聯(lián)網(wǎng)+的轉(zhuǎn)型，大數(shù)據(jù)是核心動(dòng)力政府大數(shù)據(jù)已經(jīng)成為國(guó)家戰(zhàn)略，政府機(jī)構(gòu)大數(shù)據(jù)將能夠更好的治理社會(huì)電力大數(shù)據(jù)資產(chǎn)已經(jīng)成為電力行業(yè)的關(guān)注重點(diǎn)，利用大數(shù)據(jù)在生產(chǎn)，營(yíng)銷(xiāo)，物資等多方面提高效率現(xiàn)階段我們已經(jīng)應(yīng)用了很多大數(shù)據(jù)技術(shù)大數(shù)據(jù)存儲(chǔ)應(yīng)用廣泛，具備大數(shù)據(jù)必備因素現(xiàn)階段大數(shù)據(jù)技術(shù)Hive、Spark、Storm、Hbase已使用廣泛，解決了大數(shù)據(jù)存儲(chǔ)問(wèn)題。ETL工具、FLUME組件負(fù)責(zé)大數(shù)據(jù)交換問(wèn)題大數(shù)據(jù)存儲(chǔ)數(shù)據(jù)的傳輸問(wèn)題也有大數(shù)據(jù)組件解決，如Flume，主流ETL工具等。數(shù)據(jù)BI、數(shù)據(jù)挖掘通過(guò)數(shù)據(jù)BI軟件、數(shù)據(jù)分析挖掘通過(guò)大數(shù)據(jù)平臺(tái)的相關(guān)組件也可以進(jìn)行相關(guān)分析。實(shí)施了大數(shù)據(jù)項(xiàng)目，所采用的技術(shù)眾多SparkHiveStorm流處理HBase列存儲(chǔ)數(shù)據(jù)挖掘BI分析模型算法現(xiàn)階段已經(jīng)有了眾多的大數(shù)據(jù)技術(shù)團(tuán)隊(duì)產(chǎn)品提供商數(shù)據(jù)分析廠商數(shù)據(jù)產(chǎn)品廠商，缺乏場(chǎng)景使用經(jīng)驗(yàn)數(shù)據(jù)平臺(tái)廠商與數(shù)據(jù)應(yīng)用廠商往往不是一家，平臺(tái)廠商缺乏數(shù)據(jù)應(yīng)用建設(shè)經(jīng)驗(yàn)。我們還需要哪些數(shù)據(jù)建設(shè)廠商？數(shù)據(jù)提供商平臺(tái)提供商解決方案提供商業(yè)務(wù)算法提供商數(shù)據(jù)應(yīng)用廠商不能理解平臺(tái)內(nèi)數(shù)據(jù)業(yè)務(wù)含義具有涉密數(shù)據(jù)開(kāi)發(fā)資質(zhì)的廠商有限，但并不了解大數(shù)據(jù)平臺(tái)數(shù)據(jù)的含義。各廠商之間交換的數(shù)據(jù)質(zhì)量得不到保證大數(shù)據(jù)建設(shè)項(xiàng)目被分為數(shù)據(jù)平臺(tái)、應(yīng)用、業(yè)務(wù)等多個(gè)獨(dú)立項(xiàng)目和廠商，之間的銜接部分沒(méi)有人管理，造成數(shù)據(jù)質(zhì)量差。眾多數(shù)據(jù)建設(shè)廠商，還缺哪個(gè)？能否有效的解決大數(shù)據(jù)快速、透明化的使用大數(shù)據(jù)平臺(tái)沒(méi)有創(chuàng)新需求點(diǎn)數(shù)據(jù)使用者無(wú)法理解數(shù)據(jù)模型平臺(tái)建設(shè)廠商不懂?dāng)?shù)據(jù)拿到的使用數(shù)據(jù)根本沒(méi)法用……業(yè)務(wù)需求業(yè)務(wù)需求集中響應(yīng)眾多大數(shù)據(jù)廠商難以協(xié)調(diào)廠商管理之間的空隙沒(méi)填補(bǔ)數(shù)據(jù)質(zhì)量問(wèn)題來(lái)回推諉……管理需求需要專業(yè)的大數(shù)據(jù)管理團(tuán)隊(duì)大文件數(shù)據(jù)傳輸慢大數(shù)據(jù)量實(shí)時(shí)傳輸沒(méi)有解決方案沒(méi)有統(tǒng)一的技術(shù)管理平臺(tái)跨平臺(tái)數(shù)據(jù)問(wèn)題無(wú)法追述……技術(shù)需求需要全面支撐的落地平臺(tái)大數(shù)據(jù)治理平臺(tái)背景大數(shù)據(jù)治理平臺(tái)應(yīng)用場(chǎng)景分析大數(shù)據(jù)治理平臺(tái)建設(shè)方案大數(shù)據(jù)平臺(tái)化的發(fā)展趨勢(shì)與現(xiàn)狀數(shù)據(jù)源存儲(chǔ)層訪問(wèn)層數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用廠商X廠商Y廠商Z應(yīng)用百花齊放傳統(tǒng)的應(yīng)用按照業(yè)務(wù)建設(shè)，一個(gè)廠商需要負(fù)責(zé)數(shù)據(jù)采集、存儲(chǔ)、數(shù)據(jù)應(yīng)用等全部過(guò)程；大數(shù)據(jù)時(shí)代，技術(shù)更加專注和專業(yè)，系統(tǒng)建設(shè)趨勢(shì)是采用橫向切分模式。數(shù)據(jù)中心集中建設(shè)需要解決“應(yīng)用和平臺(tái)分離”建設(shè)模式帶來(lái)的新問(wèn)題。廠商X：只了解業(yè)務(wù)系統(tǒng)特性，對(duì)于大數(shù)據(jù)平臺(tái)需求平臺(tái)產(chǎn)品特性不清楚。廠商Y：我只是提供數(shù)據(jù)存儲(chǔ)平臺(tái)，不了解業(yè)務(wù)建設(shè)需求。廠商Z：我只是提供數(shù)據(jù)共享平臺(tái)，廠商X的數(shù)據(jù)特性平臺(tái)無(wú)法支持，產(chǎn)品不能動(dòng)。應(yīng)用：我有數(shù)據(jù)分析經(jīng)驗(yàn)，但是我拿不到高質(zhì)量的數(shù)據(jù)。目前拿到的數(shù)據(jù)不能用。大數(shù)據(jù)項(xiàng)目實(shí)施中遇到的哪些問(wèn)題？電信政府個(gè)人電商數(shù)據(jù)管理數(shù)據(jù)源基礎(chǔ)數(shù)據(jù)區(qū)專題數(shù)據(jù)區(qū)大數(shù)據(jù)平臺(tái)建設(shè)廠商1大數(shù)據(jù)平臺(tái)數(shù)據(jù)服務(wù)數(shù)據(jù)應(yīng)用廠商2數(shù)據(jù)服務(wù)BI分析3質(zhì)量監(jiān)控?cái)?shù)據(jù)接入管理不規(guī)范：數(shù)據(jù)模型管理缺乏規(guī)范化體系，大數(shù)據(jù)平臺(tái)內(nèi)數(shù)據(jù)的技術(shù)、業(yè)務(wù)屬性不清晰，沒(méi)有完善的數(shù)據(jù)模型管理體系與規(guī)范。數(shù)據(jù)挖掘數(shù)據(jù)使用使用不明確：由于數(shù)據(jù)業(yè)務(wù)特性與使用方法不統(tǒng)一，難以對(duì)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的快速集成和共享。監(jiān)控不到位：在實(shí)際數(shù)據(jù)運(yùn)行中，會(huì)出現(xiàn)數(shù)據(jù)信息發(fā)生中斷異?；驍?shù)據(jù)量發(fā)生突然變化等數(shù)據(jù)異常監(jiān)控。無(wú)法通過(guò)傳統(tǒng)的監(jiān)控手段及時(shí)發(fā)現(xiàn)。管理使用監(jiān)控批量導(dǎo)入實(shí)時(shí)同步場(chǎng)景一：建好數(shù)據(jù)管理體系，快速識(shí)別數(shù)據(jù)大數(shù)據(jù)平臺(tái)數(shù)據(jù)分析數(shù)據(jù)挖掘數(shù)據(jù)接口………數(shù)據(jù)使用

元數(shù)據(jù)數(shù)據(jù)如何快速識(shí)別數(shù)據(jù)？如何自動(dòng)化管理？如何快速找到樣例數(shù)據(jù)？我的數(shù)據(jù)都在哪里？數(shù)據(jù)的業(yè)務(wù)特點(diǎn)是？我該找誰(shuí)要數(shù)據(jù)？建議：1.自動(dòng)化獲取元數(shù)據(jù)信息通過(guò)自動(dòng)化采集與解析手段，建立技術(shù)、業(yè)務(wù)、過(guò)程元數(shù)據(jù)的注冊(cè)輸入，標(biāo)明數(shù)據(jù)方位。2.標(biāo)明數(shù)據(jù)方位，整理業(yè)務(wù)屬性將數(shù)據(jù)資產(chǎn)按業(yè)務(wù)屬性編目，梳理數(shù)據(jù)的屬性、共享方式、特性、映射。3：建立業(yè)務(wù)數(shù)據(jù)服務(wù)目錄以數(shù)據(jù)資產(chǎn)為驅(qū)動(dòng)方式，實(shí)現(xiàn)數(shù)據(jù)集成和共享。建立數(shù)據(jù)服務(wù)目錄。數(shù)據(jù)資產(chǎn)模型元元模型元模型場(chǎng)景二：建立專業(yè)的數(shù)據(jù)共享通道，高效使用數(shù)據(jù)大數(shù)據(jù)資源空間資源實(shí)例數(shù)據(jù)模型數(shù)據(jù)資產(chǎn)服務(wù)數(shù)據(jù)資源模型數(shù)據(jù)資源服務(wù)內(nèi)存數(shù)據(jù)服務(wù)數(shù)據(jù)庫(kù)服務(wù)資源服務(wù)內(nèi)存數(shù)據(jù)模型CRUDCRUD資源獲取資源同步元數(shù)據(jù)庫(kù)批量數(shù)據(jù)交換？我需要秒級(jí)更新數(shù)據(jù)？數(shù)據(jù)太大無(wú)法傳？建議：1.梳理數(shù)據(jù)交換需求梳理數(shù)據(jù)集成、交換需求。按技術(shù)特征劃分為實(shí)時(shí)、準(zhǔn)實(shí)時(shí)、批量等。2.數(shù)據(jù)資產(chǎn)與服務(wù)對(duì)接基于數(shù)據(jù)資產(chǎn)的數(shù)據(jù)開(kāi)發(fā)，實(shí)現(xiàn)資產(chǎn)與數(shù)據(jù)服務(wù)的對(duì)接。通過(guò)服務(wù)目錄直接獲取所需數(shù)據(jù)。批量實(shí)時(shí)場(chǎng)景三：提供專業(yè)的數(shù)據(jù)監(jiān)控體系，快速發(fā)現(xiàn)問(wèn)題。數(shù)據(jù)源頭監(jiān)控

針對(duì)調(diào)度監(jiān)控和數(shù)據(jù)源相關(guān)監(jiān)控過(guò)程中的數(shù)據(jù)進(jìn)行整合形成數(shù)據(jù)源頭調(diào)度監(jiān)控的分析報(bào)表。數(shù)據(jù)波動(dòng)監(jiān)控?cái)?shù)據(jù)抖動(dòng)監(jiān)控是指通過(guò)對(duì)數(shù)據(jù)記錄數(shù)的監(jiān)控，在一段時(shí)間周期內(nèi)，通過(guò)折線圖的方式可以查詢一段時(shí)間內(nèi)數(shù)據(jù)的峰值和低谷。及時(shí)性監(jiān)控

數(shù)據(jù)文件及時(shí)性監(jiān)控是指通過(guò)對(duì)要采集到大數(shù)據(jù)平臺(tái)的或外部文件進(jìn)行存在性和按時(shí)到達(dá)性的監(jiān)控手段。一致性監(jiān)控?cái)?shù)據(jù)一致性監(jiān)控是對(duì)采集時(shí)的數(shù)據(jù)記錄條數(shù)和入庫(kù)的數(shù)據(jù)條數(shù)進(jìn)行一致性比對(duì)，對(duì)不一致的數(shù)據(jù)采集作業(yè)進(jìn)行標(biāo)記的一種監(jiān)控。日使用流量（MB）6月7月數(shù)據(jù)不一致怎么辦？數(shù)據(jù)量異常波動(dòng)？數(shù)據(jù)源變更怎么辦？建議：1.明確重要監(jiān)控指標(biāo)梳理數(shù)據(jù)平臺(tái)、MPP、Hadoop平臺(tái)的重要數(shù)據(jù)監(jiān)控指標(biāo)與監(jiān)控需求。2.建立多渠道監(jiān)控方式對(duì)接數(shù)據(jù)監(jiān)控平臺(tái)，以以郵件、短信等通知方式告警。我們需要什么樣的大數(shù)據(jù)治理平臺(tái)？可以靈活擴(kuò)展支撐業(yè)務(wù)變化，保證業(yè)務(wù)數(shù)據(jù)保質(zhì)量、標(biāo)準(zhǔn)化基于模型的數(shù)據(jù)獲取數(shù)據(jù)，基于數(shù)據(jù)模型管理，可以讓技術(shù)與業(yè)務(wù)人員通過(guò)平臺(tái)可以迅速找到對(duì)應(yīng)的數(shù)據(jù)資源。數(shù)據(jù)獲取方式靈活多樣，可支持配置化數(shù)據(jù)訂閱管理

支持靈活的數(shù)據(jù)訂閱方式，以支推，拉的數(shù)據(jù)訂閱數(shù)據(jù)與服務(wù)接口對(duì)接?？梢钥焖俚墨@取到想要的數(shù)據(jù)活文件。支持多種數(shù)據(jù)預(yù)警機(jī)制，隨時(shí)發(fā)現(xiàn)數(shù)據(jù)任務(wù)執(zhí)行過(guò)程中所遇到的問(wèn)題支持執(zhí)行任務(wù)的全過(guò)程監(jiān)控，執(zhí)行數(shù)量監(jiān)控，數(shù)據(jù)波動(dòng)、數(shù)據(jù)到達(dá)預(yù)警監(jiān)控等，并支持多種信息通知方式，如短信、郵件等?；跀?shù)據(jù)模型管理提供數(shù)據(jù)監(jiān)控預(yù)警機(jī)制可對(duì)接多種數(shù)據(jù)源支持多種數(shù)據(jù)獲取方式支持現(xiàn)有主流的大數(shù)據(jù)技術(shù)平臺(tái)的對(duì)接可對(duì)接現(xiàn)有的大數(shù)據(jù)Hive，Spark，Strom流數(shù)據(jù)等主流的數(shù)據(jù)結(jié)構(gòu)，分為實(shí)時(shí)數(shù)據(jù)和批量數(shù)據(jù)的對(duì)接方式。大數(shù)據(jù)治理平臺(tái)背景大數(shù)據(jù)治理平臺(tái)應(yīng)用場(chǎng)景分析大數(shù)據(jù)治理平臺(tái)建設(shè)方案大數(shù)據(jù)平臺(tái)的核心價(jià)值轉(zhuǎn)變管理思路管理職責(zé)管理組織自己應(yīng)用方便別人提供數(shù)據(jù)服務(wù)數(shù)據(jù)管理數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)應(yīng)用專業(yè)的服務(wù)團(tuán)隊(duì)業(yè)務(wù)開(kāi)發(fā)運(yùn)維全棧能力團(tuán)隊(duì)通過(guò)大數(shù)據(jù)治理，提供數(shù)據(jù)服務(wù)，從管理中心轉(zhuǎn)變?yōu)榉?wù)中心通過(guò)大數(shù)據(jù)治理，變現(xiàn)數(shù)據(jù)價(jià)值，從成本中心轉(zhuǎn)變?yōu)槔麧?rùn)中心傳統(tǒng)數(shù)據(jù)管理創(chuàng)新數(shù)據(jù)管理大數(shù)據(jù)治理平臺(tái)的定位采集數(shù)據(jù)傳感器數(shù)據(jù)社交媒體IT/OT圖像視頻三方數(shù)據(jù)信用數(shù)據(jù)通信數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)客戶數(shù)據(jù)大數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)非/結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)流數(shù)據(jù)數(shù)據(jù)發(fā)布交易運(yùn)營(yíng)生產(chǎn)分析交易運(yùn)營(yíng)生產(chǎn)分析業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新交易運(yùn)營(yíng)財(cái)務(wù)人力數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)大數(shù)據(jù)治理平臺(tái)治理數(shù)據(jù)用大數(shù)據(jù)治理連接大數(shù)據(jù)與業(yè)務(wù)創(chuàng)新服務(wù)服務(wù)數(shù)據(jù)開(kāi)發(fā)大數(shù)據(jù)治理平臺(tái)的架構(gòu)特征傳統(tǒng)大數(shù)據(jù)平臺(tái)框架大數(shù)據(jù)平臺(tái)分析展現(xiàn)應(yīng)用數(shù)據(jù)源大數(shù)據(jù)治理平臺(tái)數(shù)據(jù)服務(wù)總線大數(shù)據(jù)平臺(tái)需求規(guī)范以數(shù)據(jù)存儲(chǔ)、處理為核心的傳統(tǒng)數(shù)據(jù)管理平臺(tái)過(guò)度到大數(shù)據(jù)治理平臺(tái)數(shù)據(jù)應(yīng)用數(shù)據(jù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)監(jiān)控平臺(tái)數(shù)據(jù)資產(chǎn)平臺(tái)1大數(shù)據(jù)治理平臺(tái)傳統(tǒng)大數(shù)據(jù)平臺(tái)234企業(yè)中哪些角色會(huì)直接使用到大數(shù)據(jù)治理平臺(tái)業(yè)務(wù)運(yùn)營(yíng)人員業(yè)務(wù)系統(tǒng)開(kāi)發(fā)人員大數(shù)據(jù)中心管理者大數(shù)據(jù)中心開(kāi)發(fā)者

業(yè)務(wù)運(yùn)營(yíng)人員是企業(yè)各業(yè)務(wù)部門(mén)一線的業(yè)務(wù)人員，擁有大量的數(shù)據(jù)使用的需求。但通常并不了解大數(shù)據(jù)中心的數(shù)據(jù)能力與企業(yè)其他部門(mén)的數(shù)據(jù)情況。

業(yè)務(wù)所屬部門(mén)的系統(tǒng)開(kāi)發(fā)人員，主要提供所負(fù)責(zé)業(yè)務(wù)系統(tǒng)功能開(kāi)發(fā)與業(yè)務(wù)創(chuàng)新的IT實(shí)現(xiàn)。但往往不清楚大數(shù)據(jù)中心數(shù)據(jù)的特性。往往把業(yè)務(wù)人員提出的需求交給數(shù)據(jù)中心實(shí)現(xiàn)。

大數(shù)據(jù)中心的管理員，負(fù)責(zé)大數(shù)據(jù)中心的運(yùn)營(yíng)與管理。負(fù)責(zé)采集與各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，接收各業(yè)務(wù)系統(tǒng)的提出的數(shù)據(jù)業(yè)務(wù)需求。并負(fù)責(zé)給數(shù)據(jù)消費(fèi)者提供必要的大數(shù)據(jù)支撐。大數(shù)據(jù)中心的開(kāi)發(fā)人員，負(fù)責(zé)大數(shù)據(jù)中心的數(shù)據(jù)ETL加工，并數(shù)據(jù)管理中心批準(zhǔn)的數(shù)據(jù)需求進(jìn)行開(kāi)發(fā)。通常需要面對(duì)各業(yè)務(wù)部門(mén)的需求，難以了解業(yè)務(wù)部門(mén)的數(shù)據(jù)特點(diǎn)。大數(shù)據(jù)治理平臺(tái)的數(shù)據(jù)使用流程業(yè)務(wù)運(yùn)營(yíng)人員1.提出數(shù)據(jù)需求業(yè)務(wù)系統(tǒng)開(kāi)發(fā)人員2.查找數(shù)據(jù)5.確認(rèn)數(shù)據(jù)需求大數(shù)據(jù)治理平臺(tái)3.返回?cái)?shù)據(jù)4、7.交付數(shù)據(jù)大數(shù)據(jù)中心管理者大數(shù)據(jù)中心數(shù)據(jù)中心開(kāi)發(fā)人員6.返回?cái)?shù)據(jù)80%數(shù)據(jù)使用需求20%需開(kāi)發(fā)數(shù)據(jù)需求交易運(yùn)營(yíng)生產(chǎn)分析數(shù)據(jù)消費(fèi)方數(shù)據(jù)提供方大數(shù)據(jù)治理平臺(tái)總體功能架構(gòu)圖關(guān)系數(shù)據(jù)庫(kù)對(duì)接數(shù)據(jù)資產(chǎn)平臺(tái)數(shù)據(jù)監(jiān)控平臺(tái)日志監(jiān)控性能監(jiān)控主機(jī)告警安全管理需求/流程服務(wù)標(biāo)準(zhǔn)與流程數(shù)據(jù)使用流程元數(shù)據(jù)規(guī)范數(shù)據(jù)申請(qǐng)規(guī)范數(shù)據(jù)質(zhì)量規(guī)范服務(wù)共享規(guī)范數(shù)據(jù)管理流程等標(biāo)準(zhǔn)管理流程應(yīng)用治理規(guī)范數(shù)據(jù)服務(wù)總線標(biāo)準(zhǔn)檢查數(shù)據(jù)地圖版本管理流向分析質(zhì)量檢查資產(chǎn)編輯數(shù)據(jù)使用分析應(yīng)用調(diào)度管理服務(wù)管理路由管理文本數(shù)據(jù)對(duì)接流數(shù)據(jù)對(duì)接內(nèi)存數(shù)據(jù)對(duì)接波動(dòng)監(jiān)控?cái)?shù)據(jù)開(kāi)發(fā)平臺(tái)模型設(shè)計(jì)接口應(yīng)用資產(chǎn)采集適配器資產(chǎn)維護(hù)編目資產(chǎn)使用運(yùn)營(yíng)管理調(diào)用管理審計(jì)管理模型開(kāi)發(fā)過(guò)程開(kāi)發(fā)服務(wù)開(kāi)發(fā)目錄管理策略管理接口開(kāi)發(fā)模型管理資源查詢服務(wù)規(guī)范大數(shù)據(jù)治理平臺(tái)總體技術(shù)架構(gòu)圖

DB

FIleStream業(yè)務(wù)數(shù)據(jù)…RPC調(diào)用ETL調(diào)度監(jiān)控大數(shù)據(jù)平臺(tái)專題庫(kù)分析模型數(shù)據(jù)模型服務(wù)發(fā)布服務(wù)服務(wù)監(jiān)控服務(wù)安全數(shù)據(jù)服務(wù)總線服務(wù)分類服務(wù)注冊(cè)服務(wù)訂閱服務(wù)查詢數(shù)據(jù)訂閱數(shù)據(jù)分發(fā)服務(wù)目錄庫(kù)存儲(chǔ)模型組件轉(zhuǎn)換模型組件文件模型組件數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)接口應(yīng)用數(shù)據(jù)分析應(yīng)用業(yè)務(wù)分析應(yīng)用數(shù)據(jù)加工應(yīng)用數(shù)據(jù)預(yù)測(cè)應(yīng)用…資源層開(kāi)發(fā)層數(shù)據(jù)共享/發(fā)布層數(shù)據(jù)應(yīng)用層BFTHiveSparkESB采集組件解析組件加工組件大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)資產(chǎn)平臺(tái)功能架構(gòu)圖數(shù)據(jù)資產(chǎn)采集采集調(diào)度管理采集適配器管理數(shù)據(jù)資產(chǎn)使用數(shù)據(jù)資產(chǎn)關(guān)系維護(hù)數(shù)據(jù)資產(chǎn)管理/編目數(shù)據(jù)資產(chǎn)維護(hù)采集模板管理數(shù)據(jù)資產(chǎn)數(shù)據(jù)源管理采集任務(wù)管理采集模板映射管理采集日志管理數(shù)據(jù)資產(chǎn)分析數(shù)據(jù)資產(chǎn)權(quán)限數(shù)據(jù)資產(chǎn)訪問(wèn)資產(chǎn)變更服務(wù)資產(chǎn)分析服務(wù)數(shù)據(jù)資產(chǎn)檢索數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)影響分析血統(tǒng)分析資產(chǎn)訂閱資產(chǎn)使用情況數(shù)據(jù)資產(chǎn)地圖全鏈路分析編目管理打標(biāo)簽數(shù)據(jù)資產(chǎn)認(rèn)責(zé)管理數(shù)據(jù)資產(chǎn)質(zhì)量管理應(yīng)用企業(yè)全局?jǐn)?shù)據(jù)資產(chǎn)升級(jí)影響數(shù)據(jù)問(wèn)題定位輔助開(kāi)發(fā)……元模型管理元模型關(guān)系維護(hù)元模型設(shè)計(jì)器元模型設(shè)計(jì)器元模型設(shè)計(jì)執(zhí)行元模型反向生成圖形模型框架元模型版本管理數(shù)據(jù)資產(chǎn)模型設(shè)計(jì)Excel采集Hive采集DB采集……視圖管理版本管理狀態(tài)管理大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)資產(chǎn)平臺(tái)邏輯架構(gòu)圖DB文件接口…數(shù)據(jù)資產(chǎn)接口服務(wù)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)分析統(tǒng)計(jì)數(shù)據(jù)資產(chǎn)存儲(chǔ)元模型管理數(shù)據(jù)資產(chǎn)采集資產(chǎn)存儲(chǔ)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)應(yīng)用大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)資產(chǎn)平臺(tái)關(guān)鍵技術(shù)與特性多類型企業(yè)數(shù)據(jù)源數(shù)據(jù)資產(chǎn)采集解析算法采集調(diào)度入庫(kù)策略采集解析模型組裝數(shù)據(jù)入庫(kù)數(shù)據(jù)采集適配技術(shù)采集適配業(yè)務(wù)采集適配……數(shù)據(jù)模型技術(shù)模型業(yè)務(wù)模型……數(shù)據(jù)資產(chǎn)存儲(chǔ)TDDB2Oracle數(shù)據(jù)資產(chǎn)存儲(chǔ)數(shù)據(jù)資產(chǎn)元模型存儲(chǔ)采集配置存儲(chǔ)2、可插拔的采集適配器，支持?jǐn)?shù)據(jù)資產(chǎn)管理的無(wú)限擴(kuò)充1、解析、組裝、入庫(kù)過(guò)程分離，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)采集和存儲(chǔ)解耦3、采用MOF模型規(guī)范實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)擴(kuò)展存儲(chǔ)數(shù)據(jù)資產(chǎn)平臺(tái)給客戶帶來(lái)的價(jià)值建立統(tǒng)一的第三方數(shù)據(jù)審核機(jī)制，不依附于某個(gè)業(yè)務(wù)單元的數(shù)據(jù)特性，對(duì)數(shù)據(jù)資產(chǎn)重新定位；基于系統(tǒng)運(yùn)行態(tài)環(huán)境的元數(shù)據(jù)采集，真正做到以系統(tǒng)落地環(huán)境為基礎(chǔ)的數(shù)據(jù)資產(chǎn)梳理；建立統(tǒng)一的數(shù)據(jù)模型視圖，為業(yè)務(wù)管理人員方便的獲取到數(shù)據(jù)提供先決條件;基于MOF可擴(kuò)展模型，對(duì)業(yè)務(wù)模型擴(kuò)展無(wú)需改動(dòng)代碼，節(jié)省團(tuán)隊(duì)管理成本；

快速輔助定位問(wèn)題，出現(xiàn)數(shù)據(jù)問(wèn)題可輔助定位與分析問(wèn)題的根源，迅速響應(yīng)業(yè)務(wù)需求；數(shù)據(jù)資產(chǎn)平臺(tái)權(quán)威落地統(tǒng)一擴(kuò)展分析大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)開(kāi)發(fā)平臺(tái)功能架構(gòu)圖批量資源導(dǎo)入基本信息維護(hù)資源關(guān)系管理資源展示配置資源目錄管理編目管理在線數(shù)據(jù)維護(hù)模型檢索資源檢索基礎(chǔ)查詢維度查詢?nèi)藛T管理權(quán)限管理角色管理…條件查詢策略定義策略管理策略開(kāi)發(fā)自定義開(kāi)發(fā)模型設(shè)計(jì)模型管理交換模型開(kāi)發(fā)交換作業(yè)開(kāi)發(fā)加密策略交換策略關(guān)系維護(hù)配置管理交換作業(yè)開(kāi)發(fā)交換組件管理脫敏策略監(jiān)控策略策略開(kāi)發(fā)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)資源管理存儲(chǔ)模型開(kāi)發(fā)數(shù)據(jù)交換開(kāi)發(fā)策略配置數(shù)據(jù)資源探查系統(tǒng)管理模型設(shè)計(jì)模型管理關(guān)系維護(hù)存儲(chǔ)開(kāi)發(fā)文件交換開(kāi)發(fā)服務(wù)接口開(kāi)發(fā)服務(wù)接口配置應(yīng)用組件配置組件管理服務(wù)接口開(kāi)發(fā)策略管理資源探查大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)開(kāi)發(fā)平臺(tái)邏輯架構(gòu)圖數(shù)據(jù)資產(chǎn)數(shù)據(jù)開(kāi)發(fā)層數(shù)據(jù)共享層批量數(shù)據(jù)HadoopMPPFile策略管理數(shù)據(jù)模型開(kāi)發(fā)數(shù)據(jù)開(kāi)放門(mén)戶資源發(fā)布開(kāi)發(fā)者門(mén)戶運(yùn)營(yíng)者門(mén)戶數(shù)據(jù)交換作業(yè)開(kāi)發(fā)文件交換作業(yè)開(kāi)發(fā)數(shù)據(jù)資源管理數(shù)據(jù)服務(wù)目錄數(shù)據(jù)庫(kù)文件數(shù)據(jù)接口使用者門(mén)戶數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資源目錄資源探查大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)開(kāi)發(fā)平臺(tái)技術(shù)與特性大數(shù)據(jù)模型數(shù)據(jù)服務(wù)層結(jié)構(gòu)描述約束結(jié)構(gòu)描述約束關(guān)系資源模型服務(wù)資源池服務(wù)服務(wù)服務(wù)服務(wù)接口目錄接口應(yīng)用服務(wù)服務(wù)服務(wù)服務(wù)數(shù)據(jù)開(kāi)發(fā)1、以數(shù)據(jù)服務(wù)目錄為基礎(chǔ)的目錄提供形式，快速找到所需數(shù)據(jù)。2、數(shù)據(jù)開(kāi)發(fā)層，以數(shù)據(jù)資產(chǎn)、模型為基礎(chǔ)的資源開(kāi)發(fā)。將模型開(kāi)發(fā)與數(shù)據(jù)發(fā)布共享剝離。數(shù)據(jù)開(kāi)發(fā)平臺(tái)給客戶帶來(lái)的價(jià)值提供圖形化的開(kāi)發(fā)界面，顛覆以往的數(shù)據(jù)只能寫(xiě)SQL代碼的情況。直觀并可提升開(kāi)發(fā)效率；復(fù)用結(jié)構(gòu)化的組件，利于知識(shí)積累與復(fù)用。避免人員變動(dòng)帶來(lái)的無(wú)形中的學(xué)習(xí)成本；針對(duì)業(yè)務(wù)特性對(duì)現(xiàn)有的數(shù)據(jù)資產(chǎn)進(jìn)行編目開(kāi)發(fā)，讓數(shù)據(jù)使用者直觀理解數(shù)據(jù)的含義；以數(shù)據(jù)資產(chǎn)模型為驅(qū)動(dòng)力，實(shí)現(xiàn)數(shù)據(jù)集成與共享的服務(wù)創(chuàng)新開(kāi)發(fā)模式；讓項(xiàng)目中的各數(shù)據(jù)實(shí)施廠商都使用統(tǒng)一的數(shù)據(jù)開(kāi)發(fā)方式，避免技術(shù)實(shí)現(xiàn)不同所帶來(lái)的壁壘；數(shù)據(jù)開(kāi)發(fā)平臺(tái)提升復(fù)用易懂創(chuàng)新統(tǒng)一大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)服務(wù)總線功能架構(gòu)圖服務(wù)資源目錄中心數(shù)據(jù)服務(wù)總線總線監(jiān)控中心節(jié)點(diǎn)管理服務(wù)管理節(jié)點(diǎn)注冊(cè)服務(wù)信息的全網(wǎng)同步節(jié)點(diǎn)審批服務(wù)注冊(cè)服務(wù)審批擴(kuò)展管理分類管理發(fā)布管理服務(wù)檢索服務(wù)維護(hù)服務(wù)管理服務(wù)調(diào)度調(diào)度管理資源擴(kuò)展路由管理路由服務(wù)路由規(guī)則數(shù)據(jù)交換消息交換文件交換服務(wù)調(diào)用鑒權(quán)管理資源查詢流交換斷點(diǎn)續(xù)傳重發(fā)處理優(yōu)先級(jí)訪問(wèn)控制服務(wù)編排緩存管理節(jié)點(diǎn)監(jiān)控啟動(dòng)管理停止管理異常管理服務(wù)審計(jì)傳輸監(jiān)控質(zhì)量管理統(tǒng)計(jì)及上報(bào)服務(wù)監(jiān)控啟動(dòng)管理停止管理異常管理數(shù)據(jù)服務(wù)總線基礎(chǔ)服務(wù)組織機(jī)構(gòu)管理用戶管理角色管理日志管理流控管理元數(shù)據(jù)管理服務(wù)視圖系統(tǒng)安全標(biāo)準(zhǔn)規(guī)范大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)服務(wù)總線邏輯架構(gòu)圖文件服務(wù)開(kāi)發(fā)接口服務(wù)開(kāi)發(fā)數(shù)據(jù)消費(fèi)者接入認(rèn)證接入路由服務(wù)路由配額管理接口服務(wù)文件服務(wù)流媒體服務(wù)數(shù)據(jù)共享層數(shù)據(jù)傳輸引擎統(tǒng)計(jì)引擎數(shù)據(jù)服務(wù)處理引擎數(shù)據(jù)開(kāi)發(fā)層數(shù)據(jù)/文件訂閱接口運(yùn)行監(jiān)控引擎元數(shù)據(jù)管理數(shù)據(jù)采集管理數(shù)據(jù)資產(chǎn)資產(chǎn)運(yùn)營(yíng)管理數(shù)據(jù)服務(wù)注冊(cè)管理大數(shù)據(jù)治理平臺(tái)架構(gòu)-數(shù)據(jù)服務(wù)總線關(guān)鍵技術(shù)與特性標(biāo)點(diǎn)數(shù)據(jù)服務(wù)總線重點(diǎn)解決高性能和高可用性能力單Server處理能力：采用SEDA架構(gòu)、輕量級(jí)部署架構(gòu)（直接部署JVM之上）、異步Servlet接入等技術(shù)分布式橫向擴(kuò)展能力：采用靈活的集群部署模式、配置熱更新、資源統(tǒng)一監(jiān)控超量請(qǐng)求資源配額請(qǐng)求積壓基于隊(duì)列有策略丟棄外部不穩(wěn)定異步通知……異步多線程模型-SEDA特點(diǎn)邏輯分段段之間基于隊(duì)列通信資源分配ESB實(shí)例2ESB實(shí)例3ESB實(shí)例4ESB實(shí)例5硬件C硬件DESB管理服務(wù)器ESB實(shí)例1……ESB實(shí)例n硬件A硬件B通過(guò)控制臺(tái)對(duì)多個(gè)