工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)建設(shè)方案相關(guān)兩份資料

工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)

建設(shè)方案背景介紹調(diào)查分析平臺(tái)建設(shè)云平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)應(yīng)用模型算法介紹Contents目錄為什么有工業(yè)4.0？實(shí)體物理世界和虛擬網(wǎng)絡(luò)世界融合工業(yè)4.020世紀(jì)70年代興起的信息化工業(yè)3.020世紀(jì)初電氣化和自動(dòng)化工業(yè)2.0實(shí)體18世紀(jì)機(jī)械制造設(shè)備的引入工業(yè)1.0工業(yè)4.0、中國(guó)制造2025工信部長(zhǎng)苗圩在講到德國(guó)工業(yè)4.0與中國(guó)制造2025時(shí)，曾這樣概括：如出一轍、異曲同工、殊途同歸。因此，兩者表述不同，但內(nèi)涵基本一致工業(yè)4.0工業(yè)4.0由德國(guó)提出，主要指提升制造業(yè)的智能化水平，建立具有適應(yīng)性、資源效率及基因工程學(xué)的智慧工廠，在商業(yè)流程及價(jià)值流程中整合客戶及商業(yè)伙伴。其技術(shù)基礎(chǔ)是網(wǎng)絡(luò)實(shí)體系統(tǒng)及物聯(lián)網(wǎng)。中國(guó)制造2025堅(jiān)持“創(chuàng)新驅(qū)動(dòng)、質(zhì)量為先、綠色發(fā)展、結(jié)構(gòu)優(yōu)化、人才為本”的基本方針，堅(jiān)持“市場(chǎng)主導(dǎo)、政府引導(dǎo)，立足當(dāng)前、著眼長(zhǎng)遠(yuǎn)，整體推進(jìn)、重點(diǎn)突破，自主發(fā)展、開放合作”的基本原則。什么是大數(shù)據(jù)？所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的信息。。大數(shù)據(jù)處理技術(shù)代表了新一代的技術(shù)架構(gòu)，這種架構(gòu)通過(guò)高速獲取數(shù)據(jù)并對(duì)其進(jìn)行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價(jià)值的信息。從大量數(shù)據(jù)中挖掘高價(jià)值知識(shí)是各界對(duì)于大數(shù)據(jù)的一個(gè)共識(shí)。海量數(shù)據(jù)可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點(diǎn)?！狦oogle首席經(jīng)濟(jì)學(xué)家HalVarian大數(shù)據(jù)主要被用于分析和決策，企業(yè)用以分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合，對(duì)企業(yè)產(chǎn)生新的價(jià)值。工業(yè)大數(shù)據(jù)分析及應(yīng)用的三個(gè)階段時(shí)間第一階段1990-2000第二階段2000-2010第三階段2010～至今核心技術(shù)遠(yuǎn)程監(jiān)控、數(shù)據(jù)采集和管理大數(shù)據(jù)中心和數(shù)據(jù)分析軟件數(shù)據(jù)分析平臺(tái)與高級(jí)數(shù)據(jù)分析工具問題對(duì)象／價(jià)值以產(chǎn)品為核心的狀態(tài)監(jiān)控，問題發(fā)生后的及時(shí)處理，幫助用戶避免故障造成的損失以使用為核心的信息服務(wù)，通過(guò)及時(shí)維修和預(yù)測(cè)型維護(hù)避免故障發(fā)生的風(fēng)險(xiǎn)以用戶為中心的平臺(tái)式服務(wù)，實(shí)現(xiàn)了以社區(qū)為基礎(chǔ)的用戶主導(dǎo)的服務(wù)生態(tài)體系商業(yè)模式產(chǎn)品為主的附加服務(wù)產(chǎn)品租賃體系和長(zhǎng)期服務(wù)合同按需的個(gè)性化自服務(wù)模式，分享經(jīng)濟(jì)代表性企業(yè)和技術(shù)產(chǎn)品GMOnStarTM阿爾斯通TrackTracerTMGEPredix平臺(tái)大數(shù)據(jù)特征：量（Volume）、速度（Velocity）、多樣性（Variety）、真實(shí)性（Veracity）工業(yè)大數(shù)據(jù)特征：大數(shù)據(jù)特征＋可見性（Visibility）、價(jià)值（Value）互聯(lián)網(wǎng)大數(shù)據(jù)與工業(yè)大數(shù)據(jù)的對(duì)比分析互聯(lián)網(wǎng)大數(shù)據(jù)工業(yè)大數(shù)據(jù)數(shù)據(jù)量需求大量樣本數(shù)盡可能全面地使用樣本數(shù)據(jù)質(zhì)量要求較低較高，需要對(duì)數(shù)據(jù)質(zhì)量進(jìn)行預(yù)判和修復(fù)對(duì)數(shù)據(jù)屬性意義的解讀不考慮屬性的意義，只分析統(tǒng)計(jì)顯著性強(qiáng)調(diào)特征之間地物理關(guān)聯(lián)分析手段以統(tǒng)計(jì)分析為主，通過(guò)挖掘樣本中各個(gè)屬性之間的相關(guān)性進(jìn)行預(yù)測(cè)具有一定邏輯地流水線式數(shù)據(jù)流分析手段。強(qiáng)調(diào)跨學(xué)科技術(shù)的融合，包括數(shù)學(xué)、物理、機(jī)器學(xué)習(xí)、控制、人工智能等分析結(jié)果準(zhǔn)確性要求較低較高工業(yè)大數(shù)據(jù)待解決問題（3B）：隱匿性（BelowSurface）；碎片化（Broken）；低質(zhì)性（BadQuality）工業(yè)大數(shù)據(jù)應(yīng)用背景介紹調(diào)查分析平臺(tái)建設(shè)云平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)應(yīng)用模型算法介紹Contents目錄工業(yè)大數(shù)據(jù)的核心是機(jī)器數(shù)據(jù)機(jī)器大數(shù)據(jù)的特點(diǎn)工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)的關(guān)系工業(yè)互聯(lián)網(wǎng)工業(yè)互聯(lián)網(wǎng)工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)+=企業(yè)發(fā)展動(dòng)力通過(guò)工業(yè)互聯(lián)網(wǎng)將來(lái)自于傳感器發(fā)出的信息匯總，然后基于大數(shù)據(jù)平臺(tái)，根據(jù)相應(yīng)的指標(biāo)、規(guī)則予以過(guò)濾、分析，可以提煉出對(duì)企業(yè)有價(jià)值的信息。大數(shù)據(jù)可以對(duì)指定信息進(jìn)行歸納總結(jié)，形成某種規(guī)律性的認(rèn)識(shí)，最終提煉為對(duì)企業(yè)和個(gè)人有用的新信息，幫助他們進(jìn)行更好的決策。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的作用提升產(chǎn)品智能化產(chǎn)品的智能化是把傳感器、處理器、存儲(chǔ)器、通信模塊、傳輸系統(tǒng)融入到各種產(chǎn)品中，使得產(chǎn)品具備動(dòng)態(tài)存儲(chǔ)、感知和通信能力，實(shí)現(xiàn)產(chǎn)品的可追溯、可識(shí)別、可定位。目前互聯(lián)網(wǎng)汽車、工程機(jī)械、智能家電等是產(chǎn)品智能化的熱點(diǎn)領(lǐng)域。深入拓展行業(yè)應(yīng)用工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)通過(guò)網(wǎng)絡(luò)與企業(yè)管理平臺(tái)連接，企業(yè)管理平臺(tái)可以運(yùn)用無(wú)線網(wǎng)絡(luò)、視頻遠(yuǎn)程故障診斷等信息服務(wù)系統(tǒng)，遠(yuǎn)程監(jiān)控設(shè)備的運(yùn)轉(zhuǎn)情況，并基于工業(yè)大數(shù)據(jù)實(shí)現(xiàn)故障預(yù)警，有針對(duì)性地提供維修等服務(wù)，實(shí)現(xiàn)“服務(wù)型制造”。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點(diǎn)全要素全要素就是說(shuō)產(chǎn)品數(shù)據(jù)的完整性,它攜帶了全部的尺寸、工藝、制造、售后使用的信息。01全方位關(guān)注產(chǎn)品設(shè)計(jì)、制造、采購(gòu)、使用等上下游信息。03全過(guò)程數(shù)據(jù)的設(shè)計(jì)和使用，必須要考慮跨越不同的設(shè)計(jì)、制造階段。02全融合萬(wàn)物互聯(lián)意識(shí)，關(guān)注企業(yè)各業(yè)務(wù)的全面關(guān)聯(lián)及融合。04大數(shù)據(jù)對(duì)企業(yè)的應(yīng)用價(jià)值體現(xiàn)31542自助分析、生產(chǎn)管道可視化、資源解耦隨需而動(dòng)，營(yíng)銷實(shí)時(shí)，以業(yè)務(wù)效率提升為標(biāo)志。提升業(yè)務(wù)效率數(shù)據(jù)集中到數(shù)據(jù)中心，多數(shù)據(jù)源管理，透明服務(wù)支持，實(shí)時(shí)的決策和預(yù)測(cè)能力提升整體經(jīng)營(yíng)管理水平。增強(qiáng)管理水平數(shù)據(jù)開放服務(wù)、租售數(shù)據(jù)、廣告等新業(yè)務(wù).創(chuàng)新商業(yè)模式互聯(lián)網(wǎng)化的電子渠道全景體驗(yàn)、個(gè)性化商品推薦、LBS位置營(yíng)銷、面向客戶個(gè)體的深度洞察提升客戶體驗(yàn)以技術(shù)驅(qū)動(dòng)為標(biāo)志，內(nèi)存計(jì)算、MPP、CEP…分而治之的分布式計(jì)算讓運(yùn)營(yíng)商實(shí)時(shí)高效決策….技術(shù)高效、低成本挖掘工業(yè)大數(shù)據(jù)價(jià)值的核心技術(shù)——CPS

分析手段工藝、效率和產(chǎn)能商業(yè)模式內(nèi)核數(shù)據(jù)和知識(shí)建模智能設(shè)備平臺(tái)基礎(chǔ)測(cè)量材料設(shè)備維護(hù)6M6CCPS定義:從實(shí)體空間的對(duì)象、環(huán)境、活動(dòng)中進(jìn)行大數(shù)據(jù)的采集、儲(chǔ)存、建模、分析、挖掘、評(píng)估、預(yù)測(cè)、優(yōu)化、協(xié)同，并與對(duì)象的設(shè)計(jì)、測(cè)試和運(yùn)行性能表征相結(jié)合，產(chǎn)生與實(shí)體空間深度融合、實(shí)時(shí)交互、互相耦合、互相更新的網(wǎng)絡(luò)空間；進(jìn)而，通過(guò)自感知、自記憶、自認(rèn)知、自決策、自重構(gòu)和智能支持促進(jìn)工業(yè)資產(chǎn)的全面智能化.工業(yè)大數(shù)據(jù)云平臺(tái)實(shí)現(xiàn)路徑擴(kuò)展性增量式的、幾乎無(wú)限的擴(kuò)展可用性要求系統(tǒng)總是在線運(yùn)行靈活性靈活可動(dòng)態(tài)改變的數(shù)據(jù)模型擴(kuò)展性縱向擴(kuò)展橫向擴(kuò)展分布式資源集中計(jì)算和存儲(chǔ)分布可用性單份數(shù)據(jù)數(shù)據(jù)復(fù)制一致性不要使用分布式事務(wù)處理大數(shù)據(jù)處理的需求和特點(diǎn)背景介紹調(diào)查分析平臺(tái)建設(shè)云平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)應(yīng)用模型算法介紹Contents目錄工業(yè)大數(shù)據(jù)云平臺(tái)建設(shè)終極目標(biāo)IaaS：提供基本的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源。PaaS：中間層，提供對(duì)行業(yè)業(yè)務(wù)應(yīng)用的支持。SaaS：向用戶交付最終業(yè)務(wù)應(yīng)用和數(shù)據(jù)分析。PaaS環(huán)境層：為業(yè)務(wù)應(yīng)用提供支撐的軟件組件、包括各種中間件和數(shù)據(jù)庫(kù)等。以Hadoop為代表的大數(shù)據(jù)處理。PaaS業(yè)務(wù)層：包含了應(yīng)用的后臺(tái)程序，數(shù)據(jù)處理算法以及業(yè)務(wù)數(shù)據(jù)等實(shí)現(xiàn)業(yè)務(wù)能力的元素。PaaS服務(wù)層：將業(yè)務(wù)層的業(yè)務(wù)、算法和數(shù)據(jù)以接口的形式提供給上層的前端應(yīng)用直接訪問。平臺(tái)核心：統(tǒng)一資源+大數(shù)據(jù)+開放服務(wù)云平臺(tái)總體架構(gòu)—22

—

面向一般數(shù)據(jù)中心典型的應(yīng)用場(chǎng)景，提供對(duì)混合IT資源的統(tǒng)一接入，以構(gòu)筑云模式下基礎(chǔ)資源調(diào)度的最佳實(shí)踐。以PaaS能力為核心，將應(yīng)用系統(tǒng)的典型軟件組件以服務(wù)形態(tài)提供，為業(yè)務(wù)系統(tǒng)提供統(tǒng)一環(huán)境支持，并進(jìn)行統(tǒng)一管理和監(jiān)控。將大數(shù)據(jù)平臺(tái)作為典型服務(wù)組件整合到云平臺(tái)中進(jìn)行統(tǒng)一管理，以適應(yīng)未來(lái)應(yīng)用對(duì)大數(shù)據(jù)能力的普遍使用。為用戶提供面向DevOps的統(tǒng)一云服務(wù)業(yè)務(wù)流程，以統(tǒng)一平臺(tái)提供傳統(tǒng)的IaaS和PaaS能力，并貫穿開發(fā)、測(cè)試和生產(chǎn)的全過(guò)程。云平臺(tái)總體架構(gòu)介紹工業(yè)大數(shù)據(jù)平臺(tái)--數(shù)據(jù)業(yè)務(wù)邏輯背景介紹調(diào)查分析平臺(tái)建設(shè)云平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)應(yīng)用模型算法介紹Contents目錄準(zhǔn)實(shí)時(shí)采集批量采集Hadoop平臺(tái)MPP，基于X86平臺(tái)主數(shù)據(jù)倉(cāng)庫(kù)分布式數(shù)據(jù)庫(kù)基于X86平臺(tái)數(shù)據(jù)采集（云化ETL，流數(shù)據(jù)處理、爬蟲）數(shù)據(jù)層獲取層能力層精細(xì)化營(yíng)銷智能運(yùn)營(yíng)物聯(lián)網(wǎng)應(yīng)用應(yīng)用商店客服應(yīng)用基礎(chǔ)分析能力數(shù)據(jù)挖掘能力實(shí)時(shí)分析能力自助分析能力多維分析能力數(shù)據(jù)共享能力指標(biāo)應(yīng)用報(bào)表應(yīng)用主題分析專題分析互聯(lián)網(wǎng)GN口半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源分布式文件系統(tǒng)HDFS記錄明細(xì)數(shù)據(jù)HBaseM/RHive記錄匯總數(shù)據(jù)數(shù)據(jù)統(tǒng)一服務(wù)和開放SQL、FTP、WS、MDX、API、……分布式數(shù)據(jù)庫(kù)（MPP）：存儲(chǔ)加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù)，并提供分布式計(jì)算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉(cāng)庫(kù)輸出KPI和高度匯總數(shù)據(jù)。主數(shù)據(jù)倉(cāng)庫(kù)（與MPP合設(shè)）：存儲(chǔ)指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。Hadoop云平臺(tái)：負(fù)責(zé)存儲(chǔ)海量的流量話單數(shù)據(jù)，提供并行的計(jì)算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力，實(shí)現(xiàn)低成本的存儲(chǔ)和低時(shí)延、高并發(fā)的查詢能力。數(shù)據(jù)開放接口：向大數(shù)據(jù)應(yīng)用方提供大數(shù)據(jù)平臺(tái)的能力。數(shù)據(jù)采集（ETL）：負(fù)責(zé)源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括：1、把原始數(shù)據(jù)加載到Hadoop平臺(tái)。2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫(kù)和主數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用層大數(shù)據(jù)平臺(tái)目標(biāo)架構(gòu)及定位數(shù)據(jù)分級(jí)存儲(chǔ)原則數(shù)據(jù)融合與分級(jí)存儲(chǔ)實(shí)施按數(shù)據(jù)血緣按邏輯層次按業(yè)務(wù)種類按設(shè)備網(wǎng)絡(luò)劃分按設(shè)備物理地址在線、近線、離線按訪問頻度內(nèi)存數(shù)據(jù)庫(kù)按響應(yīng)及時(shí)性內(nèi)存數(shù)據(jù)庫(kù)數(shù)據(jù)生命周期中在線數(shù)據(jù)對(duì)高性能存儲(chǔ)的需求，以及隨著數(shù)據(jù)生命周期的變更，逐漸向一般性能存儲(chǔ)的遷移，是分級(jí)存儲(chǔ)管理的一條主線。同時(shí)兼顧考慮其他分級(jí)原則，共同作用影響數(shù)據(jù)遷移機(jī)制?；谏芷诨谠L問壓力基于業(yè)務(wù)用途基于物理屬性分級(jí)原則高性能磁盤庫(kù)磁帶光盤庫(kù)中低性能磁盤庫(kù)將核心模型（即中度匯總的模型）通過(guò)改造融入到現(xiàn)有主數(shù)據(jù)倉(cāng)庫(kù)的核心模型中，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量。將主數(shù)據(jù)倉(cāng)庫(kù)中的歷史數(shù)據(jù)和清單數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫(kù)，減輕主數(shù)據(jù)倉(cāng)庫(kù)的計(jì)算與存儲(chǔ)壓力并支撐深度數(shù)據(jù)分析。數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)1、核心模型融入主數(shù)據(jù)倉(cāng)庫(kù)主數(shù)據(jù)倉(cāng)庫(kù)2、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)大數(shù)據(jù)平臺(tái)：

數(shù)據(jù)分級(jí)存儲(chǔ)工業(yè)大數(shù)據(jù)平臺(tái)--技術(shù)架構(gòu)源數(shù)據(jù)導(dǎo)入ETL，進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫(kù)?；A(chǔ)數(shù)據(jù)加載到主數(shù)據(jù)倉(cāng)庫(kù)，規(guī)劃保存3年清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫(kù)規(guī)劃保存1+1月，在分布式數(shù)據(jù)庫(kù)內(nèi)完成明細(xì)數(shù)據(jù)和輕度匯總數(shù)據(jù)加工生成，規(guī)劃保存2年ODS數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，如爬到的網(wǎng)頁(yè)數(shù)據(jù)ftp到Hadoop平臺(tái)做長(zhǎng)久保存非結(jié)化數(shù)據(jù)分析處理在Hadoop平臺(tái)完成，產(chǎn)生的結(jié)果加載到分布式數(shù)據(jù)庫(kù)生成KPI和高度匯總數(shù)據(jù)加載到主數(shù)據(jù)倉(cāng)庫(kù)。Hadoop平臺(tái)主數(shù)據(jù)倉(cāng)庫(kù)報(bào)表數(shù)據(jù)標(biāo)簽庫(kù)客戶統(tǒng)一視圖……信息子層話單數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)明細(xì)數(shù)據(jù)層

（DW）輕度匯總層（MK）高度匯總層（MK）應(yīng)用庫(kù)分布式數(shù)據(jù)庫(kù)MPP數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)據(jù)采集ETL互聯(lián)網(wǎng)GN口非結(jié)構(gòu)化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務(wù)平臺(tái)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)源獲取層123465業(yè)務(wù)應(yīng)用通過(guò)數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。7精細(xì)化營(yíng)銷其他應(yīng)用1其他應(yīng)用2指標(biāo)數(shù)據(jù)大數(shù)據(jù)平臺(tái)：

數(shù)據(jù)處理流程數(shù)據(jù)采集--設(shè)備數(shù)據(jù)數(shù)據(jù)采集--實(shí)時(shí)數(shù)據(jù)接入處理數(shù)據(jù)采集--批量數(shù)據(jù)接入處理交互式查詢實(shí)時(shí)在線處理實(shí)時(shí)流處理

批處理基于spark和hadoop的計(jì)算模型，同時(shí)支持批處理、交互式處理、流處理。技術(shù)架構(gòu)解決方案批處理應(yīng)用（分鐘級(jí)別~小時(shí)級(jí)別）OLTP/在線事務(wù)處理應(yīng)用（毫秒~秒級(jí)別）OLAP/在線交互式分析應(yīng)用（秒級(jí)別）實(shí)時(shí)流處理（持續(xù)不斷）技術(shù)架構(gòu)解決方案通常的時(shí)間跨度在數(shù)十秒到數(shù)分鐘之間按數(shù)據(jù)維度進(jìn)行統(tǒng)計(jì)、聚合根據(jù)歷史數(shù)據(jù)進(jìn)行擬合和預(yù)測(cè)計(jì)算數(shù)據(jù)之間的相關(guān)性和模式等適合提供高速在線分析服典型應(yīng)用場(chǎng)景政府各部門數(shù)據(jù)證券交易銀行保險(xiǎn)企業(yè)ERP/CRM等適用于數(shù)據(jù)量在GB到TB的高速數(shù)據(jù)分析通常的時(shí)間跨度在數(shù)百毫秒到數(shù)秒之間數(shù)據(jù)來(lái)源多、高并發(fā)、數(shù)據(jù)處理量達(dá)分析結(jié)果快速響應(yīng)典型應(yīng)用場(chǎng)景社交網(wǎng)絡(luò)分析、關(guān)聯(lián)關(guān)系分析用戶分類、用戶行為預(yù)測(cè)高并發(fā)查詢按主鍵毫秒級(jí)檢索按多維度秒級(jí)檢索按照關(guān)鍵字秒級(jí)檢索交互式查詢實(shí)時(shí)在線處理HDFS：分布式文件系統(tǒng)有較強(qiáng)的容錯(cuò)性可在x86平臺(tái)上運(yùn)行，減少總體成本可擴(kuò)展，能構(gòu)建大規(guī)模的應(yīng)用HBase：非結(jié)構(gòu)化NoSQl分布式數(shù)據(jù)庫(kù)

基于分布式文件系統(tǒng)HDFS，保證數(shù)據(jù)安全列式存儲(chǔ)，節(jié)省存儲(chǔ)空間提供大數(shù)據(jù)量的高速讀寫操作Hive：分布式關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲(chǔ)類SQL的查詢語(yǔ)句，提供大數(shù)據(jù)的統(tǒng)計(jì)和分析操作，適合海量數(shù)據(jù)的批處理通過(guò)MapReduce實(shí)現(xiàn)大規(guī)劃并行計(jì)算MapReduce：大規(guī)劃并行計(jì)算引擎可將任務(wù)分布并行運(yùn)行在一個(gè)集群服務(wù)器中Hadoop平臺(tái)提供了海量數(shù)據(jù)的分布式存儲(chǔ)與處理的框架。基于服務(wù)器本地的計(jì)算與存儲(chǔ)資源，Hadoop集群可以擴(kuò)展到上千臺(tái)服務(wù)器。同時(shí)，Hadoop在設(shè)計(jì)時(shí)充分考慮了硬件設(shè)備的不可靠因素，在軟件層面提供數(shù)據(jù)和計(jì)算的高可靠保證。大數(shù)據(jù)平臺(tái)：Hadoop主要功能HBaseMapReduceHiveHDFS快速的數(shù)據(jù)讀取大數(shù)據(jù)存儲(chǔ)統(tǒng)計(jì)復(fù)雜計(jì)算并行處理技術(shù)基礎(chǔ)研究方向研究方向關(guān)鍵任務(wù)制高點(diǎn)大數(shù)據(jù)可視化挖掘1）新型內(nèi)存迭代數(shù)據(jù)挖掘算法2）數(shù)據(jù)挖掘可視化開發(fā)平臺(tái)3）房地產(chǎn)、金融、電信等機(jī)器學(xué)習(xí)模型研究1）基于內(nèi)存計(jì)算的機(jī)器學(xué)習(xí)算法2）行業(yè)大數(shù)據(jù)深度機(jī)器學(xué)習(xí)模型3）大數(shù)據(jù)可視化挖掘大數(shù)據(jù)內(nèi)存計(jì)算1）基于內(nèi)存的迭代算法研究2）內(nèi)存大數(shù)據(jù)高速統(tǒng)計(jì)分析技術(shù)1）基于大數(shù)據(jù)內(nèi)存的計(jì)算技術(shù)2）國(guó)內(nèi)產(chǎn)品領(lǐng)先大數(shù)據(jù)語(yǔ)義分析1）大數(shù)據(jù)自然語(yǔ)言識(shí)別2）非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)發(fā)現(xiàn)、集成技術(shù)大數(shù)據(jù)平臺(tái)的可視化集成目前是空白領(lǐng)域大數(shù)據(jù)云計(jì)算技術(shù)1）大數(shù)據(jù)云計(jì)算平臺(tái)技術(shù)2）商業(yè)智能云平臺(tái)技術(shù)1）云BI技術(shù)及大數(shù)據(jù)平臺(tái)的核心技術(shù)研究2）大數(shù)據(jù)云BI在國(guó)內(nèi)應(yīng)用是未來(lái)趨勢(shì)，有望建成國(guó)內(nèi)第一家云BI平臺(tái)-技術(shù)基礎(chǔ)研究方向背景介紹調(diào)查分析平臺(tái)建設(shè)云平臺(tái)總體架構(gòu)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)應(yīng)用模型算法介紹Contents目錄大數(shù)據(jù)平臺(tái)應(yīng)用--資產(chǎn)管理服務(wù)大數(shù)據(jù)平臺(tái)應(yīng)用--數(shù)據(jù)管理與服務(wù)大數(shù)據(jù)平臺(tái)應(yīng)用--數(shù)據(jù)分析服務(wù)大數(shù)據(jù)平臺(tái)應(yīng)用--數(shù)據(jù)安全服務(wù)大數(shù)據(jù)平臺(tái)應(yīng)用--數(shù)據(jù)展示智慧公安大數(shù)據(jù)平臺(tái)與

資源中心建設(shè)方案目錄01平臺(tái)總體建設(shè)方案02平臺(tái)功能建設(shè)方案03資源中心建設(shè)方案04平臺(tái)建設(shè)應(yīng)用效果大數(shù)據(jù)平臺(tái)與資源中心構(gòu)建TB級(jí)大數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、挖掘、分析與應(yīng)用能力匯聚數(shù)據(jù)資源形成數(shù)據(jù)資產(chǎn)保護(hù)數(shù)據(jù)安全挖掘數(shù)據(jù)價(jià)值形成業(yè)務(wù)洞察建立數(shù)據(jù)服務(wù)城市管理者城市運(yùn)營(yíng)者城市企業(yè)城市監(jiān)管機(jī)構(gòu)城市居民G安各系統(tǒng)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)社會(huì)數(shù)據(jù)政府機(jī)構(gòu)相關(guān)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)…智慧G安數(shù)據(jù)檢索數(shù)據(jù)計(jì)算決策依據(jù)洞察&建議數(shù)據(jù)統(tǒng)計(jì)、經(jīng)營(yíng)分析、風(fēng)險(xiǎn)預(yù)警、智能服務(wù)、輔助決策&兌現(xiàn)數(shù)據(jù)價(jià)值、賦能G安實(shí)戰(zhàn)、提升治安水平、推動(dòng)社會(huì)發(fā)展平臺(tái)定位：信息引擎&決策中樞平臺(tái)總體建設(shè)目標(biāo)GA大數(shù)據(jù)中心數(shù)據(jù)應(yīng)用自助化數(shù)據(jù)運(yùn)行可視化數(shù)據(jù)組織知識(shí)化數(shù)據(jù)監(jiān)控智能化數(shù)據(jù)處理自動(dòng)化數(shù)據(jù)接入標(biāo)準(zhǔn)化建設(shè)目標(biāo)聚：推進(jìn)G安、交通、應(yīng)急、社保相關(guān)數(shù)據(jù)資源的整合，促進(jìn)政務(wù)數(shù)據(jù)的對(duì)接利用。并逐步推進(jìn)社會(huì)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等數(shù)據(jù)的采集與匯聚。管：構(gòu)建一站式數(shù)據(jù)資產(chǎn)可視化管理，通過(guò)對(duì)數(shù)據(jù)資產(chǎn)的血緣譜系和信息資源目錄的統(tǒng)一管理，實(shí)現(xiàn)GA數(shù)據(jù)的全過(guò)程治理與管理，以及各環(huán)節(jié)的安全與質(zhì)量監(jiān)管。通：實(shí)現(xiàn)基于應(yīng)用場(chǎng)景的數(shù)據(jù)資源共享與管理機(jī)制，推動(dòng)GA大數(shù)據(jù)資源的充分共享，讓數(shù)據(jù)為解決交通擁堵、環(huán)境保護(hù)等各類社會(huì)問題賦能，發(fā)揮g安大數(shù)據(jù)資源的價(jià)值。用：整合數(shù)據(jù)資源并開展數(shù)據(jù)應(yīng)用模型及算法研究，探索數(shù)據(jù)應(yīng)用于服務(wù)模式創(chuàng)新。通過(guò)主題庫(kù)、智能應(yīng)用等方式推動(dòng)在公共安全、城市治理、社會(huì)管理等領(lǐng)域的廣泛深度應(yīng)用。安：打造整體安全管控體系，保證平臺(tái)上各類數(shù)據(jù)在數(shù)據(jù)匯聚、數(shù)據(jù)管理與治理、數(shù)據(jù)加工處理、數(shù)據(jù)應(yīng)用開發(fā)、數(shù)據(jù)共享與開放等全生命周期中的安全防護(hù)能力。平臺(tái)總體建設(shè)方案市g(shù)安大數(shù)據(jù)平臺(tái)與資源中心大數(shù)據(jù)云計(jì)算數(shù)據(jù)整合功能設(shè)計(jì)應(yīng)用發(fā)布需求分析應(yīng)用展示模型設(shè)計(jì)流口管理一R一檔全息感知公共安全數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算數(shù)據(jù)模型治理管理計(jì)算模型數(shù)據(jù)源關(guān)聯(lián)業(yè)務(wù)目標(biāo)業(yè)務(wù)邏輯計(jì)算任務(wù)調(diào)度數(shù)據(jù)安全數(shù)據(jù)應(yīng)用服務(wù)數(shù)據(jù)服務(wù)/能力共享G安社會(huì)資源…交警輿情整合系統(tǒng)數(shù)據(jù)數(shù)據(jù)開放攝像其他…Mac整合設(shè)備數(shù)據(jù)監(jiān)管人員應(yīng)用廠家運(yùn)營(yíng)人員管理人員服務(wù)各方角色CL平臺(tái)總體技術(shù)架構(gòu)平臺(tái)總體應(yīng)用流程抽取配置數(shù)據(jù)摸底數(shù)據(jù)校核模型設(shè)計(jì)元數(shù)據(jù)配置標(biāo)簽維護(hù)分布式文件系統(tǒng)搭建組件適配構(gòu)建抽取平臺(tái)產(chǎn)線服務(wù)部署產(chǎn)線適配產(chǎn)線功能拓展開發(fā)數(shù)據(jù)需求數(shù)據(jù)建模數(shù)據(jù)開發(fā)數(shù)據(jù)調(diào)度數(shù)據(jù)維護(hù)規(guī)范制定平臺(tái)功能建設(shè)數(shù)據(jù)對(duì)接實(shí)施數(shù)據(jù)治理運(yùn)營(yíng)平臺(tái)總體實(shí)施方案資源中心建設(shè)目錄01平臺(tái)總體建設(shè)方案02平臺(tái)功能建設(shè)方案03資源中心建設(shè)方案04平臺(tái)建設(shè)應(yīng)用效果平臺(tái)功能設(shè)計(jì)g安大數(shù)據(jù)中心是一個(gè)系統(tǒng)工程，如果把大數(shù)據(jù)匯聚中心比如成建一棟大樓，平臺(tái)功能建設(shè)相當(dāng)于打地基，把房子的框架搭好，框架穩(wěn)不穩(wěn)，好不好，決定了大樓的基本質(zhì)量。大數(shù)據(jù)平臺(tái)由9大模塊組成，支持至少10000個(gè)數(shù)據(jù)任務(wù)并發(fā)執(zhí)行，系統(tǒng)響應(yīng)時(shí)間均值<=1s，日處理數(shù)據(jù)量峰值10T（相當(dāng)于50億條數(shù)據(jù)）數(shù)據(jù)服務(wù)數(shù)據(jù)安全數(shù)據(jù)運(yùn)維數(shù)據(jù)應(yīng)用數(shù)據(jù)采集平臺(tái)數(shù)據(jù)中心層數(shù)據(jù)開發(fā)調(diào)度平臺(tái)數(shù)據(jù)管理數(shù)據(jù)分析大數(shù)據(jù)中心組成部分平臺(tái)功能架構(gòu)基于g安大數(shù)據(jù)中心的建設(shè)目標(biāo)，結(jié)合市G安G安數(shù)據(jù)與業(yè)務(wù)特點(diǎn)，采用了當(dāng)前最主流的大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)，構(gòu)設(shè)了g安大數(shù)據(jù)中心平臺(tái)。大數(shù)據(jù)基礎(chǔ)平臺(tái)（數(shù)據(jù)存儲(chǔ)、計(jì)算與采集）數(shù)據(jù)管理治理(數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)質(zhì)量管理、統(tǒng)一開發(fā)調(diào)度)數(shù)據(jù)安全管理數(shù)據(jù)可視化統(tǒng)一數(shù)據(jù)門戶基礎(chǔ)支撐平臺(tái)流數(shù)據(jù)接入批數(shù)據(jù)接入源數(shù)據(jù)G安數(shù)據(jù)物聯(lián)設(shè)備數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)流外部數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)…非結(jié)構(gòu)化數(shù)據(jù)支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)流數(shù)據(jù)、設(shè)備數(shù)據(jù)等數(shù)據(jù)的采集處理與存儲(chǔ)；批數(shù)據(jù)處理通過(guò)數(shù)據(jù)采集任務(wù)調(diào)度的方式，根據(jù)時(shí)間戳定時(shí)探查數(shù)據(jù)源數(shù)據(jù)以及結(jié)構(gòu)化文件的變動(dòng)，通過(guò)數(shù)據(jù)采集平臺(tái)的解析，抽取增量數(shù)據(jù)到數(shù)據(jù)資源平臺(tái)；流數(shù)據(jù)處理通過(guò)數(shù)據(jù)資源平臺(tái)內(nèi)獨(dú)立部署kafka消息系統(tǒng)，采用數(shù)據(jù)源推送或自動(dòng)拉取的方式，將流數(shù)據(jù)接入數(shù)據(jù)資源平臺(tái)。主動(dòng)采集&數(shù)據(jù)推送通過(guò)對(duì)數(shù)據(jù)資產(chǎn)的治理，讓系統(tǒng)數(shù)據(jù)更加準(zhǔn)確、一致、完整、安全，降低IT成本；針對(duì)數(shù)據(jù)資產(chǎn)應(yīng)用使得系統(tǒng)數(shù)據(jù)的使用過(guò)程更為人性、便捷、智能，從而提升管理決策水平。關(guān)于數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)是支持系統(tǒng)數(shù)據(jù)資產(chǎn)的分發(fā)、開發(fā)、交易等數(shù)據(jù)嫁接的實(shí)現(xiàn)。從而促進(jìn)數(shù)據(jù)資產(chǎn)的價(jià)值實(shí)現(xiàn)。數(shù)據(jù)資產(chǎn)資產(chǎn)管理主要是針對(duì)數(shù)據(jù)資產(chǎn)類目編制的過(guò)程梳理、明確職責(zé)等內(nèi)容，同時(shí)也可以對(duì)數(shù)據(jù)表的元數(shù)據(jù)信息進(jìn)行有效管理資產(chǎn)總覽從數(shù)據(jù)規(guī)模、類目分布、熱門訪問等多個(gè)角度，對(duì)數(shù)據(jù)資源平臺(tái)上的數(shù)據(jù)資產(chǎn)狀況進(jìn)行全景式展現(xiàn)。資產(chǎn)目錄對(duì)平臺(tái)元數(shù)據(jù)的有序組織，是記錄數(shù)據(jù)體系的保障數(shù)據(jù)類目是目錄信息與服務(wù)、保障與支撐所組成的一個(gè)整體針對(duì)資產(chǎn)的合理組織，需要對(duì)資產(chǎn)進(jìn)行對(duì)應(yīng)分類資產(chǎn)報(bào)告針對(duì)整體平臺(tái)上的對(duì)應(yīng)數(shù)據(jù)，提供定周期了解其對(duì)應(yīng)資產(chǎn)情況，對(duì)總體資產(chǎn)情況進(jìn)行分析。資產(chǎn)地圖通過(guò)元數(shù)據(jù)信息收集、數(shù)據(jù)血緣探查、數(shù)據(jù)權(quán)限申請(qǐng)授權(quán)等手段，幫助數(shù)據(jù)資源平臺(tái)完成數(shù)據(jù)信息的收集和管理，解決數(shù)據(jù)資源平臺(tái)數(shù)據(jù)開發(fā)者有哪些數(shù)據(jù)可用、到哪里可以找到數(shù)據(jù)的難題，并且提升數(shù)據(jù)資源的利用率。實(shí)時(shí)數(shù)據(jù)管理提供針對(duì)實(shí)時(shí)數(shù)據(jù)的元數(shù)據(jù)管理功能，包括：元數(shù)據(jù)采集、元數(shù)據(jù)存儲(chǔ)、元數(shù)據(jù)運(yùn)維、數(shù)據(jù)質(zhì)量檢查、元數(shù)據(jù)分析、權(quán)限管理、數(shù)據(jù)生命周期管理、元數(shù)據(jù)服務(wù)。數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)質(zhì)量管理主要包含對(duì)數(shù)據(jù)完整性、準(zhǔn)確性、鮮活性、權(quán)威性的分析和管理，并對(duì)數(shù)據(jù)進(jìn)行跟蹤、處理和解決，實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量的全程管理，提高數(shù)據(jù)的質(zhì)量。質(zhì)量模型一套規(guī)則質(zhì)檢方案一質(zhì)檢方案二質(zhì)檢方案……and╋╋質(zhì)量模型實(shí)體表數(shù)據(jù)質(zhì)量基礎(chǔ)單元完整性準(zhǔn)確性鮮活性權(quán)威性根據(jù)業(yè)務(wù)需要選擇實(shí)體表和規(guī)則，方案與方案之間相互獨(dú)立，互不干擾。通過(guò)執(zhí)行模型下的質(zhì)檢方案，可以得到用戶關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問題數(shù)據(jù)明細(xì)信息、數(shù)據(jù)質(zhì)量分析結(jié)果等。平臺(tái)能夠提供質(zhì)量規(guī)則配置、質(zhì)量監(jiān)控、問題處理等功能，及時(shí)發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量問題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性，挖掘數(shù)據(jù)更大的價(jià)值空值檢查值域檢查規(guī)范檢查邏輯檢查重復(fù)數(shù)據(jù)檢查及時(shí)性檢查缺失記錄檢查引用完整性檢查……檢查質(zhì)量規(guī)則數(shù)據(jù)質(zhì)量管理數(shù)據(jù)開發(fā)平臺(tái)數(shù)據(jù)開發(fā)完成多種環(huán)境的全量與增量數(shù)據(jù)處理能力，簡(jiǎn)化開發(fā)過(guò)程。統(tǒng)一數(shù)據(jù)開發(fā)入口，支持可視化開發(fā)和原生態(tài)開發(fā)兩種開發(fā)模式，實(shí)現(xiàn)原生態(tài)開發(fā)與可視化編排的互相轉(zhuǎn)換，提升開發(fā)效率，支撐多種混搭數(shù)據(jù)庫(kù)環(huán)境的開發(fā)調(diào)度功能。⊙可視化開發(fā)⊙原生態(tài)開發(fā)統(tǒng)一調(diào)度平臺(tái)以一個(gè)流水線生產(chǎn)為例：傳統(tǒng)做法是單條生產(chǎn)線依賴產(chǎn)品的生產(chǎn)工序進(jìn)行協(xié)同生產(chǎn)。在統(tǒng)一開發(fā)調(diào)度平臺(tái)可以通過(guò)控制中心進(jìn)行作業(yè)命令下發(fā)，狀態(tài)收集進(jìn)行控制，達(dá)到多個(gè)工廠，多條生產(chǎn)線的協(xié)同調(diào)度，實(shí)現(xiàn)數(shù)據(jù)從“采集→加工→對(duì)外應(yīng)用服務(wù)”的全生命周期管理統(tǒng)一調(diào)度管理流程設(shè)計(jì)與管理調(diào)度策略管控任務(wù)調(diào)度控制標(biāo)準(zhǔn)化控件……作業(yè)/任務(wù)管理作業(yè)/任務(wù)調(diào)度作業(yè)/任務(wù)執(zhí)行采集轉(zhuǎn)換加載調(diào)度監(jiān)控?cái)?shù)據(jù)安全管理安全服務(wù)體系平臺(tái)基礎(chǔ)設(shè)備信息源身份認(rèn)證信息數(shù)據(jù)授權(quán)信息安全服務(wù)信息數(shù)據(jù)使用信息g安大數(shù)據(jù)平臺(tái)數(shù)據(jù)流數(shù)據(jù)流安全運(yùn)營(yíng)中心安全服務(wù)信息平臺(tái)安全運(yùn)營(yíng)安全規(guī)范審計(jì)事前：統(tǒng)一身份訪問控制事中：數(shù)據(jù)脫敏數(shù)據(jù)分類分級(jí)事后：安全日志審計(jì)分析風(fēng)險(xiǎn)告警監(jiān)控整體：數(shù)據(jù)安全合規(guī)審查數(shù)據(jù)可視化可視化分析工具提供以簡(jiǎn)單拖拽操作方式，靈活、快速的生成各種報(bào)表，用戶可對(duì)有權(quán)限的數(shù)據(jù)資源進(jìn)行快速的數(shù)據(jù)探索及數(shù)據(jù)可視化分析。專題數(shù)據(jù)，主題數(shù)據(jù)加工完成后，用戶可利用可視化工具開發(fā)可視化報(bào)表，經(jīng)過(guò)測(cè)試發(fā)布上線后，對(duì)外提供可視化服務(wù)拖拽編輯可視化圖表豐富的圖表組件，有多種樣式主題可選基于角色、用戶的權(quán)限管理，以及空間的數(shù)據(jù)隔離圖表數(shù)據(jù)支持導(dǎo)出csv，以便離線分析。統(tǒng)一數(shù)據(jù)門戶構(gòu)建統(tǒng)一的數(shù)據(jù)門戶集成數(shù)據(jù)采集、治理管理、數(shù)據(jù)開發(fā)與數(shù)據(jù)應(yīng)用分析能力，全面打造面向各各角色的一體化數(shù)據(jù)管理與應(yīng)用門戶，對(duì)外提供統(tǒng)一的數(shù)據(jù)管理、集成和應(yīng)用服務(wù)，實(shí)現(xiàn)對(duì)數(shù)據(jù)資產(chǎn)與服務(wù)的協(xié)同管理和應(yīng)用。通過(guò)大，中，小屏實(shí)現(xiàn)數(shù)據(jù)目錄、數(shù)據(jù)應(yīng)用、數(shù)據(jù)地圖、個(gè)人管理等各項(xiàng)門戶目錄的建設(shè)；它提供應(yīng)用集成功能，通過(guò)多種方式整合決策分析應(yīng)用系統(tǒng)開發(fā)的應(yīng)用功能；可根據(jù)角色提供數(shù)據(jù)管理者、數(shù)據(jù)開發(fā)者與數(shù)據(jù)應(yīng)用者門戶；門戶集成的各個(gè)系統(tǒng)界面風(fēng)格上實(shí)現(xiàn)統(tǒng)一，包括列表樣式、頁(yè)面布局頁(yè)面顏色搭配、字體大小、按鈕風(fēng)格等。提供統(tǒng)一數(shù)據(jù)集成、管理與應(yīng)用門戶平臺(tái)技術(shù)特性先進(jìn)的混合計(jì)算架構(gòu)采用離線計(jì)算引擎、流式計(jì)算引擎和分布式數(shù)據(jù)庫(kù)引擎融合技術(shù)架構(gòu)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)提供低成本存儲(chǔ)，并提供低時(shí)延、高并發(fā)查詢和分析功能；結(jié)構(gòu)化數(shù)據(jù)采用分布式數(shù)據(jù)庫(kù)引擎，支持列式存儲(chǔ)、分布式計(jì)算、智能索引等功能，實(shí)現(xiàn)高性能結(jié)構(gòu)化數(shù)據(jù)分析處理；計(jì)算能力強(qiáng)，數(shù)據(jù)分析輔助決策，擴(kuò)展能力強(qiáng)。高性價(jià)比的分布式集群基于x86服務(wù)器本地的計(jì)算與存儲(chǔ)資源，計(jì)算集群可以動(dòng)態(tài)調(diào)整，從數(shù)臺(tái)到數(shù)千臺(tái)之間彈性擴(kuò)展，按需構(gòu)建應(yīng)用，減少總體成本；同時(shí)，在設(shè)計(jì)時(shí)充分考慮了硬件設(shè)備的不可靠因素，在軟件層面提供計(jì)算和存儲(chǔ)的高可靠保證；分布式集群，若干節(jié)點(diǎn)服務(wù)器出問題，數(shù)據(jù)庫(kù)仍可正常使用。云化ETL結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一匯聚接入，“不挑食”；將不同業(yè)務(wù)系統(tǒng)中分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的各種源數(shù)據(jù)中的數(shù)據(jù)進(jìn)行匯聚；支持從DBMS、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、政企單位等各種數(shù)據(jù)源中提取數(shù)據(jù)。數(shù)據(jù)分層和分級(jí)存儲(chǔ)不同數(shù)據(jù)分開存儲(chǔ)，互不影響，防止數(shù)據(jù)相互滲透，保證數(shù)據(jù)安全；把數(shù)據(jù)按照不同階段分為ODS、DWD、DW和ADS數(shù)據(jù)，分別存儲(chǔ)在大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)，滿足不同階段的計(jì)算需求。g安大數(shù)據(jù)平臺(tái)技術(shù)特點(diǎn)平臺(tái)應(yīng)用特性數(shù)據(jù)接入標(biāo)準(zhǔn)化通過(guò)制定接口規(guī)范，支持多源頭采集、多種形態(tài)的數(shù)據(jù)形式，同時(shí)數(shù)據(jù)對(duì)賬清晰明了，同時(shí)通過(guò)設(shè)置預(yù)警閾值，對(duì)源頭的數(shù)據(jù)監(jiān)控，及時(shí)發(fā)現(xiàn)源頭采集問題。數(shù)據(jù)處理自動(dòng)化通過(guò)自動(dòng)化對(duì)標(biāo)、自動(dòng)化作業(yè)等產(chǎn)品、工具，以機(jī)器算法代替人力勞動(dòng)，大大提高生產(chǎn)力。數(shù)據(jù)監(jiān)控智能化通過(guò)定義多種監(jiān)控點(diǎn)及接口規(guī)范，實(shí)現(xiàn)運(yùn)維監(jiān)控的統(tǒng)一管理，結(jié)合多種提醒方式，及時(shí)發(fā)現(xiàn)并解決問題。數(shù)據(jù)組織知識(shí)化通過(guò)分析各系統(tǒng)共享數(shù)據(jù)集，提煉權(quán)威數(shù)據(jù)，形成主數(shù)據(jù)模型。通過(guò)人、車、地址等主題域建模，掌握各主題的內(nèi)在關(guān)系，深度整合，形成以實(shí)體為單位的復(fù)雜的關(guān)系網(wǎng)絡(luò)。數(shù)據(jù)運(yùn)行可視化ETL工具與數(shù)據(jù)治理平臺(tái)有機(jī)結(jié)合，將數(shù)據(jù)治理實(shí)施流程各環(huán)節(jié)通過(guò)平臺(tái)去實(shí)現(xiàn)，由平臺(tái)驅(qū)動(dòng)各產(chǎn)品協(xié)作完成整個(gè)數(shù)據(jù)治理過(guò)程。數(shù)據(jù)應(yīng)用自助化依托服務(wù)總線，建設(shè)統(tǒng)一的服務(wù)平臺(tái)，服務(wù)大廳，通過(guò)服務(wù)權(quán)限和數(shù)據(jù)權(quán)限控制，用戶可自助申請(qǐng)、自助使用、自助評(píng)價(jià)反饋。目錄01平臺(tái)總體建設(shè)方案02平臺(tái)功能建設(shè)方案03資源中心建設(shè)方案04平臺(tái)建設(shè)應(yīng)用效果資源中心總體規(guī)劃共享數(shù)據(jù)對(duì)內(nèi)共享區(qū)大數(shù)據(jù)資源區(qū)離線數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)平臺(tái)中心庫(kù)專題庫(kù)融合庫(kù)基礎(chǔ)庫(kù)主題庫(kù)結(jié)構(gòu)化數(shù)據(jù)公共數(shù)據(jù)庫(kù)層非結(jié)構(gòu)化數(shù)據(jù)重點(diǎn)RY庫(kù)流動(dòng)RK庫(kù)JIN種庫(kù)YU情信息庫(kù)RK主題庫(kù)AN件主題庫(kù)CL主題庫(kù)位置主題庫(kù)貼源數(shù)據(jù)層G安資源社會(huì)資源智能物聯(lián)設(shè)備基礎(chǔ)標(biāo)簽庫(kù)數(shù)據(jù)資源中心建設(shè)相當(dāng)于裝飾整棟大樓，讓大樓更加實(shí)用，滿足入客戶的個(gè)性化需求，為各類應(yīng)用建設(shè)提供基礎(chǔ)數(shù)據(jù)環(huán)境和云計(jì)算支撐?；ヂ?lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)采集范圍數(shù)據(jù)匯聚流程數(shù)據(jù)流向圖數(shù)據(jù)標(biāo)簽建設(shè)構(gòu)建基礎(chǔ)庫(kù)數(shù)據(jù)標(biāo)簽?zāi)０鍞?shù)據(jù)標(biāo)簽管理分類查詢功能分類統(tǒng)計(jì)提供數(shù)據(jù)標(biāo)簽?zāi)０婀芾砉δ?，可?duì)數(shù)據(jù)標(biāo)簽?zāi)０暹M(jìn)行編輯修改。提供數(shù)據(jù)標(biāo)簽管理功能，滿足數(shù)據(jù)資產(chǎn)業(yè)務(wù)屬性隨業(yè)務(wù)發(fā)生變化時(shí)數(shù)據(jù)資產(chǎn)標(biāo)簽?zāi)軌蜢`活變化。提供數(shù)據(jù)資產(chǎn)分類查詢功能，可通過(guò)選取分類標(biāo)簽中具體的屬性標(biāo)簽對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行篩查。提供數(shù)據(jù)資產(chǎn)分類統(tǒng)計(jì)功能，可對(duì)各種標(biāo)簽屬性的數(shù)據(jù)資產(chǎn)進(jìn)行分類統(tǒng)計(jì)，并形成統(tǒng)計(jì)報(bào)表，供使用人員查詢不同屬性數(shù)據(jù)資產(chǎn)的整體統(tǒng)計(jì)情況。數(shù)據(jù)標(biāo)簽體系數(shù)據(jù)治理涵蓋了數(shù)據(jù)的全局治理和過(guò)程管控，是數(shù)據(jù)可用的前提，只有確保數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化，可信可用，才能進(jìn)一步通過(guò)數(shù)據(jù)運(yùn)營(yíng)與應(yīng)用實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理，發(fā)現(xiàn)數(shù)據(jù)問題、發(fā)掘數(shù)據(jù)價(jià)值，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的盤活和有效利用。數(shù)據(jù)管理平臺(tái)基于元模型驅(qū)動(dòng)模式，構(gòu)建一體化的數(shù)據(jù)資產(chǎn)管控，實(shí)現(xiàn)全流程、全生命周期和全景式的“三全”治理，確保每一份數(shù)據(jù)資產(chǎn)皆可靠、可信、可用；通過(guò)對(duì)數(shù)據(jù)、應(yīng)用、