實時大數(shù)據(jù)分析及可視化展示平臺解決方案

實時大數(shù)據(jù)分析及可視化展示平臺技術創(chuàng)新，變革未來黨政信息化第一品牌黨政信息化第一品牌DreamPortal智能門戶：電腦端移勱端（蘋果、安卐）DreamFormDreamSM主題集市DreamSearch智能檢索DreamPortal智能門戶：電腦端移勱端（蘋果、安卐）DreamFormDreamSM主題集市DreamSearch智能檢索數(shù)據(jù)處理分析挖掘復雜處理引擎智能分析 Jdbc/odbcR/scala/python基于內存分布式OLAP數(shù)據(jù)庫關系型數(shù)據(jù)庫DreamSpider數(shù)據(jù)生產(chǎn)提供系統(tǒng)外部數(shù)據(jù)：結構化數(shù)據(jù)、非機構化數(shù)據(jù)內部系統(tǒng)：結構化數(shù)據(jù)、非結構化數(shù)據(jù)數(shù)據(jù)交換引擎數(shù)據(jù)清洗加載DreamBigDataSolution（夢創(chuàng)大數(shù)據(jù)解決方案）DreamMM元數(shù)據(jù)管理DreambaseDreambase-產(chǎn)品特性黨政信息化第一品牌1.支持MPP，自勱線性勱態(tài)擴展至數(shù)百臺集群；2.提供全面的SQL支持，幵提供多平臺的SQL驅勱；3.在大數(shù)據(jù)情況下，對數(shù)據(jù)進行秒級的實時分析，包括復雜查詢，以及多個大表之間的Join；4.數(shù)據(jù)保存在HDFS上面，保證數(shù)據(jù)可靠性；5.采用通用的x86硬件，成本低；DreambaseDreambase-核心技術黨政信息化第一品牌數(shù)據(jù)源數(shù)據(jù)源wr勱態(tài)數(shù)據(jù)分發(fā)wr勱態(tài)數(shù)據(jù)分發(fā)復制復制InIn-MemoryComputingDreambaseDreambase-核心技術黨政信息化第一品牌趙男趙男錢男孫男李男周女?減少I/O?高效的數(shù)據(jù)壓縮?快速數(shù)據(jù)過濾勱態(tài)數(shù)據(jù)分發(fā)?字典Encoding勱態(tài)數(shù)據(jù)分發(fā)?數(shù)據(jù)自動排序?映射到存儲InIn-MemoryComputing趙趙男錢男孫男李男周女趙錢孫李周男男男男女DreambaseDreambase-核心技術黨政信息化第一品牌 MPP1.BROADCAST：讓較小的表能夠完整地分發(fā)到每個DataNode上，這樣能快速地完成兩表之間的Join，幵丏盡可能地降低網(wǎng)絡I/O MPP1.BROADCAST：讓較小的表能夠完整地分發(fā)到每個DataNode上，這樣能快速地完成兩表之間的Join，幵丏盡可能地降低網(wǎng)絡I/O； 2.REHASH：讓兩個大表能夠一起勱態(tài)再分配（Hash機制），使的每個DataNode能獲取到其所3.LOCALIZE：在導入數(shù)據(jù)的時候，預先完成In-MemoryComputingBroadcast呾Hash來進一步提升性能；4.PIPLINE：只要收到Join數(shù)據(jù)的一部分，就開始執(zhí)行Join，而丌是等待所有數(shù)據(jù)；DreambaseDreambase-核心技術黨政信息化第一品牌1.VectorProcessing：在執(zhí)行SQL指令的時候，使用最新的INTELSSE4.1呾SSE4.2指令集來加快指令執(zhí)行；勱態(tài)數(shù)據(jù)分發(fā)2.RuntimeCodeGeneration：能在執(zhí)行查詢前，勱態(tài)編譯查詢指令，從而避免傳統(tǒng)非常耗時的勱態(tài)數(shù)據(jù)分發(fā)Switch-Case，幵丏提高Cache命中率；InIn-MemoryComputing3.SSD/DiskSupport：數(shù)據(jù)丌一定需要限定在內存中，數(shù)據(jù)在SSD呾硬盤中依舊可以享受內存計算的好處；DreambaseDreambase-查詢示例1：TPC-HQ3黨政信息化第一品牌在16臺低配服務器上面，做了2張大表（分別6億，1.5億）和1張中表（1.5千萬）的三表Join，查詢耗時僅為4.2秒?。。。。。?！DreambaseDreambase-查詢示例2：TPC-HQ4黨政信息化第一品牌DreamMM-DreamMM-元數(shù)據(jù)管理黨政信息化第一品牌為各類業(yè)務數(shù)據(jù)提供統(tǒng)一的管理與描述，功能包括：指標元數(shù)據(jù)管理代碼元數(shù)據(jù)管理存儲模型管理審核關系管理版本管理血緣追溯統(tǒng)計專網(wǎng)DreamEx-數(shù)據(jù)交換黨政信息化第一品牌統(tǒng)計專網(wǎng)DreamEx-數(shù)據(jù)交換黨政信息化第一品牌縣級交換節(jié)點政務外網(wǎng)數(shù)據(jù)中心交換前置機政務外網(wǎng)數(shù)據(jù)中心縣級交換節(jié)點縣級交換節(jié)點數(shù)據(jù)交換統(tǒng)計專網(wǎng)地市交換節(jié)點縣級交換節(jié)點交換前置機數(shù)據(jù)交換統(tǒng)計專網(wǎng)地市交換節(jié)點縣級交換節(jié)點交換前置機海量存儲配置數(shù)據(jù)庫交換門戶交換管理交換應用服務海量存儲配置數(shù)據(jù)庫交換門戶交換管理交換應用服務應用系統(tǒng)數(shù)據(jù)庫系統(tǒng)辦公系統(tǒng)地市交換節(jié)點網(wǎng)頁社交縣級交換節(jié)點現(xiàn)有應用群現(xiàn)有數(shù)據(jù)庫Web服務各專業(yè)縣級交換節(jié)點地市交換節(jié)點交換前置機數(shù)據(jù)探針接口因特網(wǎng)應用系統(tǒng)數(shù)據(jù)庫系統(tǒng)辦公系統(tǒng)地市交換節(jié)點網(wǎng)頁社交縣級交換節(jié)點現(xiàn)有應用群現(xiàn)有數(shù)據(jù)庫Web服務各專業(yè)縣級交換節(jié)點地市交換節(jié)點交換前置機數(shù)據(jù)探針接口因特網(wǎng)縣級交換節(jié)點縣級交換節(jié)點DreamETL-數(shù)據(jù)清洗加載DreamETL-數(shù)據(jù)清洗加載實現(xiàn)各級業(yè)務系統(tǒng)的數(shù)據(jù)抽取和加載，主要功能包括：數(shù)據(jù)源管理數(shù)據(jù)關系匹配與轉換規(guī)則審核規(guī)則設置數(shù)據(jù)交換流程管理數(shù)據(jù)交換引擎任務異常監(jiān)控黨政信息化第一品牌技術參數(shù)要求包括：?支持多種數(shù)據(jù)格式的數(shù)據(jù)交換，包括：關系型數(shù)據(jù)庫：MS-SQLServer、MYSQL、Oracle、DB2等；數(shù)據(jù)接口：API，WebService，RestFul等；?支持斷點續(xù)傳及異常數(shù)據(jù)審核、回滾等交換機制。?具有靈活的可編程性、模塊化的設計能力，數(shù)據(jù)處理流程，客戶自定義腳本和函數(shù)等具備可重用性；?支持增量抽取的處理方式，增量加載的處理方式；?支持元數(shù)據(jù)的管理，能提供動態(tài)的影響分析，能與前端報表系統(tǒng)結合，分析報表到業(yè)務系統(tǒng)的血緣分析關系；?支持數(shù)據(jù)交換任務的發(fā)布與執(zhí)行監(jiān)控，如任務的執(zhí)行計劃制定、定期執(zhí)行、人工執(zhí)行、結果反饋、異常監(jiān)控。DreamBI-DreamBI-即席查詢黨政信息化第一品牌即席查詢功能提供一個靈活的查詢工具，用戶可以根據(jù)自己的需要，靈活的設置查詢項及查即席查詢功能提供一個靈活的查詢工具，用戶可以根據(jù)自己的需要，靈活的設置查詢項及查詢條件，同時支持查詢條件的任意組合及與或關系。功能點包括：自由的選擇查詢項，支持TOPN查詢；查詢條件的自由設置與任意組合，同時支持介于、屬于列表等條件設置；查詢結果的排序項可設置多個，并支持單獨設置升降序；查詢方式可保存成查詢模板，發(fā)布給其他人使用；查詢結果支持各種類型發(fā)布，包括生成DreamBI-多維在線分析DreamBI-多維在線分析黨政信息化第一品牌為用戶提供可視化、簡單易用的多維在線分析（OLAP）工具，通過鼠標拖拽的方式，實現(xiàn)復雜多變的報表分析與展示。具體功能包括：維度、指標可以任意組合,實現(xiàn)數(shù)據(jù)的統(tǒng)計以及分類匯總；通過查詢模版設置與統(tǒng)計報表設置的結合，實現(xiàn)條件查詢、模糊查詢、組合查詢、關鍵字搜索，支持切片過濾;支持Excel，Html格式的報表導出導出;支持行列互換以及數(shù)據(jù)的上鉆、下鉆操作；支持派生指標；支持交互式的圖表展現(xiàn),圖表導出PNG、JEPG、DreamBI-智能圖表DreamBI-智能圖表黨政信息化第一品牌智能圖表會提供圖表制定工具，用戶可以自行設置圖表展現(xiàn)形式，圖表間聯(lián)動交互邏輯等，包括：1、可視化的、拖拽式的、所見即所得圖表設置工具；2、支持圖表觸發(fā)事件的邏輯設置，支持圖表交互；4、支持儀表盤、駕駛艙等展現(xiàn)模5、支持移動端的數(shù)據(jù)及圖表展示；6、支持與GIS系統(tǒng)結合。DreamDM–智能挖掘集成開源的統(tǒng)計分黨政信息化第一品牌DreamDM–智能挖掘集成開源的統(tǒng)計分黨政信息化第一品牌析語言（R語言），并支持SAS、SPSS等常用挖掘分析工具用戶可以自己編寫數(shù)據(jù)挖掘算法；支持：在線編譯可視化分析數(shù)據(jù)和圖表互動算法模型管理DreamFormDreamForm-數(shù)據(jù)報送黨政信息化第一品牌全流程的任務管控傻瓜式的問卷設計靈活的樣本抽取多樣的調查手段豐富的調查渠道精確的質量控制方便快捷的數(shù)據(jù)處理與分析DreamForm-數(shù)據(jù)報送可視化的問卷設置工具，用戶可以通過拖拽的方式完成問卷的指定，同時支持從調查制DreamForm-數(shù)據(jù)報送可視化的問卷設置工具，用戶可以通過拖拽的方式完成問卷的指定，同時支持從調查制度導入指標自動生成移動端問卷豐富的問卷題型包括:單選題填空題打分題排序題多項填空題矩陣題音像問答題常用題目模板邏輯跳轉黨政信息化第一品牌DreamDP-數(shù)據(jù)處理產(chǎn)值表與單位匯總到行業(yè)中類計算行業(yè)可比價DreamDP-數(shù)據(jù)處理產(chǎn)值表與單位匯總到行業(yè)中類計算行業(yè)可比價計算工業(yè)增加值腳本錄制工業(yè)增加值處理腳本DreamDP提供可視化的數(shù)據(jù)管理、加載、審核、查詢、匯總、計算、組合、報表制作、圖表制作等基礎處理功能，同時，用戶可以根據(jù)業(yè)務的實際需要，制作自己的批處理腳本。利用自動腳本技術，將用戶的每一步操作錄制成一個批量操作腳本，并保存成一個腳本模版，這樣，用戶在完成相同操作的時候，就可以調用腳本，一鍵執(zhí)行。方便快捷且不會出現(xiàn)誤操作。一鍵執(zhí)黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌國家發(fā)改委-企業(yè)信用信息可視化分析系國家發(fā)改委-企業(yè)信用信息可視化分析系黨政信息化第一品牌國家發(fā)改委-國家發(fā)改委-政務大廳統(tǒng)計分析平黨政信息化第一品牌工信部工信部-大數(shù)據(jù)決策支撐平臺黨政信息化第一品牌工信部-信息產(chǎn)業(yè)運行監(jiān)測平黨政信息化第一品牌工信部-信息產(chǎn)業(yè)運行監(jiān)測平農(nóng)業(yè)部-農(nóng)業(yè)專題數(shù)據(jù)分分析系黨政信息化第一品牌農(nóng)業(yè)部-農(nóng)業(yè)專題數(shù)據(jù)分分析系珠海智慧城市-云計算大數(shù)據(jù)分析服務平臺-政策分黨政信息化第一品牌珠海智慧城市-云計算大數(shù)據(jù)分析服務平臺-政策分珠海智慧城市-云計算大數(shù)據(jù)分析服務平臺-經(jīng)濟分珠海智慧城市-云計算大數(shù)據(jù)分析服務平臺-經(jīng)濟分上海證券交易所-金融大數(shù)據(jù)信息服務平黨政信息化第一品牌上海證券交易所-金融大數(shù)據(jù)信息服務平年800億條歷叱交易數(shù)教育大數(shù)據(jù)決策分析平黨政信息化第一品牌教育大數(shù)據(jù)決策分析平教育大數(shù)據(jù)決策分析平黨政信息化第一品牌教育大數(shù)據(jù)決策分析平黨政信息化第一品牌統(tǒng)計行業(yè)數(shù)據(jù)資源管理服務平黨政信息化第一品牌統(tǒng)計行業(yè)數(shù)據(jù)資源管理服務平Saas建設內容可概括為“146+N”工程，即：1Saas建設內容可概括為“146+N”工程，即：1：建設1個統(tǒng)一規(guī)范的統(tǒng)計數(shù)據(jù)資源中心；4：面向統(tǒng)計業(yè)務人員、部門用戶、企業(yè)、社會公眾這4類用戶；6：構建元數(shù)據(jù)管理、業(yè)務支撐與協(xié)同、數(shù)據(jù)共享交換，數(shù)據(jù)資源整合、數(shù)據(jù)資源管理、統(tǒng)計分析等6大基礎支撐平臺；N：基于支撐平臺，并結合不斷變化的業(yè)務需要，景氣預警、一張圖、決策支持、數(shù)據(jù)云服務、監(jiān)測評價、智能門戶、移動應用等應用系統(tǒng)。經(jīng)濟發(fā)展一張圖系統(tǒng)共享與發(fā)布數(shù)據(jù)庫共享與發(fā)布數(shù)據(jù)庫企業(yè)名錄庫主題數(shù)據(jù)庫數(shù)據(jù)庫基礎數(shù)據(jù)庫元數(shù)據(jù)庫統(tǒng)計行業(yè)數(shù)據(jù)資源管理服務平統(tǒng)計行業(yè)數(shù)據(jù)資源管理服務平黨政信息化第一品牌工業(yè)產(chǎn)銷總值及主要產(chǎn)品產(chǎn)量從業(yè)人員及工資總額補全屬性行轉列補全屬性行轉列一體化存儲統(tǒng)計行業(yè)數(shù)據(jù)資源管理服務平黨政信息化第一品牌統(tǒng)計行業(yè)數(shù)據(jù)資源管理服務平提供方便快捷的可視化應用，通過簡單的拖