實(shí)時(shí)大數(shù)據(jù)分析及可視化展示平臺(tái)解決方案

實(shí)時(shí)大數(shù)據(jù)分析及可視化展示平臺(tái)技術(shù)創(chuàng)新，變革未來黨政信息化第一品牌黨政信息化第一品牌DreamPortal智能門戶：電腦端移勱端（蘋果、安卐）DreamFormDreamSM主題集市DreamSearch智能檢索DreamPortal智能門戶：電腦端移勱端（蘋果、安卐）DreamFormDreamSM主題集市DreamSearch智能檢索數(shù)據(jù)處理分析挖掘復(fù)雜處理引擎智能分析 Jdbc/odbcR/scala/python基于內(nèi)存分布式OLAP數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫DreamSpider數(shù)據(jù)生產(chǎn)提供系統(tǒng)外部數(shù)據(jù)：結(jié)構(gòu)化數(shù)據(jù)、非機(jī)構(gòu)化數(shù)據(jù)內(nèi)部系統(tǒng)：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)交換引擎數(shù)據(jù)清洗加載DreamBigDataSolution（夢創(chuàng)大數(shù)據(jù)解決方案）DreamMM元數(shù)據(jù)管理DreambaseDreambase-產(chǎn)品特性黨政信息化第一品牌1.支持MPP，自勱線性勱態(tài)擴(kuò)展至數(shù)百臺(tái)集群；2.提供全面的SQL支持，幵提供多平臺(tái)的SQL驅(qū)勱；3.在大數(shù)據(jù)情況下，對數(shù)據(jù)進(jìn)行秒級的實(shí)時(shí)分析，包括復(fù)雜查詢，以及多個(gè)大表之間的Join；4.數(shù)據(jù)保存在HDFS上面，保證數(shù)據(jù)可靠性；5.采用通用的x86硬件，成本低；DreambaseDreambase-核心技術(shù)黨政信息化第一品牌數(shù)據(jù)源數(shù)據(jù)源wr勱態(tài)數(shù)據(jù)分發(fā)wr勱態(tài)數(shù)據(jù)分發(fā)復(fù)制復(fù)制InIn-MemoryComputingDreambaseDreambase-核心技術(shù)黨政信息化第一品牌趙男趙男錢男孫男李男周女?減少I/O?高效的數(shù)據(jù)壓縮?快速數(shù)據(jù)過濾勱態(tài)數(shù)據(jù)分發(fā)?字典Encoding勱態(tài)數(shù)據(jù)分發(fā)?數(shù)據(jù)自動(dòng)排序?映射到存儲(chǔ)InIn-MemoryComputing趙趙男錢男孫男李男周女趙錢孫李周男男男男女DreambaseDreambase-核心技術(shù)黨政信息化第一品牌 MPP1.BROADCAST：讓較小的表能夠完整地分發(fā)到每個(gè)DataNode上，這樣能快速地完成兩表之間的Join，幵丏盡可能地降低網(wǎng)絡(luò)I/O MPP1.BROADCAST：讓較小的表能夠完整地分發(fā)到每個(gè)DataNode上，這樣能快速地完成兩表之間的Join，幵丏盡可能地降低網(wǎng)絡(luò)I/O； 2.REHASH：讓兩個(gè)大表能夠一起勱態(tài)再分配（Hash機(jī)制），使的每個(gè)DataNode能獲取到其所3.LOCALIZE：在導(dǎo)入數(shù)據(jù)的時(shí)候，預(yù)先完成In-MemoryComputingBroadcast呾Hash來進(jìn)一步提升性能；4.PIPLINE：只要收到Join數(shù)據(jù)的一部分，就開始執(zhí)行Join，而丌是等待所有數(shù)據(jù)；DreambaseDreambase-核心技術(shù)黨政信息化第一品牌1.VectorProcessing：在執(zhí)行SQL指令的時(shí)候，使用最新的INTELSSE4.1呾SSE4.2指令集來加快指令執(zhí)行；勱態(tài)數(shù)據(jù)分發(fā)2.RuntimeCodeGeneration：能在執(zhí)行查詢前，勱態(tài)編譯查詢指令，從而避免傳統(tǒng)非常耗時(shí)的勱態(tài)數(shù)據(jù)分發(fā)Switch-Case，幵丏提高Cache命中率；InIn-MemoryComputing3.SSD/DiskSupport：數(shù)據(jù)丌一定需要限定在內(nèi)存中，數(shù)據(jù)在SSD呾硬盤中依舊可以享受內(nèi)存計(jì)算的好處；DreambaseDreambase-查詢示例1：TPC-HQ3黨政信息化第一品牌在16臺(tái)低配服務(wù)器上面，做了2張大表（分別6億，1.5億）和1張中表（1.5千萬）的三表Join，查詢耗時(shí)僅為4.2秒?。。。。。?！DreambaseDreambase-查詢示例2：TPC-HQ4黨政信息化第一品牌DreamMM-DreamMM-元數(shù)據(jù)管理黨政信息化第一品牌為各類業(yè)務(wù)數(shù)據(jù)提供統(tǒng)一的管理與描述，功能包括：指標(biāo)元數(shù)據(jù)管理代碼元數(shù)據(jù)管理存儲(chǔ)模型管理審核關(guān)系管理版本管理血緣追溯統(tǒng)計(jì)專網(wǎng)DreamEx-數(shù)據(jù)交換黨政信息化第一品牌統(tǒng)計(jì)專網(wǎng)DreamEx-數(shù)據(jù)交換黨政信息化第一品牌縣級交換節(jié)點(diǎn)政務(wù)外網(wǎng)數(shù)據(jù)中心交換前置機(jī)政務(wù)外網(wǎng)數(shù)據(jù)中心縣級交換節(jié)點(diǎn)縣級交換節(jié)點(diǎn)數(shù)據(jù)交換統(tǒng)計(jì)專網(wǎng)地市交換節(jié)點(diǎn)縣級交換節(jié)點(diǎn)交換前置機(jī)數(shù)據(jù)交換統(tǒng)計(jì)專網(wǎng)地市交換節(jié)點(diǎn)縣級交換節(jié)點(diǎn)交換前置機(jī)海量存儲(chǔ)配置數(shù)據(jù)庫交換門戶交換管理交換應(yīng)用服務(wù)海量存儲(chǔ)配置數(shù)據(jù)庫交換門戶交換管理交換應(yīng)用服務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)庫系統(tǒng)辦公系統(tǒng)地市交換節(jié)點(diǎn)網(wǎng)頁社交縣級交換節(jié)點(diǎn)現(xiàn)有應(yīng)用群現(xiàn)有數(shù)據(jù)庫Web服務(wù)各專業(yè)縣級交換節(jié)點(diǎn)地市交換節(jié)點(diǎn)交換前置機(jī)數(shù)據(jù)探針接口因特網(wǎng)應(yīng)用系統(tǒng)數(shù)據(jù)庫系統(tǒng)辦公系統(tǒng)地市交換節(jié)點(diǎn)網(wǎng)頁社交縣級交換節(jié)點(diǎn)現(xiàn)有應(yīng)用群現(xiàn)有數(shù)據(jù)庫Web服務(wù)各專業(yè)縣級交換節(jié)點(diǎn)地市交換節(jié)點(diǎn)交換前置機(jī)數(shù)據(jù)探針接口因特網(wǎng)縣級交換節(jié)點(diǎn)縣級交換節(jié)點(diǎn)DreamETL-數(shù)據(jù)清洗加載DreamETL-數(shù)據(jù)清洗加載實(shí)現(xiàn)各級業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取和加載，主要功能包括：數(shù)據(jù)源管理數(shù)據(jù)關(guān)系匹配與轉(zhuǎn)換規(guī)則審核規(guī)則設(shè)置數(shù)據(jù)交換流程管理數(shù)據(jù)交換引擎任務(wù)異常監(jiān)控黨政信息化第一品牌技術(shù)參數(shù)要求包括：?支持多種數(shù)據(jù)格式的數(shù)據(jù)交換，包括：關(guān)系型數(shù)據(jù)庫：MS-SQLServer、MYSQL、Oracle、DB2等；數(shù)據(jù)接口：API，WebService，RestFul等；?支持?jǐn)帱c(diǎn)續(xù)傳及異常數(shù)據(jù)審核、回滾等交換機(jī)制。?具有靈活的可編程性、模塊化的設(shè)計(jì)能力，數(shù)據(jù)處理流程，客戶自定義腳本和函數(shù)等具備可重用性；?支持增量抽取的處理方式，增量加載的處理方式；?支持元數(shù)據(jù)的管理，能提供動(dòng)態(tài)的影響分析，能與前端報(bào)表系統(tǒng)結(jié)合，分析報(bào)表到業(yè)務(wù)系統(tǒng)的血緣分析關(guān)系；?支持?jǐn)?shù)據(jù)交換任務(wù)的發(fā)布與執(zhí)行監(jiān)控，如任務(wù)的執(zhí)行計(jì)劃制定、定期執(zhí)行、人工執(zhí)行、結(jié)果反饋、異常監(jiān)控。DreamBI-DreamBI-即席查詢黨政信息化第一品牌即席查詢功能提供一個(gè)靈活的查詢工具，用戶可以根據(jù)自己的需要，靈活的設(shè)置查詢項(xiàng)及查即席查詢功能提供一個(gè)靈活的查詢工具，用戶可以根據(jù)自己的需要，靈活的設(shè)置查詢項(xiàng)及查詢條件，同時(shí)支持查詢條件的任意組合及與或關(guān)系。功能點(diǎn)包括：自由的選擇查詢項(xiàng)，支持TOPN查詢；查詢條件的自由設(shè)置與任意組合，同時(shí)支持介于、屬于列表等條件設(shè)置；查詢結(jié)果的排序項(xiàng)可設(shè)置多個(gè)，并支持單獨(dú)設(shè)置升降序；查詢方式可保存成查詢模板，發(fā)布給其他人使用；查詢結(jié)果支持各種類型發(fā)布，包括生成DreamBI-多維在線分析DreamBI-多維在線分析黨政信息化第一品牌為用戶提供可視化、簡單易用的多維在線分析（OLAP）工具，通過鼠標(biāo)拖拽的方式，實(shí)現(xiàn)復(fù)雜多變的報(bào)表分析與展示。具體功能包括：維度、指標(biāo)可以任意組合,實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)以及分類匯總；通過查詢模版設(shè)置與統(tǒng)計(jì)報(bào)表設(shè)置的結(jié)合，實(shí)現(xiàn)條件查詢、模糊查詢、組合查詢、關(guān)鍵字搜索，支持切片過濾;支持Excel，Html格式的報(bào)表導(dǎo)出導(dǎo)出;支持行列互換以及數(shù)據(jù)的上鉆、下鉆操作；支持派生指標(biāo)；支持交互式的圖表展現(xiàn),圖表導(dǎo)出PNG、JEPG、DreamBI-智能圖表DreamBI-智能圖表黨政信息化第一品牌智能圖表會(huì)提供圖表制定工具，用戶可以自行設(shè)置圖表展現(xiàn)形式，圖表間聯(lián)動(dòng)交互邏輯等，包括：1、可視化的、拖拽式的、所見即所得圖表設(shè)置工具；2、支持圖表觸發(fā)事件的邏輯設(shè)置，支持圖表交互；4、支持儀表盤、駕駛艙等展現(xiàn)模5、支持移動(dòng)端的數(shù)據(jù)及圖表展示；6、支持與GIS系統(tǒng)結(jié)合。DreamDM–智能挖掘集成開源的統(tǒng)計(jì)分黨政信息化第一品牌DreamDM–智能挖掘集成開源的統(tǒng)計(jì)分黨政信息化第一品牌析語言（R語言），并支持SAS、SPSS等常用挖掘分析工具用戶可以自己編寫數(shù)據(jù)挖掘算法；支持：在線編譯可視化分析數(shù)據(jù)和圖表互動(dòng)算法模型管理DreamFormDreamForm-數(shù)據(jù)報(bào)送黨政信息化第一品牌全流程的任務(wù)管控傻瓜式的問卷設(shè)計(jì)靈活的樣本抽取多樣的調(diào)查手段豐富的調(diào)查渠道精確的質(zhì)量控制方便快捷的數(shù)據(jù)處理與分析DreamForm-數(shù)據(jù)報(bào)送可視化的問卷設(shè)置工具，用戶可以通過拖拽的方式完成問卷的指定，同時(shí)支持從調(diào)查制DreamForm-數(shù)據(jù)報(bào)送可視化的問卷設(shè)置工具，用戶可以通過拖拽的方式完成問卷的指定，同時(shí)支持從調(diào)查制度導(dǎo)入指標(biāo)自動(dòng)生成移動(dòng)端問卷豐富的問卷題型包括:單選題填空題打分題排序題多項(xiàng)填空題矩陣題音像問答題常用題目模板邏輯跳轉(zhuǎn)黨政信息化第一品牌DreamDP-數(shù)據(jù)處理產(chǎn)值表與單位匯總到行業(yè)中類計(jì)算行業(yè)可比價(jià)DreamDP-數(shù)據(jù)處理產(chǎn)值表與單位匯總到行業(yè)中類計(jì)算行業(yè)可比價(jià)計(jì)算工業(yè)增加值腳本錄制工業(yè)增加值處理腳本DreamDP提供可視化的數(shù)據(jù)管理、加載、審核、查詢、匯總、計(jì)算、組合、報(bào)表制作、圖表制作等基礎(chǔ)處理功能，同時(shí)，用戶可以根據(jù)業(yè)務(wù)的實(shí)際需要，制作自己的批處理腳本。利用自動(dòng)腳本技術(shù)，將用戶的每一步操作錄制成一個(gè)批量操作腳本，并保存成一個(gè)腳本模版，這樣，用戶在完成相同操作的時(shí)候，就可以調(diào)用腳本，一鍵執(zhí)行。方便快捷且不會(huì)出現(xiàn)誤操作。一鍵執(zhí)黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌黨政信息化第一品牌國家發(fā)改委-企業(yè)信用信息可視化分析系國家發(fā)改委-企業(yè)信用信息可視化分析系黨政信息化第一品牌國家發(fā)改委-國家發(fā)改委-政務(wù)大廳統(tǒng)計(jì)分析平黨政信息化第一品牌工信部工信部-大數(shù)據(jù)決策支撐平臺(tái)黨政信息化第一品牌工信部-信息產(chǎn)業(yè)運(yùn)行監(jiān)測平黨政信息化第一品牌工信部-信息產(chǎn)業(yè)運(yùn)行監(jiān)測平農(nóng)業(yè)部-農(nóng)業(yè)專題數(shù)據(jù)分分析系黨政信息化第一品牌農(nóng)業(yè)部-農(nóng)業(yè)專題數(shù)據(jù)分分析系珠海智慧城市-云計(jì)算大數(shù)據(jù)分析服務(wù)平臺(tái)-政策分黨政信息化第一品牌珠海智慧城市-云計(jì)算大數(shù)據(jù)分析服務(wù)平臺(tái)-政策分珠海智慧城市-云計(jì)算大數(shù)據(jù)分析服務(wù)平臺(tái)-經(jīng)濟(jì)分珠海智慧城市-云計(jì)算大數(shù)據(jù)分析服務(wù)平臺(tái)-經(jīng)濟(jì)分上海證券交易所-金融大數(shù)據(jù)信息服務(wù)平黨政信息化第一品牌上海證券交易所-金融大數(shù)據(jù)信息服務(wù)平年800億條歷叱交易數(shù)教育大數(shù)據(jù)決策分析平黨政信息化第一品牌教育大數(shù)據(jù)決策分析平教育大數(shù)據(jù)決策分析平黨政信息化第一品牌教育大數(shù)據(jù)決策分析平黨政信息化第一品牌統(tǒng)計(jì)行業(yè)數(shù)據(jù)資源管理服務(wù)平黨政信息化第一品牌統(tǒng)計(jì)行業(yè)數(shù)據(jù)資源管理服務(wù)平Saas建設(shè)內(nèi)容可概括為“146+N”工程，即：1Saas建設(shè)內(nèi)容可概括為“146+N”工程，即：1：建設(shè)1個(gè)統(tǒng)一規(guī)范的統(tǒng)計(jì)數(shù)據(jù)資源中心；4：面向統(tǒng)計(jì)業(yè)務(wù)人員、部門用戶、企業(yè)、社會(huì)公眾這4類用戶；6：構(gòu)建元數(shù)據(jù)管理、業(yè)務(wù)支撐與協(xié)同、數(shù)據(jù)共享交換，數(shù)據(jù)資源整合、數(shù)據(jù)資源管理、統(tǒng)計(jì)分析等6大基礎(chǔ)支撐平臺(tái)；N：基于支撐平臺(tái)，并結(jié)合不斷變化的業(yè)務(wù)需要，景氣預(yù)警、一張圖、決策支持、數(shù)據(jù)云服務(wù)、監(jiān)測評價(jià)、智能門戶、移動(dòng)應(yīng)用等應(yīng)用系統(tǒng)。經(jīng)濟(jì)發(fā)展一張圖系統(tǒng)共享與發(fā)布數(shù)據(jù)庫共享與發(fā)布數(shù)據(jù)庫企業(yè)名錄庫主題數(shù)據(jù)庫數(shù)據(jù)庫基礎(chǔ)數(shù)據(jù)庫元數(shù)據(jù)庫統(tǒng)計(jì)行業(yè)數(shù)據(jù)資源管理服務(wù)平統(tǒng)計(jì)行業(yè)數(shù)據(jù)資源管理服務(wù)平黨政信息化第一品牌工業(yè)產(chǎn)銷總值及主要產(chǎn)品產(chǎn)量從業(yè)人員及工資總額補(bǔ)全屬性行轉(zhuǎn)列補(bǔ)全屬性行轉(zhuǎn)列一體化存儲(chǔ)統(tǒng)計(jì)行業(yè)數(shù)據(jù)資源管理服務(wù)平黨政信息化第一品牌統(tǒng)計(jì)行業(yè)數(shù)據(jù)資源管理服務(wù)平提供方便快捷的可視化應(yīng)用，通過簡單的拖