大數(shù)據(jù)應用融合解決方案(能源行業(yè))

1、浪潮云海大數(shù)據(jù)一體機暨云計算及大數(shù)據(jù)應用融合解決方案 云計算及大數(shù)據(jù)產(chǎn)品部（Bruce Lee）職業(yè)生涯簡介l Bruce Lee ( 中文名: 李忠旭 ) 博士學位, 畢業(yè)于麻省理工學院和哈佛商學院，專修計算機科學和工商企業(yè)管理，致力理論聯(lián)系實際，應用于日常的管理實踐中。l Inspur Group 云計算&大數(shù)據(jù)總監(jiān) 兼任 首席解決方案架構師 l Greenplum Corporation ( EMC ) 首席技術執(zhí)行官 CTO 兼任 首席解決方案架構師l Google Incorporated ( Google ) R&D 技術總監(jiān) 兼任 GFS 首席架構師 l Gold

2、engate Corporation ( Oracle ) R&D 技術總監(jiān)主持重大國內(nèi)外項目經(jīng)驗l 美國納斯達克數(shù)據(jù)分析應用及決策支持項目l 美國紐約證券交易所指數(shù)預測分析項目l 美國銀行數(shù)據(jù)倉庫及數(shù)據(jù)分析應用（商務智能）項目l 美國 T-Mobil 電信公司數(shù)據(jù)經(jīng)分和信令系統(tǒng)分析項目l 美國谷歌公司 R&D 項目GFS基礎架構總體設計l 中國建設銀行新一代決策支持系統(tǒng)整體方案設計l 中國阿里巴巴集團企業(yè)級數(shù)據(jù)倉庫( 支付寶）項目l 中國華為技術有限公司財經(jīng)體系數(shù)據(jù)分析 R&A 項目l 中國遼寧省公安廳科技信息總隊大數(shù)據(jù)分析系統(tǒng)項目l 中國公安部交通管理科學研究所大數(shù)

3、據(jù)分析研判系統(tǒng)項目 EMC 數(shù)據(jù)分析事業(yè)部 （Pivotal Lab）產(chǎn)品研發(fā)項目（Cloud Foundry，GemFire XD，GP DB，Pivotal HD）單擊此處編輯母版標題樣式 目 錄單擊此處編輯母版標題樣式企業(yè)面臨的挑戰(zhàn)和分析需求云計算、移動計算、社交媒體和大數(shù)據(jù)分析云計算、移動計算、社交媒體和大數(shù)據(jù)分析推動產(chǎn)生新的計算模式。推動產(chǎn)生新的計算模式。該模式該模式進而引發(fā)業(yè)務轉型進而引發(fā)業(yè)務轉型以提升效率以提升效率, 促進法規(guī)遵從促進法規(guī)遵從,提升提升整體業(yè)務可持續(xù)性整體業(yè)務可持續(xù)性以及以客戶為中心以及以客戶為中心。單擊此處編輯母版標題樣式Gartner 發(fā)布的 2012 技術趨

4、勢單擊此處編輯母版標題樣式互聯(lián)網(wǎng)商業(yè)模式對傳統(tǒng)行業(yè)的沖擊單擊此處編輯母版標題樣式數(shù)據(jù)處理的難題及大數(shù)據(jù)革命 收集、存儲和分析數(shù)據(jù)的能力在信息技術帶來的影響中始終占有重要一席。在這個數(shù)字化程度日益提高的時代，您所做的每件事都會有一個電子記錄。 隨著企業(yè)積聚的數(shù)據(jù)越來越多并達到數(shù)百TB，他們紛紛尋求更加尖端的軟件工具對數(shù)據(jù)進行挖掘和分析，從而幫助企業(yè)更好地了解市場和客戶，甚至是幫助企業(yè)對未來作出預測。您如何收集和存儲數(shù)據(jù)？您如何收集和存儲數(shù)據(jù)？ 您如何傳輸數(shù)據(jù)？您如何傳輸數(shù)據(jù)？您如何分析數(shù)據(jù)？您如何分析數(shù)據(jù)？您如何從數(shù)據(jù)獲益？您如何從數(shù)據(jù)獲益？ 單擊此處編輯母版標題樣式大數(shù)據(jù)時代帶來的思考 單擊此

5、處編輯母版標題樣式新時代需要一個全新的計算平臺互聯(lián)網(wǎng)平臺時代，第三代 IT體系的代表單擊此處編輯母版標題樣式互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來實現(xiàn)創(chuàng)新虛虛擬擬化化運運維維自自動動化化PaaSStartups時間時間期望期望值值Innovation GapCloudClient-ServerDevOps, CD/CI, Agile, MicroService單擊此處編輯母版標題樣式大數(shù)據(jù)時代行業(yè)商機無處不在！單擊此處編輯母版標題樣式大數(shù)據(jù)行業(yè)應用 社交媒體單擊此處編輯母版標題樣式大數(shù)據(jù)行業(yè)應用 電商平臺單擊此處編輯母版標題樣式大數(shù)據(jù)行業(yè)應用 互聯(lián)網(wǎng)平臺單擊此處編輯母版標題樣式大數(shù)據(jù)行業(yè)應

6、用 風力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級捕獲傳感器數(shù)據(jù)（如：主軸傳感器、齒輪箱傳感器和定子傳感器等），監(jiān)控單臺風力發(fā)電機運行狀態(tài)以秒級捕獲傳感器數(shù)據(jù)，監(jiān)控風機位置、彼此協(xié)作情況，保證發(fā)電場以最優(yōu)狀態(tài)工作以分鐘級捕獲傳感器數(shù)據(jù)，監(jiān)控輸電狀態(tài)、效率單擊此處編輯母版標題樣式大數(shù)據(jù)行業(yè)應用 工業(yè)互聯(lián)網(wǎng)零部件庫存管理零部件庫存管理資產(chǎn)管理資產(chǎn)管理供應鏈自動化供應鏈自動化工作范圍的自動化工作范圍的自動化場力優(yōu)化場力優(yōu)化監(jiān)控和診斷監(jiān)控和診斷狀態(tài)檢修狀態(tài)檢修停電管理停電管理資產(chǎn)生命周期管理資產(chǎn)生命周期管理物流管理物流管理控制和工廠自動化控制和工廠自動化燃料消耗的優(yōu)化燃料消耗的優(yōu)化排放管理排放管理法規(guī)遵從法規(guī)遵從健

7、康健康&安全保證安全保證運營管理與監(jiān)測系統(tǒng)運營管理與監(jiān)測系統(tǒng)網(wǎng)絡吞吐量的優(yōu)化網(wǎng)絡吞吐量的優(yōu)化終端客戶信息服務終端客戶信息服務單擊此處編輯母版標題樣式云計算改變IT，大數(shù)據(jù)應用重在創(chuàng)新單擊此處編輯母版標題樣式工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點單擊此處編輯母版標題樣式基于分布式內(nèi)存計算技術的IOT邏輯架構單擊此處編輯母版標題樣式云計算改變IT，大數(shù)據(jù)應用重在創(chuàng)新 云計算側重 資源管理，而大數(shù)據(jù)側重 業(yè)務應用。 云計算資源池化的管理模式是大數(shù)據(jù)應用的前提。 云計算提供的存儲和計算資源池可動態(tài)支撐大數(shù)據(jù)分析業(yè)務不斷變化的需求。單擊此處編輯母版標題樣式 目 錄單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的數(shù)據(jù)

8、內(nèi)容及實現(xiàn)技術應用平臺提交請求訪問的數(shù)據(jù)，包括結構化和非結構化兩類在線存儲周期超過數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)適合Hadoop分布式架構管理無法用二維表結構來邏輯表達的無結構性的數(shù)據(jù)。例如文本、音頻數(shù)據(jù)等。適合Hadoop架構方便用數(shù)據(jù)庫的二維表結構來邏輯表達實現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結構字段含義確定，清晰。例如：客戶信息、用電記錄等。是挖掘數(shù)據(jù)價值的主要對象。支持分析型應用，時效性較低支持前臺交易系統(tǒng)查詢需求，具有可靠性高、并發(fā)度大、采集頻率短的特點適合分布式內(nèi)存數(shù)據(jù)處理技術數(shù)據(jù)類別數(shù)據(jù)格式數(shù)據(jù)采集頻度 大數(shù)據(jù)分析應用的數(shù)據(jù)內(nèi)容及實現(xiàn)技術在線數(shù)據(jù)歸檔數(shù)據(jù)非結構化數(shù)據(jù)結構化數(shù)據(jù)準實時數(shù)據(jù)非實時數(shù)據(jù)面向貼源數(shù)據(jù)

9、查詢和主題數(shù)據(jù)整合。數(shù)據(jù)區(qū)，適合X86MPP數(shù)據(jù)庫集群范式化模型數(shù)據(jù)面向分析類應用。對應ADW，適合MPP數(shù)據(jù)庫集群維度模型數(shù)據(jù)數(shù)據(jù)模型單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的關鍵核心技術大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈） 關系型數(shù)據(jù)庫, NoSQL, 流計算，SQL on Hadoop, OLAP on Hadoop, OLTP on Hadoop，Cache 緩存，In-Memory DB, In-Memory Data Grid，非關系型數(shù)據(jù)庫，等等 。單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的關鍵技術之一分布式內(nèi)存數(shù)據(jù)庫MPP 分布式數(shù)據(jù)庫流式處理 Hadoop 分析框架體系單擊此處編輯

10、母版標題樣式大數(shù)據(jù)分析應用的關鍵技術之一PaaS 平臺彈性運行時環(huán)境監(jiān)控管理層物理資源層PaaS 服務層業(yè)務應用層IAAS InterfacePaaS 運行時環(huán)境運行時環(huán)境Services Interface PaaS Service應用中間件Hadoop消息中間件 SQL 數(shù)據(jù)庫NoSQL 數(shù)據(jù)庫安全管理資源管理配置管理服務目錄服務管理性能監(jiān)控資源監(jiān)控存儲設備計算資源池存儲資源池網(wǎng)絡資源池計算機網(wǎng)絡設備分析研判類應用預測預警類應用動態(tài)監(jiān)控類應用信息處理類應用 IaaS服務層單擊此處編輯母版標題樣式大數(shù)據(jù)時代平臺產(chǎn)品的關鍵能力真正無共享的海量并行處理架構工業(yè)標準的X86平臺服務器資源按需分配，

11、按需搭建集群，按需縮放集群規(guī)模增加節(jié)點可線性增加存儲、查詢和加載性能支持在線擴容，擴容期間保證系統(tǒng)繼續(xù)對外提供服務保證用戶不被專有平臺鎖定企業(yè)初期投入和后續(xù)擴容的成本可控支持PB級的數(shù)據(jù)處理、存儲和訪問在數(shù)據(jù)加載、處理、訪問等各個環(huán)節(jié)最大化并行處理能力按需分配資源（CPU、內(nèi)存、IO）動態(tài)調整資源數(shù)據(jù)鏡像、硬件冗余等多種容錯技術保證系統(tǒng)高可用故障切換和恢復，對用戶透明擴容期間可持續(xù)對外服務直觀的圖形化界面，實時的狀態(tài)監(jiān)控最大限度降低管理員的日常管理和維護工作單擊此處編輯母版標題樣式大數(shù)據(jù)時代催生 PaaS 平臺的變革IaaS: 硬件的自動化管理，人與機器的解耦合 獲得效率/犧牲性能 PaaS：

12、應用的自動化管理，應用與OS的解耦合 獲得彈性/犧牲控制單擊此處編輯母版標題樣式業(yè)務創(chuàng)新需要重新定義企業(yè)級 PaaS支持開放標準并與開源有效互動強調以數(shù)據(jù)為中心 兼顧各種數(shù)據(jù)類型處理充分關注新一代開發(fā)人員和新一代企業(yè)級應用的需求為有效進行實時大容量信息處理而設計同時兼顧與傳統(tǒng)應用的互操作性與傳統(tǒng)技術的有效結合 云支撐平臺數(shù)據(jù)支撐架構應用支撐架構創(chuàng)新：以數(shù)據(jù)支撐為中心創(chuàng)新：以數(shù)據(jù)支撐為中心單擊此處編輯母版標題樣式未來大數(shù)據(jù)分析應用的 PaaS 平臺發(fā)展方向New Data-fabricsInternet-of-thingsPervasive telemetryBig DataFast DataR

13、apid Application Dev & Integration GemfirevFabric Cloud Abstraction & App Automation面向數(shù)據(jù)的企業(yè)級 PaaS平臺快速應用開發(fā)在收集數(shù)量龐大的事件數(shù)據(jù)的同時對特定事件進行實時反應與傳統(tǒng)應用和基礎架構有機配合配合不同云計算平臺實現(xiàn)高效運維和水平擴展存儲并且在非常大量的數(shù)據(jù)上進行分析單擊此處編輯母版標題樣式行業(yè)大數(shù)據(jù)分析應用的數(shù)據(jù)架構設計單擊此處編輯母版標題樣式大數(shù)據(jù)時代云計算及大數(shù)據(jù)融合架構全景圖計算存儲網(wǎng)絡應用運行環(huán)境云平臺管理云平臺安全數(shù)據(jù)批處理（Hadoop）近實時分析（MPP DB）實時數(shù)

14、據(jù)處理應用和數(shù)據(jù)集成應用開發(fā)接口資源和服務交付統(tǒng)一訪問門戶應用容器虛擬機服務器虛擬化存儲虛擬化網(wǎng)絡虛擬化公有云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系統(tǒng)分布式塊存儲分布式對象存儲SAN存儲網(wǎng)關Open FlowvxLanvSwitchAWSACEAzureGAE流處理內(nèi)存數(shù)據(jù)庫HbaseYarnMapReduceHive, Pig, MahoutSQLData DistributeQuery PlannerMPP ExecLoad Balancer分布式緩存消息中間件RDBMS云資源管理運維管理桌面管理業(yè)務流程管理資源計費網(wǎng)絡安全容災備份數(shù)據(jù)和應用

15、訪問權限管理安全審計vRoute單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的 PaaS 平臺產(chǎn)品組合實時的數(shù)據(jù)處理實時的數(shù)據(jù)處理Run-TimeApplications企業(yè)級數(shù)據(jù)倉庫企業(yè)級數(shù)據(jù)倉庫大規(guī)模數(shù)據(jù)存儲大規(guī)模數(shù)據(jù)存儲實時的數(shù)據(jù)實時的數(shù)據(jù)捕獲和共享捕獲和共享分析型數(shù)據(jù)集市分析型數(shù)據(jù)集市單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的資源池拓撲圖存儲系統(tǒng)備份系統(tǒng)存儲系統(tǒng)備份系統(tǒng)K-HAK-HAK-HAK1 -1K1- 2K1 -3K1- 4K1 -5K1- 6TS860TS860TS860TS860核心交換機 虛擬化（非關鍵應用）資源池 物理（核心業(yè)務系統(tǒng)）資源池 物理（大數(shù)據(jù)分析應用）資源池單擊此處

16、編輯母版標題樣式大數(shù)據(jù)分析應用系統(tǒng)架構系統(tǒng)管理體系 ( 日志審計、用戶管理、運維監(jiān)控 )計算資源池存儲資源池網(wǎng)絡資源池平臺層 (PaaS)數(shù)據(jù)存儲層數(shù)據(jù)準備層數(shù)據(jù)處理層數(shù)據(jù)服務層分布式文件系統(tǒng)MPP 數(shù)據(jù)庫分析模型算法引擎挖掘工具應用層(SaaS)基礎設施(IaaS)應用層(SaaS)分析研判類服務預測預警類服務動態(tài)監(jiān)控類服務信息處理類服務大數(shù)據(jù)分析研判系統(tǒng)門戶運營狀態(tài)監(jiān)控決策分析預警安全保障體系 ( 訪問權限控制，防病毒、防入侵 )內(nèi)存計算RDBMS數(shù)據(jù)塊ODS數(shù)據(jù)立方體數(shù)據(jù)立方體數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)集市基礎設施(IaaS)流式處理客戶精準營銷數(shù)據(jù)交換平臺數(shù)據(jù)交換平臺系統(tǒng)管理體系 (

17、 日志審計、用戶管理、運維監(jiān)控 )安全保障體系 ( 訪問權限控制，防病毒、防入侵 )服務總線風險模式識別PaaS平臺彈性運行時環(huán)境平臺彈性運行時環(huán)境云數(shù)據(jù)中心管理平臺云數(shù)據(jù)中心管理平臺單擊此處編輯母版標題樣式 目 錄單擊此處編輯母版標題樣式大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)收集數(shù)據(jù)存儲數(shù)據(jù)處理分析及可視化應用數(shù)據(jù)擁有者數(shù)據(jù)分析技術提供商服務技術提供商最終用戶數(shù)據(jù)采集技術提供商 數(shù)據(jù)采集者 數(shù)據(jù)分析者數(shù)據(jù)服務提供商基礎硬件（服務器、存儲、網(wǎng)絡交換）廠商大數(shù)據(jù)分析軟件平臺（數(shù)據(jù)庫、數(shù)據(jù)倉庫、分布式處理技術等）提供商大數(shù)據(jù)分析一體化產(chǎn)品提供商單擊此處編輯母版標題樣式大數(shù)據(jù)產(chǎn)品線的保障體系l 縮短開

18、發(fā)周期l 實現(xiàn)數(shù)據(jù)共享l 降低管理風險l 提高安全和質量l 資深工程師提供在線指導服務l 專家提供現(xiàn)場指導運維服務l 評估業(yè)務需求l 分析已有基礎設施l 風險評估l 推薦合理方案單擊此處編輯母版標題樣式大數(shù)據(jù)一體機產(chǎn)品定位及軟硬一體化設計方案計算單元： 采用Intel最新 Xeon E5 v3系列處理器，性能相比上一代產(chǎn)品提升 2倍 FPGA 加速卡+CPU對比純CPU性能那個提升 10+倍 系統(tǒng)進行內(nèi)存調度算法優(yōu)化，增強 內(nèi)存訪問速度 采用全文檢索、動態(tài)頁面生成等技術提供 ms級查詢響應存儲單元： 優(yōu)化文件系統(tǒng)熱點數(shù)據(jù)讀取算法，整機磁盤I/O高達 500+MB/s 小文件聚合技術，解決小文件

19、快速寫入問題 SSD 加速緩存與傳統(tǒng)磁盤比較讀性能提升 20倍通信單元： 節(jié)點間通信網(wǎng)絡采用遠程直接數(shù)據(jù)存取技術，能夠支持 1000+節(jié)點 之間同時的大數(shù)據(jù)量傳輸 節(jié)點間網(wǎng)絡采用 40Gb/s 高速網(wǎng)絡，網(wǎng)絡延遲低至 us級單擊此處編輯母版標題樣式MPP 數(shù)據(jù)庫：DaaS 的計算引擎企業(yè)級數(shù)據(jù)倉庫企業(yè)級數(shù)據(jù)倉庫分析型數(shù)據(jù)集市分析型數(shù)據(jù)集市 Greenplum DB: Greenplum DB: DataData asas a a ServiceService的計算引擎的計算引擎Gartner 公司每年發(fā)布關于數(shù)據(jù)倉庫管理系統(tǒng)業(yè)界地位的魔法象限研究報告公司每年發(fā)布關于數(shù)據(jù)倉庫管理系統(tǒng)業(yè)界地位的魔

20、法象限研究報告 報告主要從數(shù)據(jù)倉庫廠商的執(zhí)行力和遠景兩個方面評估報告主要從數(shù)據(jù)倉庫廠商的執(zhí)行力和遠景兩個方面評估 評估對象包括傳統(tǒng)的企業(yè)級數(shù)據(jù)倉庫和新一代的評估對象包括傳統(tǒng)的企業(yè)級數(shù)據(jù)倉庫和新一代的 MPP 并行數(shù)據(jù)庫廠商并行數(shù)據(jù)庫廠商 支持各種規(guī)模、有大量并發(fā)用戶、能管理混合工作負載的數(shù)據(jù)倉庫 具備較高的客戶滿意度和強有力的服務支持 在數(shù)據(jù)倉庫市場有長久的生命力 風險最低、產(chǎn)品成熟度最高Gartner Gartner 對領導者象限的評價對領導者象限的評價 采用前瞻性思維設計的數(shù)據(jù)倉庫 較小的市場領導者，缺乏全球性發(fā)展 缺少較大的本地客戶，因此不易證明其產(chǎn)品的功能和價值 在產(chǎn)品技術領域，某些特

21、性具備前瞻性，但綜合能力需要完善Gartner Gartner 對遠見者象限的評價對遠見者象限的評價單擊此處編輯母版標題樣式 MPP 數(shù)據(jù)庫：極速分析平臺 并行處理架構并行處理架構MPP shared-nothing 架構，基于通用X86平臺PB級以上海量存儲，最大支持10000節(jié)點以上所有節(jié)點并發(fā)IO，實現(xiàn)超大IO吞吐，并行運行SQL 自動化并行自動化并行自動化并行計算,實現(xiàn)超大計算能力使用同傳統(tǒng)DB一樣，加載和運行SQL數(shù)據(jù)多節(jié)點分布及高可用性都由DB自身實現(xiàn) 極佳的橫向擴展性極佳的橫向擴展性在線橫向擴展容量、加載和SQL查詢性能隨節(jié)點線性增加專為專為BI及數(shù)據(jù)分析優(yōu)化及數(shù)據(jù)分析優(yōu)化深度整

22、合統(tǒng)計數(shù)學模塊（SAS, SOLR, MADLIB, R）高性能并行SQL執(zhí)行器 MPP shared - nothing 架構架構構建在構建在X86開放平臺上的并行處理架構開放平臺上的并行處理架構單擊此處編輯母版標題樣式 MPP 數(shù)據(jù)庫：行業(yè)最快的數(shù)據(jù)加載技術 每個每個Rack（16節(jié)點）節(jié)點）,每小時每小時16TB加載性能加載性能 Scatter-Gather Streaming提供性能線性擴張?zhí)峁┬阅芫€性擴張 支持大批量數(shù)據(jù)加載和持續(xù)化的數(shù)據(jù)加載支持大批量數(shù)據(jù)加載和持續(xù)化的數(shù)據(jù)加載 Enable complex data transformations “in-flight” 對對GBK

23、/UTF8/ISO8859字符集的原生支持字符集的原生支持GreenplumOracleExadataNetezzaTeradataSINGLE RACK COMPARISONGreenplum load rates scale linearly with the number of racks, others do not. For example, two racks = 32 TB/HLoad單擊此處編輯母版標題樣式MPP 數(shù)據(jù)庫：高可用性ClientRedundantInterconnectMPSegment ServersPrimaryMaster1 Sync &Failov

24、erProcesses Standby MasterPrimaryDataRAID 5 ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345 提供了全量備份和增量備份功能，保證系統(tǒng)級故障后的數(shù)據(jù)恢復提供了全量備份和增量備份功能，保證系統(tǒng)級故障后的數(shù)據(jù)恢復 對于任一設備的故障，系統(tǒng)數(shù)據(jù)不丟失、提供持續(xù)服務對于任一設備的故障，系統(tǒng)數(shù)據(jù)不丟失、提供持續(xù)服務 多個節(jié)點宕機后，系統(tǒng)性能只降低多個節(jié)點宕機后，系統(tǒng)性能只降低1/6單擊此處編輯母版標題樣式MPP 數(shù)據(jù)庫： 負載管理技術查詢層對運行的查詢提供基本的優(yōu)先級管理對CPU內(nèi)存IO利用率進行定額分配控制單個查

25、詢并發(fā)度會話層每個用戶能夠分配一個資源隊列管理工作允許控制查詢和查詢代價數(shù)據(jù)庫連接層控制多少用戶可以連接。提供的池(允許大量)和(限制數(shù)量)單擊此處編輯母版標題樣式MPP 數(shù)據(jù)庫：Polymorphic Data Storage( 多態(tài)存儲 - 同時支持行存儲及列存儲 )Table CustomerTable CustomerJan 09Feb 09Mar 09Apr 09May 09Jun 09Jul 09Aug 09Sept 09Oct 09Nov 09Column-OrientedColumn-OrientedArchival CompressionArchival Compressio

26、nColumn-OrientedColumn-OrientedFast CompressionFast CompressionRow-OrientedRow-Oriented 提供靈活存儲技術 四種表類型: 普通行表, AO表, 列存儲表, 外部表 兩種壓縮技術: Gzip (levels 1-9), QuickLZ 同一庫內(nèi)甚至同一個表中多種存儲技術混合使用 靈活定義不同表分區(qū)存儲結構 只需定義關鍵字orientation=row|column 允許用戶根據(jù)不同應用場景，達到最優(yōu)性能效果單擊此處編輯母版標題樣式 MPP DB 與 HD 通過gNet無縫集成通過標準接口或編程語言，透明訪問數(shù)據(jù)

27、庫和Hadoop內(nèi)部存儲的數(shù)據(jù) 。單擊此處編輯母版標題樣式大數(shù)據(jù)一體機 SDA 50000SDA 50000 單柜滿配備注數(shù)據(jù)分發(fā)節(jié)點2固定計算交換機2固定管理交換機2固定KVM1固定數(shù)據(jù)庫節(jié)點12配、半配、滿配總內(nèi)存1.5T總核數(shù)192C硬盤總數(shù)量96 可用裸容量56 TB建議使用容量（3副本）18.75TB大數(shù)據(jù)分析系統(tǒng)軟件：MPP 數(shù)據(jù)庫 應用場景 ： 數(shù)據(jù)倉庫應用 / OLAP 多維分析 單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的關鍵技術之一 大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈） 關系型數(shù)據(jù)庫, NoSQL, 流計算，SQL on Hadoop, OLAP on Hadoop, OLTP

28、on Hadoop，Cache 緩存，In-Memory DB, In-Memory Data Grid，非關系型數(shù)據(jù)庫，等等 。單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的關鍵技術之一SQL on Hadoop 最初的設計定位： 專為分析完整事務支持而優(yōu)化的大規(guī)模并行SQL處理引擎 。單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的關鍵技術之一SQL on Hadoop 技術的重要特性和優(yōu)點：l 高度擴展和存儲系統(tǒng)l 業(yè)界領先的性能與動態(tài)流水線l 彈性故障容錯和事務支持l 數(shù)據(jù)管理和分析工具包l 真實的SQL功能 基于成本的世界一流查詢優(yōu)化、領先的邊緣網(wǎng)絡互連 、功能豐富的SQL和分析界面 、并配有事務

29、性存儲子系統(tǒng)的高性能執(zhí)行運行時間 ，是唯一 能夠提供此技術的 Hadoop 查詢引擎 。單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的關鍵技術之一 Hadoop 分析框架體系HDFSHBasePig, Hive, MahoutMap ReduceSqoopFlumeResource Management & WorkflowYarnZookeeperCommand CenterConfigure, Deploy, Monitor, ManageData LoaderHadoopEnterpriseSpringUnified Storage Service XtensionFrameworkC

30、atalogServicesQueryOptimizerDynamic PipeliningANSI SQL + AnalyticsHadoop Virtualization ExtensionDistrubuted In-memory StoreQuery TransactionsIngestion ProcessingHadoop Driver Parallel with CompactionANSI SQL + In-MemoryGemFire XD Real-Time Database ServicesMADlib AlgorithmsHAWQ Advanced Database Se

31、rvices單擊此處編輯母版標題樣式大數(shù)據(jù)產(chǎn)品線 大數(shù)據(jù)一體機 SDA 60000SDA 60000 單柜滿配備注管理節(jié)點2固定，HA計算交換機2固定管理交換機2固定KVM1固定數(shù)據(jù)節(jié)點16配、半配、滿配總內(nèi)存2T總核數(shù)192C硬盤總數(shù)量192可用裸容量768TB建議使用容量（3副本）256TB大數(shù)據(jù)分析系統(tǒng)軟件：Hadoop 系統(tǒng) 應用場景： 海量數(shù)據(jù)離線批處理 / 查詢分析單擊此處編輯母版標題樣式大數(shù)據(jù)分析應用的關鍵技術之一 分布式內(nèi)存數(shù)據(jù)庫DatabasesOther Data Systems文件系統(tǒng)常用的數(shù)據(jù)存儲高吞吐量低延時高伸縮性持續(xù)可用性可靠的事件通知連續(xù)查詢并行執(zhí)行廣域網(wǎng)分布數(shù)

32、據(jù)調用方數(shù)據(jù)持久性分布式內(nèi)存數(shù)據(jù)庫單擊此處編輯母版標題樣式大數(shù)據(jù)一體機 SDA 80000大數(shù)據(jù)分析系統(tǒng)軟件（分布式內(nèi)存數(shù)據(jù)庫）： 應用場景：海量數(shù)據(jù)高并發(fā)查詢 / 實時事務處理 分布式內(nèi)存數(shù)據(jù)庫SDA 80000 單柜滿配備注數(shù)據(jù)分發(fā)節(jié)點2固定，HA計算交換機1固定管理交換機1固定KVM1固定數(shù)據(jù)節(jié)點16配、半配、滿配總內(nèi)存4 T總核數(shù)192 C硬盤總數(shù)量384 塊 單擊此處編輯母版標題樣式PaaS 平臺的核心組件 Cloud Foundry 企業(yè)版單擊此處編輯母版標題樣式Cloud Foundry 企業(yè)版的主要功能 跨云部署機制單擊此處編輯母版標題樣式 PaaS 平臺彈性運行時環(huán)境 Clo

33、ud Foundry 單擊此處編輯母版標題樣式大數(shù)據(jù)一體機 SDA 90000計算單元分布式數(shù)據(jù)處理模塊大數(shù)據(jù)存儲模塊加速器高速交換網(wǎng)絡可視化管理 大數(shù)據(jù)分析處理 PaaS 平臺 大數(shù)據(jù)分析 SaaS 應用預測預警類服務動態(tài)監(jiān)控類服務信息處理類服務存儲單元網(wǎng)絡單元大數(shù)據(jù)分析 PaaS 平臺（一體化集群部署方案） 應用場景： 海量數(shù)據(jù) 存儲 / 分析 / 查詢 / 開發(fā)彈性運行時環(huán)境模塊數(shù)據(jù)服務總線API 接口分析研判類服務單擊此處編輯母版標題樣式單擊此處編輯母版標題樣式公安行業(yè)信息化特點單擊此處編輯母版標題樣式公安行業(yè)面臨的嚴峻形勢和挑戰(zhàn)單擊此處編輯母版標題樣式公安行業(yè)大數(shù)據(jù)應用整體解決方案單擊此處編輯母版標題樣式公安行業(yè)大數(shù)據(jù)分析平臺建設內(nèi)容單擊此處編輯母版標題樣式大數(shù)據(jù)分析平臺分層模型單擊此處編輯母版標題樣式大數(shù)據(jù)