




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
云計算及大數(shù)據(jù)應用融合解決方案云計算及大數(shù)據(jù)應用融合解決方案1目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)據(jù)分析應用場景大數(shù)據(jù)時代的來臨目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)企業(yè)面臨的挑戰(zhàn)和分析需求我們知道并且已經(jīng)掌握的知識我們知道并且尚未掌握的知識我們不知道并且尚未掌握的知識云計算、移動計算、社交媒體和大數(shù)據(jù)分析推動產(chǎn)生新的計算模式。該模式進而引發(fā)業(yè)務轉型以提升效率,促進法規(guī)遵從,提升整體業(yè)務可持續(xù)性以及以客戶為中心。企業(yè)面臨的挑戰(zhàn)和分析需求我們不知道云計算、移動計算、社交媒3互聯(lián)網(wǎng)商業(yè)模式對傳統(tǒng)行業(yè)的沖擊互聯(lián)網(wǎng)商業(yè)模式對傳統(tǒng)行業(yè)的沖擊4數(shù)據(jù)處理的難題及大數(shù)據(jù)革命
收集、存儲和分析數(shù)據(jù)的能力在信息技術帶來的影響中始終占有重要一席。在這個數(shù)字化程度日益提高的時代,您所做的每件事都會有一個電子記錄。隨著企業(yè)積聚的數(shù)據(jù)越來越多并達到數(shù)百TB,他們紛紛尋求更加尖端的軟件工具對數(shù)據(jù)進行挖掘和分析,從而幫助企業(yè)更好地了解市場和客戶,甚至是幫助企業(yè)對未來作出預測。您如何收集和存儲數(shù)據(jù)?您如何傳輸數(shù)據(jù)?您如何分析數(shù)據(jù)?您如何從數(shù)據(jù)獲益?數(shù)據(jù)處理的難題及大數(shù)據(jù)革命收集、存儲和分析數(shù)據(jù)5大數(shù)據(jù)時代帶來的思考……大數(shù)據(jù)時代帶來的思考……6新時代需要一個全新的計算平臺互聯(lián)網(wǎng)平臺時代,第三代IT體系的代表新時代需要一個全新的計算平臺互聯(lián)網(wǎng)平臺時代,第三代IT體系7互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來實現(xiàn)創(chuàng)新虛擬化運維自動化PaaS 傳統(tǒng)IT
Startups時間期望值InnovationGapCloudClient-Server互聯(lián)網(wǎng)公司 DevOps,CD/CI,Agile,MicroService互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來實現(xiàn)創(chuàng)新虛擬化運維8大數(shù)據(jù)時代行業(yè)商機無處不在!大數(shù)據(jù)時代行業(yè)商機無處不在!9大數(shù)據(jù)行業(yè)應用–社交媒體大數(shù)據(jù)行業(yè)應用–社交媒體10大數(shù)據(jù)行業(yè)應用–電商平臺大數(shù)據(jù)行業(yè)應用–電商平臺11大數(shù)據(jù)行業(yè)應用–互聯(lián)網(wǎng)平臺大數(shù)據(jù)行業(yè)應用–互聯(lián)網(wǎng)平臺12大數(shù)據(jù)行業(yè)應用–風力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級捕獲傳感器數(shù)據(jù)(如:主軸傳感器、齒輪箱傳感器和定子傳感器等),監(jiān)控單臺風力發(fā)電機運行狀態(tài)以秒級捕獲傳感器數(shù)據(jù),監(jiān)控風機位置、彼此協(xié)作情況,保證發(fā)電場以最優(yōu)狀態(tài)工作以分鐘級捕獲傳感器數(shù)據(jù),監(jiān)控輸電狀態(tài)、效率大數(shù)據(jù)行業(yè)應用–風力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級捕獲傳感13大數(shù)據(jù)行業(yè)應用–工業(yè)互聯(lián)網(wǎng)資產(chǎn)管理零部件庫存管理資產(chǎn)管理供應鏈自動化工作范圍的自動化場力優(yōu)化監(jiān)控和診斷狀態(tài)檢修停電管理資產(chǎn)生命周期管理操作優(yōu)化物流管理控制和工廠自動化燃料消耗的優(yōu)化排放管理法規(guī)遵從健康&安全保證運營管理與監(jiān)測系統(tǒng)網(wǎng)絡吞吐量的優(yōu)化終端客戶信息服務大數(shù)據(jù)行業(yè)應用–工業(yè)互聯(lián)網(wǎng)資產(chǎn)管理操作優(yōu)化14云計算改變IT,大數(shù)據(jù)應用重在創(chuàng)新云計算改變IT,大數(shù)據(jù)應用重在創(chuàng)新15工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點16基于分布式內存計算技術的IOT邏輯架構基于分布式內存計算技術的IOT邏輯架構17云計算改變IT,大數(shù)據(jù)應用重在創(chuàng)新云計算側重資源管理,而大數(shù)據(jù)側重業(yè)務應用。云計算資源池化的管理模式是大數(shù)據(jù)應用的前提。云計算提供的存儲和計算資源池可動態(tài)支撐大數(shù)據(jù)分析業(yè)務不斷變化的需求。云計算改變IT,大數(shù)據(jù)應用重在創(chuàng)新云計算側重資源管理,而大18目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)據(jù)分析應用場景大數(shù)據(jù)時代的來臨目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)大數(shù)據(jù)分析應用的數(shù)據(jù)內容及實現(xiàn)技術應用平臺提交請求訪問的數(shù)據(jù),包括結構化和非結構化兩類在線存儲周期超過數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)適合Hadoop分布式架構管理無法用二維表結構來邏輯表達的無結構性的數(shù)據(jù)。例如文本、音頻數(shù)據(jù)等。適合Hadoop架構方便用數(shù)據(jù)庫的二維表結構來邏輯表達實現(xiàn)的數(shù)據(jù),數(shù)據(jù)結構字段含義確定,清晰。例如:客戶信息、用電記錄等。是挖掘數(shù)據(jù)價值的主要對象。支持分析型應用,時效性較低支持前臺交易系統(tǒng)查詢需求,具有可靠性高、并發(fā)度大、采集頻率短的特點適合分布式內存數(shù)據(jù)處理技術數(shù)據(jù)類別數(shù)據(jù)格式數(shù)據(jù)采集頻度大數(shù)據(jù)分析應用的數(shù)據(jù)內容及實現(xiàn)技術在線數(shù)據(jù)歸檔數(shù)據(jù)非結構化數(shù)據(jù)結構化數(shù)據(jù)準實時數(shù)據(jù)非實時數(shù)據(jù)面向貼源數(shù)據(jù)查詢和主題數(shù)據(jù)整合。數(shù)據(jù)區(qū),適合X86MPP數(shù)據(jù)庫集群范式化模型數(shù)據(jù)面向分析類應用。對應ADW,適合MPP數(shù)據(jù)庫集群維度模型數(shù)據(jù)數(shù)據(jù)模型大數(shù)據(jù)分析應用的數(shù)據(jù)內容及實現(xiàn)技術應用平臺提交請求訪問的數(shù)據(jù)20大數(shù)據(jù)分析應用的關鍵核心技術大數(shù)據(jù)分析套件組合:(完善生態(tài)鏈)
關系型數(shù)據(jù)庫,NoSQL,流計算,SQLonHadoop,OLAPonHadoop,OLTPonHadoop,Cache緩存,In-MemoryDB,In-MemoryDataGrid,非關系型數(shù)據(jù)庫,等等。大數(shù)據(jù)分析應用的關鍵核心技術大數(shù)據(jù)分析套件組合:(完善生態(tài)鏈21大數(shù)據(jù)分析應用的關鍵技術之一分布式內存數(shù)據(jù)庫MPP分布式數(shù)據(jù)庫流式處理
Hadoop分析框架體系大數(shù)據(jù)分析應用的關鍵技術之一分布式內存數(shù)據(jù)庫MPP分布式數(shù)22大數(shù)據(jù)分析應用的關鍵技術之一PaaS平臺彈性運行時環(huán)境監(jiān)控管理層物理資源層PaaS服務層業(yè)務應用層IAASInterfacePaaS運行時環(huán)境ServicesInterfacePaaSService應用中間件Hadoop消息中間件……SQL數(shù)據(jù)庫NoSQL數(shù)據(jù)庫安全管理資源管理配置管理服務目錄服務管理性能監(jiān)控資源監(jiān)控存儲設備計算資源池存儲資源池網(wǎng)絡資源池計算機網(wǎng)絡設備分析研判類應用預測預警類應用動態(tài)監(jiān)控類應用信息處理類應用……IaaS服務層大數(shù)據(jù)分析應用的關鍵技術之一PaaS平臺彈性運行時環(huán)境監(jiān)控23大數(shù)據(jù)時代平臺產(chǎn)品的關鍵能力開放彈性架構真正無共享的海量并行處理架構工業(yè)標準的X86平臺服務器資源按需分配,按需搭建集群,按需縮放集群規(guī)模在線線性擴展增加節(jié)點可線性增加存儲、查詢和加載性能支持在線擴容,擴容期間保證系統(tǒng)繼續(xù)對外提供服務擁有成本可控保證用戶不被專有平臺鎖定企業(yè)初期投入和后續(xù)擴容的成本可控海量并行處理支持PB級的數(shù)據(jù)處理、存儲和訪問在數(shù)據(jù)加載、處理、訪問等各個環(huán)節(jié)最大化并行處理能力優(yōu)秀混合負載按需分配資源(CPU、內存、IO)動態(tài)調整資源平臺持續(xù)可用數(shù)據(jù)鏡像、硬件冗余等多種容錯技術保證系統(tǒng)高可用故障切換和恢復,對用戶透明擴容期間可持續(xù)對外服務易于管理維護直觀的圖形化界面,實時的狀態(tài)監(jiān)控最大限度降低管理員的日常管理和維護工作大數(shù)據(jù)時代平臺產(chǎn)品的關鍵能力開放彈性架構真正無共享的海量并行24大數(shù)據(jù)時代催生PaaS平臺的變革IaaS:硬件的自動化管理,人與機器的解耦合
獲得效率/犧牲性能PaaS:應用的自動化管理,應用與OS的解耦合
獲得彈性/犧牲控制大數(shù)據(jù)時代催生PaaS平臺的變革IaaS:硬件的自25業(yè)務創(chuàng)新需要重新定義企業(yè)級PaaS支持開放標準并與開源有效互動強調以數(shù)據(jù)為中心
兼顧各種數(shù)據(jù)類型處理充分關注新一代開發(fā)人員和新一代企業(yè)級應用的需求為有效進行實時大容量信息處理而設計同時兼顧與傳統(tǒng)應用的互操作性與傳統(tǒng)技術的有效結合云支撐平臺數(shù)據(jù)支撐架構應用支撐架構創(chuàng)新:以數(shù)據(jù)支撐為中心業(yè)務創(chuàng)新需要重新定義企業(yè)級PaaS支持開放標準并與開源有效26未來大數(shù)據(jù)分析應用的PaaS平臺發(fā)展方向NewData-fabricsInternet-of-thingsPervasivetelemetryOpenDataPlatformBigDataFastDataRapidApplicationDev&IntegrationGemfirevFabricCloudAbstraction&AppAutomation面向數(shù)據(jù)的企業(yè)級PaaS平臺快速應用開發(fā)在收集數(shù)量龐大的事件數(shù)據(jù)的同時對特定事件進行實時反應與傳統(tǒng)應用和基礎架構有機配合配合不同云計算平臺實現(xiàn)高效運維和水平擴展存儲并且在非常大量的數(shù)據(jù)上進行分析未來大數(shù)據(jù)分析應用的PaaS平臺發(fā)展方向NewData27行業(yè)大數(shù)據(jù)分析應用的數(shù)據(jù)架構設計行業(yè)大數(shù)據(jù)分析應用的數(shù)據(jù)架構設計28大數(shù)據(jù)時代云計算及大數(shù)據(jù)融合架構全景圖計算存儲網(wǎng)絡應用運行環(huán)境云平臺管理云平臺安全數(shù)據(jù)批處理(Hadoop)近實時分析(MPPDB)實時數(shù)據(jù)處理應用和數(shù)據(jù)集成應用開發(fā)接口資源和服務交付統(tǒng)一訪問門戶應用容器虛擬機服務器虛擬化存儲虛擬化網(wǎng)絡虛擬化公有云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系統(tǒng)分布式塊存儲分布式對象存儲SAN存儲網(wǎng)關OpenFlowvxLanvSwitchAWSACEAzureGAE流處理內存數(shù)據(jù)庫HbaseYarnMapReduceHive,Pig,MahoutSQLDataDistributeQueryPlannerMPPExecLoadBalancer分布式緩存消息中間件RDBMS云資源管理運維管理桌面管理業(yè)務流程管理資源計費網(wǎng)絡安全容災備份數(shù)據(jù)和應用訪問權限管理安全審計vRoute大數(shù)據(jù)時代云計算及大數(shù)據(jù)融合架構全景圖計算存儲網(wǎng)絡應用運行環(huán)29大數(shù)據(jù)分析應用的PaaS平臺產(chǎn)品組合實時的數(shù)據(jù)處理Run-Time
Applications企業(yè)級數(shù)據(jù)倉庫大規(guī)模數(shù)據(jù)存儲實時的數(shù)據(jù)捕獲和共享分析型數(shù)據(jù)集市大數(shù)據(jù)分析應用的PaaS平臺產(chǎn)品組合實時的數(shù)據(jù)處理Run30大數(shù)據(jù)分析應用的資源池拓撲圖存儲系統(tǒng)備份系統(tǒng)…………存儲系統(tǒng)備份系統(tǒng)K-HAK-HAK-HAK1-1K1-2K1-3K1-4K1-5K1-6TS860TS860TS860TS860……核心交換機
虛擬化(非關鍵應用)資源池
物理(核心業(yè)務系統(tǒng))資源池……物理(大數(shù)據(jù)分析應用)資源池大數(shù)據(jù)分析應用的資源池拓撲圖存儲系統(tǒng)備份系統(tǒng)…………存儲系統(tǒng)31大數(shù)據(jù)分析應用系統(tǒng)架構系統(tǒng)管理體系(日志審計、用戶管理、運維監(jiān)控)計算資源池存儲資源池網(wǎng)絡資源池平臺層(PaaS)數(shù)據(jù)存儲層數(shù)據(jù)準備層數(shù)據(jù)處理層數(shù)據(jù)服務層分布式文件系統(tǒng)MPP數(shù)據(jù)庫分析模型算法引擎挖掘工具應用層(SaaS)基礎設施(IaaS)應用層(SaaS)分析研判類服務預測預警類服務動態(tài)監(jiān)控類服務信息處理類服務大數(shù)據(jù)分析研判系統(tǒng)門戶運營狀態(tài)監(jiān)控決策分析預警安全保障體系(訪問權限控制,防病毒、防入侵)內存計算RDBMS數(shù)據(jù)塊ODS數(shù)據(jù)立方體數(shù)據(jù)倉庫數(shù)據(jù)集市基礎設施(IaaS)流式處理客戶精準營銷數(shù)據(jù)交換平臺數(shù)據(jù)交換平臺系統(tǒng)管理體系(日志審計、用戶管理、運維監(jiān)控)安全保障體系(訪問權限控制,防病毒、防入侵)服務總線風險模式識別PaaS平臺彈性運行時環(huán)境云數(shù)據(jù)中心管理平臺大數(shù)據(jù)分析應用系統(tǒng)架構系統(tǒng)管理體系(日志審計、用戶管理、32目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)據(jù)分析應用場景大數(shù)據(jù)時代的來臨目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)收集數(shù)據(jù)存儲數(shù)據(jù)處理分析及可視化應用數(shù)據(jù)擁有者數(shù)據(jù)分析技術提供商服務技術提供商最終用戶數(shù)據(jù)采集技術提供商數(shù)據(jù)采集者
數(shù)據(jù)分析者數(shù)據(jù)服務提供商基礎硬件(服務器、存儲、網(wǎng)絡交換)廠商大數(shù)據(jù)分析軟件平臺(數(shù)據(jù)庫、數(shù)據(jù)倉庫、分布式處理技術等)提供商大數(shù)據(jù)分析一體化產(chǎn)品提供商大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)分析及可視化應用34大數(shù)據(jù)產(chǎn)品線的保障體系1.需求分析2.解決方案3.維護服務縮短開發(fā)周期實現(xiàn)數(shù)據(jù)共享降低管理風險提高安全和質量資深工程師提供在線指導服務專家提供現(xiàn)場指導運維服務評估業(yè)務需求分析已有基礎設施風險評估推薦合理方案大數(shù)據(jù)產(chǎn)品線的保障體系1.需求分析2.解決方案3.維護服務縮35大數(shù)據(jù)一體機產(chǎn)品定位及軟硬一體化設計方案計算單元:采用Intel最新XeonE5v3系列處理器,性能相比上一代產(chǎn)品提升2倍FPGA加速卡+CPU對比純CPU性能那個提升10+倍系統(tǒng)進行內存調度算法優(yōu)化,增強內存訪問速度采用全文檢索、動態(tài)頁面生成等技術提供ms級查詢響應存儲單元:優(yōu)化文件系統(tǒng)熱點數(shù)據(jù)讀取算法,整機磁盤I/O高達500+MB/s小文件聚合技術,解決小文件快速寫入問題SSD加速緩存與傳統(tǒng)磁盤比較讀性能提升20倍通信單元:節(jié)點間通信網(wǎng)絡采用遠程直接數(shù)據(jù)存取技術,能夠支持
1000+節(jié)點
之間同時的大數(shù)據(jù)量傳輸節(jié)點間網(wǎng)絡采用40Gb/s高速網(wǎng)絡,網(wǎng)絡延遲低至us級大數(shù)據(jù)一體機產(chǎn)品定位及軟硬一體化設計方案計算單元:存儲單元:36MPP數(shù)據(jù)庫:DaaS的計算引擎企業(yè)級數(shù)據(jù)倉庫分析型數(shù)據(jù)集市GreenplumDB:
Data
as
a
Service的計算引擎Gartner公司每年發(fā)布關于數(shù)據(jù)倉庫管理系統(tǒng)業(yè)界地位的魔法象限研究報告報告主要從數(shù)據(jù)倉庫廠商的執(zhí)行力和遠景兩個方面評估評估對象包括傳統(tǒng)的企業(yè)級數(shù)據(jù)倉庫和新一代的MPP并行數(shù)據(jù)庫廠商支持各種規(guī)模、有大量并發(fā)用戶、能管理混合工作負載的數(shù)據(jù)倉庫具備較高的客戶滿意度和強有力的服務支持在數(shù)據(jù)倉庫市場有長久的生命力風險最低、產(chǎn)品成熟度最高Gartner對領導者象限的評價采用前瞻性思維設計的數(shù)據(jù)倉庫較小的市場領導者,缺乏全球性發(fā)展缺少較大的本地客戶,因此不易證明其產(chǎn)品的功能和價值在產(chǎn)品技術領域,某些特性具備前瞻性,但綜合能力需要完善Gartner對遠見者象限的評價MPP數(shù)據(jù)庫:DaaS的計算引擎企業(yè)級數(shù)據(jù)倉庫分析型數(shù)據(jù)37MPP數(shù)據(jù)庫:極速分析平臺并行處理架構MPPshared-nothing架構,基于通用X86平臺PB級以上海量存儲,最大支持10000節(jié)點以上所有節(jié)點并發(fā)IO,實現(xiàn)超大IO吞吐,并行運行SQL自動化并行自動化并行計算,實現(xiàn)超大計算能力使用同傳統(tǒng)DB一樣,加載和運行SQL數(shù)據(jù)多節(jié)點分布及高可用性都由DB自身實現(xiàn)極佳的橫向擴展性在線橫向擴展容量、加載和SQL查詢性能隨節(jié)點線性增加專為BI及數(shù)據(jù)分析優(yōu)化深度整合統(tǒng)計數(shù)學模塊(SAS,SOLR,MADLIB,R)高性能并行SQL執(zhí)行器MPPshared-nothing架構構建在X86開放平臺上的并行處理架構MPP數(shù)據(jù)庫:38MPP數(shù)據(jù)庫:行業(yè)最快的數(shù)據(jù)加載技術每個Rack(16節(jié)點),每小時16TB加載性能Scatter-GatherStreaming?提供性能線性擴張支持大批量數(shù)據(jù)加載和持續(xù)化的數(shù)據(jù)加載Enablecomplexdatatransformations“in-flight”對GBK/UTF8/ISO8859字符集的原生支持GreenplumOracle
ExadataNetezzaTeradataSingleRackComparisonGreenplumloadratesscalelinearlywiththenumberofracks,othersdonot.Forexample,tworacks=>32TB/HLoadMPP數(shù)據(jù)庫:行業(yè)最快的數(shù)據(jù)加載技術每個Rack(39MPP數(shù)據(jù)庫:高可用性ClientRedundant
InterconnectMP
Segment
ServersPrimary
Master1Sync&
Failover
ProcessesStandby
MasterPrimaryDataRAID5ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345
提供了全量備份和增量備份功能,保證系統(tǒng)級故障后的數(shù)據(jù)恢復對于任一設備的故障,系統(tǒng)數(shù)據(jù)不丟失、提供持續(xù)服務多個節(jié)點宕機后,系統(tǒng)性能只降低1/6MPP數(shù)據(jù)庫:高可用性ClientRedundant
In40MPP數(shù)據(jù)庫:
負載管理技術查詢層對運行的查詢提供基本的優(yōu)先級管理對CPU\內存\IO利用率進行定額分配控制單個查詢并發(fā)度會話層每個用戶能夠分配一個資源隊列管理工作允許控制查詢和查詢代價數(shù)據(jù)庫連接層控制多少用戶可以連接。提供的池(允許大量)和(限制數(shù)量)MPP數(shù)據(jù)庫:負載管理技術查詢層會話層數(shù)據(jù)庫連接層41MPP數(shù)據(jù)庫:PolymorphicDataStorage?
(
多態(tài)存儲-同時支持行存儲及列存儲)Table‘Customer’Jan’09Feb’09Mar’09Apr’09May’09Jun’09Jul’09Aug’09Sept’09Oct’09Nov’09Column-OrientedArchivalCompressionColumn-OrientedFastCompressionRow-Oriented提供靈活存儲技術四種表類型:普通行表,AO表,列存儲表,外部表兩種壓縮技術:Gzip(levels1-9),QuickLZ同一庫內甚至同一個表中多種存儲技術混合使用靈活定義不同表分區(qū)存儲結構只需定義關鍵字orientation=[row|column]允許用戶根據(jù)不同應用場景,達到最優(yōu)性能效果MPP數(shù)據(jù)庫:PolymorphicDataStora42MPPDB與HD通過gNet無縫集成
通過標準接口或編程語言,透明訪問數(shù)據(jù)庫和Hadoop內部存儲的數(shù)據(jù)。MPPDB與HD43大數(shù)據(jù)一體機SDA50000SDA50000單柜滿配備注數(shù)據(jù)分發(fā)節(jié)點2固定計算交換機2固定管理交換機2固定KVM1固定數(shù)據(jù)庫節(jié)點12?配、半配、滿配總內存1.5T總核數(shù)192C硬盤總數(shù)量96可用裸容量56TB建議使用容量(3副本)18.75TB大數(shù)據(jù)分析系統(tǒng)軟件:MPP數(shù)據(jù)庫應用場景:數(shù)據(jù)倉庫應用/OLAP多維分析
大數(shù)據(jù)一體機SDA50000SDA50000單柜滿配44大數(shù)據(jù)分析應用的關鍵技術之一大數(shù)據(jù)分析套件組合:(完善生態(tài)鏈)
關系型數(shù)據(jù)庫,NoSQL,流計算,SQLonHadoop,OLAPonHadoop,OLTPonHadoop,Cache緩存,In-MemoryDB,In-MemoryDataGrid,非關系型數(shù)據(jù)庫,等等。大數(shù)據(jù)分析應用的關鍵技術之一大數(shù)據(jù)分析套件組合:(完善生態(tài)45大數(shù)據(jù)分析應用的關鍵技術之一SQLonHadoop最初的設計定位:
專為分析完整事務支持而優(yōu)化的大規(guī)模并行SQL處理引擎。大數(shù)據(jù)分析應用的關鍵技術之一SQLonHadoop最初46大數(shù)據(jù)分析應用的關鍵技術之一SQLonHadoop技術的重要特性和優(yōu)點:高度擴展和存儲系統(tǒng)業(yè)界領先的性能與動態(tài)流水線彈性故障容錯和事務支持數(shù)據(jù)管理和分析工具包真實的SQL功能
基于成本的世界一流查詢優(yōu)化、領先的邊緣網(wǎng)絡互連、功能豐富的SQL和分析界面、并配有事務性存儲子系統(tǒng)的高性能執(zhí)行運行時間,是唯一能夠提供此技術的Hadoop查詢引擎。大數(shù)據(jù)分析應用的關鍵技術之一SQLonHadoop技術47大數(shù)據(jù)分析應用的關鍵技術之一
Hadoop分析框架體系HDFSHBasePig,Hive,MahoutMapReduceSqoopFlumeResource
Management
&WorkflowYarnZookeeperCommandCenterConfigure,Deploy,Monitor,ManageDataLoaderHadoop
EnterpriseSpringUnifiedStorageServiceXtension
FrameworkCatalog
ServicesQuery
OptimizerDynamicPipeliningANSISQL+AnalyticsHadoopVirtualizationExtensionDistrubutedIn-memoryStoreQueryTransactionsIngestionProcessingHadoopDriver–
ParallelwithCompactionANSISQL+In-MemoryGemFireXD–Real-TimeDatabaseServicesMADlibAlgorithmsHAWQ–AdvancedDatabaseServices大數(shù)據(jù)分析應用的關鍵技術之一Hadoop分析框架體系HD48大數(shù)據(jù)產(chǎn)品線–大數(shù)據(jù)一體機SDA60000SDA60000單柜滿配備注管理節(jié)點2固定,HA計算交換機2固定管理交換機2固定KVM1固定數(shù)據(jù)節(jié)點16?配、半配、滿配總內存2T總核數(shù)192C硬盤總數(shù)量192可用裸容量768TB建議使用容量(3副本)256TB大數(shù)據(jù)分析系統(tǒng)軟件:Hadoop系統(tǒng)應用場景:海量數(shù)據(jù)離線批處理/查詢分析大數(shù)據(jù)產(chǎn)品線–大數(shù)據(jù)一體機SDA60000SDA649大數(shù)據(jù)分析應用的關鍵技術之一
分布式內存數(shù)據(jù)庫DatabasesOtherDataSystems文件系統(tǒng)常用的數(shù)據(jù)存儲高吞吐量低延時高伸縮性持續(xù)可用性可靠的事件通知連續(xù)查詢并行執(zhí)行廣域網(wǎng)分布數(shù)據(jù)調用方數(shù)據(jù)持久性分布式內存數(shù)據(jù)庫大數(shù)據(jù)分析應用的關鍵技術之一分布式50大數(shù)據(jù)一體機SDA80000大數(shù)據(jù)分析系統(tǒng)軟件(分布式內存數(shù)據(jù)庫):應用場景:海量數(shù)據(jù)高并發(fā)查詢/實時事務處理分布式內存數(shù)據(jù)庫SDA80000單柜滿配備注數(shù)據(jù)分發(fā)節(jié)點2固定,HA計算交換機1固定管理交換機1固定KVM1固定數(shù)據(jù)節(jié)點16?配、半配、滿配總內存4T總核數(shù)192C硬盤總數(shù)量384塊
大數(shù)據(jù)一體機SDA80000大數(shù)據(jù)分析系統(tǒng)軟件(分布式內51PaaS平臺的核心組件–CloudFoundry企業(yè)版PaaS平臺的核心組件–CloudFoundry企52CloudFoundry企業(yè)版的主要功能–跨云部署機制CloudFoundry企業(yè)版的主要功能–跨云部署機53PaaS平臺彈性運行時環(huán)境–CloudFoundryPaaS平臺彈性運行時環(huán)境–CloudFoundr54大數(shù)據(jù)一體機SDA90000計算單元分布式數(shù)據(jù)處理模塊大數(shù)據(jù)存儲模塊加速器高速交換網(wǎng)絡可視化管理大數(shù)據(jù)分析處理PaaS平臺大數(shù)據(jù)分析SaaS應用預測預警類服務動態(tài)監(jiān)控類服務信息處理類服務存儲單元網(wǎng)絡單元大數(shù)據(jù)分析PaaS平臺(一體化集群部署方案)
應用場景:海量數(shù)據(jù)存儲/分析/查詢/開發(fā)彈性運行時環(huán)境模塊數(shù)據(jù)服務總線API接口分析研判類服務大數(shù)據(jù)一體機SDA90000計算單元分布式數(shù)據(jù)處理模塊大55大數(shù)據(jù)應用融合解決方案課件行業(yè)信息化特點行業(yè)信息化特點57行業(yè)面臨的嚴峻形勢和挑戰(zhàn)行業(yè)面臨的嚴峻形勢和挑戰(zhàn)58行業(yè)大數(shù)據(jù)應用整體解決方案行業(yè)大數(shù)據(jù)應用整體解決方案59行業(yè)大數(shù)據(jù)分析平臺建設內容行業(yè)大數(shù)據(jù)分析平臺建設內容60大數(shù)據(jù)分析平臺分層模型大數(shù)據(jù)分析平臺分層模型61大數(shù)據(jù)分析應用檢索工具庫大數(shù)據(jù)分析應用檢索工具庫62大數(shù)據(jù)分析應用資源庫建設之一整合海量內外部異構數(shù)據(jù)資源,按要素、主題實現(xiàn)異構數(shù)據(jù)的集中管理,形成統(tǒng)一的大數(shù)據(jù)視圖,為上層應用提供大數(shù)據(jù)資源服務。大數(shù)據(jù)分析應用資源庫建設之一整合海量內外部異構63大數(shù)據(jù)分析應用資源庫建設之一
以要素模型為基礎,以人和案件為核心,對海量數(shù)據(jù)進行劃分和組織,為上層分析模型服務,進而提供分析、預測、預警等大數(shù)據(jù)服務。大數(shù)據(jù)分析應用資源庫建設之一以要素模型為基礎,64大數(shù)據(jù)分析業(yè)務場景之一大數(shù)據(jù)分析業(yè)務場景之一65大數(shù)據(jù)分析應用場景–軌跡分析/關聯(lián)比對通過出行軌跡、車輛軌跡、住宿軌跡等動態(tài)軌跡信息綜合研判,發(fā)現(xiàn)潛在線索與隱藏關系,為干警打擊、預防犯罪提供支持。大數(shù)據(jù)分析應用場景–軌跡分析/關聯(lián)比對通過66大數(shù)據(jù)分析Hadoop/開發(fā)框架應用場景大數(shù)據(jù)分析Hadoop/開發(fā)框架應用場景67大數(shù)據(jù)分析專題庫/數(shù)據(jù)資源整合應用場景大數(shù)據(jù)分析專題庫/數(shù)據(jù)資源整合應用場景68大數(shù)據(jù)分析業(yè)務專題/數(shù)據(jù)總線應用場景大數(shù)據(jù)分析業(yè)務專題/數(shù)據(jù)總線應用場景69大數(shù)據(jù)分析應用平臺資源池拓撲圖存儲系統(tǒng)備份系統(tǒng)…………存儲系統(tǒng)備份系統(tǒng)K-HAK-HAK-HAK1-1K1-2K1-3K1-4K1-5K1-6TS860TS860TS860TS860……核心交換機
虛擬化(非關鍵應用)資源池
物理(核心業(yè)務系統(tǒng))資源池……物理(大數(shù)據(jù)分析應用)資源池大數(shù)據(jù)分析應用平臺資源池拓撲圖存儲系統(tǒng)備份系統(tǒng)…………存儲系70大數(shù)據(jù)分析應用平臺系統(tǒng)架構安全保障、運維體系計算資源池存儲資源池網(wǎng)絡資源池平臺層(PaaS)數(shù)據(jù)存儲層數(shù)據(jù)準備層數(shù)據(jù)處理層數(shù)據(jù)服務層分布式文件系統(tǒng)MPP數(shù)據(jù)庫分析模型算法引擎挖掘工具應用層(SaaS)基礎設施(IaaS)應用層(SaaS)分析研判類服務預測預警類服務動態(tài)監(jiān)控類服務信息處理類服務大數(shù)據(jù)分析研判系統(tǒng)門戶反恐維穩(wěn)服務民生犯罪模式識別信息網(wǎng)安全保障體系(PKI/PMI,防病毒、防入侵)內存計算RDBMS數(shù)據(jù)塊ODS數(shù)據(jù)立方體數(shù)據(jù)倉庫數(shù)據(jù)集市基礎設施(IaaS)流式處理路況預警數(shù)據(jù)交換平臺數(shù)據(jù)交換平臺系統(tǒng)管理平臺(日志審計、用戶管理、運維監(jiān)控)信息網(wǎng)安全保障體系(PKI/PMI,防病毒、防入侵)服務總線熱點地區(qū)識別PAAS平臺彈性運行時環(huán)境云數(shù)據(jù)中心管理平臺大數(shù)據(jù)分析應用平臺系統(tǒng)架構安全保障、運維體系計算資源池存儲資71謝謝觀賞!!謝謝觀賞??!72云計算及大數(shù)據(jù)應用融合解決方案云計算及大數(shù)據(jù)應用融合解決方案73目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)據(jù)分析應用場景大數(shù)據(jù)時代的來臨目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)企業(yè)面臨的挑戰(zhàn)和分析需求我們知道并且已經(jīng)掌握的知識我們知道并且尚未掌握的知識我們不知道并且尚未掌握的知識云計算、移動計算、社交媒體和大數(shù)據(jù)分析推動產(chǎn)生新的計算模式。該模式進而引發(fā)業(yè)務轉型以提升效率,促進法規(guī)遵從,提升整體業(yè)務可持續(xù)性以及以客戶為中心。企業(yè)面臨的挑戰(zhàn)和分析需求我們不知道云計算、移動計算、社交媒75互聯(lián)網(wǎng)商業(yè)模式對傳統(tǒng)行業(yè)的沖擊互聯(lián)網(wǎng)商業(yè)模式對傳統(tǒng)行業(yè)的沖擊76數(shù)據(jù)處理的難題及大數(shù)據(jù)革命
收集、存儲和分析數(shù)據(jù)的能力在信息技術帶來的影響中始終占有重要一席。在這個數(shù)字化程度日益提高的時代,您所做的每件事都會有一個電子記錄。隨著企業(yè)積聚的數(shù)據(jù)越來越多并達到數(shù)百TB,他們紛紛尋求更加尖端的軟件工具對數(shù)據(jù)進行挖掘和分析,從而幫助企業(yè)更好地了解市場和客戶,甚至是幫助企業(yè)對未來作出預測。您如何收集和存儲數(shù)據(jù)?您如何傳輸數(shù)據(jù)?您如何分析數(shù)據(jù)?您如何從數(shù)據(jù)獲益?數(shù)據(jù)處理的難題及大數(shù)據(jù)革命收集、存儲和分析數(shù)據(jù)77大數(shù)據(jù)時代帶來的思考……大數(shù)據(jù)時代帶來的思考……78新時代需要一個全新的計算平臺互聯(lián)網(wǎng)平臺時代,第三代IT體系的代表新時代需要一個全新的計算平臺互聯(lián)網(wǎng)平臺時代,第三代IT體系79互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來實現(xiàn)創(chuàng)新虛擬化運維自動化PaaS 傳統(tǒng)IT
Startups時間期望值InnovationGapCloudClient-Server互聯(lián)網(wǎng)公司 DevOps,CD/CI,Agile,MicroService互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來實現(xiàn)創(chuàng)新虛擬化運維80大數(shù)據(jù)時代行業(yè)商機無處不在!大數(shù)據(jù)時代行業(yè)商機無處不在!81大數(shù)據(jù)行業(yè)應用–社交媒體大數(shù)據(jù)行業(yè)應用–社交媒體82大數(shù)據(jù)行業(yè)應用–電商平臺大數(shù)據(jù)行業(yè)應用–電商平臺83大數(shù)據(jù)行業(yè)應用–互聯(lián)網(wǎng)平臺大數(shù)據(jù)行業(yè)應用–互聯(lián)網(wǎng)平臺84大數(shù)據(jù)行業(yè)應用–風力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級捕獲傳感器數(shù)據(jù)(如:主軸傳感器、齒輪箱傳感器和定子傳感器等),監(jiān)控單臺風力發(fā)電機運行狀態(tài)以秒級捕獲傳感器數(shù)據(jù),監(jiān)控風機位置、彼此協(xié)作情況,保證發(fā)電場以最優(yōu)狀態(tài)工作以分鐘級捕獲傳感器數(shù)據(jù),監(jiān)控輸電狀態(tài)、效率大數(shù)據(jù)行業(yè)應用–風力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級捕獲傳感85大數(shù)據(jù)行業(yè)應用–工業(yè)互聯(lián)網(wǎng)資產(chǎn)管理零部件庫存管理資產(chǎn)管理供應鏈自動化工作范圍的自動化場力優(yōu)化監(jiān)控和診斷狀態(tài)檢修停電管理資產(chǎn)生命周期管理操作優(yōu)化物流管理控制和工廠自動化燃料消耗的優(yōu)化排放管理法規(guī)遵從健康&安全保證運營管理與監(jiān)測系統(tǒng)網(wǎng)絡吞吐量的優(yōu)化終端客戶信息服務大數(shù)據(jù)行業(yè)應用–工業(yè)互聯(lián)網(wǎng)資產(chǎn)管理操作優(yōu)化86云計算改變IT,大數(shù)據(jù)應用重在創(chuàng)新云計算改變IT,大數(shù)據(jù)應用重在創(chuàng)新87工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點88基于分布式內存計算技術的IOT邏輯架構基于分布式內存計算技術的IOT邏輯架構89云計算改變IT,大數(shù)據(jù)應用重在創(chuàng)新云計算側重資源管理,而大數(shù)據(jù)側重業(yè)務應用。云計算資源池化的管理模式是大數(shù)據(jù)應用的前提。云計算提供的存儲和計算資源池可動態(tài)支撐大數(shù)據(jù)分析業(yè)務不斷變化的需求。云計算改變IT,大數(shù)據(jù)應用重在創(chuàng)新云計算側重資源管理,而大90目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)據(jù)分析應用場景大數(shù)據(jù)時代的來臨目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)大數(shù)據(jù)分析應用的數(shù)據(jù)內容及實現(xiàn)技術應用平臺提交請求訪問的數(shù)據(jù),包括結構化和非結構化兩類在線存儲周期超過數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)適合Hadoop分布式架構管理無法用二維表結構來邏輯表達的無結構性的數(shù)據(jù)。例如文本、音頻數(shù)據(jù)等。適合Hadoop架構方便用數(shù)據(jù)庫的二維表結構來邏輯表達實現(xiàn)的數(shù)據(jù),數(shù)據(jù)結構字段含義確定,清晰。例如:客戶信息、用電記錄等。是挖掘數(shù)據(jù)價值的主要對象。支持分析型應用,時效性較低支持前臺交易系統(tǒng)查詢需求,具有可靠性高、并發(fā)度大、采集頻率短的特點適合分布式內存數(shù)據(jù)處理技術數(shù)據(jù)類別數(shù)據(jù)格式數(shù)據(jù)采集頻度大數(shù)據(jù)分析應用的數(shù)據(jù)內容及實現(xiàn)技術在線數(shù)據(jù)歸檔數(shù)據(jù)非結構化數(shù)據(jù)結構化數(shù)據(jù)準實時數(shù)據(jù)非實時數(shù)據(jù)面向貼源數(shù)據(jù)查詢和主題數(shù)據(jù)整合。數(shù)據(jù)區(qū),適合X86MPP數(shù)據(jù)庫集群范式化模型數(shù)據(jù)面向分析類應用。對應ADW,適合MPP數(shù)據(jù)庫集群維度模型數(shù)據(jù)數(shù)據(jù)模型大數(shù)據(jù)分析應用的數(shù)據(jù)內容及實現(xiàn)技術應用平臺提交請求訪問的數(shù)據(jù)92大數(shù)據(jù)分析應用的關鍵核心技術大數(shù)據(jù)分析套件組合:(完善生態(tài)鏈)
關系型數(shù)據(jù)庫,NoSQL,流計算,SQLonHadoop,OLAPonHadoop,OLTPonHadoop,Cache緩存,In-MemoryDB,In-MemoryDataGrid,非關系型數(shù)據(jù)庫,等等。大數(shù)據(jù)分析應用的關鍵核心技術大數(shù)據(jù)分析套件組合:(完善生態(tài)鏈93大數(shù)據(jù)分析應用的關鍵技術之一分布式內存數(shù)據(jù)庫MPP分布式數(shù)據(jù)庫流式處理
Hadoop分析框架體系大數(shù)據(jù)分析應用的關鍵技術之一分布式內存數(shù)據(jù)庫MPP分布式數(shù)94大數(shù)據(jù)分析應用的關鍵技術之一PaaS平臺彈性運行時環(huán)境監(jiān)控管理層物理資源層PaaS服務層業(yè)務應用層IAASInterfacePaaS運行時環(huán)境ServicesInterfacePaaSService應用中間件Hadoop消息中間件……SQL數(shù)據(jù)庫NoSQL數(shù)據(jù)庫安全管理資源管理配置管理服務目錄服務管理性能監(jiān)控資源監(jiān)控存儲設備計算資源池存儲資源池網(wǎng)絡資源池計算機網(wǎng)絡設備分析研判類應用預測預警類應用動態(tài)監(jiān)控類應用信息處理類應用……IaaS服務層大數(shù)據(jù)分析應用的關鍵技術之一PaaS平臺彈性運行時環(huán)境監(jiān)控95大數(shù)據(jù)時代平臺產(chǎn)品的關鍵能力開放彈性架構真正無共享的海量并行處理架構工業(yè)標準的X86平臺服務器資源按需分配,按需搭建集群,按需縮放集群規(guī)模在線線性擴展增加節(jié)點可線性增加存儲、查詢和加載性能支持在線擴容,擴容期間保證系統(tǒng)繼續(xù)對外提供服務擁有成本可控保證用戶不被專有平臺鎖定企業(yè)初期投入和后續(xù)擴容的成本可控海量并行處理支持PB級的數(shù)據(jù)處理、存儲和訪問在數(shù)據(jù)加載、處理、訪問等各個環(huán)節(jié)最大化并行處理能力優(yōu)秀混合負載按需分配資源(CPU、內存、IO)動態(tài)調整資源平臺持續(xù)可用數(shù)據(jù)鏡像、硬件冗余等多種容錯技術保證系統(tǒng)高可用故障切換和恢復,對用戶透明擴容期間可持續(xù)對外服務易于管理維護直觀的圖形化界面,實時的狀態(tài)監(jiān)控最大限度降低管理員的日常管理和維護工作大數(shù)據(jù)時代平臺產(chǎn)品的關鍵能力開放彈性架構真正無共享的海量并行96大數(shù)據(jù)時代催生PaaS平臺的變革IaaS:硬件的自動化管理,人與機器的解耦合
獲得效率/犧牲性能PaaS:應用的自動化管理,應用與OS的解耦合
獲得彈性/犧牲控制大數(shù)據(jù)時代催生PaaS平臺的變革IaaS:硬件的自97業(yè)務創(chuàng)新需要重新定義企業(yè)級PaaS支持開放標準并與開源有效互動強調以數(shù)據(jù)為中心
兼顧各種數(shù)據(jù)類型處理充分關注新一代開發(fā)人員和新一代企業(yè)級應用的需求為有效進行實時大容量信息處理而設計同時兼顧與傳統(tǒng)應用的互操作性與傳統(tǒng)技術的有效結合云支撐平臺數(shù)據(jù)支撐架構應用支撐架構創(chuàng)新:以數(shù)據(jù)支撐為中心業(yè)務創(chuàng)新需要重新定義企業(yè)級PaaS支持開放標準并與開源有效98未來大數(shù)據(jù)分析應用的PaaS平臺發(fā)展方向NewData-fabricsInternet-of-thingsPervasivetelemetryOpenDataPlatformBigDataFastDataRapidApplicationDev&IntegrationGemfirevFabricCloudAbstraction&AppAutomation面向數(shù)據(jù)的企業(yè)級PaaS平臺快速應用開發(fā)在收集數(shù)量龐大的事件數(shù)據(jù)的同時對特定事件進行實時反應與傳統(tǒng)應用和基礎架構有機配合配合不同云計算平臺實現(xiàn)高效運維和水平擴展存儲并且在非常大量的數(shù)據(jù)上進行分析未來大數(shù)據(jù)分析應用的PaaS平臺發(fā)展方向NewData99行業(yè)大數(shù)據(jù)分析應用的數(shù)據(jù)架構設計行業(yè)大數(shù)據(jù)分析應用的數(shù)據(jù)架構設計100大數(shù)據(jù)時代云計算及大數(shù)據(jù)融合架構全景圖計算存儲網(wǎng)絡應用運行環(huán)境云平臺管理云平臺安全數(shù)據(jù)批處理(Hadoop)近實時分析(MPPDB)實時數(shù)據(jù)處理應用和數(shù)據(jù)集成應用開發(fā)接口資源和服務交付統(tǒng)一訪問門戶應用容器虛擬機服務器虛擬化存儲虛擬化網(wǎng)絡虛擬化公有云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系統(tǒng)分布式塊存儲分布式對象存儲SAN存儲網(wǎng)關OpenFlowvxLanvSwitchAWSACEAzureGAE流處理內存數(shù)據(jù)庫HbaseYarnMapReduceHive,Pig,MahoutSQLDataDistributeQueryPlannerMPPExecLoadBalancer分布式緩存消息中間件RDBMS云資源管理運維管理桌面管理業(yè)務流程管理資源計費網(wǎng)絡安全容災備份數(shù)據(jù)和應用訪問權限管理安全審計vRoute大數(shù)據(jù)時代云計算及大數(shù)據(jù)融合架構全景圖計算存儲網(wǎng)絡應用運行環(huán)101大數(shù)據(jù)分析應用的PaaS平臺產(chǎn)品組合實時的數(shù)據(jù)處理Run-Time
Applications企業(yè)級數(shù)據(jù)倉庫大規(guī)模數(shù)據(jù)存儲實時的數(shù)據(jù)捕獲和共享分析型數(shù)據(jù)集市大數(shù)據(jù)分析應用的PaaS平臺產(chǎn)品組合實時的數(shù)據(jù)處理Run102大數(shù)據(jù)分析應用的資源池拓撲圖存儲系統(tǒng)備份系統(tǒng)…………存儲系統(tǒng)備份系統(tǒng)K-HAK-HAK-HAK1-1K1-2K1-3K1-4K1-5K1-6TS860TS860TS860TS860……核心交換機
虛擬化(非關鍵應用)資源池
物理(核心業(yè)務系統(tǒng))資源池……物理(大數(shù)據(jù)分析應用)資源池大數(shù)據(jù)分析應用的資源池拓撲圖存儲系統(tǒng)備份系統(tǒng)…………存儲系統(tǒng)103大數(shù)據(jù)分析應用系統(tǒng)架構系統(tǒng)管理體系(日志審計、用戶管理、運維監(jiān)控)計算資源池存儲資源池網(wǎng)絡資源池平臺層(PaaS)數(shù)據(jù)存儲層數(shù)據(jù)準備層數(shù)據(jù)處理層數(shù)據(jù)服務層分布式文件系統(tǒng)MPP數(shù)據(jù)庫分析模型算法引擎挖掘工具應用層(SaaS)基礎設施(IaaS)應用層(SaaS)分析研判類服務預測預警類服務動態(tài)監(jiān)控類服務信息處理類服務大數(shù)據(jù)分析研判系統(tǒng)門戶運營狀態(tài)監(jiān)控決策分析預警安全保障體系(訪問權限控制,防病毒、防入侵)內存計算RDBMS數(shù)據(jù)塊ODS數(shù)據(jù)立方體數(shù)據(jù)倉庫數(shù)據(jù)集市基礎設施(IaaS)流式處理客戶精準營銷數(shù)據(jù)交換平臺數(shù)據(jù)交換平臺系統(tǒng)管理體系(日志審計、用戶管理、運維監(jiān)控)安全保障體系(訪問權限控制,防病毒、防入侵)服務總線風險模式識別PaaS平臺彈性運行時環(huán)境云數(shù)據(jù)中心管理平臺大數(shù)據(jù)分析應用系統(tǒng)架構系統(tǒng)管理體系(日志審計、用戶管理、104目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)據(jù)分析應用場景大數(shù)據(jù)時代的來臨目錄13大數(shù)據(jù)分析應用之關鍵技術2能源行業(yè)之大數(shù)大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)收集數(shù)據(jù)存儲數(shù)據(jù)處理分析及可視化應用數(shù)據(jù)擁有者數(shù)據(jù)分析技術提供商服務技術提供商最終用戶數(shù)據(jù)采集技術提供商數(shù)據(jù)采集者
數(shù)據(jù)分析者數(shù)據(jù)服務提供商基礎硬件(服務器、存儲、網(wǎng)絡交換)廠商大數(shù)據(jù)分析軟件平臺(數(shù)據(jù)庫、數(shù)據(jù)倉庫、分布式處理技術等)提供商大數(shù)據(jù)分析一體化產(chǎn)品提供商大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)分析及可視化應用106大數(shù)據(jù)產(chǎn)品線的保障體系1.需求分析2.解決方案3.維護服務縮短開發(fā)周期實現(xiàn)數(shù)據(jù)共享降低管理風險提高安全和質量資深工程師提供在線指導服務專家提供現(xiàn)場指導運維服務評估業(yè)務需求分析已有基礎設施風險評估推薦合理方案大數(shù)據(jù)產(chǎn)品線的保障體系1.需求分析2.解決方案3.維護服務縮107大數(shù)據(jù)一體機產(chǎn)品定位及軟硬一體化設計方案計算單元:采用Intel最新XeonE5v3系列處理器,性能相比上一代產(chǎn)品提升2倍FPGA加速卡+CPU對比純CPU性能那個提升10+倍系統(tǒng)進行內存調度算法優(yōu)化,增強內存訪問速度采用全文檢索、動態(tài)頁面生成等技術提供ms級查詢響應存儲單元:優(yōu)化文件系統(tǒng)熱點數(shù)據(jù)讀取算法,整機磁盤I/O高達500+MB/s小文件聚合技術,解決小文件快速寫入問題SSD加速緩存與傳統(tǒng)磁盤比較讀性能提升20倍通信單元:節(jié)點間通信網(wǎng)絡采用遠程直接數(shù)據(jù)存取技術,能夠支持
1000+節(jié)點
之間同時的大數(shù)據(jù)量傳輸節(jié)點間網(wǎng)絡采用40Gb/s高速網(wǎng)絡,網(wǎng)絡延遲低至us級大數(shù)據(jù)一體機產(chǎn)品定位及軟硬一體化設計方案計算單元:存儲單元:108MPP數(shù)據(jù)庫:DaaS的計算引擎企業(yè)級數(shù)據(jù)倉庫分析型數(shù)據(jù)集市GreenplumDB:
Data
as
a
Service的計算引擎Gartner公司每年發(fā)布關于數(shù)據(jù)倉庫管理系統(tǒng)業(yè)界地位的魔法象限研究報告報告主要從數(shù)據(jù)倉庫廠商的執(zhí)行力和遠景兩個方面評估評估對象包括傳統(tǒng)的企業(yè)級數(shù)據(jù)倉庫和新一代的MPP并行數(shù)據(jù)庫廠商支持各種規(guī)模、有大量并發(fā)用戶、能管理混合工作負載的數(shù)據(jù)倉庫具備較高的客戶滿意度和強有力的服務支持在數(shù)據(jù)倉庫市場有長久的生命力風險最低、產(chǎn)品成熟度最高Gartner對領導者象限的評價采用前瞻性思維設計的數(shù)據(jù)倉庫較小的市場領導者,缺乏全球性發(fā)展缺少較大的本地客戶,因此不易證明其產(chǎn)品的功能和價值在產(chǎn)品技術領域,某些特性具備前瞻性,但綜合能力需要完善Gartner對遠見者象限的評價MPP數(shù)據(jù)庫:DaaS的計算引擎企業(yè)級數(shù)據(jù)倉庫分析型數(shù)據(jù)109MPP數(shù)據(jù)庫:極速分析平臺并行處理架構MPPshared-nothing架構,基于通用X86平臺PB級以上海量存儲,最大支持10000節(jié)點以上所有節(jié)點并發(fā)IO,實現(xiàn)超大IO吞吐,并行運行SQL自動化并行自動化并行計算,實現(xiàn)超大計算能力使用同傳統(tǒng)DB一樣,加載和運行SQL數(shù)據(jù)多節(jié)點分布及高可用性都由DB自身實現(xiàn)極佳的橫向擴展性在線橫向擴展容量、加載和SQL查詢性能隨節(jié)點線性增加專為BI及數(shù)據(jù)分析優(yōu)化深度整合統(tǒng)計數(shù)學模塊(SAS,SOLR,MADLIB,R)高性能并行SQL執(zhí)行器MPPshared-nothing架構構建在X86開放平臺上的并行處理架構MPP數(shù)據(jù)庫:110MPP數(shù)據(jù)庫:行業(yè)最快的數(shù)據(jù)加載技術每個Rack(16節(jié)點),每小時16TB加載性能Scatter-GatherStreaming?提供性能線性擴張支持大批量數(shù)據(jù)加載和持續(xù)化的數(shù)據(jù)加載Enablecomplexdatatransformations“in-flight”對GBK/UTF8/ISO8859字符集的原生支持GreenplumOracle
ExadataNetezzaTeradataSingleRackComparisonGreenplumloadratesscalelinearlywiththenumberofracks,othersdonot.Forexample,tworacks=>32TB/HLoadMPP數(shù)據(jù)庫:行業(yè)最快的數(shù)據(jù)加載技術每個Rack(111MPP數(shù)據(jù)庫:高可用性ClientRedundant
InterconnectMP
Segment
ServersPrimary
Master1Sync&
Failover
ProcessesStandby
MasterPrimaryDataRAID5ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345
提供了全量備份和增量備份功能,保證系統(tǒng)級故障后的數(shù)據(jù)恢復對于任一設備的故障,系統(tǒng)數(shù)據(jù)不丟失、提供持續(xù)服務多個節(jié)點宕機后,系統(tǒng)性能只降低1/6MPP數(shù)據(jù)庫:高可用性ClientRedundant
In112MPP數(shù)據(jù)庫:
負載管理技術查詢層對運行的查詢提供基本的優(yōu)先級管理對CPU\內存\IO利用率進行定額分配控制單個查詢并發(fā)度會話層每個用戶能夠分配一個資源隊列管理工作允許控制查詢和查詢代價數(shù)據(jù)庫連接層控制多少用戶可以連接。提供的池(允許大量)和(限制數(shù)量)MPP數(shù)據(jù)庫:負載管理技術查詢層會話層數(shù)據(jù)庫連接層113MPP數(shù)據(jù)庫:PolymorphicDataStorage?
(
多態(tài)存儲-同時支持行存儲及列存儲)Table‘Customer’Jan’09Feb’09Mar’09Apr’09May’09Jun’09Jul’09Aug’09Sept’09Oct’09Nov’09Column-OrientedArchivalCompressionColumn-OrientedFastCompressionRow-Oriented提供靈活存儲技術四種表類型:普通行表,AO表,列存儲表,外部表兩種壓縮技術:Gzip(levels1-9),QuickLZ同一庫內甚至同一個表中多種存儲技術混合使用靈活定義不同表分區(qū)存儲結構只需定義關鍵字orientation=[row|column]允許用戶根據(jù)不同應用場景,達到最優(yōu)性能效果MPP數(shù)據(jù)庫:PolymorphicDataStora114MPPDB與HD通過gNet無縫集成
通過標準接口或編程語言,透明訪問數(shù)據(jù)庫和Hadoop內部存儲的數(shù)據(jù)。MPPDB與HD115大數(shù)據(jù)一體機SDA50000SDA50000單柜滿配備注數(shù)據(jù)分發(fā)節(jié)點2固定計算交換機2固定管理交換機2固定KVM1固定數(shù)據(jù)庫節(jié)點12?配、半配、滿配總內存1.5T總核數(shù)192C硬盤總數(shù)量96可用裸容量56TB建議使用容量(3副本)18.75TB大數(shù)據(jù)分析系統(tǒng)軟件:MPP數(shù)據(jù)庫應用場景:數(shù)據(jù)倉庫應用/OLAP多維分析
大數(shù)據(jù)一體機SDA50000SDA50000單柜滿配116大數(shù)據(jù)分析應用的關鍵技術之一大數(shù)據(jù)分析套件組合:(完善生態(tài)鏈)
關系型數(shù)據(jù)庫,NoSQL,流計算,SQLonHadoop,OLAPonHadoop,OLTPonHadoop,Cache緩存,In-MemoryDB,In-MemoryDataGrid,非關系型數(shù)據(jù)庫,等等。大數(shù)據(jù)分析應用的關鍵技術之一大數(shù)據(jù)分析套件組合:(完善生態(tài)117大數(shù)據(jù)分析應用的關鍵技術之一SQLonHadoop最初的設計定位:
專為分析完整事務支持而優(yōu)化的大規(guī)模并行SQL處理引擎。大數(shù)據(jù)分析應用的關鍵技術之一SQLonHadoop最初118大數(shù)據(jù)分析應用的關鍵技術之一SQLonHadoop技術的重要特性和優(yōu)點:高度擴展和存儲系統(tǒng)業(yè)界領先的性能與動態(tài)流水線彈性故障容錯和事務支持數(shù)據(jù)管理和分析工具包真實的SQL功能
基于成本的世界一流查詢優(yōu)化、領先的邊緣網(wǎng)絡互連、功能豐富的SQL和分析界面、并配有事務性存儲子系統(tǒng)的高性能執(zhí)行運行時間,是唯一能夠提供此技術的Hadoop查詢引擎。大數(shù)據(jù)分析應用的關鍵技術之一SQLonHadoop技術119大數(shù)據(jù)分析應用的關鍵技術之一
Hadoop分析框架體系HDFSHBasePig,Hive,MahoutMapReduceSqoopFlumeResource
Management
&WorkflowYarnZookeeperCommandCenterConfigure,Deploy,Monitor,ManageDataLoaderHadoop
EnterpriseSpringUnifiedStorageServiceXtension
FrameworkCatalog
ServicesQuery
OptimizerDynamicPipeliningANSISQL+AnalyticsHadoopVirtualizationExtensionDistrubutedIn-memoryStoreQueryTransactionsIngestionProcessingHadoopDriver–
ParallelwithCompactionANSISQL+In-MemoryGemFireXD–Real-TimeDatabaseServicesMADlibAlgorithmsHAWQ–AdvancedDatabaseServices大數(shù)據(jù)分析應用的關鍵技術之一Hadoop分析框架體系HD120大數(shù)據(jù)產(chǎn)品線–大數(shù)據(jù)一體機SDA60000SDA60000單柜滿配備注管理節(jié)點2固定,HA計算交換機2固定管理交換機2固定KVM1固定數(shù)據(jù)節(jié)點16?配、半配、滿配總內
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 城鎮(zhèn)污水管網(wǎng)建設項目安全管理方案(參考模板)
- xx河流排水防澇設施建設項目數(shù)字化方案(范文)
- 城鎮(zhèn)污水管網(wǎng)建設項目申請報告(模板范文)
- 鄉(xiāng)村振興戰(zhàn)略下能源電力行業(yè)面臨的挑戰(zhàn)及對策
- 物流與供應鏈管理教案
- 五年級學期學習計劃(34篇)
- 2025年光學纖維面板系列項目發(fā)展計劃
- 五年級科學上冊教案 - 5《身體的“聯(lián)絡員”》 教科版
- 中暑現(xiàn)場應急處置方案
- 2025年大流量羅茨鼓風機項目發(fā)展計劃
- 宿舍清潔服務方案(3篇)
- 校園清廉建設活動方案
- 總經(jīng)理半年度總結述職報告
- 韶光新豐縣豐城街道辦事處招聘執(zhí)法輔助人員筆試真題2024
- 精神科護理進修總結
- 維克多高中英語3500詞匯
- (完整版)常見腫瘤AJCC分期手冊第八版(中文版)
- 托瑪琳養(yǎng)生碗gg課件
- 水產(chǎn)養(yǎng)殖示范基地建設項目實施方案
- 行政后勤人員 三級安全教育培訓記錄卡
- DB52∕T 1480-2019 GLW-8430連棟塑料薄膜溫室通用技術規(guī)范
評論
0/150
提交評論