大數(shù)據(jù)應(yīng)用融合解決方案 課件

云計(jì)算及大數(shù)據(jù)應(yīng)用融合解決方案云計(jì)算及大數(shù)據(jù)應(yīng)用融合解決方案1目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)據(jù)分析應(yīng)用場(chǎng)景大數(shù)據(jù)時(shí)代的來(lái)臨目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)企業(yè)面臨的挑戰(zhàn)和分析需求我們知道并且已經(jīng)掌握的知識(shí)我們知道并且尚未掌握的知識(shí)我們不知道并且尚未掌握的知識(shí)云計(jì)算、移動(dòng)計(jì)算、社交媒體和大數(shù)據(jù)分析推動(dòng)產(chǎn)生新的計(jì)算模式。該模式進(jìn)而引發(fā)業(yè)務(wù)轉(zhuǎn)型以提升效率,促進(jìn)法規(guī)遵從,提升整體業(yè)務(wù)可持續(xù)性以及以客戶(hù)為中心。企業(yè)面臨的挑戰(zhàn)和分析需求我們不知道云計(jì)算、移動(dòng)計(jì)算、社交媒3互聯(lián)網(wǎng)商業(yè)模式對(duì)傳統(tǒng)行業(yè)的沖擊互聯(lián)網(wǎng)商業(yè)模式對(duì)傳統(tǒng)行業(yè)的沖擊4數(shù)據(jù)處理的難題及大數(shù)據(jù)革命

收集、存儲(chǔ)和分析數(shù)據(jù)的能力在信息技術(shù)帶來(lái)的影響中始終占有重要一席。在這個(gè)數(shù)字化程度日益提高的時(shí)代，您所做的每件事都會(huì)有一個(gè)電子記錄。隨著企業(yè)積聚的數(shù)據(jù)越來(lái)越多并達(dá)到數(shù)百TB，他們紛紛尋求更加尖端的軟件工具對(duì)數(shù)據(jù)進(jìn)行挖掘和分析，從而幫助企業(yè)更好地了解市場(chǎng)和客戶(hù)，甚至是幫助企業(yè)對(duì)未來(lái)作出預(yù)測(cè)。您如何收集和存儲(chǔ)數(shù)據(jù)？您如何傳輸數(shù)據(jù)？您如何分析數(shù)據(jù)？您如何從數(shù)據(jù)獲益？數(shù)據(jù)處理的難題及大數(shù)據(jù)革命收集、存儲(chǔ)和分析數(shù)據(jù)5大數(shù)據(jù)時(shí)代帶來(lái)的思考……大數(shù)據(jù)時(shí)代帶來(lái)的思考……6新時(shí)代需要一個(gè)全新的計(jì)算平臺(tái)互聯(lián)網(wǎng)平臺(tái)時(shí)代，第三代IT體系的代表新時(shí)代需要一個(gè)全新的計(jì)算平臺(tái)互聯(lián)網(wǎng)平臺(tái)時(shí)代，第三代IT體系7互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來(lái)實(shí)現(xiàn)創(chuàng)新虛擬化運(yùn)維自動(dòng)化PaaS 傳統(tǒng)IT

Startups時(shí)間期望值InnovationGapCloudClient-Server互聯(lián)網(wǎng)公司 DevOps,CD/CI,Agile,MicroService互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來(lái)實(shí)現(xiàn)創(chuàng)新虛擬化運(yùn)維8大數(shù)據(jù)時(shí)代行業(yè)商機(jī)無(wú)處不在！大數(shù)據(jù)時(shí)代行業(yè)商機(jī)無(wú)處不在！9大數(shù)據(jù)行業(yè)應(yīng)用–社交媒體大數(shù)據(jù)行業(yè)應(yīng)用–社交媒體10大數(shù)據(jù)行業(yè)應(yīng)用–電商平臺(tái)大數(shù)據(jù)行業(yè)應(yīng)用–電商平臺(tái)11大數(shù)據(jù)行業(yè)應(yīng)用–互聯(lián)網(wǎng)平臺(tái)大數(shù)據(jù)行業(yè)應(yīng)用–互聯(lián)網(wǎng)平臺(tái)12大數(shù)據(jù)行業(yè)應(yīng)用–風(fēng)力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級(jí)捕獲傳感器數(shù)據(jù)（如：主軸傳感器、齒輪箱傳感器和定子傳感器等），監(jiān)控單臺(tái)風(fēng)力發(fā)電機(jī)運(yùn)行狀態(tài)以秒級(jí)捕獲傳感器數(shù)據(jù)，監(jiān)控風(fēng)機(jī)位置、彼此協(xié)作情況，保證發(fā)電場(chǎng)以最優(yōu)狀態(tài)工作以分鐘級(jí)捕獲傳感器數(shù)據(jù)，監(jiān)控輸電狀態(tài)、效率大數(shù)據(jù)行業(yè)應(yīng)用–風(fēng)力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級(jí)捕獲傳感13大數(shù)據(jù)行業(yè)應(yīng)用–工業(yè)互聯(lián)網(wǎng)資產(chǎn)管理零部件庫(kù)存管理資產(chǎn)管理供應(yīng)鏈自動(dòng)化工作范圍的自動(dòng)化場(chǎng)力優(yōu)化監(jiān)控和診斷狀態(tài)檢修停電管理資產(chǎn)生命周期管理操作優(yōu)化物流管理控制和工廠自動(dòng)化燃料消耗的優(yōu)化排放管理法規(guī)遵從健康&安全保證運(yùn)營(yíng)管理與監(jiān)測(cè)系統(tǒng)網(wǎng)絡(luò)吞吐量的優(yōu)化終端客戶(hù)信息服務(wù)大數(shù)據(jù)行業(yè)應(yīng)用–工業(yè)互聯(lián)網(wǎng)資產(chǎn)管理操作優(yōu)化14云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新15工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點(diǎn)工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點(diǎn)16基于分布式內(nèi)存計(jì)算技術(shù)的IOT邏輯架構(gòu)基于分布式內(nèi)存計(jì)算技術(shù)的IOT邏輯架構(gòu)17云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新云計(jì)算側(cè)重資源管理，而大數(shù)據(jù)側(cè)重業(yè)務(wù)應(yīng)用。云計(jì)算資源池化的管理模式是大數(shù)據(jù)應(yīng)用的前提。云計(jì)算提供的存儲(chǔ)和計(jì)算資源池可動(dòng)態(tài)支撐大數(shù)據(jù)分析業(yè)務(wù)不斷變化的需求。云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新云計(jì)算側(cè)重資源管理，而大18目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)據(jù)分析應(yīng)用場(chǎng)景大數(shù)據(jù)時(shí)代的來(lái)臨目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù)應(yīng)用平臺(tái)提交請(qǐng)求訪問(wèn)的數(shù)據(jù)，包括結(jié)構(gòu)化和非結(jié)構(gòu)化兩類(lèi)在線存儲(chǔ)周期超過(guò)數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)適合Hadoop分布式架構(gòu)管理無(wú)法用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)的無(wú)結(jié)構(gòu)性的數(shù)據(jù)。例如文本、音頻數(shù)據(jù)等。適合Hadoop架構(gòu)方便用數(shù)據(jù)庫(kù)的二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)字段含義確定，清晰。例如：客戶(hù)信息、用電記錄等。是挖掘數(shù)據(jù)價(jià)值的主要對(duì)象。支持分析型應(yīng)用，時(shí)效性較低支持前臺(tái)交易系統(tǒng)查詢(xún)需求，具有可靠性高、并發(fā)度大、采集頻率短的特點(diǎn)適合分布式內(nèi)存數(shù)據(jù)處理技術(shù)數(shù)據(jù)類(lèi)別數(shù)據(jù)格式數(shù)據(jù)采集頻度大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù)在線數(shù)據(jù)歸檔數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)實(shí)時(shí)數(shù)據(jù)非實(shí)時(shí)數(shù)據(jù)面向貼源數(shù)據(jù)查詢(xún)和主題數(shù)據(jù)整合。數(shù)據(jù)區(qū)，適合X86MPP數(shù)據(jù)庫(kù)集群范式化模型數(shù)據(jù)面向分析類(lèi)應(yīng)用。對(duì)應(yīng)ADW，適合MPP數(shù)據(jù)庫(kù)集群維度模型數(shù)據(jù)數(shù)據(jù)模型大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù)應(yīng)用平臺(tái)提交請(qǐng)求訪問(wèn)的數(shù)據(jù)20大數(shù)據(jù)分析應(yīng)用的關(guān)鍵核心技術(shù)大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈）

關(guān)系型數(shù)據(jù)庫(kù),NoSQL,流計(jì)算，SQLonHadoop,OLAPonHadoop,OLTPonHadoop，Cache緩存，In-MemoryDB,In-MemoryDataGrid，非關(guān)系型數(shù)據(jù)庫(kù)，等等。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵核心技術(shù)大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈21大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一分布式內(nèi)存數(shù)據(jù)庫(kù)MPP分布式數(shù)據(jù)庫(kù)流式處理

Hadoop分析框架體系大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一分布式內(nèi)存數(shù)據(jù)庫(kù)MPP分布式數(shù)22大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一PaaS平臺(tái)彈性運(yùn)行時(shí)環(huán)境監(jiān)控管理層物理資源層PaaS服務(wù)層業(yè)務(wù)應(yīng)用層IAASInterfacePaaS運(yùn)行時(shí)環(huán)境ServicesInterfacePaaSService應(yīng)用中間件Hadoop消息中間件……SQL數(shù)據(jù)庫(kù)NoSQL數(shù)據(jù)庫(kù)安全管理資源管理配置管理服務(wù)目錄服務(wù)管理性能監(jiān)控資源監(jiān)控存儲(chǔ)設(shè)備計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池計(jì)算機(jī)網(wǎng)絡(luò)設(shè)備分析研判類(lèi)應(yīng)用預(yù)測(cè)預(yù)警類(lèi)應(yīng)用動(dòng)態(tài)監(jiān)控類(lèi)應(yīng)用信息處理類(lèi)應(yīng)用……IaaS服務(wù)層大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一PaaS平臺(tái)彈性運(yùn)行時(shí)環(huán)境監(jiān)控23大數(shù)據(jù)時(shí)代平臺(tái)產(chǎn)品的關(guān)鍵能力開(kāi)放彈性架構(gòu)真正無(wú)共享的海量并行處理架構(gòu)工業(yè)標(biāo)準(zhǔn)的X86平臺(tái)服務(wù)器資源按需分配，按需搭建集群，按需縮放集群規(guī)模在線線性擴(kuò)展增加節(jié)點(diǎn)可線性增加存儲(chǔ)、查詢(xún)和加載性能支持在線擴(kuò)容，擴(kuò)容期間保證系統(tǒng)繼續(xù)對(duì)外提供服務(wù)擁有成本可控保證用戶(hù)不被專(zhuān)有平臺(tái)鎖定企業(yè)初期投入和后續(xù)擴(kuò)容的成本可控海量并行處理支持PB級(jí)的數(shù)據(jù)處理、存儲(chǔ)和訪問(wèn)在數(shù)據(jù)加載、處理、訪問(wèn)等各個(gè)環(huán)節(jié)最大化并行處理能力優(yōu)秀混合負(fù)載按需分配資源（CPU、內(nèi)存、IO）動(dòng)態(tài)調(diào)整資源平臺(tái)持續(xù)可用數(shù)據(jù)鏡像、硬件冗余等多種容錯(cuò)技術(shù)保證系統(tǒng)高可用故障切換和恢復(fù)，對(duì)用戶(hù)透明擴(kuò)容期間可持續(xù)對(duì)外服務(wù)易于管理維護(hù)直觀的圖形化界面，實(shí)時(shí)的狀態(tài)監(jiān)控最大限度降低管理員的日常管理和維護(hù)工作大數(shù)據(jù)時(shí)代平臺(tái)產(chǎn)品的關(guān)鍵能力開(kāi)放彈性架構(gòu)真正無(wú)共享的海量并行24大數(shù)據(jù)時(shí)代催生PaaS平臺(tái)的變革IaaS:硬件的自動(dòng)化管理，人與機(jī)器的解耦合

獲得效率/犧牲性能PaaS：應(yīng)用的自動(dòng)化管理，應(yīng)用與OS的解耦合

獲得彈性/犧牲控制大數(shù)據(jù)時(shí)代催生PaaS平臺(tái)的變革IaaS:硬件的自25業(yè)務(wù)創(chuàng)新需要重新定義企業(yè)級(jí)PaaS支持開(kāi)放標(biāo)準(zhǔn)并與開(kāi)源有效互動(dòng)強(qiáng)調(diào)以數(shù)據(jù)為中心

兼顧各種數(shù)據(jù)類(lèi)型處理充分關(guān)注新一代開(kāi)發(fā)人員和新一代企業(yè)級(jí)應(yīng)用的需求為有效進(jìn)行實(shí)時(shí)大容量信息處理而設(shè)計(jì)同時(shí)兼顧與傳統(tǒng)應(yīng)用的互操作性與傳統(tǒng)技術(shù)的有效結(jié)合云支撐平臺(tái)數(shù)據(jù)支撐架構(gòu)應(yīng)用支撐架構(gòu)創(chuàng)新：以數(shù)據(jù)支撐為中心業(yè)務(wù)創(chuàng)新需要重新定義企業(yè)級(jí)PaaS支持開(kāi)放標(biāo)準(zhǔn)并與開(kāi)源有效26未來(lái)大數(shù)據(jù)分析應(yīng)用的PaaS平臺(tái)發(fā)展方向NewData-fabricsInternet-of-thingsPervasivetelemetryOpenDataPlatformBigDataFastDataRapidApplicationDev&IntegrationGemfirevFabricCloudAbstraction&AppAutomation面向數(shù)據(jù)的企業(yè)級(jí)PaaS平臺(tái)快速應(yīng)用開(kāi)發(fā)在收集數(shù)量龐大的事件數(shù)據(jù)的同時(shí)對(duì)特定事件進(jìn)行實(shí)時(shí)反應(yīng)與傳統(tǒng)應(yīng)用和基礎(chǔ)架構(gòu)有機(jī)配合配合不同云計(jì)算平臺(tái)實(shí)現(xiàn)高效運(yùn)維和水平擴(kuò)展存儲(chǔ)并且在非常大量的數(shù)據(jù)上進(jìn)行分析未來(lái)大數(shù)據(jù)分析應(yīng)用的PaaS平臺(tái)發(fā)展方向NewData27行業(yè)大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)架構(gòu)設(shè)計(jì)行業(yè)大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)架構(gòu)設(shè)計(jì)28大數(shù)據(jù)時(shí)代云計(jì)算及大數(shù)據(jù)融合架構(gòu)全景圖計(jì)算存儲(chǔ)網(wǎng)絡(luò)應(yīng)用運(yùn)行環(huán)境云平臺(tái)管理云平臺(tái)安全數(shù)據(jù)批處理（Hadoop）近實(shí)時(shí)分析（MPPDB）實(shí)時(shí)數(shù)據(jù)處理應(yīng)用和數(shù)據(jù)集成應(yīng)用開(kāi)發(fā)接口資源和服務(wù)交付統(tǒng)一訪問(wèn)門(mén)戶(hù)應(yīng)用容器虛擬機(jī)服務(wù)器虛擬化存儲(chǔ)虛擬化網(wǎng)絡(luò)虛擬化公有云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系統(tǒng)分布式塊存儲(chǔ)分布式對(duì)象存儲(chǔ)SAN存儲(chǔ)網(wǎng)關(guān)OpenFlowvxLanvSwitchAWSACEAzureGAE流處理內(nèi)存數(shù)據(jù)庫(kù)HbaseYarnMapReduceHive,Pig,MahoutSQLDataDistributeQueryPlannerMPPExecLoadBalancer分布式緩存消息中間件RDBMS云資源管理運(yùn)維管理桌面管理業(yè)務(wù)流程管理資源計(jì)費(fèi)網(wǎng)絡(luò)安全容災(zāi)備份數(shù)據(jù)和應(yīng)用訪問(wèn)權(quán)限管理安全審計(jì)vRoute大數(shù)據(jù)時(shí)代云計(jì)算及大數(shù)據(jù)融合架構(gòu)全景圖計(jì)算存儲(chǔ)網(wǎng)絡(luò)應(yīng)用運(yùn)行環(huán)29大數(shù)據(jù)分析應(yīng)用的PaaS平臺(tái)產(chǎn)品組合實(shí)時(shí)的數(shù)據(jù)處理Run-Time

Applications企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)大規(guī)模數(shù)據(jù)存儲(chǔ)實(shí)時(shí)的數(shù)據(jù)捕獲和共享分析型數(shù)據(jù)集市大數(shù)據(jù)分析應(yīng)用的PaaS平臺(tái)產(chǎn)品組合實(shí)時(shí)的數(shù)據(jù)處理Run30大數(shù)據(jù)分析應(yīng)用的資源池拓?fù)鋱D存儲(chǔ)系統(tǒng)備份系統(tǒng)…………存儲(chǔ)系統(tǒng)備份系統(tǒng)K-HAK-HAK-HAK1-1K1-2K1-3K1-4K1-5K1-6TS860TS860TS860TS860……核心交換機(jī)

虛擬化（非關(guān)鍵應(yīng)用）資源池

物理（核心業(yè)務(wù)系統(tǒng)）資源池……物理（大數(shù)據(jù)分析應(yīng)用）資源池大數(shù)據(jù)分析應(yīng)用的資源池拓?fù)鋱D存儲(chǔ)系統(tǒng)備份系統(tǒng)…………存儲(chǔ)系統(tǒng)31大數(shù)據(jù)分析應(yīng)用系統(tǒng)架構(gòu)系統(tǒng)管理體系(日志審計(jì)、用戶(hù)管理、運(yùn)維監(jiān)控)計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池平臺(tái)層(PaaS)數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)準(zhǔn)備層數(shù)據(jù)處理層數(shù)據(jù)服務(wù)層分布式文件系統(tǒng)MPP數(shù)據(jù)庫(kù)分析模型算法引擎挖掘工具應(yīng)用層(SaaS)基礎(chǔ)設(shè)施(IaaS)應(yīng)用層(SaaS)分析研判類(lèi)服務(wù)預(yù)測(cè)預(yù)警類(lèi)服務(wù)動(dòng)態(tài)監(jiān)控類(lèi)服務(wù)信息處理類(lèi)服務(wù)大數(shù)據(jù)分析研判系統(tǒng)門(mén)戶(hù)運(yùn)營(yíng)狀態(tài)監(jiān)控決策分析預(yù)警安全保障體系(訪問(wèn)權(quán)限控制，防病毒、防入侵)內(nèi)存計(jì)算RDBMS數(shù)據(jù)塊ODS數(shù)據(jù)立方體數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市基礎(chǔ)設(shè)施(IaaS)流式處理客戶(hù)精準(zhǔn)營(yíng)銷(xiāo)數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交換平臺(tái)系統(tǒng)管理體系(日志審計(jì)、用戶(hù)管理、運(yùn)維監(jiān)控)安全保障體系(訪問(wèn)權(quán)限控制，防病毒、防入侵)服務(wù)總線風(fēng)險(xiǎn)模式識(shí)別PaaS平臺(tái)彈性運(yùn)行時(shí)環(huán)境云數(shù)據(jù)中心管理平臺(tái)大數(shù)據(jù)分析應(yīng)用系統(tǒng)架構(gòu)系統(tǒng)管理體系(日志審計(jì)、用戶(hù)管理、32目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)據(jù)分析應(yīng)用場(chǎng)景大數(shù)據(jù)時(shí)代的來(lái)臨目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)收集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)處理分析及可視化應(yīng)用數(shù)據(jù)擁有者數(shù)據(jù)分析技術(shù)提供商服務(wù)技術(shù)提供商最終用戶(hù)數(shù)據(jù)采集技術(shù)提供商數(shù)據(jù)采集者

數(shù)據(jù)分析者數(shù)據(jù)服務(wù)提供商基礎(chǔ)硬件（服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)交換）廠商大數(shù)據(jù)分析軟件平臺(tái)（數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、分布式處理技術(shù)等）提供商大數(shù)據(jù)分析一體化產(chǎn)品提供商大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)分析及可視化應(yīng)用34大數(shù)據(jù)產(chǎn)品線的保障體系1.需求分析2.解決方案3.維護(hù)服務(wù)縮短開(kāi)發(fā)周期實(shí)現(xiàn)數(shù)據(jù)共享降低管理風(fēng)險(xiǎn)提高安全和質(zhì)量資深工程師提供在線指導(dǎo)服務(wù)專(zhuān)家提供現(xiàn)場(chǎng)指導(dǎo)運(yùn)維服務(wù)評(píng)估業(yè)務(wù)需求分析已有基礎(chǔ)設(shè)施風(fēng)險(xiǎn)評(píng)估推薦合理方案大數(shù)據(jù)產(chǎn)品線的保障體系1.需求分析2.解決方案3.維護(hù)服務(wù)縮35大數(shù)據(jù)一體機(jī)產(chǎn)品定位及軟硬一體化設(shè)計(jì)方案計(jì)算單元：采用Intel最新XeonE5v3系列處理器，性能相比上一代產(chǎn)品提升2倍FPGA加速卡+CPU對(duì)比純CPU性能那個(gè)提升10+倍系統(tǒng)進(jìn)行內(nèi)存調(diào)度算法優(yōu)化，增強(qiáng)內(nèi)存訪問(wèn)速度采用全文檢索、動(dòng)態(tài)頁(yè)面生成等技術(shù)提供ms級(jí)查詢(xún)響應(yīng)存儲(chǔ)單元：優(yōu)化文件系統(tǒng)熱點(diǎn)數(shù)據(jù)讀取算法，整機(jī)磁盤(pán)I/O高達(dá)500+MB/s小文件聚合技術(shù)，解決小文件快速寫(xiě)入問(wèn)題SSD加速緩存與傳統(tǒng)磁盤(pán)比較讀性能提升20倍通信單元：節(jié)點(diǎn)間通信網(wǎng)絡(luò)采用遠(yuǎn)程直接數(shù)據(jù)存取技術(shù)，能夠支持

1000+節(jié)點(diǎn)

之間同時(shí)的大數(shù)據(jù)量傳輸節(jié)點(diǎn)間網(wǎng)絡(luò)采用40Gb/s高速網(wǎng)絡(luò)，網(wǎng)絡(luò)延遲低至us級(jí)大數(shù)據(jù)一體機(jī)產(chǎn)品定位及軟硬一體化設(shè)計(jì)方案計(jì)算單元：存儲(chǔ)單元：36MPP數(shù)據(jù)庫(kù)：DaaS的計(jì)算引擎企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)分析型數(shù)據(jù)集市GreenplumDB:

Data

as

a

Service的計(jì)算引擎Gartner公司每年發(fā)布關(guān)于數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)業(yè)界地位的魔法象限研究報(bào)告報(bào)告主要從數(shù)據(jù)倉(cāng)庫(kù)廠商的執(zhí)行力和遠(yuǎn)景兩個(gè)方面評(píng)估評(píng)估對(duì)象包括傳統(tǒng)的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和新一代的MPP并行數(shù)據(jù)庫(kù)廠商支持各種規(guī)模、有大量并發(fā)用戶(hù)、能管理混合工作負(fù)載的數(shù)據(jù)倉(cāng)庫(kù)具備較高的客戶(hù)滿(mǎn)意度和強(qiáng)有力的服務(wù)支持在數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)有長(zhǎng)久的生命力風(fēng)險(xiǎn)最低、產(chǎn)品成熟度最高Gartner對(duì)領(lǐng)導(dǎo)者象限的評(píng)價(jià)采用前瞻性思維設(shè)計(jì)的數(shù)據(jù)倉(cāng)庫(kù)較小的市場(chǎng)領(lǐng)導(dǎo)者，缺乏全球性發(fā)展缺少較大的本地客戶(hù)，因此不易證明其產(chǎn)品的功能和價(jià)值在產(chǎn)品技術(shù)領(lǐng)域，某些特性具備前瞻性，但綜合能力需要完善Gartner對(duì)遠(yuǎn)見(jiàn)者象限的評(píng)價(jià)MPP數(shù)據(jù)庫(kù)：DaaS的計(jì)算引擎企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)分析型數(shù)據(jù)37MPP數(shù)據(jù)庫(kù)：極速分析平臺(tái)并行處理架構(gòu)MPPshared-nothing架構(gòu)，基于通用X86平臺(tái)PB級(jí)以上海量存儲(chǔ)，最大支持10000節(jié)點(diǎn)以上所有節(jié)點(diǎn)并發(fā)IO，實(shí)現(xiàn)超大IO吞吐，并行運(yùn)行SQL自動(dòng)化并行自動(dòng)化并行計(jì)算,實(shí)現(xiàn)超大計(jì)算能力使用同傳統(tǒng)DB一樣，加載和運(yùn)行SQL數(shù)據(jù)多節(jié)點(diǎn)分布及高可用性都由DB自身實(shí)現(xiàn)極佳的橫向擴(kuò)展性在線橫向擴(kuò)展容量、加載和SQL查詢(xún)性能隨節(jié)點(diǎn)線性增加專(zhuān)為BI及數(shù)據(jù)分析優(yōu)化深度整合統(tǒng)計(jì)數(shù)學(xué)模塊（SAS,SOLR,MADLIB,R）高性能并行SQL執(zhí)行器MPPshared-nothing架構(gòu)構(gòu)建在X86開(kāi)放平臺(tái)上的并行處理架構(gòu)MPP數(shù)據(jù)庫(kù)：38MPP數(shù)據(jù)庫(kù)：行業(yè)最快的數(shù)據(jù)加載技術(shù)每個(gè)Rack（16節(jié)點(diǎn)）,每小時(shí)16TB加載性能Scatter-GatherStreaming?提供性能線性擴(kuò)張支持大批量數(shù)據(jù)加載和持續(xù)化的數(shù)據(jù)加載Enablecomplexdatatransformations“in-flight”對(duì)GBK/UTF8/ISO8859字符集的原生支持GreenplumOracle

ExadataNetezzaTeradataSingleRackComparisonGreenplumloadratesscalelinearlywiththenumberofracks,othersdonot.Forexample,tworacks=>32TB/HLoadMPP數(shù)據(jù)庫(kù)：行業(yè)最快的數(shù)據(jù)加載技術(shù)每個(gè)Rack（39MPP數(shù)據(jù)庫(kù)：高可用性ClientRedundant

InterconnectMP

Segment

ServersPrimary

Master1Sync&

Failover

ProcessesStandby

MasterPrimaryDataRAID5ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345

提供了全量備份和增量備份功能，保證系統(tǒng)級(jí)故障后的數(shù)據(jù)恢復(fù)對(duì)于任一設(shè)備的故障，系統(tǒng)數(shù)據(jù)不丟失、提供持續(xù)服務(wù)多個(gè)節(jié)點(diǎn)宕機(jī)后，系統(tǒng)性能只降低1/6MPP數(shù)據(jù)庫(kù)：高可用性ClientRedundant

In40MPP數(shù)據(jù)庫(kù)：

負(fù)載管理技術(shù)查詢(xún)層對(duì)運(yùn)行的查詢(xún)提供基本的優(yōu)先級(jí)管理對(duì)CPU\內(nèi)存\IO利用率進(jìn)行定額分配控制單個(gè)查詢(xún)并發(fā)度會(huì)話層每個(gè)用戶(hù)能夠分配一個(gè)資源隊(duì)列管理工作允許控制查詢(xún)和查詢(xún)代價(jià)數(shù)據(jù)庫(kù)連接層控制多少用戶(hù)可以連接。提供的池(允許大量)和(限制數(shù)量)MPP數(shù)據(jù)庫(kù)：負(fù)載管理技術(shù)查詢(xún)層會(huì)話層數(shù)據(jù)庫(kù)連接層41MPP數(shù)據(jù)庫(kù)：PolymorphicDataStorage?

(

多態(tài)存儲(chǔ)-同時(shí)支持行存儲(chǔ)及列存儲(chǔ))Table‘Customer’Jan’09Feb’09Mar’09Apr’09May’09Jun’09Jul’09Aug’09Sept’09Oct’09Nov’09Column-OrientedArchivalCompressionColumn-OrientedFastCompressionRow-Oriented提供靈活存儲(chǔ)技術(shù)四種表類(lèi)型:普通行表,AO表,列存儲(chǔ)表,外部表兩種壓縮技術(shù):Gzip(levels1-9),QuickLZ同一庫(kù)內(nèi)甚至同一個(gè)表中多種存儲(chǔ)技術(shù)混合使用靈活定義不同表分區(qū)存儲(chǔ)結(jié)構(gòu)只需定義關(guān)鍵字orientation=[row|column]允許用戶(hù)根據(jù)不同應(yīng)用場(chǎng)景，達(dá)到最優(yōu)性能效果MPP數(shù)據(jù)庫(kù)：PolymorphicDataStora42MPPDB與HD通過(guò)gNet無(wú)縫集成

通過(guò)標(biāo)準(zhǔn)接口或編程語(yǔ)言，透明訪問(wèn)數(shù)據(jù)庫(kù)和Hadoop內(nèi)部存儲(chǔ)的數(shù)據(jù)。MPPDB與HD43大數(shù)據(jù)一體機(jī)SDA50000SDA50000單柜滿(mǎn)配備注數(shù)據(jù)分發(fā)節(jié)點(diǎn)2固定計(jì)算交換機(jī)2固定管理交換機(jī)2固定KVM1固定數(shù)據(jù)庫(kù)節(jié)點(diǎn)12?配、半配、滿(mǎn)配總內(nèi)存1.5T總核數(shù)192C硬盤(pán)總數(shù)量96可用裸容量56TB建議使用容量（3副本）18.75TB大數(shù)據(jù)分析系統(tǒng)軟件：MPP數(shù)據(jù)庫(kù)應(yīng)用場(chǎng)景：數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用/OLAP多維分析

大數(shù)據(jù)一體機(jī)SDA50000SDA50000單柜滿(mǎn)配44大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈）

關(guān)系型數(shù)據(jù)庫(kù),NoSQL,流計(jì)算，SQLonHadoop,OLAPonHadoop,OLTPonHadoop，Cache緩存，In-MemoryDB,In-MemoryDataGrid，非關(guān)系型數(shù)據(jù)庫(kù)，等等。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一大數(shù)據(jù)分析套件組合：（完善生態(tài)45大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQLonHadoop最初的設(shè)計(jì)定位：

專(zhuān)為分析完整事務(wù)支持而優(yōu)化的大規(guī)模并行SQL處理引擎。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQLonHadoop最初46大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQLonHadoop技術(shù)的重要特性和優(yōu)點(diǎn)：高度擴(kuò)展和存儲(chǔ)系統(tǒng)業(yè)界領(lǐng)先的性能與動(dòng)態(tài)流水線彈性故障容錯(cuò)和事務(wù)支持?jǐn)?shù)據(jù)管理和分析工具包真實(shí)的SQL功能

基于成本的世界一流查詢(xún)優(yōu)化、領(lǐng)先的邊緣網(wǎng)絡(luò)互連、功能豐富的SQL和分析界面、并配有事務(wù)性存儲(chǔ)子系統(tǒng)的高性能執(zhí)行運(yùn)行時(shí)間，是唯一能夠提供此技術(shù)的Hadoop查詢(xún)引擎。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQLonHadoop技術(shù)47大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一

Hadoop分析框架體系HDFSHBasePig,Hive,MahoutMapReduceSqoopFlumeResource

Management

&WorkflowYarnZookeeperCommandCenterConfigure,Deploy,Monitor,ManageDataLoaderHadoop

EnterpriseSpringUnifiedStorageServiceXtension

FrameworkCatalog

ServicesQuery

OptimizerDynamicPipeliningANSISQL+AnalyticsHadoopVirtualizationExtensionDistrubutedIn-memoryStoreQueryTransactionsIngestionProcessingHadoopDriver–

ParallelwithCompactionANSISQL+In-MemoryGemFireXD–Real-TimeDatabaseServicesMADlibAlgorithmsHAWQ–AdvancedDatabaseServices大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一Hadoop分析框架體系HD48大數(shù)據(jù)產(chǎn)品線–大數(shù)據(jù)一體機(jī)SDA60000SDA60000單柜滿(mǎn)配備注管理節(jié)點(diǎn)2固定，HA計(jì)算交換機(jī)2固定管理交換機(jī)2固定KVM1固定數(shù)據(jù)節(jié)點(diǎn)16?配、半配、滿(mǎn)配總內(nèi)存2T總核數(shù)192C硬盤(pán)總數(shù)量192可用裸容量768TB建議使用容量（3副本）256TB大數(shù)據(jù)分析系統(tǒng)軟件：Hadoop系統(tǒng)應(yīng)用場(chǎng)景：海量數(shù)據(jù)離線批處理/查詢(xún)分析大數(shù)據(jù)產(chǎn)品線–大數(shù)據(jù)一體機(jī)SDA60000SDA649大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一

分布式內(nèi)存數(shù)據(jù)庫(kù)DatabasesOtherDataSystems文件系統(tǒng)常用的數(shù)據(jù)存儲(chǔ)高吞吐量低延時(shí)高伸縮性持續(xù)可用性可靠的事件通知連續(xù)查詢(xún)并行執(zhí)行廣域網(wǎng)分布數(shù)據(jù)調(diào)用方數(shù)據(jù)持久性分布式內(nèi)存數(shù)據(jù)庫(kù)大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一分布式50大數(shù)據(jù)一體機(jī)SDA80000大數(shù)據(jù)分析系統(tǒng)軟件（分布式內(nèi)存數(shù)據(jù)庫(kù)）：應(yīng)用場(chǎng)景：海量數(shù)據(jù)高并發(fā)查詢(xún)/實(shí)時(shí)事務(wù)處理分布式內(nèi)存數(shù)據(jù)庫(kù)SDA80000單柜滿(mǎn)配備注數(shù)據(jù)分發(fā)節(jié)點(diǎn)2固定，HA計(jì)算交換機(jī)1固定管理交換機(jī)1固定KVM1固定數(shù)據(jù)節(jié)點(diǎn)16?配、半配、滿(mǎn)配總內(nèi)存4T總核數(shù)192C硬盤(pán)總數(shù)量384塊

大數(shù)據(jù)一體機(jī)SDA80000大數(shù)據(jù)分析系統(tǒng)軟件（分布式內(nèi)51PaaS平臺(tái)的核心組件–CloudFoundry企業(yè)版PaaS平臺(tái)的核心組件–CloudFoundry企52CloudFoundry企業(yè)版的主要功能–跨云部署機(jī)制CloudFoundry企業(yè)版的主要功能–跨云部署機(jī)53PaaS平臺(tái)彈性運(yùn)行時(shí)環(huán)境–CloudFoundryPaaS平臺(tái)彈性運(yùn)行時(shí)環(huán)境–CloudFoundr54大數(shù)據(jù)一體機(jī)SDA90000計(jì)算單元分布式數(shù)據(jù)處理模塊大數(shù)據(jù)存儲(chǔ)模塊加速器高速交換網(wǎng)絡(luò)可視化管理大數(shù)據(jù)分析處理PaaS平臺(tái)大數(shù)據(jù)分析SaaS應(yīng)用預(yù)測(cè)預(yù)警類(lèi)服務(wù)動(dòng)態(tài)監(jiān)控類(lèi)服務(wù)信息處理類(lèi)服務(wù)存儲(chǔ)單元網(wǎng)絡(luò)單元大數(shù)據(jù)分析PaaS平臺(tái)（一體化集群部署方案）

應(yīng)用場(chǎng)景：海量數(shù)據(jù)存儲(chǔ)/分析/查詢(xún)/開(kāi)發(fā)彈性運(yùn)行時(shí)環(huán)境模塊數(shù)據(jù)服務(wù)總線API接口分析研判類(lèi)服務(wù)大數(shù)據(jù)一體機(jī)SDA90000計(jì)算單元分布式數(shù)據(jù)處理模塊大55大數(shù)據(jù)應(yīng)用融合解決方案課件行業(yè)信息化特點(diǎn)行業(yè)信息化特點(diǎn)57行業(yè)面臨的嚴(yán)峻形勢(shì)和挑戰(zhàn)行業(yè)面臨的嚴(yán)峻形勢(shì)和挑戰(zhàn)58行業(yè)大數(shù)據(jù)應(yīng)用整體解決方案行業(yè)大數(shù)據(jù)應(yīng)用整體解決方案59行業(yè)大數(shù)據(jù)分析平臺(tái)建設(shè)內(nèi)容行業(yè)大數(shù)據(jù)分析平臺(tái)建設(shè)內(nèi)容60大數(shù)據(jù)分析平臺(tái)分層模型大數(shù)據(jù)分析平臺(tái)分層模型61大數(shù)據(jù)分析應(yīng)用檢索工具庫(kù)大數(shù)據(jù)分析應(yīng)用檢索工具庫(kù)62大數(shù)據(jù)分析應(yīng)用資源庫(kù)建設(shè)之一整合海量?jī)?nèi)外部異構(gòu)數(shù)據(jù)資源，按要素、主題實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的集中管理，形成統(tǒng)一的大數(shù)據(jù)視圖，為上層應(yīng)用提供大數(shù)據(jù)資源服務(wù)。大數(shù)據(jù)分析應(yīng)用資源庫(kù)建設(shè)之一整合海量?jī)?nèi)外部異構(gòu)63大數(shù)據(jù)分析應(yīng)用資源庫(kù)建設(shè)之一

以要素模型為基礎(chǔ)，以人和案件為核心，對(duì)海量數(shù)據(jù)進(jìn)行劃分和組織，為上層分析模型服務(wù)，進(jìn)而提供分析、預(yù)測(cè)、預(yù)警等大數(shù)據(jù)服務(wù)。大數(shù)據(jù)分析應(yīng)用資源庫(kù)建設(shè)之一以要素模型為基礎(chǔ)，64大數(shù)據(jù)分析業(yè)務(wù)場(chǎng)景之一大數(shù)據(jù)分析業(yè)務(wù)場(chǎng)景之一65大數(shù)據(jù)分析應(yīng)用場(chǎng)景–軌跡分析/關(guān)聯(lián)比對(duì)通過(guò)出行軌跡、車(chē)輛軌跡、住宿軌跡等動(dòng)態(tài)軌跡信息綜合研判，發(fā)現(xiàn)潛在線索與隱藏關(guān)系，為干警打擊、預(yù)防犯罪提供支持。大數(shù)據(jù)分析應(yīng)用場(chǎng)景–軌跡分析/關(guān)聯(lián)比對(duì)通過(guò)66大數(shù)據(jù)分析Hadoop/開(kāi)發(fā)框架應(yīng)用場(chǎng)景大數(shù)據(jù)分析Hadoop/開(kāi)發(fā)框架應(yīng)用場(chǎng)景67大數(shù)據(jù)分析專(zhuān)題庫(kù)/數(shù)據(jù)資源整合應(yīng)用場(chǎng)景大數(shù)據(jù)分析專(zhuān)題庫(kù)/數(shù)據(jù)資源整合應(yīng)用場(chǎng)景68大數(shù)據(jù)分析業(yè)務(wù)專(zhuān)題/數(shù)據(jù)總線應(yīng)用場(chǎng)景大數(shù)據(jù)分析業(yè)務(wù)專(zhuān)題/數(shù)據(jù)總線應(yīng)用場(chǎng)景69大數(shù)據(jù)分析應(yīng)用平臺(tái)資源池拓?fù)鋱D存儲(chǔ)系統(tǒng)備份系統(tǒng)…………存儲(chǔ)系統(tǒng)備份系統(tǒng)K-HAK-HAK-HAK1-1K1-2K1-3K1-4K1-5K1-6TS860TS860TS860TS860……核心交換機(jī)

虛擬化（非關(guān)鍵應(yīng)用）資源池

物理（核心業(yè)務(wù)系統(tǒng)）資源池……物理（大數(shù)據(jù)分析應(yīng)用）資源池大數(shù)據(jù)分析應(yīng)用平臺(tái)資源池拓?fù)鋱D存儲(chǔ)系統(tǒng)備份系統(tǒng)…………存儲(chǔ)系70大數(shù)據(jù)分析應(yīng)用平臺(tái)系統(tǒng)架構(gòu)安全保障、運(yùn)維體系計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池平臺(tái)層(PaaS)數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)準(zhǔn)備層數(shù)據(jù)處理層數(shù)據(jù)服務(wù)層分布式文件系統(tǒng)MPP數(shù)據(jù)庫(kù)分析模型算法引擎挖掘工具應(yīng)用層(SaaS)基礎(chǔ)設(shè)施(IaaS)應(yīng)用層(SaaS)分析研判類(lèi)服務(wù)預(yù)測(cè)預(yù)警類(lèi)服務(wù)動(dòng)態(tài)監(jiān)控類(lèi)服務(wù)信息處理類(lèi)服務(wù)大數(shù)據(jù)分析研判系統(tǒng)門(mén)戶(hù)反恐維穩(wěn)服務(wù)民生犯罪模式識(shí)別信息網(wǎng)安全保障體系(PKI/PMI，防病毒、防入侵)內(nèi)存計(jì)算RDBMS數(shù)據(jù)塊ODS數(shù)據(jù)立方體數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市基礎(chǔ)設(shè)施(IaaS)流式處理路況預(yù)警數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交換平臺(tái)系統(tǒng)管理平臺(tái)(日志審計(jì)、用戶(hù)管理、運(yùn)維監(jiān)控)信息網(wǎng)安全保障體系(PKI/PMI，防病毒、防入侵)服務(wù)總線熱點(diǎn)地區(qū)識(shí)別PAAS平臺(tái)彈性運(yùn)行時(shí)環(huán)境云數(shù)據(jù)中心管理平臺(tái)大數(shù)據(jù)分析應(yīng)用平臺(tái)系統(tǒng)架構(gòu)安全保障、運(yùn)維體系計(jì)算資源池存儲(chǔ)資71謝謝觀賞！！謝謝觀賞?。?2云計(jì)算及大數(shù)據(jù)應(yīng)用融合解決方案云計(jì)算及大數(shù)據(jù)應(yīng)用融合解決方案73目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)據(jù)分析應(yīng)用場(chǎng)景大數(shù)據(jù)時(shí)代的來(lái)臨目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)企業(yè)面臨的挑戰(zhàn)和分析需求我們知道并且已經(jīng)掌握的知識(shí)我們知道并且尚未掌握的知識(shí)我們不知道并且尚未掌握的知識(shí)云計(jì)算、移動(dòng)計(jì)算、社交媒體和大數(shù)據(jù)分析推動(dòng)產(chǎn)生新的計(jì)算模式。該模式進(jìn)而引發(fā)業(yè)務(wù)轉(zhuǎn)型以提升效率,促進(jìn)法規(guī)遵從,提升整體業(yè)務(wù)可持續(xù)性以及以客戶(hù)為中心。企業(yè)面臨的挑戰(zhàn)和分析需求我們不知道云計(jì)算、移動(dòng)計(jì)算、社交媒75互聯(lián)網(wǎng)商業(yè)模式對(duì)傳統(tǒng)行業(yè)的沖擊互聯(lián)網(wǎng)商業(yè)模式對(duì)傳統(tǒng)行業(yè)的沖擊76數(shù)據(jù)處理的難題及大數(shù)據(jù)革命

收集、存儲(chǔ)和分析數(shù)據(jù)的能力在信息技術(shù)帶來(lái)的影響中始終占有重要一席。在這個(gè)數(shù)字化程度日益提高的時(shí)代，您所做的每件事都會(huì)有一個(gè)電子記錄。隨著企業(yè)積聚的數(shù)據(jù)越來(lái)越多并達(dá)到數(shù)百TB，他們紛紛尋求更加尖端的軟件工具對(duì)數(shù)據(jù)進(jìn)行挖掘和分析，從而幫助企業(yè)更好地了解市場(chǎng)和客戶(hù)，甚至是幫助企業(yè)對(duì)未來(lái)作出預(yù)測(cè)。您如何收集和存儲(chǔ)數(shù)據(jù)？您如何傳輸數(shù)據(jù)？您如何分析數(shù)據(jù)？您如何從數(shù)據(jù)獲益？數(shù)據(jù)處理的難題及大數(shù)據(jù)革命收集、存儲(chǔ)和分析數(shù)據(jù)77大數(shù)據(jù)時(shí)代帶來(lái)的思考……大數(shù)據(jù)時(shí)代帶來(lái)的思考……78新時(shí)代需要一個(gè)全新的計(jì)算平臺(tái)互聯(lián)網(wǎng)平臺(tái)時(shí)代，第三代IT體系的代表新時(shí)代需要一個(gè)全新的計(jì)算平臺(tái)互聯(lián)網(wǎng)平臺(tái)時(shí)代，第三代IT體系79互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來(lái)實(shí)現(xiàn)創(chuàng)新虛擬化運(yùn)維自動(dòng)化PaaS 傳統(tǒng)IT

Startups時(shí)間期望值InnovationGapCloudClient-Server互聯(lián)網(wǎng)公司 DevOps,CD/CI,Agile,MicroService互聯(lián)網(wǎng)公司采用的是PaaS,DevOps來(lái)實(shí)現(xiàn)創(chuàng)新虛擬化運(yùn)維80大數(shù)據(jù)時(shí)代行業(yè)商機(jī)無(wú)處不在！大數(shù)據(jù)時(shí)代行業(yè)商機(jī)無(wú)處不在！81大數(shù)據(jù)行業(yè)應(yīng)用–社交媒體大數(shù)據(jù)行業(yè)應(yīng)用–社交媒體82大數(shù)據(jù)行業(yè)應(yīng)用–電商平臺(tái)大數(shù)據(jù)行業(yè)應(yīng)用–電商平臺(tái)83大數(shù)據(jù)行業(yè)應(yīng)用–互聯(lián)網(wǎng)平臺(tái)大數(shù)據(jù)行業(yè)應(yīng)用–互聯(lián)網(wǎng)平臺(tái)84大數(shù)據(jù)行業(yè)應(yīng)用–風(fēng)力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級(jí)捕獲傳感器數(shù)據(jù)（如：主軸傳感器、齒輪箱傳感器和定子傳感器等），監(jiān)控單臺(tái)風(fēng)力發(fā)電機(jī)運(yùn)行狀態(tài)以秒級(jí)捕獲傳感器數(shù)據(jù)，監(jiān)控風(fēng)機(jī)位置、彼此協(xié)作情況，保證發(fā)電場(chǎng)以最優(yōu)狀態(tài)工作以分鐘級(jí)捕獲傳感器數(shù)據(jù)，監(jiān)控輸電狀態(tài)、效率大數(shù)據(jù)行業(yè)應(yīng)用–風(fēng)力渦輪發(fā)電系統(tǒng)管理監(jiān)控以毫秒級(jí)捕獲傳感85大數(shù)據(jù)行業(yè)應(yīng)用–工業(yè)互聯(lián)網(wǎng)資產(chǎn)管理零部件庫(kù)存管理資產(chǎn)管理供應(yīng)鏈自動(dòng)化工作范圍的自動(dòng)化場(chǎng)力優(yōu)化監(jiān)控和診斷狀態(tài)檢修停電管理資產(chǎn)生命周期管理操作優(yōu)化物流管理控制和工廠自動(dòng)化燃料消耗的優(yōu)化排放管理法規(guī)遵從健康&安全保證運(yùn)營(yíng)管理與監(jiān)測(cè)系統(tǒng)網(wǎng)絡(luò)吞吐量的優(yōu)化終端客戶(hù)信息服務(wù)大數(shù)據(jù)行業(yè)應(yīng)用–工業(yè)互聯(lián)網(wǎng)資產(chǎn)管理操作優(yōu)化86云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新87工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點(diǎn)工業(yè)互聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)特點(diǎn)88基于分布式內(nèi)存計(jì)算技術(shù)的IOT邏輯架構(gòu)基于分布式內(nèi)存計(jì)算技術(shù)的IOT邏輯架構(gòu)89云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新云計(jì)算側(cè)重資源管理，而大數(shù)據(jù)側(cè)重業(yè)務(wù)應(yīng)用。云計(jì)算資源池化的管理模式是大數(shù)據(jù)應(yīng)用的前提。云計(jì)算提供的存儲(chǔ)和計(jì)算資源池可動(dòng)態(tài)支撐大數(shù)據(jù)分析業(yè)務(wù)不斷變化的需求。云計(jì)算改變IT，大數(shù)據(jù)應(yīng)用重在創(chuàng)新云計(jì)算側(cè)重資源管理，而大90目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)據(jù)分析應(yīng)用場(chǎng)景大數(shù)據(jù)時(shí)代的來(lái)臨目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù)應(yīng)用平臺(tái)提交請(qǐng)求訪問(wèn)的數(shù)據(jù)，包括結(jié)構(gòu)化和非結(jié)構(gòu)化兩類(lèi)在線存儲(chǔ)周期超過(guò)數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)適合Hadoop分布式架構(gòu)管理無(wú)法用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)的無(wú)結(jié)構(gòu)性的數(shù)據(jù)。例如文本、音頻數(shù)據(jù)等。適合Hadoop架構(gòu)方便用數(shù)據(jù)庫(kù)的二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)字段含義確定，清晰。例如：客戶(hù)信息、用電記錄等。是挖掘數(shù)據(jù)價(jià)值的主要對(duì)象。支持分析型應(yīng)用，時(shí)效性較低支持前臺(tái)交易系統(tǒng)查詢(xún)需求，具有可靠性高、并發(fā)度大、采集頻率短的特點(diǎn)適合分布式內(nèi)存數(shù)據(jù)處理技術(shù)數(shù)據(jù)類(lèi)別數(shù)據(jù)格式數(shù)據(jù)采集頻度大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù)在線數(shù)據(jù)歸檔數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)準(zhǔn)實(shí)時(shí)數(shù)據(jù)非實(shí)時(shí)數(shù)據(jù)面向貼源數(shù)據(jù)查詢(xún)和主題數(shù)據(jù)整合。數(shù)據(jù)區(qū)，適合X86MPP數(shù)據(jù)庫(kù)集群范式化模型數(shù)據(jù)面向分析類(lèi)應(yīng)用。對(duì)應(yīng)ADW，適合MPP數(shù)據(jù)庫(kù)集群維度模型數(shù)據(jù)數(shù)據(jù)模型大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù)應(yīng)用平臺(tái)提交請(qǐng)求訪問(wèn)的數(shù)據(jù)92大數(shù)據(jù)分析應(yīng)用的關(guān)鍵核心技術(shù)大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈）

關(guān)系型數(shù)據(jù)庫(kù),NoSQL,流計(jì)算，SQLonHadoop,OLAPonHadoop,OLTPonHadoop，Cache緩存，In-MemoryDB,In-MemoryDataGrid，非關(guān)系型數(shù)據(jù)庫(kù)，等等。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵核心技術(shù)大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈93大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一分布式內(nèi)存數(shù)據(jù)庫(kù)MPP分布式數(shù)據(jù)庫(kù)流式處理

Hadoop分析框架體系大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一分布式內(nèi)存數(shù)據(jù)庫(kù)MPP分布式數(shù)94大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一PaaS平臺(tái)彈性運(yùn)行時(shí)環(huán)境監(jiān)控管理層物理資源層PaaS服務(wù)層業(yè)務(wù)應(yīng)用層IAASInterfacePaaS運(yùn)行時(shí)環(huán)境ServicesInterfacePaaSService應(yīng)用中間件Hadoop消息中間件……SQL數(shù)據(jù)庫(kù)NoSQL數(shù)據(jù)庫(kù)安全管理資源管理配置管理服務(wù)目錄服務(wù)管理性能監(jiān)控資源監(jiān)控存儲(chǔ)設(shè)備計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池計(jì)算機(jī)網(wǎng)絡(luò)設(shè)備分析研判類(lèi)應(yīng)用預(yù)測(cè)預(yù)警類(lèi)應(yīng)用動(dòng)態(tài)監(jiān)控類(lèi)應(yīng)用信息處理類(lèi)應(yīng)用……IaaS服務(wù)層大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一PaaS平臺(tái)彈性運(yùn)行時(shí)環(huán)境監(jiān)控95大數(shù)據(jù)時(shí)代平臺(tái)產(chǎn)品的關(guān)鍵能力開(kāi)放彈性架構(gòu)真正無(wú)共享的海量并行處理架構(gòu)工業(yè)標(biāo)準(zhǔn)的X86平臺(tái)服務(wù)器資源按需分配，按需搭建集群，按需縮放集群規(guī)模在線線性擴(kuò)展增加節(jié)點(diǎn)可線性增加存儲(chǔ)、查詢(xún)和加載性能支持在線擴(kuò)容，擴(kuò)容期間保證系統(tǒng)繼續(xù)對(duì)外提供服務(wù)擁有成本可控保證用戶(hù)不被專(zhuān)有平臺(tái)鎖定企業(yè)初期投入和后續(xù)擴(kuò)容的成本可控海量并行處理支持PB級(jí)的數(shù)據(jù)處理、存儲(chǔ)和訪問(wèn)在數(shù)據(jù)加載、處理、訪問(wèn)等各個(gè)環(huán)節(jié)最大化并行處理能力優(yōu)秀混合負(fù)載按需分配資源（CPU、內(nèi)存、IO）動(dòng)態(tài)調(diào)整資源平臺(tái)持續(xù)可用數(shù)據(jù)鏡像、硬件冗余等多種容錯(cuò)技術(shù)保證系統(tǒng)高可用故障切換和恢復(fù)，對(duì)用戶(hù)透明擴(kuò)容期間可持續(xù)對(duì)外服務(wù)易于管理維護(hù)直觀的圖形化界面，實(shí)時(shí)的狀態(tài)監(jiān)控最大限度降低管理員的日常管理和維護(hù)工作大數(shù)據(jù)時(shí)代平臺(tái)產(chǎn)品的關(guān)鍵能力開(kāi)放彈性架構(gòu)真正無(wú)共享的海量并行96大數(shù)據(jù)時(shí)代催生PaaS平臺(tái)的變革IaaS:硬件的自動(dòng)化管理，人與機(jī)器的解耦合

獲得效率/犧牲性能PaaS：應(yīng)用的自動(dòng)化管理，應(yīng)用與OS的解耦合

獲得彈性/犧牲控制大數(shù)據(jù)時(shí)代催生PaaS平臺(tái)的變革IaaS:硬件的自97業(yè)務(wù)創(chuàng)新需要重新定義企業(yè)級(jí)PaaS支持開(kāi)放標(biāo)準(zhǔn)并與開(kāi)源有效互動(dòng)強(qiáng)調(diào)以數(shù)據(jù)為中心

兼顧各種數(shù)據(jù)類(lèi)型處理充分關(guān)注新一代開(kāi)發(fā)人員和新一代企業(yè)級(jí)應(yīng)用的需求為有效進(jìn)行實(shí)時(shí)大容量信息處理而設(shè)計(jì)同時(shí)兼顧與傳統(tǒng)應(yīng)用的互操作性與傳統(tǒng)技術(shù)的有效結(jié)合云支撐平臺(tái)數(shù)據(jù)支撐架構(gòu)應(yīng)用支撐架構(gòu)創(chuàng)新：以數(shù)據(jù)支撐為中心業(yè)務(wù)創(chuàng)新需要重新定義企業(yè)級(jí)PaaS支持開(kāi)放標(biāo)準(zhǔn)并與開(kāi)源有效98未來(lái)大數(shù)據(jù)分析應(yīng)用的PaaS平臺(tái)發(fā)展方向NewData-fabricsInternet-of-thingsPervasivetelemetryOpenDataPlatformBigDataFastDataRapidApplicationDev&IntegrationGemfirevFabricCloudAbstraction&AppAutomation面向數(shù)據(jù)的企業(yè)級(jí)PaaS平臺(tái)快速應(yīng)用開(kāi)發(fā)在收集數(shù)量龐大的事件數(shù)據(jù)的同時(shí)對(duì)特定事件進(jìn)行實(shí)時(shí)反應(yīng)與傳統(tǒng)應(yīng)用和基礎(chǔ)架構(gòu)有機(jī)配合配合不同云計(jì)算平臺(tái)實(shí)現(xiàn)高效運(yùn)維和水平擴(kuò)展存儲(chǔ)并且在非常大量的數(shù)據(jù)上進(jìn)行分析未來(lái)大數(shù)據(jù)分析應(yīng)用的PaaS平臺(tái)發(fā)展方向NewData99行業(yè)大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)架構(gòu)設(shè)計(jì)行業(yè)大數(shù)據(jù)分析應(yīng)用的數(shù)據(jù)架構(gòu)設(shè)計(jì)100大數(shù)據(jù)時(shí)代云計(jì)算及大數(shù)據(jù)融合架構(gòu)全景圖計(jì)算存儲(chǔ)網(wǎng)絡(luò)應(yīng)用運(yùn)行環(huán)境云平臺(tái)管理云平臺(tái)安全數(shù)據(jù)批處理（Hadoop）近實(shí)時(shí)分析（MPPDB）實(shí)時(shí)數(shù)據(jù)處理應(yīng)用和數(shù)據(jù)集成應(yīng)用開(kāi)發(fā)接口資源和服務(wù)交付統(tǒng)一訪問(wèn)門(mén)戶(hù)應(yīng)用容器虛擬機(jī)服務(wù)器虛擬化存儲(chǔ)虛擬化網(wǎng)絡(luò)虛擬化公有云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系統(tǒng)分布式塊存儲(chǔ)分布式對(duì)象存儲(chǔ)SAN存儲(chǔ)網(wǎng)關(guān)OpenFlowvxLanvSwitchAWSACEAzureGAE流處理內(nèi)存數(shù)據(jù)庫(kù)HbaseYarnMapReduceHive,Pig,MahoutSQLDataDistributeQueryPlannerMPPExecLoadBalancer分布式緩存消息中間件RDBMS云資源管理運(yùn)維管理桌面管理業(yè)務(wù)流程管理資源計(jì)費(fèi)網(wǎng)絡(luò)安全容災(zāi)備份數(shù)據(jù)和應(yīng)用訪問(wèn)權(quán)限管理安全審計(jì)vRoute大數(shù)據(jù)時(shí)代云計(jì)算及大數(shù)據(jù)融合架構(gòu)全景圖計(jì)算存儲(chǔ)網(wǎng)絡(luò)應(yīng)用運(yùn)行環(huán)101大數(shù)據(jù)分析應(yīng)用的PaaS平臺(tái)產(chǎn)品組合實(shí)時(shí)的數(shù)據(jù)處理Run-Time

Applications企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)大規(guī)模數(shù)據(jù)存儲(chǔ)實(shí)時(shí)的數(shù)據(jù)捕獲和共享分析型數(shù)據(jù)集市大數(shù)據(jù)分析應(yīng)用的PaaS平臺(tái)產(chǎn)品組合實(shí)時(shí)的數(shù)據(jù)處理Run102大數(shù)據(jù)分析應(yīng)用的資源池拓?fù)鋱D存儲(chǔ)系統(tǒng)備份系統(tǒng)…………存儲(chǔ)系統(tǒng)備份系統(tǒng)K-HAK-HAK-HAK1-1K1-2K1-3K1-4K1-5K1-6TS860TS860TS860TS860……核心交換機(jī)

虛擬化（非關(guān)鍵應(yīng)用）資源池

物理（核心業(yè)務(wù)系統(tǒng)）資源池……物理（大數(shù)據(jù)分析應(yīng)用）資源池大數(shù)據(jù)分析應(yīng)用的資源池拓?fù)鋱D存儲(chǔ)系統(tǒng)備份系統(tǒng)…………存儲(chǔ)系統(tǒng)103大數(shù)據(jù)分析應(yīng)用系統(tǒng)架構(gòu)系統(tǒng)管理體系(日志審計(jì)、用戶(hù)管理、運(yùn)維監(jiān)控)計(jì)算資源池存儲(chǔ)資源池網(wǎng)絡(luò)資源池平臺(tái)層(PaaS)數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)準(zhǔn)備層數(shù)據(jù)處理層數(shù)據(jù)服務(wù)層分布式文件系統(tǒng)MPP數(shù)據(jù)庫(kù)分析模型算法引擎挖掘工具應(yīng)用層(SaaS)基礎(chǔ)設(shè)施(IaaS)應(yīng)用層(SaaS)分析研判類(lèi)服務(wù)預(yù)測(cè)預(yù)警類(lèi)服務(wù)動(dòng)態(tài)監(jiān)控類(lèi)服務(wù)信息處理類(lèi)服務(wù)大數(shù)據(jù)分析研判系統(tǒng)門(mén)戶(hù)運(yùn)營(yíng)狀態(tài)監(jiān)控決策分析預(yù)警安全保障體系(訪問(wèn)權(quán)限控制，防病毒、防入侵)內(nèi)存計(jì)算RDBMS數(shù)據(jù)塊ODS數(shù)據(jù)立方體數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市基礎(chǔ)設(shè)施(IaaS)流式處理客戶(hù)精準(zhǔn)營(yíng)銷(xiāo)數(shù)據(jù)交換平臺(tái)數(shù)據(jù)交換平臺(tái)系統(tǒng)管理體系(日志審計(jì)、用戶(hù)管理、運(yùn)維監(jiān)控)安全保障體系(訪問(wèn)權(quán)限控制，防病毒、防入侵)服務(wù)總線風(fēng)險(xiǎn)模式識(shí)別PaaS平臺(tái)彈性運(yùn)行時(shí)環(huán)境云數(shù)據(jù)中心管理平臺(tái)大數(shù)據(jù)分析應(yīng)用系統(tǒng)架構(gòu)系統(tǒng)管理體系(日志審計(jì)、用戶(hù)管理、104目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)據(jù)分析應(yīng)用場(chǎng)景大數(shù)據(jù)時(shí)代的來(lái)臨目錄13大數(shù)據(jù)分析應(yīng)用之關(guān)鍵技術(shù)2能源行業(yè)之大數(shù)大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)收集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)處理分析及可視化應(yīng)用數(shù)據(jù)擁有者數(shù)據(jù)分析技術(shù)提供商服務(wù)技術(shù)提供商最終用戶(hù)數(shù)據(jù)采集技術(shù)提供商數(shù)據(jù)采集者

數(shù)據(jù)分析者數(shù)據(jù)服務(wù)提供商基礎(chǔ)硬件（服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)交換）廠商大數(shù)據(jù)分析軟件平臺(tái)（數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、分布式處理技術(shù)等）提供商大數(shù)據(jù)分析一體化產(chǎn)品提供商大數(shù)據(jù)產(chǎn)品線規(guī)劃和產(chǎn)業(yè)定位數(shù)據(jù)源數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)分析及可視化應(yīng)用106大數(shù)據(jù)產(chǎn)品線的保障體系1.需求分析2.解決方案3.維護(hù)服務(wù)縮短開(kāi)發(fā)周期實(shí)現(xiàn)數(shù)據(jù)共享降低管理風(fēng)險(xiǎn)提高安全和質(zhì)量資深工程師提供在線指導(dǎo)服務(wù)專(zhuān)家提供現(xiàn)場(chǎng)指導(dǎo)運(yùn)維服務(wù)評(píng)估業(yè)務(wù)需求分析已有基礎(chǔ)設(shè)施風(fēng)險(xiǎn)評(píng)估推薦合理方案大數(shù)據(jù)產(chǎn)品線的保障體系1.需求分析2.解決方案3.維護(hù)服務(wù)縮107大數(shù)據(jù)一體機(jī)產(chǎn)品定位及軟硬一體化設(shè)計(jì)方案計(jì)算單元：采用Intel最新XeonE5v3系列處理器，性能相比上一代產(chǎn)品提升2倍FPGA加速卡+CPU對(duì)比純CPU性能那個(gè)提升10+倍系統(tǒng)進(jìn)行內(nèi)存調(diào)度算法優(yōu)化，增強(qiáng)內(nèi)存訪問(wèn)速度采用全文檢索、動(dòng)態(tài)頁(yè)面生成等技術(shù)提供ms級(jí)查詢(xún)響應(yīng)存儲(chǔ)單元：優(yōu)化文件系統(tǒng)熱點(diǎn)數(shù)據(jù)讀取算法，整機(jī)磁盤(pán)I/O高達(dá)500+MB/s小文件聚合技術(shù)，解決小文件快速寫(xiě)入問(wèn)題SSD加速緩存與傳統(tǒng)磁盤(pán)比較讀性能提升20倍通信單元：節(jié)點(diǎn)間通信網(wǎng)絡(luò)采用遠(yuǎn)程直接數(shù)據(jù)存取技術(shù)，能夠支持

1000+節(jié)點(diǎn)

之間同時(shí)的大數(shù)據(jù)量傳輸節(jié)點(diǎn)間網(wǎng)絡(luò)采用40Gb/s高速網(wǎng)絡(luò)，網(wǎng)絡(luò)延遲低至us級(jí)大數(shù)據(jù)一體機(jī)產(chǎn)品定位及軟硬一體化設(shè)計(jì)方案計(jì)算單元：存儲(chǔ)單元：108MPP數(shù)據(jù)庫(kù)：DaaS的計(jì)算引擎企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)分析型數(shù)據(jù)集市GreenplumDB:

Data

as

a

Service的計(jì)算引擎Gartner公司每年發(fā)布關(guān)于數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)業(yè)界地位的魔法象限研究報(bào)告報(bào)告主要從數(shù)據(jù)倉(cāng)庫(kù)廠商的執(zhí)行力和遠(yuǎn)景兩個(gè)方面評(píng)估評(píng)估對(duì)象包括傳統(tǒng)的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和新一代的MPP并行數(shù)據(jù)庫(kù)廠商支持各種規(guī)模、有大量并發(fā)用戶(hù)、能管理混合工作負(fù)載的數(shù)據(jù)倉(cāng)庫(kù)具備較高的客戶(hù)滿(mǎn)意度和強(qiáng)有力的服務(wù)支持在數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)有長(zhǎng)久的生命力風(fēng)險(xiǎn)最低、產(chǎn)品成熟度最高Gartner對(duì)領(lǐng)導(dǎo)者象限的評(píng)價(jià)采用前瞻性思維設(shè)計(jì)的數(shù)據(jù)倉(cāng)庫(kù)較小的市場(chǎng)領(lǐng)導(dǎo)者，缺乏全球性發(fā)展缺少較大的本地客戶(hù)，因此不易證明其產(chǎn)品的功能和價(jià)值在產(chǎn)品技術(shù)領(lǐng)域，某些特性具備前瞻性，但綜合能力需要完善Gartner對(duì)遠(yuǎn)見(jiàn)者象限的評(píng)價(jià)MPP數(shù)據(jù)庫(kù)：DaaS的計(jì)算引擎企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)分析型數(shù)據(jù)109MPP數(shù)據(jù)庫(kù)：極速分析平臺(tái)并行處理架構(gòu)MPPshared-nothing架構(gòu)，基于通用X86平臺(tái)PB級(jí)以上海量存儲(chǔ)，最大支持10000節(jié)點(diǎn)以上所有節(jié)點(diǎn)并發(fā)IO，實(shí)現(xiàn)超大IO吞吐，并行運(yùn)行SQL自動(dòng)化并行自動(dòng)化并行計(jì)算,實(shí)現(xiàn)超大計(jì)算能力使用同傳統(tǒng)DB一樣，加載和運(yùn)行SQL數(shù)據(jù)多節(jié)點(diǎn)分布及高可用性都由DB自身實(shí)現(xiàn)極佳的橫向擴(kuò)展性在線橫向擴(kuò)展容量、加載和SQL查詢(xún)性能隨節(jié)點(diǎn)線性增加專(zhuān)為BI及數(shù)據(jù)分析優(yōu)化深度整合統(tǒng)計(jì)數(shù)學(xué)模塊（SAS,SOLR,MADLIB,R）高性能并行SQL執(zhí)行器MPPshared-nothing架構(gòu)構(gòu)建在X86開(kāi)放平臺(tái)上的并行處理架構(gòu)MPP數(shù)據(jù)庫(kù)：110MPP數(shù)據(jù)庫(kù)：行業(yè)最快的數(shù)據(jù)加載技術(shù)每個(gè)Rack（16節(jié)點(diǎn)）,每小時(shí)16TB加載性能Scatter-GatherStreaming?提供性能線性擴(kuò)張支持大批量數(shù)據(jù)加載和持續(xù)化的數(shù)據(jù)加載Enablecomplexdatatransformations“in-flight”對(duì)GBK/UTF8/ISO8859字符集的原生支持GreenplumOracle

ExadataNetezzaTeradataSingleRackComparisonGreenplumloadratesscalelinearlywiththenumberofracks,othersdonot.Forexample,tworacks=>32TB/HLoadMPP數(shù)據(jù)庫(kù)：行業(yè)最快的數(shù)據(jù)加載技術(shù)每個(gè)Rack（111MPP數(shù)據(jù)庫(kù)：高可用性ClientRedundant

InterconnectMP

Segment

ServersPrimary

Master1Sync&

Failover

ProcessesStandby

MasterPrimaryDataRAID5ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345

提供了全量備份和增量備份功能，保證系統(tǒng)級(jí)故障后的數(shù)據(jù)恢復(fù)對(duì)于任一設(shè)備的故障，系統(tǒng)數(shù)據(jù)不丟失、提供持續(xù)服務(wù)多個(gè)節(jié)點(diǎn)宕機(jī)后，系統(tǒng)性能只降低1/6MPP數(shù)據(jù)庫(kù)：高可用性ClientRedundant

In112MPP數(shù)據(jù)庫(kù)：

負(fù)載管理技術(shù)查詢(xún)層對(duì)運(yùn)行的查詢(xún)提供基本的優(yōu)先級(jí)管理對(duì)CPU\內(nèi)存\IO利用率進(jìn)行定額分配控制單個(gè)查詢(xún)并發(fā)度會(huì)話層每個(gè)用戶(hù)能夠分配一個(gè)資源隊(duì)列管理工作允許控制查詢(xún)和查詢(xún)代價(jià)數(shù)據(jù)庫(kù)連接層控制多少用戶(hù)可以連接。提供的池(允許大量)和(限制數(shù)量)MPP數(shù)據(jù)庫(kù)：負(fù)載管理技術(shù)查詢(xún)層會(huì)話層數(shù)據(jù)庫(kù)連接層113MPP數(shù)據(jù)庫(kù)：PolymorphicDataStorage?

(

多態(tài)存儲(chǔ)-同時(shí)支持行存儲(chǔ)及列存儲(chǔ))Table‘Customer’Jan’09Feb’09Mar’09Apr’09May’09Jun’09Jul’09Aug’09Sept’09Oct’09Nov’09Column-OrientedArchivalCompressionColumn-OrientedFastCompressionRow-Oriented提供靈活存儲(chǔ)技術(shù)四種表類(lèi)型:普通行表,AO表,列存儲(chǔ)表,外部表兩種壓縮技術(shù):Gzip(levels1-9),QuickLZ同一庫(kù)內(nèi)甚至同一個(gè)表中多種存儲(chǔ)技術(shù)混合使用靈活定義不同表分區(qū)存儲(chǔ)結(jié)構(gòu)只需定義關(guān)鍵字orientation=[row|column]允許用戶(hù)根據(jù)不同應(yīng)用場(chǎng)景，達(dá)到最優(yōu)性能效果MPP數(shù)據(jù)庫(kù)：PolymorphicDataStora114MPPDB與HD通過(guò)gNet無(wú)縫集成

通過(guò)標(biāo)準(zhǔn)接口或編程語(yǔ)言，透明訪問(wèn)數(shù)據(jù)庫(kù)和Hadoop內(nèi)部存儲(chǔ)的數(shù)據(jù)。MPPDB與HD115大數(shù)據(jù)一體機(jī)SDA50000SDA50000單柜滿(mǎn)配備注數(shù)據(jù)分發(fā)節(jié)點(diǎn)2固定計(jì)算交換機(jī)2固定管理交換機(jī)2固定KVM1固定數(shù)據(jù)庫(kù)節(jié)點(diǎn)12?配、半配、滿(mǎn)配總內(nèi)存1.5T總核數(shù)192C硬盤(pán)總數(shù)量96可用裸容量56TB建議使用容量（3副本）18.75TB大數(shù)據(jù)分析系統(tǒng)軟件：MPP數(shù)據(jù)庫(kù)應(yīng)用場(chǎng)景：數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用/OLAP多維分析

大數(shù)據(jù)一體機(jī)SDA50000SDA50000單柜滿(mǎn)配116大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一大數(shù)據(jù)分析套件組合：（完善生態(tài)鏈）

關(guān)系型數(shù)據(jù)庫(kù),NoSQL,流計(jì)算，SQLonHadoop,OLAPonHadoop,OLTPonHadoop，Cache緩存，In-MemoryDB,In-MemoryDataGrid，非關(guān)系型數(shù)據(jù)庫(kù)，等等。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一大數(shù)據(jù)分析套件組合：（完善生態(tài)117大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQLonHadoop最初的設(shè)計(jì)定位：

專(zhuān)為分析完整事務(wù)支持而優(yōu)化的大規(guī)模并行SQL處理引擎。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQLonHadoop最初118大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQLonHadoop技術(shù)的重要特性和優(yōu)點(diǎn)：高度擴(kuò)展和存儲(chǔ)系統(tǒng)業(yè)界領(lǐng)先的性能與動(dòng)態(tài)流水線彈性故障容錯(cuò)和事務(wù)支持?jǐn)?shù)據(jù)管理和分析工具包真實(shí)的SQL功能

基于成本的世界一流查詢(xún)優(yōu)化、領(lǐng)先的邊緣網(wǎng)絡(luò)互連、功能豐富的SQL和分析界面、并配有事務(wù)性存儲(chǔ)子系統(tǒng)的高性能執(zhí)行運(yùn)行時(shí)間，是唯一能夠提供此技術(shù)的Hadoop查詢(xún)引擎。大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一SQLonHadoop技術(shù)119大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一

Hadoop分析框架體系HDFSHBasePig,Hive,MahoutMapReduceSqoopFlumeResource

Management

&WorkflowYarnZookeeperCommandCenterConfigure,Deploy,Monitor,ManageDataLoaderHadoop

EnterpriseSpringUnifiedStorageServiceXtension

FrameworkCatalog

ServicesQuery

OptimizerDynamicPipeliningANSISQL+AnalyticsHadoopVirtualizationExtensionDistrubutedIn-memoryStoreQueryTransactionsIngestionProcessingHadoopDriver–

ParallelwithCompactionANSISQL+In-MemoryGemFireXD–Real-TimeDatabaseServicesMADlibAlgorithmsHAWQ–AdvancedDatabaseServices大數(shù)據(jù)分析應(yīng)用的關(guān)鍵技術(shù)之一Hadoop分析框架體系HD120大數(shù)據(jù)產(chǎn)品線–大數(shù)據(jù)一體機(jī)SDA60000SDA60000單柜滿(mǎn)配備注管理節(jié)點(diǎn)2固定，HA計(jì)算交換機(jī)2固定管理交換機(jī)2固定KVM1固定數(shù)據(jù)節(jié)點(diǎn)16?配、半配、滿(mǎn)配總內(nèi)