真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件

真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件第一部分1.1云計(jì)算平臺(tái)架構(gòu)clouDil1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二部分云計(jì)算平臺(tái)能力第一部分1.1云計(jì)算平臺(tái)架構(gòu)clouDil1.2MapRed真正的云計(jì)算平臺(tái)，它有五層架構(gòu)：運(yùn)維管理層：clouDil計(jì)算層：MapReduce+TaskMaster數(shù)據(jù)管理層：DataCube虛擬化層：cCloud存儲(chǔ)層：cStor真正的云計(jì)算平臺(tái)，它有五層架構(gòu)：真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二部分云計(jì)算平臺(tái)能力clouDil第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2MapReduce+Tas

在搭建云計(jì)算平臺(tái)時(shí)，遇到了很多的問(wèn)題和挑戰(zhàn)。開(kāi)始搭建時(shí)，第一次來(lái)了那么多性能強(qiáng)勁的機(jī)器，我們?cè)诟械脚d奮的同時(shí)，也不免有些顧慮。出了問(wèn)題怎么辦，有沒(méi)有預(yù)警機(jī)制？有沒(méi)有可視化的管理界面？機(jī)器宕機(jī)，管理員能否實(shí)時(shí)監(jiān)控到？如何做性能調(diào)優(yōu)？擴(kuò)容升級(jí)時(shí)，能否給出依據(jù)？

帶著這些問(wèn)題，我們開(kāi)始了自己的云計(jì)算平臺(tái)管理和運(yùn)營(yíng)之旅，現(xiàn)在完美的形成了一整套云計(jì)算平臺(tái)管理體系。 在搭建云計(jì)算平臺(tái)時(shí)，遇到了很多的問(wèn)題和挑戰(zhàn)。開(kāi)始搭建時(shí)，第流量監(jiān)控流量監(jiān)控健康度報(bào)告健康度報(bào)告節(jié)點(diǎn)性能監(jiān)控節(jié)點(diǎn)性能監(jiān)控集群狀態(tài)監(jiān)控集群狀態(tài)監(jiān)控集群狀態(tài)監(jiān)控集群狀態(tài)監(jiān)控第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3DataCube1.4cCloud1.5cStor第二部分云計(jì)算平臺(tái)能力MapReduce+TaskMaster第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3DatMapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1T

TaskMaster是云創(chuàng)存儲(chǔ)自主研發(fā)的一款高效云調(diào)度平臺(tái)。它保證在云計(jì)算平臺(tái)中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運(yùn)行；保證在云計(jì)算平臺(tái)中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)，同時(shí)能夠完美解決系統(tǒng)單點(diǎn)故障問(wèn)題，負(fù)載均衡，自動(dòng)調(diào)度與部署。 TaskMaster是云創(chuàng)存儲(chǔ)自主研發(fā)的一款高效云調(diào)度平產(chǎn)品優(yōu)勢(shì)高可靠性：采用“多主多備，負(fù)載均衡”的管理節(jié)點(diǎn)，從而保證無(wú)論管理節(jié)點(diǎn)還是處理節(jié)點(diǎn)都不存在任何單點(diǎn)故障問(wèn)題。低依賴性：采用模塊化設(shè)計(jì)思想，通過(guò)統(tǒng)一化配置和API接口的方式向用戶提供服務(wù)。低干預(yù)性：采用基于事件化的統(tǒng)一管理模式。在系統(tǒng)無(wú)人值守的情況下自動(dòng)完成故障處理等功能。高實(shí)時(shí)性：在機(jī)器性能允許的范圍內(nèi)，所有任務(wù)的控制工作基本都在秒級(jí)完成，具有前所未有的高效性。產(chǎn)品優(yōu)勢(shì)第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4cCloud1.5cStor第二部分云計(jì)算平臺(tái)能力DataCube第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3Map

數(shù)據(jù)立方是一種高效分布式的處理海量數(shù)據(jù)的云處理軟件，具有從TB乃至PB級(jí)的數(shù)據(jù)中挖掘出有用的信息并進(jìn)行快捷、高效處理的能力，同時(shí)支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)和商業(yè)智能分析等業(yè)務(wù)。該軟件基于hadoop平臺(tái)大數(shù)據(jù)處理的解決方案，具有處理能力高效、超高可靠性的優(yōu)點(diǎn)。 數(shù)據(jù)立方是一種高效分布式的處理海量數(shù)據(jù)的云處理軟件，具有產(chǎn)品特點(diǎn)對(duì)任意多關(guān)鍵字實(shí)時(shí)索引支持類SQL復(fù)雜并行組合查詢分布式萬(wàn)兆實(shí)時(shí)數(shù)據(jù)流秒級(jí)處理系統(tǒng)無(wú)單點(diǎn)，確保意外情況下，系統(tǒng)的正常運(yùn)行產(chǎn)品特點(diǎn)真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cStor第二部分云計(jì)算平臺(tái)能力cCloud第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3Map

cCloud是南京云創(chuàng)存儲(chǔ)科技有限公司自主研發(fā)的虛擬化云計(jì)算平臺(tái)。 cCloud平臺(tái)可以加速高伸縮性的公共和私有云IaaS的部署、管理、配置。幫助企業(yè)用戶快速而輕松地將虛擬數(shù)據(jù)中心資源轉(zhuǎn) 入自動(dòng)化、富于彈性且可自我服務(wù)的云平臺(tái)中。另外cCloud兼容亞馬遜API接口允許跨cCloud和亞馬遜平臺(tái)實(shí)現(xiàn)負(fù)載兼容。使用cCloud作為基礎(chǔ)數(shù)據(jù)中心操作者可以快速方便的通過(guò)現(xiàn)存基礎(chǔ)架構(gòu)創(chuàng)建云服務(wù)。 cCloud是南京云創(chuàng)存儲(chǔ)科技有限公司自主研發(fā)的虛擬化云cCloud系統(tǒng)構(gòu)架cCloud系統(tǒng)構(gòu)架真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件真正的大數(shù)據(jù)云計(jì)算平臺(tái)方案課件第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二部分云計(jì)算平臺(tái)能力cStor第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3Map

cStor云存儲(chǔ)系統(tǒng)是南京云創(chuàng)存儲(chǔ)自主研發(fā)的高科技產(chǎn)品。與傳統(tǒng)的大規(guī)模存儲(chǔ)系統(tǒng)相比，cStor針對(duì)絕大多數(shù)數(shù)據(jù)密集型應(yīng)用的特點(diǎn)從多個(gè)方面進(jìn) 行了優(yōu)化，從而在一定規(guī)模下達(dá)到成本、可靠性和性能的最佳平衡。 目前，cStor云存儲(chǔ)系統(tǒng)已成功應(yīng)用于安防、廣電、交通、電信、政務(wù)等諸多領(lǐng)域。 cStor云存儲(chǔ)系統(tǒng)是南京云創(chuàng)存儲(chǔ)自主研發(fā)的高科技產(chǎn)品。產(chǎn)品特性優(yōu)異性能：支持高并發(fā)、帶寬飽和利用。cStor云存儲(chǔ)系統(tǒng)將控制流和數(shù)據(jù)流分離，數(shù)據(jù)訪問(wèn)時(shí)多個(gè)存儲(chǔ)服務(wù)器同時(shí)對(duì)外提供服務(wù)，實(shí)現(xiàn)高并發(fā)訪問(wèn)。高度可靠：采用多個(gè)數(shù)據(jù)塊副本的方式實(shí)現(xiàn)冗余可靠，數(shù)據(jù)在不同的存儲(chǔ)節(jié)點(diǎn)上具有多個(gè)塊副本，任意節(jié)點(diǎn)發(fā)生故障，系統(tǒng)將自動(dòng)復(fù)制數(shù)據(jù)塊副本到新的存儲(chǔ)節(jié)點(diǎn)上，數(shù)據(jù)不會(huì)丟失，實(shí)現(xiàn)數(shù)據(jù)完整可靠。產(chǎn)品特性在線伸縮：可以在不停止服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn)，無(wú)需任何操作，即可實(shí)現(xiàn)系統(tǒng)容量從TB級(jí)向PB級(jí)平滑擴(kuò)展；也可以取下任意節(jié)點(diǎn)，系統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù)，并自動(dòng)將取下的節(jié)點(diǎn)上的數(shù)據(jù)備份到其他節(jié)點(diǎn)上，保證整個(gè)系統(tǒng)數(shù)據(jù)的冗余數(shù)。超大規(guī)模：支持超大規(guī)模集群，理論容量為1024*1024*1024PB。簡(jiǎn)單通用：支持POSIX接口規(guī)范，支持Windows/Linux/MacOSX，可當(dāng)成海量磁盤使用，無(wú)需修改應(yīng)用。同時(shí)系統(tǒng)也對(duì)外提供專用的高速API訪問(wèn)接口。在線伸縮：可以在不停止服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn)，無(wú)

cStor超安存云存儲(chǔ)系統(tǒng)是新一代基于編碼技術(shù)的分布式文件存儲(chǔ)系統(tǒng)，它在cStor云存儲(chǔ)系統(tǒng)的基礎(chǔ)上，融入RS編解碼取代傳統(tǒng)副本冗余的方式進(jìn)行系統(tǒng)容錯(cuò)，編解碼參數(shù)M+N可根據(jù)應(yīng)用需求靈活配置。

相對(duì)于傳統(tǒng)的副本冗余容錯(cuò) 方式而言，具有更高的磁盤利用率和更高的系統(tǒng)可靠性，如采用8+2的編解碼容錯(cuò)方式，磁盤利用率可以達(dá)到80%，允許同時(shí)損壞2臺(tái)存儲(chǔ)服務(wù)器。 cStor超安存云存儲(chǔ)系統(tǒng)是新一代基于編碼技術(shù)的分布式文產(chǎn)品特性高磁盤利用率：對(duì)于傳統(tǒng)具有N份副本容錯(cuò)而言，其磁盤利用率只有1/N，而采用編解碼方式，磁盤利用率為M/(N+M)，如8+2，其磁盤利用率為80%。高可靠性：傳統(tǒng)全副本的容錯(cuò)方式，通過(guò)犧牲磁盤的有效容量來(lái)提升系統(tǒng)的可靠性，如1：1副本容錯(cuò)，磁盤利用率為50%，只能損壞1臺(tái)存儲(chǔ)節(jié)點(diǎn)；而采用2+2的編解碼方式，在磁盤利用率為50%的情況下，允許同時(shí)損壞2臺(tái)存儲(chǔ)節(jié)點(diǎn)。產(chǎn)品特性高安全性：數(shù)據(jù)在編碼的過(guò)程中，也起到數(shù)據(jù)加密的作用，必須通過(guò)對(duì)應(yīng)的解密算法解碼才能夠獲取到原始數(shù)據(jù)，提升了系統(tǒng)的安全性。優(yōu)異性能：所有的存儲(chǔ)節(jié)點(diǎn)兼作編解碼計(jì)算節(jié)點(diǎn)，有效的保證了客戶端的寫入性能，同時(shí)充分利用了整個(gè)系統(tǒng)中大量存儲(chǔ)節(jié)點(diǎn)的計(jì)算資源。高安全性：數(shù)據(jù)在編碼的過(guò)程中，也起到數(shù)據(jù)加密的作用，必須通過(guò)第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二部分cStor云計(jì)算平臺(tái)能力第一部分1.1云計(jì)算平臺(tái)架構(gòu)1.2clouDil1.3Map數(shù)據(jù)立方etl工具是一個(gè)用來(lái)將數(shù)據(jù)立方和關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（例如：

MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到數(shù)據(jù)立方中，也可以將數(shù)據(jù)立方的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。一大亮點(diǎn)就是可以通過(guò)hadoop的mapreduce把數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)中導(dǎo)入數(shù)據(jù)到數(shù)據(jù)立方。數(shù)據(jù)立方etl工具是一個(gè)用來(lái)將數(shù)據(jù)立方和關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)數(shù)據(jù)立方數(shù)據(jù)庫(kù)OracleMysqlPostgreSQL……數(shù)據(jù)立方ETL工具數(shù)據(jù)立方數(shù)OracleMysqlPostgreSQL……數(shù)據(jù)硬件配置序號(hào)設(shè)備名稱數(shù)量CPU內(nèi)存硬盤網(wǎng)絡(luò)1主控節(jié)點(diǎn)1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定2處理節(jié)點(diǎn)10雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定3客戶端1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定*千兆48口交換機(jī)硬件配置序號(hào)設(shè)備名稱數(shù)量CPU內(nèi)存硬盤網(wǎng)絡(luò)1主控節(jié)點(diǎn)1雙路四建表語(yǔ)句：createtableE_MP_POWER_CURVE(IDBIGINT,DATA_TYPEINT,DATA_POINT_FLAGINT,DATA_WHOLE_FLAGSTRING,P1DOUBLE,P2DOUBLE,P3DOUBLE,P4DOUBLE,P5DOUBLE,P6DOUBLE,P7DOUBLE,P8DOUBLE,P9DOUBLE,P10DOUBLE,P11DOUBLE,P12DOUBLE,P13DOUBLE,P14DOUBLE,P15DOUBLE,P16DOUBLE,P17DOUBLE,P18DOUBLE,P19DOUBLE,P20DOUBLE,P21DOUBLE,P22DOUBLE,P23DOUBLE,P24DOUBLE,P25DOUBLE,P26DOUBLE,P27DOUBLE,P28DOUBLE,P29DOUBLE,P30DOUBLE,P31DOUBLE,P32DOUBLE,P33DOUBLE,P34DOUBLE,P35DOUBLE,P36DOUBLE,P37DOUBLE,P38DOUBLE,P39DOUBLE,P40DOUBLE,P41DOUBLE,P42DOUBLE,P43DOUBLE,P44DOUBLE,P45DOUBLE,P46DOUBLE,P47DOUBLE,P48DOUBLE,P49DOUBLE,P50DOUBLE,P51DOUBLE,P52DOUBLE,P53DOUBLE,P54DOUBLE,P55DOUBLE,P56DOUBLE,P57DOUBLE,P58DOUBLE,P59DOUBLE,P60DOUBLE,P61DOUBLE,P62DOUBLE,P63DOUBLE,P64DOUBLE,P65DOUBLE,P66DOUBLE,P67DOUBLE,P68DOUBLE,P69DOUBLE,P70DOUBLE,P71DOUBLE,P72DOUBLE,P73DOUBLE,P74DOUBLE,P75DOUBLE,P76DOUBLE,P77DOUBLE,P78DOUBLE,P79DOUBLE,P80DOUBLE,P81DOUBLE,P82DOUBLE,P83DOUBLE,P84DOUBLE,P85DOUBLE,P86DOUBLE,P87DOUBLE,P88DOUBLE,P89DOUBLE,P90DOUBLE,P91DOUBLE,P92DOUBLE,P93DOUBLE,P94DOUBLE,P95DOUBLE,P96DOUBLE)PARTITIONEDBY(DATA_DATESTRING,IDRAGEBIGINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','STOREDASTEXTFILE;建表語(yǔ)句：該表一共104個(gè)字段，平均一條記錄300Byte以下是從數(shù)據(jù)立方導(dǎo)入到Oracle的測(cè)試統(tǒng)計(jì)以下是從Oracle導(dǎo)入到數(shù)據(jù)立方的測(cè)試統(tǒng)計(jì)1000萬(wàn)條2500萬(wàn)條5000萬(wàn)條1億條2億條用時(shí)（秒）46.29111.60193.05374.53746.26速度（萬(wàn)條/秒）21.622.425.926.726.81000萬(wàn)條2500萬(wàn)條5000萬(wàn)條1億條2億條用時(shí)（秒）26.6659.80113.37203.25395.26速