大數(shù)據(jù)云計算技術(shù)概述(版)

大數(shù)據(jù)(shùjù)云計算技術(shù)mr.zhu第一頁，共四十六頁。目錄第一(dìyī)局部1.1云計算平臺(píngtái)架構(gòu)clouDil1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二(dìèr)局部云計算平臺能力第二頁，共四十六頁。真正的云計算平臺，它有五層架構(gòu)(jiàɡòu)：運(yùn)維管理層：clouDil計算層：MapReduce+TaskMaster數(shù)據(jù)管理層：DataCube虛擬化層：cCloud存儲層：cStor云計算(jìsuàn)平臺架構(gòu)第三頁，共四十六頁。云計算(jìsuàn)平臺架構(gòu)第四頁，共四十六頁。目錄第一(dìyī)局部1.1云計算平臺(píngtái)架構(gòu)1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二(dìèr)局部云計算平臺能力clouDil第五頁，共四十六頁。

在搭建云計算平臺時，遇到了很多的問題和挑戰(zhàn)。開始(kāishǐ)搭建時，第一次來了那么多性能強(qiáng)勁的機(jī)器，我們在感到興奮的同時，也不免有些顧慮。出了問題怎么辦，有沒有預(yù)警機(jī)制？有沒有可視化的管理界面？機(jī)器宕機(jī)，管理員能否實時監(jiān)控到？如何做性能調(diào)優(yōu)？擴(kuò)容升級時，能否給出依據(jù)？

帶著這些問題，我們開始了自己的云計算平臺管理和運(yùn)營之旅，現(xiàn)在完美的形成了一整套云計算平臺管理體系。clouDil云平臺(píngtái)管理系統(tǒng)第六頁，共四十六頁。clouDil云平臺(píngtái)管理系統(tǒng)流量(liúliàng)監(jiān)控第七頁，共四十六頁。clouDil云平臺(píngtái)管理系統(tǒng)健康(jiànkāng)度報告第八頁，共四十六頁。clouDil云平臺(píngtái)管理系統(tǒng)節(jié)點(diǎn)性能(xìngnéng)監(jiān)控第九頁，共四十六頁。clouDil云平臺(píngtái)管理系統(tǒng)集群狀態(tài)(zhuàngtài)監(jiān)控第十頁，共四十六頁。clouDil云平臺(píngtái)管理系統(tǒng)集群狀態(tài)(zhuàngtài)監(jiān)控第十一頁，共四十六頁。目錄第一(dìyī)局部1.1云計算(jìsuàn)平臺架構(gòu)1.2clouDil1.3DataCube1.4cCloud1.5cStor第二(dìèr)局部云計算平臺能力MapReduce+TaskMaster第十二頁，共四十六頁。MapReduce是一種(yīzhǒnɡ)編程模型，用于大規(guī)模數(shù)據(jù)集〔大于1TB〕的并行運(yùn)算。MapReduce編程模型(móxíng)第十三頁，共四十六頁。 TaskMaster是云創(chuàng)存儲自主研發(fā)的一款高效云調(diào)度(diàodù)平臺。它保證在云計算平臺中局部硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運(yùn)行；保證在云計算平臺中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)，同時能夠完美解決系統(tǒng)單點(diǎn)故障問題，負(fù)載均衡，自動調(diào)度(diàodù)與部署。TaskMaster云計算(jìsuàn)調(diào)度平臺第十四頁，共四十六頁。產(chǎn)品優(yōu)勢高可靠性：采用“多主多備，負(fù)載均衡〞的管理節(jié)點(diǎn)，從而保證無論管理節(jié)點(diǎn)還是處理節(jié)點(diǎn)都不存在任何單點(diǎn)故障問題。低依賴性：采用模塊化設(shè)計思想，通過統(tǒng)一化配置和API接口的方式向用戶提供效勞。低干預(yù)性：采用基于(jīyú)事件化的統(tǒng)一管理模式。在系統(tǒng)無人值守的情況下自動完成故障處理等功能。高實時性：在機(jī)器性能允許的范圍內(nèi)，所有任務(wù)的控制工作根本都在秒級完成，具有前所未有的高效性。TaskMaster云計算調(diào)度(diàodù)平臺第十五頁，共四十六頁。目錄第一(dìyī)局部1.1云計算(jìsuàn)平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4cCloud1.5cStor第二(dìèr)局部云計算平臺能力DataCube第十六頁，共四十六頁。DataCube(數(shù)據(jù)(shùjù)立方)

數(shù)據(jù)立方是一種高效(ɡāoxiào)分布式的處理海量數(shù)據(jù)的云處理軟件，具有從TB乃至PB級的數(shù)據(jù)中挖掘出有用的信息并進(jìn)行快捷、高效處理的能力，同時支持?jǐn)?shù)據(jù)倉庫存儲和商業(yè)智能分析等業(yè)務(wù)。該軟件基于hadoop平臺大數(shù)據(jù)處理的解決方案，具有處理能力高效、超高可靠性的優(yōu)點(diǎn)。第十七頁，共四十六頁。DataCube(數(shù)據(jù)(shùjù)立方)產(chǎn)品特點(diǎn)對任意多關(guān)鍵字實時索引支持(zhīchí)類SQL復(fù)雜并行組合查詢分布式萬兆實時數(shù)據(jù)流秒級處理系統(tǒng)無單點(diǎn)，確保意外情況下，系統(tǒng)的正常運(yùn)行第十八頁，共四十六頁。數(shù)據(jù)(shùjù)立方管理系統(tǒng)第十九頁，共四十六頁。數(shù)據(jù)(shùjù)立方管理系統(tǒng)第二十頁，共四十六頁。數(shù)據(jù)(shùjù)立方管理系統(tǒng)第二十一頁，共四十六頁。目錄第一(dìyī)局部1.1云計算(jìsuàn)平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cStor第二(dìèr)局部云計算平臺能力cCloud第二十二頁，共四十六頁。 cCloud是南京云創(chuàng)存儲(cúnchǔ)科技自主研發(fā)的虛擬化云計算平臺。 cCloud平臺可以加速高伸縮性的公共和私有云IaaS的部署、管理、配置。幫助企業(yè)用戶快速而輕松地將虛擬數(shù)據(jù)中心資源轉(zhuǎn) 入自動化、富于彈性且可自我效勞的云平臺中。另外cCloud兼容亞馬遜API接口允許跨cCloud和亞馬遜平臺實現(xiàn)負(fù)載兼容。使用cCloud作為根底數(shù)據(jù)中心操作者可以快速方便的通過現(xiàn)存根底架構(gòu)創(chuàng)立云效勞。cCloud虛擬化云計算(jìsuàn)平臺第二十三頁，共四十六頁。cCloud系統(tǒng)(xìtǒng)構(gòu)架cCloud虛擬化云計算(jìsuàn)平臺第二十四頁，共四十六頁。cCloud后臺(hòutái)管理系統(tǒng)第二十五頁，共四十六頁。cCloud后臺(hòutái)管理系統(tǒng)第二十六頁，共四十六頁。cCloud后臺(hòutái)管理系統(tǒng)第二十七頁，共四十六頁。cCloud后臺(hòutái)管理系統(tǒng)第二十八頁，共四十六頁。目錄第一(dìyī)局部1.1云計算平臺(píngtái)架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二(dìèr)局部云計算平臺能力cStor第二十九頁，共四十六頁。 cStor云存儲(cúnchǔ)系統(tǒng)是南京云創(chuàng)存儲(cúnchǔ)自主研發(fā)的高科技產(chǎn)品。與傳統(tǒng)的大規(guī)模存儲(cúnchǔ)系統(tǒng)相比，cStor針對絕大多數(shù)數(shù)據(jù)密集型應(yīng)用的特點(diǎn)從多個方面進(jìn) 行了優(yōu)化，從而在一定規(guī)模下到達(dá)本錢、可靠性和性能的最正確平衡。 目前，cStor云存儲系統(tǒng)已成功應(yīng)用于安防、廣電、交通、電信、政務(wù)等諸多領(lǐng)域。cStor云存儲系統(tǒng)第三十頁，共四十六頁。產(chǎn)品特性優(yōu)異性能：支持高并發(fā)、帶寬飽和利用。cStor云存儲系統(tǒng)將控制流和數(shù)據(jù)流別離(biélí)，數(shù)據(jù)訪問時多個存儲效勞器同時對外提供效勞，實現(xiàn)高并發(fā)訪問。高度可靠：采用多個數(shù)據(jù)塊副本的方式實現(xiàn)冗余可靠，數(shù)據(jù)在不同的存儲節(jié)點(diǎn)上具有多個塊副本，任意節(jié)點(diǎn)發(fā)生故障，系統(tǒng)將自動復(fù)制數(shù)據(jù)塊副本到新的存儲節(jié)點(diǎn)上，數(shù)據(jù)不會喪失，實現(xiàn)數(shù)據(jù)完整可靠。cStor云存儲系統(tǒng)第三十一頁，共四十六頁。在線伸縮：可以在不停止效勞的情況下，動態(tài)參加新的存儲節(jié)點(diǎn)，無需任何操作，即可實現(xiàn)系統(tǒng)容量從TB級向PB級平滑擴(kuò)展；也可以取下任意節(jié)點(diǎn)，系統(tǒng)自動縮小規(guī)模而不喪失數(shù)據(jù)，并自動將取下的節(jié)點(diǎn)上的數(shù)據(jù)備份到其他節(jié)點(diǎn)上，保證(bǎozhèng)整個系統(tǒng)數(shù)據(jù)的冗余數(shù)。超大規(guī)模：支持超大規(guī)模集群，理論容量為1024*1024*1024PB。簡單通用：支持POSIX接口標(biāo)準(zhǔn)，支持Windows/Linux/MacOSX，可當(dāng)成海量磁盤使用，無需修改應(yīng)用。同時系統(tǒng)也對外提供專用的高速API訪問接口。cStor云存儲系統(tǒng)第三十二頁，共四十六頁。 cStor超安存云存儲系統(tǒng)是新一代基于編碼技術(shù)的分布式文件存儲系統(tǒng)，它在cStor云存儲系統(tǒng)的根底上，融入RS編解碼取代傳統(tǒng)(chuántǒng)副本冗余的方式進(jìn)行系統(tǒng)容錯，編解碼參數(shù)M+N可根據(jù)應(yīng)用需求靈活配置。 相對于傳統(tǒng)的副本冗余容錯 方式而言，具有更高的磁盤利用率和更高的系統(tǒng)可靠性，如采用8+2的編解碼容錯方式，磁盤利用率可以到達(dá)80%，允許同時損壞2臺存儲效勞器。cStor超安存云存儲系統(tǒng)第三十三頁，共四十六頁。產(chǎn)品特性高磁盤利用率：對于傳統(tǒng)具有N份副本容錯而言，其磁盤利用率只有1/N，而采用(cǎiyòng)編解碼方式，磁盤利用率為M/(N+M)，如8+2，其磁盤利用率為80%。高可靠性：傳統(tǒng)全副本的容錯方式，通過犧牲磁盤的有效容量來提升系統(tǒng)的可靠性，如1：1副本容錯，磁盤利用率為50%，只能損壞1臺存儲節(jié)點(diǎn)；而采用2+2的編解碼方式，在磁盤利用率為50%的情況下，允許同時損壞2臺存儲節(jié)點(diǎn)。cStor超安存云存儲系統(tǒng)第三十四頁，共四十六頁。高平安性：數(shù)據(jù)在編碼的過程中，也起到數(shù)據(jù)加密的作用，必須通過對應(yīng)的解密算法解碼才能夠獲取(huòqǔ)到原始數(shù)據(jù)，提升了系統(tǒng)的平安性。優(yōu)異性能：所有的存儲節(jié)點(diǎn)兼作編解碼計算節(jié)點(diǎn)，有效的保證了客戶端的寫入性能，同時充分利用了整個系統(tǒng)中大量存儲節(jié)點(diǎn)的計算資源。cStor超安存云存儲系統(tǒng)第三十五頁，共四十六頁。目錄第一(dìyī)局部1.1云計算(jìsuàn)平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二(dìèr)局部cStor云計算平臺能力第三十六頁，共四十六頁。數(shù)據(jù)(shùjù)立方ETL工具數(shù)據(jù)立方(lìfāng)etl工具是一個用來將數(shù)據(jù)立方(lìfāng)和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個關(guān)系型數(shù)據(jù)庫〔例如：MySQL,Oracle,Postgres等〕中的數(shù)據(jù)導(dǎo)進(jìn)到數(shù)據(jù)立方(lìfāng)中，也可以將數(shù)據(jù)立方(lìfāng)的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。一大亮點(diǎn)就是可以通過hadoop的mapreduce把數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù)到數(shù)據(jù)立方(lìfāng)。第三十七頁，共四十六頁。數(shù)據(jù)立方(lìfāng)與傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)交換數(shù)據(jù)(shùjù)立方數(shù)據(jù)庫OracleMysqlPostgreSQL……數(shù)據(jù)(shùjù)立方ETL工具第三十八頁，共四十六頁。數(shù)據(jù)立方與傳統(tǒng)(chuántǒng)數(shù)據(jù)庫

的數(shù)據(jù)交換實例硬件(yìnɡjiàn)配置序號設(shè)備名稱數(shù)量CPU內(nèi)存硬盤網(wǎng)絡(luò)1主控節(jié)點(diǎn)1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定2處理節(jié)點(diǎn)10雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定3客戶端1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定*千兆48口交換機(jī)第三十九頁，共四十六頁。數(shù)據(jù)(shùjù)立方與傳統(tǒng)數(shù)據(jù)(shùjù)庫

的數(shù)據(jù)交換實例建表語句(yǔjù)：createtableE_MP_POWER_CURVE(IDBIGINT,DATA_TYPEINT,DATA_POINT_FLAGINT,DATA_WHOLE_FLAGSTRING,P1DOUBLE,P2DOUBLE,P3DOUBLE,P4DOUBLE,P5DOUBLE,P6DOUBLE,P7DOUBLE,P8DOUBLE,P9DOUBLE,P10DOUBLE,P11DOUBLE,P12DOUBLE,P13DOUBLE,P14DOUBLE,P15DOUBLE,P16DOUBLE,P17DOUBLE,P18DOUBLE,P19DOUBLE,P20DOUBLE,P21DOUBLE,P22DOUBLE,P23DOUBLE,P24DOUBLE,P25DOUBLE,P26DOUBLE,P27DOUBLE,P28DOUBLE,P29DOUBLE,P30DOUBLE,P31DOUBLE,P32DOUBLE,P33DOUBLE,P34DOUBLE,P35DOUBLE,P36DOUBLE,P37DOUBLE,P38DOUBLE,P39DOUBLE,P40DOUBLE,P41DOUBLE,P42DOUBLE,P43DOUBLE,P44DOUBLE,P45DOUBLE,P46DOUBLE,P47DOUBLE,P48DOUBLE,P49DOUBLE,P50DOUBLE,P51DOUBLE,P52DOUBLE,P53DOUBLE,P54DOUBLE,P55DOUBLE,P56DOUBLE,P57DOUBLE,P58DOUBLE,P59DOUBLE,P60DOUBLE,P61DOUBLE,P62DOUBLE,P63DOUBLE,P64DOUBLE,P65DOUBLE,P66DOUBLE,P67DOUBLE,P68DOUBLE,P69DOUBLE,P70DOUBLE,P71DOUBLE,P72DOUBLE,P73DOUBLE,P74DOUBLE,P75DOUBLE,P76DOUBLE,P77DOUBLE,P78DOUBLE,P79DOUBLE,P80DOUBLE,P81DOUBLE,P82DOUBLE,P83DOUBLE,P84DOUBLE,P85DOUBLE,P86DOUBLE,P87DOUBLE,P88DOUBLE,P89DOUBLE,P90DOUBLE,P91DOUBLE,P92DOUBLE,P93DOUBLE,P94DOUBLE,P95DOUBLE,P96DOUBLE)PARTITIONEDBY(DATA_DATESTRING,IDRAGEBIGINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','STOREDASTEXTFILE;第四十頁，共四十六頁。數(shù)據(jù)立方與傳統(tǒng)(chuántǒng)數(shù)據(jù)庫

的數(shù)據(jù)交換實例該表一共(yīgòng)104個字段，平均一條記錄300Byte以下是從數(shù)據(jù)立方導(dǎo)入到Oracle的測試統(tǒng)計以下是從Oracle導(dǎo)入到數(shù)據(jù)立方的測試統(tǒng)計1000萬條2500萬條5000萬條1