真正的大數(shù)據(jù)云計算平臺方案

真正的大數(shù)據(jù)云計算平臺方案第一部分1.1云計算平臺架構(gòu)clouDil1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二部分云計算平臺能力第一部分1.1云計算平臺架構(gòu)clouDil1.2MapRed真正的云計算平臺，它有五層架構(gòu)：運維管理層：clouDil計算層：MapReduce+TaskMaster數(shù)據(jù)管理層：DataCube虛擬化層：cCloud存儲層：cStor真正的云計算平臺，它有五層架構(gòu)：真正的大數(shù)據(jù)云計算平臺方案第一部分1.1云計算平臺架構(gòu)1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二部分云計算平臺能力clouDil第一部分1.1云計算平臺架構(gòu)1.2MapReduce+Tas

在搭建云計算平臺時，遇到了很多的問題和挑戰(zhàn)。開始搭建時，第一次來了那么多性能強勁的機器，我們在感到興奮的同時，也不免有些顧慮。出了問題怎么辦，有沒有預(yù)警機制？有沒有可視化的管理界面？機器宕機，管理員能否實時監(jiān)控到？如何做性能調(diào)優(yōu)？擴容升級時，能否給出依據(jù)？

帶著這些問題，我們開始了自己的云計算平臺管理和運營之旅，現(xiàn)在完美的形成了一整套云計算平臺管理體系。 在搭建云計算平臺時，遇到了很多的問題和挑戰(zhàn)。開始搭建時，第流量監(jiān)控流量監(jiān)控健康度報告健康度報告節(jié)點性能監(jiān)控節(jié)點性能監(jiān)控集群狀態(tài)監(jiān)控集群狀態(tài)監(jiān)控集群狀態(tài)監(jiān)控集群狀態(tài)監(jiān)控第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3DataCube1.4cCloud1.5cStor第二部分云計算平臺能力MapReduce+TaskMaster第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3DatMapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1T

TaskMaster是云創(chuàng)存儲自主研發(fā)的一款高效云調(diào)度平臺。它保證在云計算平臺中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運行；保證在云計算平臺中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)，同時能夠完美解決系統(tǒng)單點故障問題，負載均衡，自動調(diào)度與部署。 TaskMaster是云創(chuàng)存儲自主研發(fā)的一款高效云調(diào)度平產(chǎn)品優(yōu)勢高可靠性：采用“多主多備，負載均衡”的管理節(jié)點，從而保證無論管理節(jié)點還是處理節(jié)點都不存在任何單點故障問題。低依賴性：采用模塊化設(shè)計思想，通過統(tǒng)一化配置和API接口的方式向用戶提供服務(wù)。低干預(yù)性：采用基于事件化的統(tǒng)一管理模式。在系統(tǒng)無人值守的情況下自動完成故障處理等功能。高實時性：在機器性能允許的范圍內(nèi)，所有任務(wù)的控制工作基本都在秒級完成，具有前所未有的高效性。產(chǎn)品優(yōu)勢第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4cCloud1.5cStor第二部分云計算平臺能力DataCube第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3Map

數(shù)據(jù)立方是一種高效分布式的處理海量數(shù)據(jù)的云處理軟件，具有從TB乃至PB級的數(shù)據(jù)中挖掘出有用的信息并進行快捷、高效處理的能力，同時支持數(shù)據(jù)倉庫存儲和商業(yè)智能分析等業(yè)務(wù)。該軟件基于hadoop平臺大數(shù)據(jù)處理的解決方案，具有處理能力高效、超高可靠性的優(yōu)點。 數(shù)據(jù)立方是一種高效分布式的處理海量數(shù)據(jù)的云處理軟件，具有產(chǎn)品特點對任意多關(guān)鍵字實時索引支持類SQL復(fù)雜并行組合查詢分布式萬兆實時數(shù)據(jù)流秒級處理系統(tǒng)無單點，確保意外情況下，系統(tǒng)的正常運行產(chǎn)品特點真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cStor第二部分云計算平臺能力cCloud第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3Map

cCloud是南京云創(chuàng)存儲科技有限公司自主研發(fā)的虛擬化云計算平臺。 cCloud平臺可以加速高伸縮性的公共和私有云IaaS的部署、管理、配置。幫助企業(yè)用戶快速而輕松地將虛擬數(shù)據(jù)中心資源轉(zhuǎn) 入自動化、富于彈性且可自我服務(wù)的云平臺中。另外cCloud兼容亞馬遜API接口允許跨cCloud和亞馬遜平臺實現(xiàn)負載兼容。使用cCloud作為基礎(chǔ)數(shù)據(jù)中心操作者可以快速方便的通過現(xiàn)存基礎(chǔ)架構(gòu)創(chuàng)建云服務(wù)。 cCloud是南京云創(chuàng)存儲科技有限公司自主研發(fā)的虛擬化云cCloud系統(tǒng)構(gòu)架cCloud系統(tǒng)構(gòu)架真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二部分云計算平臺能力cStor第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3Map

cStor云存儲系統(tǒng)是南京云創(chuàng)存儲自主研發(fā)的高科技產(chǎn)品。與傳統(tǒng)的大規(guī)模存儲系統(tǒng)相比，cStor針對絕大多數(shù)數(shù)據(jù)密集型應(yīng)用的特點從多個方面進 行了優(yōu)化，從而在一定規(guī)模下達到成本、可靠性和性能的最佳平衡。 目前，cStor云存儲系統(tǒng)已成功應(yīng)用于安防、廣電、交通、電信、政務(wù)等諸多領(lǐng)域。 cStor云存儲系統(tǒng)是南京云創(chuàng)存儲自主研發(fā)的高科技產(chǎn)品。產(chǎn)品特性優(yōu)異性能：支持高并發(fā)、帶寬飽和利用。cStor云存儲系統(tǒng)將控制流和數(shù)據(jù)流分離，數(shù)據(jù)訪問時多個存儲服務(wù)器同時對外提供服務(wù)，實現(xiàn)高并發(fā)訪問。高度可靠：采用多個數(shù)據(jù)塊副本的方式實現(xiàn)冗余可靠，數(shù)據(jù)在不同的存儲節(jié)點上具有多個塊副本，任意節(jié)點發(fā)生故障，系統(tǒng)將自動復(fù)制數(shù)據(jù)塊副本到新的存儲節(jié)點上，數(shù)據(jù)不會丟失，實現(xiàn)數(shù)據(jù)完整可靠。產(chǎn)品特性在線伸縮：可以在不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點，無需任何操作，即可實現(xiàn)系統(tǒng)容量從TB級向PB級平滑擴展；也可以取下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，并自動將取下的節(jié)點上的數(shù)據(jù)備份到其他節(jié)點上，保證整個系統(tǒng)數(shù)據(jù)的冗余數(shù)。超大規(guī)模：支持超大規(guī)模集群，理論容量為1024*1024*1024PB。簡單通用：支持POSIX接口規(guī)范，支持Windows/Linux/MacOSX，可當(dāng)成海量磁盤使用，無需修改應(yīng)用。同時系統(tǒng)也對外提供專用的高速API訪問接口。在線伸縮：可以在不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點，無

cStor超安存云存儲系統(tǒng)是新一代基于編碼技術(shù)的分布式文件存儲系統(tǒng)，它在cStor云存儲系統(tǒng)的基礎(chǔ)上，融入RS編解碼取代傳統(tǒng)副本冗余的方式進行系統(tǒng)容錯，編解碼參數(shù)M+N可根據(jù)應(yīng)用需求靈活配置。

相對于傳統(tǒng)的副本冗余容錯 方式而言，具有更高的磁盤利用率和更高的系統(tǒng)可靠性，如采用8+2的編解碼容錯方式，磁盤利用率可以達到80%，允許同時損壞2臺存儲服務(wù)器。 cStor超安存云存儲系統(tǒng)是新一代基于編碼技術(shù)的分布式文產(chǎn)品特性高磁盤利用率：對于傳統(tǒng)具有N份副本容錯而言，其磁盤利用率只有1/N，而采用編解碼方式，磁盤利用率為M/(N+M)，如8+2，其磁盤利用率為80%。高可靠性：傳統(tǒng)全副本的容錯方式，通過犧牲磁盤的有效容量來提升系統(tǒng)的可靠性，如1：1副本容錯，磁盤利用率為50%，只能損壞1臺存儲節(jié)點；而采用2+2的編解碼方式，在磁盤利用率為50%的情況下，允許同時損壞2臺存儲節(jié)點。產(chǎn)品特性高安全性：數(shù)據(jù)在編碼的過程中，也起到數(shù)據(jù)加密的作用，必須通過對應(yīng)的解密算法解碼才能夠獲取到原始數(shù)據(jù)，提升了系統(tǒng)的安全性。優(yōu)異性能：所有的存儲節(jié)點兼作編解碼計算節(jié)點，有效的保證了客戶端的寫入性能，同時充分利用了整個系統(tǒng)中大量存儲節(jié)點的計算資源。高安全性：數(shù)據(jù)在編碼的過程中，也起到數(shù)據(jù)加密的作用，必須通過第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二部分cStor云計算平臺能力第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3Map數(shù)據(jù)立方etl工具是一個用來將數(shù)據(jù)立方和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個關(guān)系型數(shù)據(jù)庫（例如：

MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進到數(shù)據(jù)立方中，也可以將數(shù)據(jù)立方的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。一大亮點就是可以通過hadoop的mapreduce把數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù)到數(shù)據(jù)立方。數(shù)據(jù)立方etl工具是一個用來將數(shù)據(jù)立方和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)數(shù)據(jù)立方數(shù)據(jù)庫OracleMysqlPostgreSQL……數(shù)據(jù)立方ETL工具數(shù)據(jù)立方數(shù)OracleMysqlPostgreSQL……數(shù)據(jù)硬件配置序號設(shè)備名稱數(shù)量CPU內(nèi)存硬盤網(wǎng)絡(luò)1主控節(jié)點1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定2處理節(jié)點10雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定3客戶端1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定*千兆48口交換機硬件配置序號設(shè)備名稱數(shù)量CPU內(nèi)存硬盤網(wǎng)絡(luò)1主控節(jié)點1雙路四建表語句：createtableE_MP_POWER_CURVE(IDBIGINT,DATA_TYPEINT,DATA_POINT_FLAGINT,DATA_WHOLE_FLAGSTRING,P1DOUBLE,P2DOUBLE,P3DOUBLE,P4DOUBLE,P5DOUBLE,P6DOUBLE,P7DOUBLE,P8DOUBLE,P9DOUBLE,P10DOUBLE,P11DOUBLE,P12DOUBLE,P13DOUBLE,P14DOUBLE,P15DOUBLE,P16DOUBLE,P17DOUBLE,P18DOUBLE,P19DOUBLE,P20DOUBLE,P21DOUBLE,P22DOUBLE,P23DOUBLE,P24DOUBLE,P25DOUBLE,P26DOUBLE,P27DOUBLE,P28DOUBLE,P29DOUBLE,P30DOUBLE,P31DOUBLE,P32DOUBLE,P33DOUBLE,P34DOUBLE,P35DOUBLE,P36DOUBLE,P37DOUBLE,P38DOUBLE,P39DOUBLE,P40DOUBLE,P41DOUBLE,P42DOUBLE,P43DOUBLE,P44DOUBLE,P45DOUBLE,P46DOUBLE,P47DOUBLE,P48DOUBLE,P49DOUBLE,P50DOUBLE,P51DOUBLE,P52DOUBLE,P53DOUBLE,P54DOUBLE,P55DOUBLE,P56DOUBLE,P57DOUBLE,P58DOUBLE,P59DOUBLE,P60DOUBLE,P61DOUBLE,P62DOUBLE,P63DOUBLE,P64DOUBLE,P65DOUBLE,P66DOUBLE,P67DOUBLE,P68DOUBLE,P69DOUBLE,P70DOUBLE,P71DOUBLE,P72DOUBLE,P73DOUBLE,P74DOUBLE,P75DOUBLE,P76DOUBLE,P77DOUBLE,P78DOUBLE,P79DOUBLE,P80DOUBLE,P81DOUBLE,P82DOUBLE,P83DOUBLE,P84DOUBLE,P85DOUBLE,P86DOUBLE,P87DOUBLE,P88DOUBLE,P89DOUBLE,P90DOUBLE,P91DOUBLE,P92DOUBLE,P93DOUBLE,P94DOUBLE,P95DOUBLE,P96DOUBLE)PARTITIONEDBY(DATA_DATESTRING,IDRAGEBIGINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','STOREDASTEXTFILE;建表語句：該表一共104個字段，平均一條記錄300Byte以下是從數(shù)據(jù)立方導(dǎo)入到Oracle的測試統(tǒng)計以下是從Oracle導(dǎo)入到數(shù)據(jù)立方的測試統(tǒng)計1000萬條2500萬條5000萬條1億條2億條用時（秒）46.29111.60193.05374.53746.26速度（萬條/秒）21.622.425.926.726.81000萬條2500萬條5000萬條1億條2億條用時（秒）26.6659.80113.37203.25395.26速度（萬條/秒）37.541.844.149.250.6該表一共104個字段，平均一條記錄300Byte1000萬條基本過程首先，加載數(shù)據(jù)集到內(nèi)存整個數(shù)據(jù)集上預(yù)處理：提高數(shù)據(jù)質(zhì)量、選擇屬性、采樣/過濾得到候選數(shù)據(jù)子集在預(yù)處理后的候選數(shù)據(jù)子集上，執(zhí)行數(shù)據(jù)挖掘算法，得到模型利用模型，對新數(shù)據(jù)集給出預(yù)測結(jié)果問題---海量數(shù)據(jù)內(nèi)存不足難以接受的響應(yīng)時間基本過程數(shù)據(jù)挖掘處理的特征離線分析數(shù)據(jù)集內(nèi)各條記錄間獨立、無數(shù)據(jù)相關(guān)性絕大多數(shù)操作,需要遍歷整個數(shù)據(jù)集對每條記錄運算訓(xùn)練數(shù)據(jù)的規(guī)模影響挖掘所得模型的精準(zhǔn)度訓(xùn)練數(shù)據(jù)和待預(yù)測數(shù)據(jù)集的規(guī)模影響系統(tǒng)響應(yīng)時間數(shù)據(jù)挖掘處理的特征云計算平臺優(yōu)勢海量數(shù)據(jù)可以被分布式存儲于PC集群每行記錄很容易被M/R函數(shù)做為基本單元讀入、并處理數(shù)據(jù)集可以按記錄行分割為塊，存儲到集群中節(jié)點上，無需考慮記錄行間相關(guān)性各數(shù)據(jù)塊間并行接受同一處理操作，提升系統(tǒng)響應(yīng)時間云計算平臺優(yōu)勢人有了知識，就會具備各種分析能力，明辨是非的能力。所以我們要勤懇讀書，廣泛閱讀，古人說“書中自有黃金屋。”通過閱讀科技書籍，我們能豐富知識，培養(yǎng)邏輯思維能力；通過閱讀文學(xué)作品，我們能提高文學(xué)鑒賞水平，培養(yǎng)文學(xué)情趣；通過閱讀報刊，我們能增長見識，擴大自己的知識面。有許多書籍還能培養(yǎng)我們的道德情操，給我們巨大的精神力量，鼓舞我們前進。人有了知識，就會具備各種分析能力，真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案第一部分1.1云計算平臺架構(gòu)clouDil1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二部分云計算平臺能力第一部分1.1云計算平臺架構(gòu)clouDil1.2MapRed真正的云計算平臺，它有五層架構(gòu)：運維管理層：clouDil計算層：MapReduce+TaskMaster數(shù)據(jù)管理層：DataCube虛擬化層：cCloud存儲層：cStor真正的云計算平臺，它有五層架構(gòu)：真正的大數(shù)據(jù)云計算平臺方案第一部分1.1云計算平臺架構(gòu)1.2MapReduce+TaskMaster1.3DataCube1.4cCloud1.5cStor第二部分云計算平臺能力clouDil第一部分1.1云計算平臺架構(gòu)1.2MapReduce+Tas

在搭建云計算平臺時，遇到了很多的問題和挑戰(zhàn)。開始搭建時，第一次來了那么多性能強勁的機器，我們在感到興奮的同時，也不免有些顧慮。出了問題怎么辦，有沒有預(yù)警機制？有沒有可視化的管理界面？機器宕機，管理員能否實時監(jiān)控到？如何做性能調(diào)優(yōu)？擴容升級時，能否給出依據(jù)？

帶著這些問題，我們開始了自己的云計算平臺管理和運營之旅，現(xiàn)在完美的形成了一整套云計算平臺管理體系。 在搭建云計算平臺時，遇到了很多的問題和挑戰(zhàn)。開始搭建時，第流量監(jiān)控流量監(jiān)控健康度報告健康度報告節(jié)點性能監(jiān)控節(jié)點性能監(jiān)控集群狀態(tài)監(jiān)控集群狀態(tài)監(jiān)控集群狀態(tài)監(jiān)控集群狀態(tài)監(jiān)控第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3DataCube1.4cCloud1.5cStor第二部分云計算平臺能力MapReduce+TaskMaster第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3DatMapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1T

TaskMaster是云創(chuàng)存儲自主研發(fā)的一款高效云調(diào)度平臺。它保證在云計算平臺中部分硬件或軟件發(fā)生故障的情況下仍不影響系統(tǒng)的正常運行；保證在云計算平臺中高效穩(wěn)定的合理化分配和執(zhí)行任務(wù)，同時能夠完美解決系統(tǒng)單點故障問題，負載均衡，自動調(diào)度與部署。 TaskMaster是云創(chuàng)存儲自主研發(fā)的一款高效云調(diào)度平產(chǎn)品優(yōu)勢高可靠性：采用“多主多備，負載均衡”的管理節(jié)點，從而保證無論管理節(jié)點還是處理節(jié)點都不存在任何單點故障問題。低依賴性：采用模塊化設(shè)計思想，通過統(tǒng)一化配置和API接口的方式向用戶提供服務(wù)。低干預(yù)性：采用基于事件化的統(tǒng)一管理模式。在系統(tǒng)無人值守的情況下自動完成故障處理等功能。高實時性：在機器性能允許的范圍內(nèi)，所有任務(wù)的控制工作基本都在秒級完成，具有前所未有的高效性。產(chǎn)品優(yōu)勢第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4cCloud1.5cStor第二部分云計算平臺能力DataCube第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3Map

數(shù)據(jù)立方是一種高效分布式的處理海量數(shù)據(jù)的云處理軟件，具有從TB乃至PB級的數(shù)據(jù)中挖掘出有用的信息并進行快捷、高效處理的能力，同時支持數(shù)據(jù)倉庫存儲和商業(yè)智能分析等業(yè)務(wù)。該軟件基于hadoop平臺大數(shù)據(jù)處理的解決方案，具有處理能力高效、超高可靠性的優(yōu)點。 數(shù)據(jù)立方是一種高效分布式的處理海量數(shù)據(jù)的云處理軟件，具有產(chǎn)品特點對任意多關(guān)鍵字實時索引支持類SQL復(fù)雜并行組合查詢分布式萬兆實時數(shù)據(jù)流秒級處理系統(tǒng)無單點，確保意外情況下，系統(tǒng)的正常運行產(chǎn)品特點真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cStor第二部分云計算平臺能力cCloud第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3Map

cCloud是南京云創(chuàng)存儲科技有限公司自主研發(fā)的虛擬化云計算平臺。 cCloud平臺可以加速高伸縮性的公共和私有云IaaS的部署、管理、配置。幫助企業(yè)用戶快速而輕松地將虛擬數(shù)據(jù)中心資源轉(zhuǎn) 入自動化、富于彈性且可自我服務(wù)的云平臺中。另外cCloud兼容亞馬遜API接口允許跨cCloud和亞馬遜平臺實現(xiàn)負載兼容。使用cCloud作為基礎(chǔ)數(shù)據(jù)中心操作者可以快速方便的通過現(xiàn)存基礎(chǔ)架構(gòu)創(chuàng)建云服務(wù)。 cCloud是南京云創(chuàng)存儲科技有限公司自主研發(fā)的虛擬化云cCloud系統(tǒng)構(gòu)架cCloud系統(tǒng)構(gòu)架真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案真正的大數(shù)據(jù)云計算平臺方案第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二部分云計算平臺能力cStor第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3Map

cStor云存儲系統(tǒng)是南京云創(chuàng)存儲自主研發(fā)的高科技產(chǎn)品。與傳統(tǒng)的大規(guī)模存儲系統(tǒng)相比，cStor針對絕大多數(shù)數(shù)據(jù)密集型應(yīng)用的特點從多個方面進 行了優(yōu)化，從而在一定規(guī)模下達到成本、可靠性和性能的最佳平衡。 目前，cStor云存儲系統(tǒng)已成功應(yīng)用于安防、廣電、交通、電信、政務(wù)等諸多領(lǐng)域。 cStor云存儲系統(tǒng)是南京云創(chuàng)存儲自主研發(fā)的高科技產(chǎn)品。產(chǎn)品特性優(yōu)異性能：支持高并發(fā)、帶寬飽和利用。cStor云存儲系統(tǒng)將控制流和數(shù)據(jù)流分離，數(shù)據(jù)訪問時多個存儲服務(wù)器同時對外提供服務(wù)，實現(xiàn)高并發(fā)訪問。高度可靠：采用多個數(shù)據(jù)塊副本的方式實現(xiàn)冗余可靠，數(shù)據(jù)在不同的存儲節(jié)點上具有多個塊副本，任意節(jié)點發(fā)生故障，系統(tǒng)將自動復(fù)制數(shù)據(jù)塊副本到新的存儲節(jié)點上，數(shù)據(jù)不會丟失，實現(xiàn)數(shù)據(jù)完整可靠。產(chǎn)品特性在線伸縮：可以在不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點，無需任何操作，即可實現(xiàn)系統(tǒng)容量從TB級向PB級平滑擴展；也可以取下任意節(jié)點，系統(tǒng)自動縮小規(guī)模而不丟失數(shù)據(jù)，并自動將取下的節(jié)點上的數(shù)據(jù)備份到其他節(jié)點上，保證整個系統(tǒng)數(shù)據(jù)的冗余數(shù)。超大規(guī)模：支持超大規(guī)模集群，理論容量為1024*1024*1024PB。簡單通用：支持POSIX接口規(guī)范，支持Windows/Linux/MacOSX，可當(dāng)成海量磁盤使用，無需修改應(yīng)用。同時系統(tǒng)也對外提供專用的高速API訪問接口。在線伸縮：可以在不停止服務(wù)的情況下，動態(tài)加入新的存儲節(jié)點，無

cStor超安存云存儲系統(tǒng)是新一代基于編碼技術(shù)的分布式文件存儲系統(tǒng)，它在cStor云存儲系統(tǒng)的基礎(chǔ)上，融入RS編解碼取代傳統(tǒng)副本冗余的方式進行系統(tǒng)容錯，編解碼參數(shù)M+N可根據(jù)應(yīng)用需求靈活配置。

相對于傳統(tǒng)的副本冗余容錯 方式而言，具有更高的磁盤利用率和更高的系統(tǒng)可靠性，如采用8+2的編解碼容錯方式，磁盤利用率可以達到80%，允許同時損壞2臺存儲服務(wù)器。 cStor超安存云存儲系統(tǒng)是新一代基于編碼技術(shù)的分布式文產(chǎn)品特性高磁盤利用率：對于傳統(tǒng)具有N份副本容錯而言，其磁盤利用率只有1/N，而采用編解碼方式，磁盤利用率為M/(N+M)，如8+2，其磁盤利用率為80%。高可靠性：傳統(tǒng)全副本的容錯方式，通過犧牲磁盤的有效容量來提升系統(tǒng)的可靠性，如1：1副本容錯，磁盤利用率為50%，只能損壞1臺存儲節(jié)點；而采用2+2的編解碼方式，在磁盤利用率為50%的情況下，允許同時損壞2臺存儲節(jié)點。產(chǎn)品特性高安全性：數(shù)據(jù)在編碼的過程中，也起到數(shù)據(jù)加密的作用，必須通過對應(yīng)的解密算法解碼才能夠獲取到原始數(shù)據(jù)，提升了系統(tǒng)的安全性。優(yōu)異性能：所有的存儲節(jié)點兼作編解碼計算節(jié)點，有效的保證了客戶端的寫入性能，同時充分利用了整個系統(tǒng)中大量存儲節(jié)點的計算資源。高安全性：數(shù)據(jù)在編碼的過程中，也起到數(shù)據(jù)加密的作用，必須通過第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3MapReduce+TaskMaster1.4DataCube1.5cCloud第二部分cStor云計算平臺能力第一部分1.1云計算平臺架構(gòu)1.2clouDil1.3Map數(shù)據(jù)立方etl工具是一個用來將數(shù)據(jù)立方和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個關(guān)系型數(shù)據(jù)庫（例如：

MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進到數(shù)據(jù)立方中，也可以將數(shù)據(jù)立方的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。一大亮點就是可以通過hadoop的mapreduce把數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù)到數(shù)據(jù)立方。數(shù)據(jù)立方etl工具是一個用來將數(shù)據(jù)立方和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)數(shù)據(jù)立方數(shù)據(jù)庫OracleMysqlPostgreSQL……數(shù)據(jù)立方ETL工具數(shù)據(jù)立方數(shù)OracleMysqlPostgreSQL……數(shù)據(jù)硬件配置序號設(shè)備名稱數(shù)量CPU內(nèi)存硬盤網(wǎng)絡(luò)1主控節(jié)點1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定2處理節(jié)點10雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定3客戶端1雙路四核，主頻2GHz32GB2TB*8雙千兆網(wǎng)卡綁定*千兆48口交換機硬件配置序號設(shè)備名稱數(shù)量CPU內(nèi)存硬盤網(wǎng)絡(luò)1主控節(jié)點1雙路四建表語句：createtableE_MP_POWER_CURVE(IDBIGINT,DATA_TYPEINT,DATA_POINT_FLAGINT,DATA_WHOLE_FLAGSTRING,P1DOUBLE,P2DOUBLE,P3DOUBLE,P4DOUBLE,P5DOUBLE,P6DOUBLE,P7DOUBLE,P8DOUBLE,P9DOUBLE,P10DOUBLE,P11DOUBLE,P12DOUBLE,P13DOUBLE,P14DOUBLE,P15DOUBLE,P16DOUBLE,P17DOUBLE,P18DOUBLE,P19DOUBLE,P20DOUBLE,P21DOUBLE,P22DOUBLE,P23DOUBLE,P24DOUBLE,P25DOUBLE,P26DOUBLE,P27DOUBLE,P28DOUBLE,P29DOUBLE,P30DOUBLE,P31DOUBLE,P32DOUBLE,P33DOUBLE,P34DOUBLE,P35DOUBLE,P36DOUBLE,P37DOUBLE,P38DOUBLE,P39DOUBLE,P40DOUBLE,P41DOUBLE,P42DOUBLE,P43DOUBLE,P44DOUBLE,P45DOUBLE,P46DOUBLE,P47DOUBLE,P48DOUBLE,P49DOUBLE,P50DOUBLE,P51DOUBLE,P52DOUBLE,P53DOUBLE,P54DOUBLE,P55DOUBLE,P56DOUBLE,P57DOUBLE,P58DOUBLE,P59DOUBLE,P60DOUBLE,P61DOUBLE,P62DOUBLE,P63DOUBLE,P64DOUBLE,P65DOUBLE,P66DOUBLE,P67DOUBLE,P68DOUBLE,P69DOUBLE,P70DOUBLE,P71DOUBLE,P72DOUBLE,P73DOUBLE,P74DOUBLE,P75DOUBLE,P76DOUBLE,P