浪潮云海大數(shù)據(jù)一體機(jī)介紹

1、浪潮云海大數(shù)據(jù)一體機(jī)介紹目錄 一、背景簡(jiǎn)介 三、成功案例 二、產(chǎn)品介紹時(shí)代背景數(shù)據(jù)規(guī)模轉(zhuǎn)向TB/PB級(jí)別2012年全球數(shù)據(jù)總量2.7ZB，現(xiàn)在兩天的數(shù)據(jù)量，等于人類(lèi)起源2003年所有數(shù)據(jù)的總和2011年全球上網(wǎng)用戶達(dá)23億，到2016年，預(yù)計(jì)達(dá)到34億，屆時(shí)將產(chǎn)生海量的新型數(shù)據(jù)與智慧城市相關(guān)的數(shù)據(jù)達(dá)200PB暴漲50多倍現(xiàn)狀：傳統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)模式無(wú)法應(yīng)對(duì)數(shù)據(jù)量井噴式的增長(zhǎng)面臨的重大挑戰(zhàn)4隨著互聯(lián)網(wǎng)的興起，涌現(xiàn)出大量音頻、視頻等半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)庫(kù)不能有效應(yīng)對(duì)需要新型數(shù)據(jù)處理體系結(jié)構(gòu)進(jìn)行高效的存儲(chǔ)和管理數(shù)據(jù)IDC統(tǒng)計(jì)數(shù)據(jù)發(fā)現(xiàn)隨著系統(tǒng)規(guī)模增加，延遲變得無(wú)法忍受需要解決規(guī)模和性能的同步

2、擬線性增長(zhǎng)問(wèn)題挑戰(zhàn)1：如何解決各種類(lèi)型數(shù)據(jù)融合的問(wèn)題挑戰(zhàn)2：如何提供規(guī)模和性能的同步擴(kuò)展結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)個(gè)人數(shù)據(jù)物質(zhì)世界數(shù)據(jù)社會(huì)數(shù)據(jù)多維度綜合分析面臨的重大挑戰(zhàn)5傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)和處理成本約為1萬(wàn)/GB對(duì)于低密度價(jià)值的大數(shù)據(jù)，如何控制其存儲(chǔ)和處理的性價(jià)比尤為重要IDC統(tǒng)計(jì)數(shù)據(jù)發(fā)現(xiàn)隨著系統(tǒng)規(guī)模增加，延遲變得無(wú)法忍受需要解決規(guī)模和性能的同步擬線性增長(zhǎng)問(wèn)題挑戰(zhàn)3：如何控制數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理的性價(jià)比挑戰(zhàn)4：如何滿足大并發(fā)、海量數(shù)據(jù)查詢要求大數(shù)據(jù)具有無(wú)可預(yù)估的數(shù)據(jù)價(jià)值體量Volume：巨大的數(shù)據(jù)量多樣性Variety：半結(jié)構(gòu)化、非結(jié)構(gòu)化速度Velocity：指數(shù)級(jí)別的增長(zhǎng)價(jià)值密度V

3、alue：蘊(yùn)含大財(cái)富大數(shù)據(jù)具有無(wú)可預(yù)估的數(shù)據(jù)價(jià)值IDC：到2020年，大數(shù)據(jù)的支出將超過(guò)2000億美元以上麥肯錫：未來(lái)全球范圍內(nèi)大數(shù)據(jù)帶來(lái)的價(jià)值將達(dá)20000億美元粗放式基于大數(shù)據(jù)的分析、挖掘，為商業(yè)決策提供依據(jù)精細(xì)化大數(shù)據(jù)時(shí)代即將來(lái)臨大數(shù)據(jù)生態(tài)鏈數(shù)據(jù)源數(shù)據(jù)收集數(shù)據(jù)存儲(chǔ)數(shù)據(jù)處理分析及可視化應(yīng)用數(shù)據(jù)擁有者數(shù)據(jù)處理技術(shù)提供商數(shù)據(jù)分析技術(shù)提供商服務(wù)技術(shù)提供商最終用戶數(shù)據(jù)采集技術(shù)提供商 數(shù)據(jù)處理者數(shù)據(jù)采集者 數(shù)據(jù)分析者數(shù)據(jù)服務(wù)提供商基礎(chǔ)硬件（服務(wù)器、存儲(chǔ)、交換）廠商軟件平臺(tái)（數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、分布式處理技術(shù)等）提供商目錄 一、背景簡(jiǎn)介 三、成功案例 二、產(chǎn)品介紹數(shù)據(jù)節(jié)點(diǎn)：2U，2路存儲(chǔ)服務(wù)器單節(jié)點(diǎn)支持

4、12塊3.5寸或者24塊2.5寸數(shù)據(jù)盤(pán)管理節(jié)點(diǎn)：高端4路/8路服務(wù)器HA控制臺(tái)：本地可視化管理平臺(tái)網(wǎng)絡(luò)：千兆以太網(wǎng)萬(wàn)兆網(wǎng)絡(luò)IB網(wǎng)絡(luò)產(chǎn)品形態(tài)產(chǎn)品市場(chǎng)定位目標(biāo)應(yīng)用面向圖片、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)的海量存儲(chǔ)和處理面向海量數(shù)據(jù)的在線查詢面向關(guān)系型數(shù)據(jù)的數(shù)據(jù)分析和挖掘，結(jié)合傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)目標(biāo)行業(yè)金融、政法、電信、交通、衛(wèi)生、廣電、通信產(chǎn)品配置針對(duì)不同應(yīng)用，提供系列化產(chǎn)品，滿足客戶需求。處理器核心內(nèi)存網(wǎng)卡RAID硬盤(pán)管理節(jié)點(diǎn)64Core128GB1*單口萬(wàn)兆網(wǎng)口512M緩存高性能raid卡系統(tǒng)盤(pán)2*300GB SATA/SAS/SSD數(shù)據(jù)盤(pán)4*600GB SATA/SAS/SSD數(shù)據(jù)節(jié)點(diǎn)12Core32

5、GB1*單口萬(wàn)兆網(wǎng)口512M緩存高性能raid卡系統(tǒng)盤(pán)2*300GB SATA/SAS/SSD系統(tǒng)盤(pán)10*2TB SATA/SAS/SSD軟件平臺(tái)浪潮云海大數(shù)據(jù)一體機(jī)系統(tǒng)軟件節(jié)點(diǎn)授權(quán)相關(guān)配件N個(gè)萬(wàn)兆交換機(jī)、N個(gè)千兆交換機(jī)、N個(gè)四合一切換器、N個(gè)機(jī)柜理論最佳配置高容量型平臺(tái)配置：管理節(jié)點(diǎn)：CPU E5-2600系列、內(nèi)存64G DDR3-1600 ECC系列 硬盤(pán) 4*2.5 600GB SAS 10000 千兆網(wǎng)卡數(shù)據(jù)節(jié)點(diǎn)：CPU E5-2600系列、內(nèi)存48G DDR3-1600 ECC系列 硬盤(pán) 12*3.5 3TB SATA 7200 千兆網(wǎng)卡單臺(tái)服務(wù)器理論值：裸容量36T，吞吐量讀60

6、0MB/S，寫(xiě)400MB/S，IOPS 1200平衡型平臺(tái)配置：管理節(jié)點(diǎn)：CPU E5-2600系列、內(nèi)存128G DDR3-1600 ECC系列 硬盤(pán) 4*2.5 600GB SAS 10000 940 10GB*2數(shù)據(jù)節(jié)點(diǎn)：CPU E5-2600系列、內(nèi)存64G DDR3-1600 ECC系列 硬盤(pán) 12*3.5 2TB SAS 7200 940 10GB*2單臺(tái)服務(wù)器理論值：裸容量24T，吞吐量讀600MB/S，寫(xiě)400MB/S，IOPS 1200高性能型平臺(tái)配置：管理節(jié)點(diǎn)：CPU2*4CORE、內(nèi)存128G DDR3-1600 ECC系列 硬盤(pán) 4*2.5 480GB SSD 1000

7、0 940 ifniband數(shù)據(jù)節(jié)點(diǎn)：CPU E5-2600系列、內(nèi)存128G DDR3-1600 ECC系列 硬盤(pán) 24*2.5 480G SSD 7200 ifniband單臺(tái)服務(wù)器理論值：裸容量11.25T，吞吐量讀2400MB/S，寫(xiě)2000MB/S，IOPS 960000JobTrackerDataNodeCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUDataNodeDataNodeDataNodeNameNode主備備主備備主備備主備備數(shù)據(jù)本地化（計(jì)算隨數(shù)據(jù)分布）是指并行計(jì)算框架智能地將計(jì)算任務(wù)指派到存儲(chǔ)著該任務(wù)所需數(shù)據(jù)的節(jié)點(diǎn)，從而避免傳

8、統(tǒng)分布式計(jì)算中嚴(yán)重的數(shù)據(jù)傳瓶頸。Job MapCPU軟件體系結(jié)構(gòu)-數(shù)據(jù)本地化DataNodeCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUDataNodeDataNodeDataNode主備備主備備主備備主備備CPU業(yè)務(wù)連續(xù)性保證 是傳統(tǒng)分布式計(jì)算中最為復(fù)雜的開(kāi)發(fā)目標(biāo)。通常當(dāng)系統(tǒng)規(guī)模擴(kuò)展至百節(jié)點(diǎn)以上時(shí)，就必須應(yīng)對(duì)計(jì)算單元失效，顯式地保存和恢復(fù)失敗任務(wù)。浪潮大數(shù)據(jù)一體機(jī)能夠智能識(shí)別失敗任務(wù)，自動(dòng)將其轉(zhuǎn)移到備份數(shù)據(jù)節(jié)點(diǎn)。軟件體系結(jié)構(gòu)-業(yè)務(wù)連續(xù)性保證高可用 IPName Node/Job TrackerData Node多副本高可用線性擴(kuò)展Scale-Ou

9、t并非可以無(wú)限制的擴(kuò)展Oracle RAC理論上最大支持100個(gè)節(jié)點(diǎn)TeraData理論上最大支持1000個(gè)節(jié)點(diǎn)實(shí)際使用的Hadoop集群最大規(guī)?？蛇_(dá)4000個(gè)節(jié)點(diǎn)關(guān)鍵節(jié)點(diǎn)性能限制網(wǎng)絡(luò)帶寬限制故障常態(tài)化存儲(chǔ)管理分析共享和可視化新型大數(shù)據(jù)體系結(jié)構(gòu)統(tǒng)一交付、集中管理專(zhuān)業(yè)化的支持服務(wù)獲取軟硬件一體化優(yōu)化產(chǎn)品亮點(diǎn) 集中交付使用易部署、易開(kāi)發(fā)、易監(jiān)控、易管理全環(huán)節(jié)覆蓋存儲(chǔ)、管理、展現(xiàn)、分析產(chǎn)品亮點(diǎn) 差異對(duì)比傳統(tǒng)數(shù)據(jù)庫(kù)大數(shù)據(jù)一體機(jī)的應(yīng)用場(chǎng)景:數(shù)據(jù)規(guī)模10TBEB規(guī)模 結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化混合存儲(chǔ)和處理 海量數(shù)據(jù)的ETL海量數(shù)據(jù)的高并發(fā)隨機(jī)訪問(wèn) 傳統(tǒng)數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景：數(shù)據(jù)規(guī)模100TB以下 結(jié)構(gòu)化數(shù)據(jù)

10、的存儲(chǔ)和處理 海量數(shù)據(jù)的ETL和挖掘分析應(yīng)用 1.海量各種類(lèi)型數(shù)據(jù)查詢、檢索、分析2.高并發(fā) ：100個(gè)3.延遲、精度要求不高1.結(jié)構(gòu)化數(shù)據(jù)在OLTP中的操作2.低并發(fā) ：503.低延遲、實(shí)時(shí)性差異對(duì)比開(kāi)源軟件浪潮云海大數(shù)據(jù)一體機(jī)直接使用開(kāi)源Hadoop一體化交付方案型產(chǎn)品，經(jīng)過(guò)系統(tǒng)優(yōu)化，實(shí)現(xiàn)了軟件、硬件的最優(yōu)性能全面測(cè)試的企業(yè)級(jí)發(fā)行版，保證長(zhǎng)期穩(wěn)定運(yùn)行，集成最新開(kāi)源的和自行開(kāi)發(fā)的補(bǔ)丁，用戶可以及時(shí)修正漏洞保證各個(gè)部件之間的一致性，使應(yīng)用順滑運(yùn)行無(wú)相關(guān)經(jīng)驗(yàn)，單純地進(jìn)行硬件和軟件環(huán)境的搭建針對(duì)HDFS數(shù)據(jù)節(jié)點(diǎn)的讀寫(xiě)選取提供高級(jí)均衡算法，提高系統(tǒng)擴(kuò)展性，適合不同配置服務(wù)器組成的集群簡(jiǎn)單均衡算法，容易在慢速服務(wù)器或熱點(diǎn)服務(wù)器上產(chǎn)生讀寫(xiě)瓶頸，最慢服務(wù)器成為系統(tǒng)性能瓶頸為HDFS的NameNode提供雙機(jī)熱備方案，提高可靠性主NameNode節(jié)點(diǎn)失效時(shí)，自動(dòng)切換到備用NameNodeNameNode是系統(tǒng)的單點(diǎn)破損點(diǎn)，一旦失效系統(tǒng)將無(wú)法讀寫(xiě)實(shí)現(xiàn)跨區(qū)域數(shù)據(jù)中心的HBase超級(jí)大表，用戶應(yīng)用可實(shí)現(xiàn)位置透明的數(shù)據(jù)讀寫(xiě)訪問(wèn)和全局匯總統(tǒng)計(jì)允許跨多個(gè)物理數(shù)據(jù)中心建立分布式大表，突破單一數(shù)據(jù)中心由于空間和供電限制無(wú)法建立超大集群的限制無(wú)此功能，無(wú)法進(jìn)行跨數(shù)據(jù)中心部署在HBase中，根據(jù)數(shù)據(jù)局部性、服務(wù)器Region數(shù)、表的Region數(shù)來(lái)實(shí)現(xiàn)負(fù)載均衡，適合多用戶共享集群創(chuàng)建多張大表的應(yīng)用只根據(jù)Re