互聯(lián)網(wǎng)大數(shù)據(jù)中心機(jī)房集群建設(shè)方案

11/11互聯(lián)網(wǎng)大數(shù)據(jù)中心機(jī)房集群建設(shè)方案互聯(lián)網(wǎng)大數(shù)據(jù)中心機(jī)房集群建設(shè)方案

目錄

第1章方案概述(3)

1.1.建設(shè)背景(3)

1.2.當(dāng)前現(xiàn)狀(4)

1.3.建設(shè)目標(biāo)(5)

第2章方案設(shè)計(jì)原則(6)

2.1.設(shè)計(jì)原則(6)

2.2.設(shè)計(jì)依據(jù)(7)

第3章數(shù)據(jù)中心方案架構(gòu)(8)

3.1數(shù)據(jù)中心架構(gòu)設(shè)計(jì)(8)

3.2大數(shù)據(jù)處理設(shè)計(jì)(13)

3.3大數(shù)據(jù)存儲設(shè)計(jì)(19)

3.4安全設(shè)計(jì)(21)

3.5平臺搭建實(shí)施步驟(25)

3.6物理架構(gòu)設(shè)計(jì)(25)

第4章數(shù)據(jù)中心網(wǎng)絡(luò)方案組成(27)

4.1.防火墻設(shè)計(jì)(28)

4.2.接入層設(shè)計(jì)(28)

4.3.網(wǎng)絡(luò)拓?fù)?28)

第5章數(shù)據(jù)中心基礎(chǔ)設(shè)施方案組成(29)

5.1.機(jī)柜系統(tǒng)設(shè)計(jì)(29)

5.2.制冷系統(tǒng)設(shè)計(jì)(31)

5.3.供配電系統(tǒng)設(shè)計(jì)(35)

5.4.模塊監(jiān)控系統(tǒng)設(shè)計(jì)(39)

第6章運(yùn)維方案(44)

6.1.技術(shù)和售后服務(wù)(44)

6.2.售后服務(wù)項(xiàng)目(44)

6.3.售后服務(wù)項(xiàng)目內(nèi)容(44)

第1章方案概述

“百年大計(jì)，教育為本”，教育行業(yè)是我國經(jīng)濟(jì)發(fā)展的關(guān)鍵命脈之一，伴隨著數(shù)據(jù)集中在教育業(yè)信息化的逐漸展開，數(shù)據(jù)中心在企業(yè)和信息化的地位越來越重要。教育數(shù)據(jù)中心建設(shè)已成為教育機(jī)構(gòu)信息化趨勢下的必然產(chǎn)物。教育數(shù)據(jù)中心作為承載教育機(jī)構(gòu)業(yè)務(wù)的重要IT基礎(chǔ)設(shè)施，承擔(dān)著教育機(jī)構(gòu)穩(wěn)定運(yùn)行和業(yè)務(wù)創(chuàng)新的重任。在教育機(jī)構(gòu)新型客戶服務(wù)模式下，數(shù)據(jù)中心需要更高效地支持后臺業(yè)務(wù)和信息共享需求，同時要24小時不間斷的提供服務(wù)，支持多種服務(wù)手段。這對教育數(shù)據(jù)中心的資源整合，全面安全，高效管理和業(yè)務(wù)連續(xù)性提出更高的要求。

此數(shù)據(jù)中心建設(shè)方案主要對數(shù)據(jù)中心的基礎(chǔ)設(shè)施和網(wǎng)絡(luò)規(guī)劃部分提出整體建議，保證數(shù)據(jù)中心的高性能、安全、可靠，從而使數(shù)據(jù)中心能承載更多高品質(zhì)的業(yè)務(wù)。

1.1.建設(shè)背景

自從出現(xiàn)數(shù)字化教育以來，數(shù)據(jù)中心作為數(shù)字化交易的核心，被各個教育系統(tǒng)廣泛采用。目前隨著教育電子化的推廣，客戶市場細(xì)分的深入，教育產(chǎn)品設(shè)計(jì)的專業(yè)化，以及對于教育系統(tǒng)安全性的要求。教育系統(tǒng)的數(shù)據(jù)中心需要更強(qiáng)大的運(yùn)算能力，更多的存儲空間，更安全可靠的規(guī)劃和設(shè)計(jì)。不僅如此，教育系統(tǒng)相比其他行業(yè)的數(shù)據(jù)中心有其自身特有的特點(diǎn)和要求。教育行業(yè)數(shù)據(jù)中心的非常重要的一點(diǎn)就是安全和可靠。因?yàn)槟呐率嵌虝r間的網(wǎng)絡(luò)癱瘓也會造成非常廣泛和嚴(yán)重的后果。這對教育數(shù)據(jù)中心的資源整合，全面安全，高效管理和業(yè)務(wù)連續(xù)性提出更高的要求。所以教育行業(yè)數(shù)據(jù)中心產(chǎn)品和方案的應(yīng)用必須采用更高等級的產(chǎn)品和整體設(shè)計(jì)方案，以滿足對于系統(tǒng)安全性的要求。

從數(shù)據(jù)大集中到多業(yè)務(wù)整合，教育行業(yè)的數(shù)據(jù)中心建設(shè)正圍繞著業(yè)務(wù)發(fā)展的需要迅速展。教育基礎(chǔ)設(shè)施的建設(shè)，很重要的一個環(huán)節(jié)就是教育數(shù)據(jù)中心的建設(shè)。教育數(shù)據(jù)中心工程不僅集建筑、電氣、安裝、網(wǎng)絡(luò)等多個專業(yè)技術(shù)于一體，更需要豐富的工程實(shí)施和管理經(jīng)驗(yàn)。教育數(shù)據(jù)中心設(shè)計(jì)與施工的優(yōu)劣直接關(guān)系到數(shù)據(jù)中心內(nèi)計(jì)算機(jī)系統(tǒng)是否能穩(wěn)定可靠地運(yùn)行，是否能保證各類信息通訊暢通無阻。由于教育數(shù)據(jù)中心的環(huán)境必須滿足計(jì)算機(jī)等各種數(shù)據(jù)，以達(dá)到反饋信息和處理問

題的功效。特別是要將需要解決電池放電狀態(tài)和旁路運(yùn)行狀態(tài)的監(jiān)控管理問題等重要信息發(fā)到主要負(fù)責(zé)人的手機(jī)上，以便能隨時掌握信息，對一些天氣災(zāi)害停電而有應(yīng)急預(yù)案。

1.2.當(dāng)前現(xiàn)狀

隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)中心的問題與日俱增，數(shù)據(jù)中心所面臨的壓力和挑戰(zhàn)也越來越大：業(yè)務(wù)的不斷調(diào)整和改變讓數(shù)據(jù)中心總體架構(gòu)面臨極大的壓力、有限的物理空間讓數(shù)據(jù)中心擴(kuò)展性和靈活性有所限制、虛擬化的欠缺讓數(shù)據(jù)中心資源調(diào)配能力有限、復(fù)雜多變的異構(gòu)環(huán)境讓數(shù)據(jù)中心管理效率異常低下、高居不下的耗電量讓數(shù)據(jù)中心能源成本迅速上升。這些問題與挑戰(zhàn)讓數(shù)據(jù)中心管理者迫切需要對數(shù)據(jù)中心進(jìn)行整合和升級。通過有效的整合讓傳統(tǒng)數(shù)據(jù)中心升級成為一個智能化、自動化、高效化的數(shù)據(jù)中心。當(dāng)前數(shù)據(jù)中心面臨的問題：

●可靠性問題

供電可靠性是數(shù)據(jù)中心安全性的重要保障，隨著以信息技術(shù)為支撐的新業(yè)務(wù)的不斷涌現(xiàn)，教育行業(yè)數(shù)據(jù)中心對供電可靠性的要求大大提升。在數(shù)據(jù)中心領(lǐng)域，動力平臺的可用性指標(biāo)分別高于數(shù)據(jù)中心的可用性指標(biāo)和整個網(wǎng)絡(luò)系統(tǒng)的可用性指標(biāo)，因此，對動力平臺的關(guān)注理應(yīng)放到最核心的位置。比如服務(wù)器電源的冗余方式發(fā)生了變化，供電系統(tǒng)就應(yīng)當(dāng)做出相應(yīng)改變。刀片服務(wù)器以及虛擬化的應(yīng)用，使高熱密度問題凸顯，數(shù)據(jù)中心環(huán)境更加惡劣，制冷模式就也需要做出改變。

●節(jié)能降耗問題

數(shù)據(jù)中心建設(shè)的加速，導(dǎo)致的最直接后果就是能源消耗量的急劇攀升。在當(dāng)前全球能源緊張的大背景下，節(jié)能降耗是整個數(shù)據(jù)中心行業(yè)的大趨勢。對于企業(yè)本身而言，能耗的急劇增長大大提升了數(shù)據(jù)中心的運(yùn)行成本，數(shù)據(jù)中心的節(jié)能和能效改善已成為整個行業(yè)的迫切要求。

●管理與維護(hù)問題

數(shù)據(jù)中心是一個龐大而復(fù)雜的系統(tǒng)，這些系統(tǒng)是一個有機(jī)的整體，牽一發(fā)而動全身，數(shù)據(jù)中心可靠性的發(fā)揮有賴于每個設(shè)備的正常運(yùn)行，有賴于這些設(shè)備的協(xié)調(diào)一致，任何一個環(huán)節(jié)出現(xiàn)故障，都有可能造成巨大損失。因此，對整個系統(tǒng)的管理越來越重要，而難度也越來越大。

●擴(kuò)容問題

隨著業(yè)務(wù)量的不斷擴(kuò)大，教育行業(yè)IT應(yīng)用系統(tǒng)日益增長，服務(wù)器規(guī)模變得日益龐大，帶來了高能耗、數(shù)據(jù)中心空間緊張、IT預(yù)算緊張等問題。同時，數(shù)據(jù)中心動力平臺的匹配性卻不夠，要么利用率低，資源浪費(fèi)嚴(yán)重;要么供電與制冷明顯不足，影響數(shù)據(jù)中心可用性。簡言之，動力系統(tǒng)對核心設(shè)備供電或者制冷需求的反映不夠靈敏。

針對上述問題，技術(shù)有限公司推出了創(chuàng)新型的數(shù)據(jù)中心解決方案。該解決方案具有高可用性、高節(jié)能性、高靈活性、高可維護(hù)性等四大特點(diǎn)，能夠幫助教育行業(yè)客戶解決數(shù)據(jù)中心建設(shè)與應(yīng)用的難題，滿足教育企業(yè)在信息化過程中對數(shù)據(jù)中心動力安全、節(jié)能環(huán)保等方面日益增長的應(yīng)用需求。

1.3.建設(shè)目標(biāo)

數(shù)據(jù)中心建設(shè)應(yīng)達(dá)成以下目標(biāo)：

高可用數(shù)據(jù)中心的高可用直接影響到業(yè)務(wù)系統(tǒng)的可用性，高可用至少包括高可靠、高安全和先進(jìn)性三個方面：

◆高可靠：應(yīng)采用高可靠的產(chǎn)品和技術(shù)，充分考慮系統(tǒng)的應(yīng)變能力、容錯

能力和糾錯能力，確保整個基礎(chǔ)設(shè)施運(yùn)行穩(wěn)定、可靠。當(dāng)今，關(guān)鍵業(yè)務(wù)

應(yīng)用的可用性與性能要求比任何時候都更為重要。

◆高安全：基礎(chǔ)設(shè)計(jì)的安全性，涉及到核心數(shù)據(jù)安全。應(yīng)按照端到端訪問

安全、網(wǎng)絡(luò)分層安全兩個維度對安全體系進(jìn)行設(shè)計(jì)規(guī)劃，采用軟硬件安

全設(shè)備，從局部安全、全局安全到智能安全，將安全理念滲透到整個數(shù)

據(jù)中心網(wǎng)絡(luò)中。

◆先進(jìn)性：數(shù)據(jù)中心將長期支撐企業(yè)的業(yè)務(wù)發(fā)展，數(shù)據(jù)中心建設(shè)需要考慮

后續(xù)的機(jī)會成本，采用主流的、先進(jìn)的技術(shù)和產(chǎn)品，建立高性能，大容

量存儲的數(shù)據(jù)中心。

◆易擴(kuò)展隨著信息化的發(fā)展，企業(yè)內(nèi)通信網(wǎng)絡(luò)的建立和全面覆蓋，未來

的業(yè)務(wù)范圍會更多更廣，業(yè)務(wù)系調(diào)整與擴(kuò)展再所難免，因此數(shù)據(jù)中心必

須能夠適應(yīng)業(yè)務(wù)系統(tǒng)的頻繁調(diào)整，同時在性能上應(yīng)至少能夠滿足未來

5～10年的業(yè)務(wù)發(fā)展。對于設(shè)備的選擇和協(xié)議的部署，應(yīng)遵循業(yè)界標(biāo)準(zhǔn)，

保證良好的互通性和互操作性，支持業(yè)務(wù)的快速部署。

易管理數(shù)據(jù)中心是IT技術(shù)最為密集的地方，數(shù)據(jù)中心的設(shè)備繁多，各種協(xié)議和應(yīng)用部署越來越復(fù)雜，對運(yùn)維人員的要求也越來越高，單獨(dú)

依賴運(yùn)維人員個人的技術(shù)能力和業(yè)務(wù)能力是無法保證業(yè)務(wù)運(yùn)行的持續(xù)性

的。因此數(shù)據(jù)中心需要提供完善的運(yùn)維管理平臺，對數(shù)據(jù)中心IT資源進(jìn)

行全局掌控，減少日常的運(yùn)維的人為故障。同時一旦出現(xiàn)故障，能夠借

助工具直觀、快速定位。

第2章方案設(shè)計(jì)原則

2.1.設(shè)計(jì)原則

根據(jù)“先進(jìn)、實(shí)用、穩(wěn)定、可靠”的總原則，對云數(shù)據(jù)中心軟硬件系統(tǒng)進(jìn)行科學(xué)合理的設(shè)計(jì)，保證中心建設(shè)的勝利完成。

數(shù)據(jù)中心工程是智能弱電工程的重要組成部分。其基本要求可歸納為：保證系統(tǒng)運(yùn)行的可靠性、保證系統(tǒng)的設(shè)計(jì)壽命、保證信息安全的要求、保證操作人員的工作環(huán)境。

設(shè)計(jì)一個好的數(shù)據(jù)中心，要以兼顧人機(jī)并重之原則，一個合格的現(xiàn)代化計(jì)算機(jī)數(shù)據(jù)中心，應(yīng)該是一個安全可靠、舒適實(shí)用、節(jié)能高效和具有可擴(kuò)充性的數(shù)據(jù)中心，設(shè)計(jì)應(yīng)以運(yùn)行條件、安全可靠作為首要的考慮因素。因此對數(shù)據(jù)中心建設(shè)要求遵循以下設(shè)計(jì)原則：

1．高安全可靠性

為保證數(shù)據(jù)中心能為用戶提供連續(xù)不間斷的7×24小時服務(wù)，數(shù)據(jù)中心必須具有高可靠性。在系統(tǒng)設(shè)計(jì)時應(yīng)注意盡量減少單點(diǎn)故障的存在，對存在單點(diǎn)故障的環(huán)節(jié)，在設(shè)計(jì)上必須減少其對整個系統(tǒng)的影響。

由于該數(shù)據(jù)中心內(nèi)部計(jì)算機(jī)系統(tǒng)涉及到機(jī)密信息，其泄密可能嚴(yán)重危害社會秩序，所以需要保證數(shù)據(jù)中心的安全性，必須具有安保系統(tǒng)以保證用戶的設(shè)備和數(shù)據(jù)不受侵害。實(shí)現(xiàn)高安全性的措施包括：閉路電視監(jiān)測、門禁系統(tǒng)、自動安全報警系統(tǒng)等。

中心軟硬件系統(tǒng)要高度可靠，虛擬機(jī)出現(xiàn)故障要能自動遷移，數(shù)據(jù)要有冗余備份，可以從故障中及時恢復(fù)。。

2．可擴(kuò)展性

鑒于信息網(wǎng)絡(luò)系統(tǒng)需求的不斷發(fā)展與變化，技術(shù)也在不斷提高，故在建設(shè)時應(yīng)考慮這些變化對資源需求的改變，以使整個系統(tǒng)具有靈活的可擴(kuò)展性，特別是精密空調(diào)、配電開關(guān)及配電柜、UPS及供電母線等。

中心的服務(wù)器、存儲、網(wǎng)絡(luò)都可以不用停機(jī)就線性擴(kuò)容服務(wù)器、存儲、網(wǎng)絡(luò)等設(shè)備。

3．易于管理

通過使用先進(jìn)和可靠的管理工具來實(shí)現(xiàn)系統(tǒng)的高質(zhì)量管理，以節(jié)約人力資源。由于數(shù)據(jù)中心內(nèi)設(shè)備繁多，具有一定復(fù)雜性，隨著業(yè)務(wù)的不斷發(fā)展，管理的任務(wù)必定會日益繁重。所以在設(shè)計(jì)時，必須建立一套完善的數(shù)據(jù)中心管理和監(jiān)控系統(tǒng)。實(shí)時監(jiān)控、監(jiān)測整個數(shù)據(jù)中心的運(yùn)行狀況、語音報警，實(shí)時事件記錄，可以迅速確定故障，提高可靠性，簡化數(shù)據(jù)中心管理人員的維護(hù)工作。

中心的資源池支持方便靈活地管理維護(hù)和審計(jì)。

4．高性能價格比

數(shù)據(jù)中心所需設(shè)備的選型應(yīng)該以適用為主，合理選擇材料與設(shè)備；不要造成資源浪費(fèi)；同時也要保證該數(shù)據(jù)中心的高可靠性。以較高的性能價格比設(shè)計(jì)數(shù)據(jù)中心，能以較低的成本、較少的人員投入來維持系統(tǒng)運(yùn)轉(zhuǎn)，提供高效能與高效益。

中心的軟硬件設(shè)施選擇合理，具有高性價比。

2.2.設(shè)計(jì)依據(jù)

《電子計(jì)算機(jī)數(shù)據(jù)中心設(shè)計(jì)規(guī)范》GB50174-93

《計(jì)算機(jī)場地技術(shù)條件》GB2287-89

《計(jì)算機(jī)場地安全要求》GB9361-88

《計(jì)算機(jī)機(jī)房活動地板技術(shù)條件》GB6650-86

《建筑物防雷設(shè)計(jì)規(guī)范》GB50057-94

《高層民用建筑設(shè)計(jì)防火規(guī)范》GBJ45

《電子計(jì)算機(jī)機(jī)房施工及驗(yàn)收規(guī)范》SJ/T30003-93

《建筑防火設(shè)計(jì)規(guī)范》GB5004-95

《空調(diào)與通風(fēng)工程施工及驗(yàn)收規(guī)范》GB50243-97

《建筑與建筑群綜合布線系統(tǒng)工程設(shè)計(jì)規(guī)范》GB/T50311-2000

《建筑與建筑群綜合布線系統(tǒng)工程驗(yàn)收規(guī)范》GB/T50312-2000

《中華人民共和國通信行業(yè)標(biāo)準(zhǔn)》YD-T9261、2、3

《國際綜合布線標(biāo)準(zhǔn)》TIA/EIA568-B

《供配電系統(tǒng)設(shè)計(jì)規(guī)范》GB50052-92

《火災(zāi)自動報警系統(tǒng)設(shè)計(jì)規(guī)范》GBJ116-98

《工業(yè)企業(yè)通信接地設(shè)計(jì)規(guī)范》GBJ79-85

《高性能屏蔽室屏蔽效能的測量方法》GB12190

第3章數(shù)據(jù)中心方案架構(gòu)

3.1數(shù)據(jù)中心架構(gòu)設(shè)計(jì)

云計(jì)算數(shù)據(jù)中心通過運(yùn)行在單獨(dú)的服務(wù)器上的云操作系統(tǒng)對服務(wù)器、存儲、網(wǎng)絡(luò)等資源進(jìn)行虛擬化管理，提供可以自定義的虛擬機(jī)，在虛擬機(jī)上安裝Hadoop、hbase等Nosql分布式數(shù)據(jù)庫集群，對現(xiàn)有的數(shù)據(jù)ETL采集、清洗、轉(zhuǎn)換、匯總進(jìn)來，使用海量數(shù)據(jù)分布存儲技術(shù)，用spark、storm等大數(shù)據(jù)處理軟件對hbase中的數(shù)據(jù)進(jìn)行分析處理，挖掘數(shù)據(jù)價值。還可以在虛擬機(jī)上運(yùn)行業(yè)務(wù)應(yīng)用系統(tǒng)，提供負(fù)載均衡和冗余備份，達(dá)到系統(tǒng)的穩(wěn)定、高可用和方便的擴(kuò)展性。

通過安裝SSR等安全軟件和安全服務(wù)器，可以保證提升操作系統(tǒng)的安全級別，從而達(dá)到國家等級保護(hù)的三級要求，為客戶構(gòu)建真正的安全長城。

云計(jì)算數(shù)據(jù)中心可以自動管理和動態(tài)分配、部署、配置、重新配置以及回收資源，也可以自動安裝軟件和應(yīng)用，具有良好的彈性和靈活性，管理、使用方便。云中心可以向用戶提供虛擬基礎(chǔ)架構(gòu)。用戶可以自己定義虛擬基礎(chǔ)架構(gòu)的構(gòu)成，如服務(wù)器配置、數(shù)量，存儲類型和大小等等。用戶通過自服務(wù)界面提交請求，每個請求的生命周期由平臺維護(hù)。

服務(wù)器虛擬化系統(tǒng)基于服務(wù)器，存儲和網(wǎng)絡(luò)設(shè)備構(gòu)建資源池，在資源池上通過資源的管理、調(diào)度和鏡像管理實(shí)現(xiàn)系統(tǒng)的各種高級功能，例如計(jì)算層面的系統(tǒng)負(fù)載均衡和虛擬機(jī)高可用，存儲層面的鏡像復(fù)制和冗余。系統(tǒng)支持以主機(jī)或者虛擬群集為單位管理資源，虛擬群集為一組共享存儲資源的物理主機(jī)。

云中心既是一個企業(yè)云，也可以對外提供服務(wù)，擴(kuò)展成公有云。學(xué)校還可以使用別的公有云如阿里云，形成混合云。

云中心包括iaas、paas、saas三層服務(wù)：

1）.SaaS：提供給客戶的服務(wù)是運(yùn)營商運(yùn)行在云計(jì)算基礎(chǔ)設(shè)施上的應(yīng)用程序，用戶可以在各種設(shè)備上通過客戶端界面訪問，如瀏覽器。消費(fèi)者不需要管理或控制任何云計(jì)算基礎(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲等等；

2）.PaaS：提供給消費(fèi)者的服務(wù)是把客戶采用提供的開發(fā)語言和工具（例如Java，python,.Net等）開發(fā)的或收購的應(yīng)用程序部署到供應(yīng)商的云計(jì)算基礎(chǔ)設(shè)施上去?？蛻舨恍枰芾砘蚩刂频讓拥脑苹A(chǔ)設(shè)施，包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲等，但客戶能控制部署的應(yīng)用程序，也可能控制運(yùn)行應(yīng)用程序的托管環(huán)境配置；可以使用docker容器完成應(yīng)用系統(tǒng)的部署和管理。

3）.IaaS：提供給消費(fèi)者的服務(wù)是對所有計(jì)算基礎(chǔ)設(shè)施的利用，包括處理CPU、內(nèi)存、存儲、網(wǎng)絡(luò)和其它基本的計(jì)算資源，用戶能夠部署和運(yùn)行任意軟件，包括操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不管理或控制任何云計(jì)算基礎(chǔ)設(shè)施，但能控制操作系統(tǒng)的選擇、存儲空間、部署的應(yīng)用，也有可能獲得有限制的網(wǎng)絡(luò)組件（例如路由器、，防火墻，、負(fù)載均衡器等）的控制。

云中心采用xen、kvm、VMware進(jìn)行虛擬化，LXC提供Linux容器，支持docker應(yīng)用容器。

一.服務(wù)器采用浪潮整機(jī)柜服務(wù)器SmartRack，面向海量數(shù)據(jù)的存儲和處理，適合云資源池如虛擬化、分布式存儲，大數(shù)據(jù)處理如Hadoop集群等應(yīng)用，目前在國內(nèi)服務(wù)器中占主導(dǎo)地位，特點(diǎn)如下：

定位多種應(yīng)用，支持各類服務(wù)器節(jié)點(diǎn)。

針對不同業(yè)務(wù)對存儲、計(jì)算、IO吞吐量、功耗的不同要求，設(shè)計(jì)開發(fā)出不同種類的服務(wù)器節(jié)點(diǎn)，包括：1U全寬雙路12盤位綜合型節(jié)點(diǎn)、1U全寬單路18盤位冷存儲節(jié)點(diǎn)、1U半寬雙路計(jì)算型節(jié)點(diǎn)，滿足不同需求。

整機(jī)柜集中供電、集中散熱，相比其他架構(gòu)服務(wù)器，運(yùn)行功耗降低10%以上。

整機(jī)柜由一組電源模塊集中供電，最大輸出功率高達(dá)22.5kw，直接支持交流或高壓直流供電，各節(jié)點(diǎn)通過銅排從電源模塊取電，結(jié)合電源負(fù)載動態(tài)調(diào)整技術(shù)，電源轉(zhuǎn)換效率高達(dá)94%以上。

機(jī)柜背部風(fēng)扇墻集中散熱，根據(jù)節(jié)點(diǎn)數(shù)量靈活調(diào)節(jié)風(fēng)扇墻高度，采用140mm大尺寸風(fēng)扇，相同功耗下可提供更大散熱量。

領(lǐng)先的架構(gòu)設(shè)計(jì)，保障系統(tǒng)高可靠運(yùn)行。

服務(wù)器節(jié)點(diǎn)中無獨(dú)立的電源和風(fēng)扇，有效降低單點(diǎn)故障。

根據(jù)整機(jī)柜實(shí)際負(fù)載情況，電源可實(shí)現(xiàn)N+N/N+2/N+1多種冗余方式。

風(fēng)扇可根據(jù)溫度狀況自動調(diào)節(jié)轉(zhuǎn)速，支持2+1冗余。

對整機(jī)柜節(jié)點(diǎn)、電源、風(fēng)扇進(jìn)行集中監(jiān)控管理。

實(shí)現(xiàn)管理中心RMC對整個機(jī)柜各模塊的統(tǒng)一監(jiān)控和管理，節(jié)點(diǎn)、電源、風(fēng)扇的健康狀況、溫度、配置信息一目了然，還可進(jìn)行批量開關(guān)機(jī)、重啟，功耗控制，風(fēng)扇轉(zhuǎn)速自動/手動調(diào)節(jié)等功能，搭配專為SmartRack設(shè)計(jì)的可視化管理軟件，輕松實(shí)現(xiàn)簡易化智能管理。

簡易維護(hù)，無需繁瑣拆裝。

獨(dú)有節(jié)點(diǎn)前維護(hù)設(shè)計(jì)、各模組免工具熱插拔設(shè)計(jì)、優(yōu)化的線纜走線設(shè)計(jì)，使得系統(tǒng)運(yùn)維難度大大降低。風(fēng)扇等易損部件全部裸露在外，更加方便更換維護(hù)。二．云操作系統(tǒng)建議采用浪潮云?！ぴ茢?shù)據(jù)中心操作系統(tǒng)V3.0，此系統(tǒng)秉承開放化、模塊化、標(biāo)準(zhǔn)化的設(shè)計(jì)理念，基于虛擬化技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)中心資源融合、資源管理及服務(wù)交付，簡化了云數(shù)據(jù)中心運(yùn)維，提高了云數(shù)據(jù)中心服務(wù)水平。云?！ぴ茢?shù)據(jù)中心操作系統(tǒng)有以下特點(diǎn)：

自主可控、安全可靠的云數(shù)據(jù)中心操作系統(tǒng)：

浪潮自主研發(fā)的國產(chǎn)云數(shù)據(jù)中心操作系統(tǒng)，加強(qiáng)了WEB安全、虛擬化安全、數(shù)據(jù)安全、訪問控制、安全審計(jì)等方面的安全控制，可幫助用戶構(gòu)建安全可控的云數(shù)據(jù)中心。

異構(gòu)資源管理：

云海OS支持對數(shù)據(jù)中心各類異構(gòu)硬件設(shè)備及軟件資源的統(tǒng)一管理；支持對VMWarevSphere、InspuriVirtual等異構(gòu)虛擬化資源池的集中管理，已部署的虛擬化環(huán)境可被云海OS無縫接管；

精細(xì)的軟硬件資源監(jiān)控：

云海OS支持對數(shù)據(jù)中心主流廠商的服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備等物理資源，操作系統(tǒng)、數(shù)據(jù)庫、WEB應(yīng)用等軟件資源，VMWarevSphere、InspuriVirtual等虛擬化環(huán)境的精細(xì)監(jiān)控，提供界面、郵件、短信等多種告警方式，通過詳盡清晰的報表分析數(shù)據(jù)，幫助數(shù)據(jù)中心的運(yùn)維人員隨時掌握數(shù)據(jù)中心的各類資源的運(yùn)行狀況，降低運(yùn)維管理復(fù)雜度，提高運(yùn)維效率。

快速的服務(wù)交付：

云海OS支持通過虛擬機(jī)模板、應(yīng)用服務(wù)模板的方式，實(shí)現(xiàn)業(yè)務(wù)的快速交付，業(yè)務(wù)上線時間由原來的幾周、幾天，縮短為幾分鐘，大大提高數(shù)據(jù)中心的服務(wù)水

平。

資源使用按量計(jì)費(fèi)：

實(shí)時的資源使用情況統(tǒng)計(jì)，讓用戶精確掌控自身資源和費(fèi)用使用情況，幫助IT部門實(shí)現(xiàn)由成本中心向價值中心的角色轉(zhuǎn)變。

資源按需服務(wù)：

云海OS可實(shí)現(xiàn)將基礎(chǔ)架構(gòu)作為服務(wù)交付，用戶可通過自助服務(wù)門戶在線申請及訪問自己的虛擬數(shù)據(jù)中心、應(yīng)用服務(wù)、虛擬機(jī)等資源，實(shí)現(xiàn)資源的按需申請、便捷獲取、自助使用。

可定制的業(yè)務(wù)流程：

云海OS支持用戶創(chuàng)建與原工作流程吻合的資源申請的審批流程，實(shí)現(xiàn)業(yè)務(wù)流程的個性化、可定制化。

靈活的服務(wù)交付方式：

云海OS既支持從下到上的資源申請與審批，也支持從上到下的資源創(chuàng)建與分配的服務(wù)交付方式，可滿足不同客戶對資源獲取方式的不同需要。

多租戶私有云：

云海OS可創(chuàng)建多個組織，一個組織可代表某業(yè)務(wù)部門、分部或子公司。每個組織都有各自獨(dú)立的虛擬數(shù)據(jù)中心、用戶及獨(dú)有的目錄，可將組織資源分配給本組織的用戶，每個組織如同擁有自己的數(shù)據(jù)中心。利用基于權(quán)限的用戶控制機(jī)制和基于虛擬交換機(jī)的網(wǎng)絡(luò)隔離技術(shù)，實(shí)現(xiàn)多租戶環(huán)境下的安全性和可靠性，以此構(gòu)建安全的多租戶私有云。

靈活可控的權(quán)限管理：

云海OS支持用戶自定義角色類型，不同的權(quán)限可自由組合，實(shí)現(xiàn)靈活可控的系統(tǒng)權(quán)限管理。

服務(wù)全生命周期管理：

云海OS涵蓋服務(wù)提供所需的各個環(huán)節(jié)，包括服務(wù)的申請審批；服務(wù)的交付和回收；服務(wù)的使用統(tǒng)計(jì)和計(jì)費(fèi)；服務(wù)的運(yùn)行監(jiān)控

服務(wù)移動性：

通過vApp封裝多個虛擬機(jī)服務(wù)和相關(guān)的網(wǎng)絡(luò)連接策略，遵循OVF等開放式標(biāo)準(zhǔn)，實(shí)現(xiàn)同一個云環(huán)境的終端用戶彼此之間可以輕松共享服務(wù)，而不同的云環(huán)

境的用戶可以輕松的在云之間遷移服務(wù)。

3.2大數(shù)據(jù)處理設(shè)計(jì)

通過在虛擬機(jī)上安裝Hadoop2.6、hbase1.0等Nosql數(shù)據(jù)庫集群，用sqoop1.3把現(xiàn)有的數(shù)據(jù)匯總進(jìn)來，要對現(xiàn)有數(shù)據(jù)做個總的分析，對字段統(tǒng)一定義規(guī)劃，制定轉(zhuǎn)換策略，做到正確性、唯一性、可用性，去除重復(fù)字段，通過ETL抽取、清洗數(shù)據(jù)，把數(shù)據(jù)導(dǎo)入hbase，這樣就可以消除信息孤島，用spark、storm等大數(shù)據(jù)處理軟件對hbase中的數(shù)據(jù)進(jìn)行分析處理，挖掘數(shù)據(jù)價值。

云中心通過調(diào)度系統(tǒng)自動采集、加工、存儲數(shù)據(jù)，為應(yīng)用系統(tǒng)提供支持：

在云中心的平臺上，開發(fā)招生、創(chuàng)業(yè)、就業(yè)、數(shù)據(jù)實(shí)驗(yàn)室等應(yīng)用系統(tǒng)，通過元數(shù)據(jù)庫管理所有的數(shù)據(jù)數(shù)據(jù)經(jīng)過采集、加工后進(jìn)入hbase，消除信息孤島，統(tǒng)一管理使用：

一.hadoop2架構(gòu)體系

下圖是hadoop2的架構(gòu)圖

1.HDFS文件系統(tǒng)，Hadoop實(shí)現(xiàn)了一個分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有高容錯性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。

2、YARN是一套資源統(tǒng)一管理和調(diào)度平臺，可管理各種計(jì)算框架，包括MapReduce，Spark，MPI等。包括以下內(nèi)容：ResourceManager（RM）：整個系統(tǒng)只有一個RM，它就只管調(diào)度方面的事情，并且為集群應(yīng)用而優(yōu)化，因而具有很好的性能。RM的一個核心是它的Scheduler。調(diào)度包含兩個過程，一要搜集各節(jié)點(diǎn)的情況；二要根據(jù)某種調(diào)度策略，分配合適的節(jié)點(diǎn)。搜集節(jié)點(diǎn)情況是基于一個資源容器(resourcecontainer)的概念，該容器包括cpu,disk,network等（目前只用到cpu）

NodeManager（NM）：NM是每個節(jié)點(diǎn)一個實(shí)例，管理每個節(jié)點(diǎn)，它觸發(fā)應(yīng)用容器（applicationcontainer），監(jiān)控節(jié)點(diǎn)的資源（cpu/disk等），并向RM報告資源的情況。

ApplicationMaster（AM）：AM是每個應(yīng)用一個實(shí)例，它是一個特定的框架接口庫，一方面與RM中的Scheduler協(xié)商得到resourcecontainer，另一方面與NM一起執(zhí)行和監(jiān)控各子任務(wù)部件，從系統(tǒng)的角度，AM本身也一種container

（下圖中將它與container畫得一樣）。

Container：從邏輯上，container可認(rèn)為是資源的分配容器，它包括hostname，cpu，memory等屬性。AM發(fā)送ResourceRequest給RM，然后RM分配合適的Container給AM，AM再將此Container提交給它所在節(jié)點(diǎn)的NM，NM采用此資源容器運(yùn)行任務(wù)。實(shí)際上，Container是一種使用資源的“授權(quán)”，AM得到此授權(quán)后，在NM的管理下，可以運(yùn)行任何進(jìn)程（包括非Java應(yīng)用，這一點(diǎn)與1.0不同）。

二、Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，處理能力強(qiáng)而且成本低廉。

主要特點(diǎn)：

存儲方式是將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表。提供類SQL語言，實(shí)現(xiàn)完整的SQL查詢功能?？梢詫QL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。

三、HBase

HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，它不同于一般的關(guān)系數(shù)據(jù)庫,是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個不同的是HBase基于列的而不是基于行的模式。HBase使用和BigTable非常相同的數(shù)據(jù)模型。用戶存儲數(shù)據(jù)行在一個表里。一個數(shù)據(jù)行擁有一個可選擇的鍵和任意數(shù)量的列，一個或多個列組成一個ColumnFamily，一個Fmaily下的列位于一個HFile中，易于緩存數(shù)據(jù)。表是疏松的存儲的，因此用戶可以給行定義各種不同的列。在HBase中數(shù)據(jù)按主鍵排序，同時表按主鍵劃分為多個HRegion，如下圖所示（HBase數(shù)據(jù)表結(jié)構(gòu)圖）：

四.Sqoop是一款開源的工具，主要用于在HADOOP(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、oracle...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫（例如：MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。

五.spark架構(gòu)體系

Spark與Hadoop的對比

◆Spark的中間數(shù)據(jù)放到內(nèi)存中，對于迭代運(yùn)算效率更高。

Spark更適合于迭代運(yùn)算比較多的ML和DM運(yùn)算。因?yàn)樵赟park里面，有RDD的抽象概念。

◆Spark比Hadoop更通用。

Spark提供的數(shù)據(jù)集操作類型有很多種，不像Hadoop只提供了Map和Reduce兩種操作。比如map,filter,flatMap,sample,groupByKey,reduceByKey,union,join,cogroup,mapValues,sort,partionBy等多種操作類型，Spark把這些操作稱為Transformations。同時還提供Count,collect,reduce,lookup,save等多種actions操作。Spark的mllib支持機(jī)器學(xué)習(xí)。

這些多種多樣的數(shù)據(jù)集操作類型，給給開發(fā)上層應(yīng)用的用戶提供了方便。各個處理節(jié)點(diǎn)之間的通信模型不再像Hadoop那樣就是唯一的DataShuffle一種模式。用戶可以命名，物化，控制中間結(jié)果的存儲、分區(qū)等。可以說編程模型比Hadoop更靈活。

不過由于RDD的特性，Spark不適用那種異步細(xì)粒度更新狀態(tài)的應(yīng)用，例如web服務(wù)的存儲或者是增量的web爬蟲和索引。就是對于那種增量修改的應(yīng)用模型不適合。

◆容錯性。

在分布式數(shù)據(jù)集計(jì)算時通過checkpoint來實(shí)現(xiàn)容錯，而checkpoint有兩種方式，一個是checkpointdata，一個是loggingtheupdates。用戶可以控制采用哪種方式來實(shí)現(xiàn)容錯。

◆可用性。

Spark通過提供豐富的Scala,Java，PythonAPI及交互式Shell來提高可用性。

Spark與Hadoop的結(jié)合

◆Spark可以直接對HDFS進(jìn)行數(shù)據(jù)的讀寫，同樣支持SparkonYARN。Spark可以與MapReduce運(yùn)行于同集群中，共享存儲資源與計(jì)算，數(shù)據(jù)倉庫Shark實(shí)現(xiàn)上借用Hive，幾乎與Hive完全兼容。

Spark的適用場景

◆Spark是基于內(nèi)存的迭代計(jì)算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。需要反復(fù)操作的次數(shù)越多，所需讀取的數(shù)據(jù)量越大，受益越大，數(shù)據(jù)量小但是計(jì)算密集度較大的場合，受益就相對較小

◆由于RDD的特性，Spark不適用那