數(shù)據(jù)中心設(shè)計(jì)要點(diǎn)簡(jiǎn)析

1、數(shù)據(jù)中心設(shè)計(jì)要點(diǎn)簡(jiǎn)析針對(duì)目前國(guó)內(nèi)數(shù)據(jù)中心普遍存在的問題，探討數(shù)據(jù)中心PUE、DCiE、能耗分布、建設(shè)和運(yùn) 營(yíng)成本等關(guān)鍵問題，并從數(shù)據(jù)中心規(guī)劃設(shè)計(jì)角度，提出新一代數(shù)據(jù)中心規(guī)劃設(shè)計(jì)解決方案。 引言我國(guó)已步入信息時(shí)代，企業(yè)的業(yè)績(jī)和發(fā)展戰(zhàn)略規(guī)劃越來越依賴“信息”，企業(yè)之間的競(jìng)爭(zhēng) 變成了“信息競(jìng)爭(zhēng)”。很多企業(yè)的數(shù)據(jù)中心不單是進(jìn)行日常的數(shù)據(jù)存儲(chǔ)和計(jì)算，而是需要支撐 整個(gè)企業(yè)業(yè)務(wù)系統(tǒng)，一旦數(shù)據(jù)中心癱瘓，整個(gè)企業(yè)的研發(fā)、生產(chǎn)、銷售將面臨崩潰。數(shù)據(jù)中 心因企業(yè)發(fā)展帶來的壓力也越來越大。1目前國(guó)內(nèi)數(shù)據(jù)中心普遍存在的問題現(xiàn)有數(shù)據(jù)中心“超負(fù)荷使用”，無論是在場(chǎng)地面積、供電能力和制冷能力等各個(gè)方面， 均不能滿足新系統(tǒng)的

2、上線及原有系統(tǒng)的擴(kuò)充需要。現(xiàn)有數(shù)據(jù)中心大多是幾年前新建或者改建的，運(yùn)行中的安全等級(jí)不夠高，存在諸多 風(fēng)險(xiǎn)和隱患，無法滿足當(dāng)前IT技術(shù)和數(shù)據(jù)中心業(yè)務(wù)發(fā)展的需要數(shù)據(jù)中心運(yùn)行成本高，規(guī)模擴(kuò)張后隨之而來的是能耗支出的大幅增長(zhǎng)。2009年中國(guó) 聯(lián)通公司全國(guó)的數(shù)據(jù)中心能耗光電費(fèi)支出就達(dá)5.2億，電費(fèi)支出中，制冷占的比例超過所有 輔助設(shè)備能耗的70%，占整個(gè)數(shù)據(jù)中心所消耗電能的40%50%國(guó)內(nèi)大多數(shù)數(shù)據(jù)中心PUE 介于2.53.0，能源利用效率低、耗電量大，電費(fèi)支出超過基礎(chǔ)設(shè)施建設(shè)成本，占據(jù)企業(yè)T 成本的第二位，與“綠色”、“低碳”理念相悖沒有建立備份數(shù)據(jù)中心和有效的備份體系，一旦出現(xiàn)意外事故，將可能導(dǎo)致業(yè)

3、務(wù)的 全面停頓。擴(kuò)展不靈活?，F(xiàn)有的數(shù)據(jù)中心一般都是根據(jù)當(dāng)時(shí)建筑的條件來劃分各類功能分區(qū)的， 在當(dāng)時(shí)發(fā)展前景不明，無法預(yù)見企業(yè)業(yè)務(wù)發(fā)展變化的情況下，數(shù)據(jù)中心只能采用小步走，試 探性的建設(shè)方式，后期逐步調(diào)整。因此使用過程中逐漸暴露出數(shù)據(jù)中心建設(shè)周期長(zhǎng)、部署密 度低、擴(kuò)容不方便、無法適應(yīng)新業(yè)務(wù)等諸多問題圖1數(shù)據(jù)中心建設(shè)成本圖2數(shù)據(jù)中心運(yùn)行成本2 數(shù)據(jù)中心的幾個(gè)關(guān)鍵問題如何認(rèn)識(shí)當(dāng)前數(shù)據(jù)中心存在的不足，并在設(shè)計(jì)上提供解決方案呢?筆者認(rèn)為應(yīng)首先了解 數(shù)據(jù)中心的幾個(gè)關(guān)鍵問題，并在規(guī)劃設(shè)計(jì)階段就解決上述問題。2. 1 什么是 PUE、DCiEPUE即能量使用效率，是PowerUsageEffectivenes

4、的簡(jiǎn)寫，是評(píng)價(jià)數(shù)據(jù)中心能源效率的 一個(gè)指標(biāo)，PUE：數(shù)據(jù)中心總設(shè)備能耗/IT設(shè)備能耗，PUE是一個(gè)比率，基準(zhǔn)是2，越接近 1表明數(shù)據(jù)中心能效水平越高。DCiE即數(shù)據(jù)中心基礎(chǔ)設(shè)施效率，是DataCenterinfrastructureEfficiencv的簡(jiǎn)寫。其值是 PUE的倒數(shù)。DCiE=IT設(shè)備能耗/數(shù)據(jù)中心總設(shè)備能耗X100%。2數(shù)據(jù)中心建設(shè)成本和運(yùn)營(yíng)成本圖1是中國(guó)聯(lián)通一個(gè)PUE為2. 0的數(shù)據(jù)中心的建設(shè)成本。由圖1可見，數(shù)據(jù)中心建設(shè) 成本中電力設(shè)備和空調(diào)系統(tǒng)投資比重達(dá)到65%。IBM的資料顯示，假設(shè)一個(gè)2000m2的數(shù) 據(jù)中心，其IT設(shè)備以每年10%的速度增長(zhǎng)，在數(shù)據(jù)中心壽命20年內(nèi)運(yùn)

5、行成本是投資成本 的35倍，而數(shù)據(jù)中心運(yùn)營(yíng)成本中75%將是能源成本，見圖2。來自2009年IDC的調(diào)查 顯示，全球數(shù)據(jù)中心供電和制冷方面的費(fèi)用一直在增長(zhǎng)，見圖3。圖3全球在服務(wù)器、供電和制冷、管理方面的費(fèi)用2. 3數(shù)據(jù)中心能耗分布一個(gè)PUE為2 . 0的數(shù)據(jù)中心電力消耗如圖4所示（數(shù)據(jù)來源： EYPMissionCriticalFacilitiesInc.），當(dāng)IT設(shè)備能耗占50%時(shí)，為保證IT設(shè)備正常工作環(huán)境 所需要的空調(diào)制冷設(shè)備耗電占整個(gè)數(shù)據(jù)中心能耗的38%。由于大多數(shù)數(shù)據(jù)中心中UPS都是 工作在10%30%負(fù)載率，UPS的內(nèi)部損耗率將占整個(gè)數(shù)據(jù)中心的7%。圖4數(shù)據(jù)中心電能消耗數(shù)據(jù)中心機(jī)房

6、的能耗第一大戶是由服務(wù)器、存儲(chǔ)設(shè)備和網(wǎng)絡(luò)通信設(shè)備等構(gòu)成的IT設(shè)備 系統(tǒng)。它們所產(chǎn)生的功耗約占數(shù)據(jù)中心總功耗的50%左右。其中服務(wù)器型的設(shè)備功耗為40% 左右，另外的1O%功耗基本上由存儲(chǔ)設(shè)備和網(wǎng)絡(luò)通信設(shè)備所均分。由此可見，IT設(shè)備本身 的功耗大小決定了整個(gè)數(shù)據(jù)中心的功耗大小。因此，解決數(shù)據(jù)中心節(jié)能降耗問題的關(guān)鍵在于 能否正確地選擇IT設(shè)備，選用真正具有節(jié)能效果的IT產(chǎn)品。2. 4數(shù)據(jù)中心規(guī)劃設(shè)計(jì)制約模型數(shù)據(jù)中心規(guī)劃階段最重要的是IT規(guī)劃，IT規(guī)劃是數(shù)據(jù)中心建設(shè)的前提和依據(jù)，因?yàn)镮T 系統(tǒng)定位將決定數(shù)據(jù)中心的等級(jí)、建筑空間、信息路由和場(chǎng)地布局等。這是企業(yè)決策者和 IT規(guī)劃部門應(yīng)該首先達(dá)成的共識(shí)，

7、IBM公司一直倡導(dǎo)“從IT的角度來幫助業(yè)主建造數(shù)據(jù)中 心”。這種理念，其成功的案例遍布全球。影響數(shù)據(jù)中心規(guī)劃的還有一個(gè)容量因素，即用電容量、建筑空間容量和空調(diào)制冷容量。 這三個(gè)容量從不同方面限制了數(shù)據(jù)中心的規(guī)劃方案，把三者之間的關(guān)系比喻成三維坐標(biāo)的不 同維度，看似相互獨(dú)立卻互相影響和互相制約。在一個(gè)數(shù)據(jù)中心用電最大容量確定的情況下， 就可以根據(jù)典型數(shù)據(jù)中心的特征，或者PUE等得出數(shù)據(jù)中心IT設(shè)備的最大用電量、負(fù)荷密 度、制冷容量和建筑面積。反之亦然，制冷量影響數(shù)據(jù)中心氣流組織形式、建筑層高、IT 設(shè)備的選型、機(jī)柜的發(fā)熱密度和IT設(shè)備的用電量。如何在確定的制冷量需求下盡可能減少 制冷系統(tǒng)對(duì)電能的

8、需求是每個(gè)設(shè)計(jì)人員必須考慮的。2. 5數(shù)據(jù)中心熱負(fù)荷特點(diǎn)IT設(shè)備散熱量大且密度集中，一個(gè)5kW的機(jī)柜散熱面積只有600mmx1200mm，按照一 般機(jī)房機(jī)柜占用房間面積5mz計(jì)算，則機(jī)房平均散熱密度將大于1kW / m。IT設(shè)備散濕量很少，數(shù)據(jù)機(jī)房的散濕主要來自進(jìn)入機(jī)房的維護(hù)人員和滲入的室外空氣， 因此高熱量、小散濕量的環(huán)境決定機(jī)房制冷空調(diào)處理空氣的過程近似為等濕降溫過程。機(jī)房空調(diào)送風(fēng)焓差小、風(fēng)量大，為防止IT設(shè)備結(jié)露，需要提高機(jī)房空調(diào)系統(tǒng)的送風(fēng)溫 度。但要保證如此大量的IT設(shè)備散熱，必然增大通風(fēng)量，機(jī)房空調(diào)換氣次數(shù)（30次/h）明 顯大于舒適性空調(diào)的510次/ h。3新一代數(shù)據(jù)中心規(guī)劃要點(diǎn)新

9、一代數(shù)據(jù)中心定義為“基于標(biāo)準(zhǔn)構(gòu)建模塊，通過模塊化軟件實(shí)現(xiàn)24hx7無人值守計(jì)算 與管理，并以供應(yīng)鏈方式提供共享的基礎(chǔ)設(shè)施、信息與應(yīng)用等服務(wù)”。新一代數(shù)據(jù)中心需 要利用最新的IT技術(shù)、解決方案與服務(wù)來實(shí)現(xiàn)，如模塊化技術(shù)、服務(wù)器和存儲(chǔ)虛擬化、刀 片技術(shù)、數(shù)據(jù)中心自動(dòng)化等3.1數(shù)據(jù)中心模塊化所謂模塊化數(shù)據(jù)中心是指每個(gè)模塊具有獨(dú)立的功能、統(tǒng)一的輸入輸出接13,不同區(qū)域 的模塊可以互相備份，通過相關(guān)模塊的排列組合形成一個(gè)完整的數(shù)據(jù)中心。模塊化數(shù)據(jù)中心 包含功能分區(qū)模塊化和基礎(chǔ)設(shè)施系統(tǒng)模塊化兩方面。功能分區(qū)模塊化是指每個(gè)模塊中包含1個(gè)數(shù)據(jù)機(jī)房、2個(gè)空調(diào)區(qū)域子模塊、1個(gè)電力室、 1個(gè)電池室、1個(gè)鋼瓶間等子模

10、塊，每個(gè)模塊都能實(shí)現(xiàn)獨(dú)立的功能?；A(chǔ)設(shè)施系統(tǒng)模塊化是指合理規(guī)劃和安排各項(xiàng)信息化基礎(chǔ)設(shè)施，形成良好的物理環(huán)境， 使得各種業(yè)務(wù)、應(yīng)用系統(tǒng)和數(shù)據(jù)都能不受約束地實(shí)現(xiàn)有效配合。例如從市電引入至機(jī)架電源 輸入端，具備獨(dú)立的供電能力和輸入輸出接口，且模塊間能實(shí)現(xiàn)互相備份的系統(tǒng)稱之為一個(gè) 完整的供電系統(tǒng)模塊，這種供電系統(tǒng)稱之為模塊化供電系統(tǒng)。數(shù)據(jù)中心的標(biāo)準(zhǔn)化、模塊化技術(shù)提高了部署速度。便于合理配置系統(tǒng)結(jié)構(gòu)，其靈活性為 數(shù)據(jù)中心邊成長(zhǎng)邊投資提供了條件，設(shè)備的標(biāo)準(zhǔn)化可以實(shí)現(xiàn)批量生產(chǎn)并進(jìn)行預(yù)連接測(cè)試，提 高了設(shè)備的交貨、安裝、系統(tǒng)調(diào)試的速度。數(shù)據(jù)中心的標(biāo)準(zhǔn)化、模塊化在機(jī)房擴(kuò)展時(shí)可使IT設(shè)備的空間配置達(dá)到最佳狀態(tài)，無

11、需 重新對(duì)整個(gè)系統(tǒng)進(jìn)行工程設(shè)計(jì)，在調(diào)試時(shí)也無需關(guān)閉關(guān)鍵設(shè)備。模塊化組件可熱插拔，便于 重新排列時(shí)重新連接。標(biāo)準(zhǔn)化、模塊化技術(shù)可以提高數(shù)據(jù)中心系統(tǒng)的可靠性，減少平均故障 恢復(fù)時(shí)間，也減少了人為的操作失誤，提高可用性。圖5和圖6反映了模塊化數(shù)據(jù)中心適應(yīng) 用戶的水平增長(zhǎng)和垂直增長(zhǎng)模式。圖5模塊化數(shù)據(jù)中心的水平增長(zhǎng)圖6模塊化數(shù)據(jù)中心的垂直增長(zhǎng)3.2業(yè)務(wù)模式走向虛擬化在新一代數(shù)據(jù)中心，所有的服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)均可通過虛擬化技術(shù)形成虛擬共享 資源池，從而更加靈活和充分有效地使用資源。通過服務(wù)器虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬 化、應(yīng)用虛擬化和數(shù)據(jù)中心虛擬化等解決方案，不僅可以幫助企業(yè)減少服務(wù)器數(shù)量、優(yōu)化資

12、 源利用率、簡(jiǎn)化管理，更主要是幫助企業(yè)實(shí)現(xiàn)動(dòng)態(tài)IT基礎(chǔ)設(shè)施環(huán)境，從而降低成本，快速 響應(yīng)業(yè)務(wù)需求的變化等。虛擬化是新一代數(shù)據(jù)中心與傳統(tǒng)數(shù)據(jù)中心的最大差異。3節(jié)能服務(wù)器、節(jié)能存儲(chǔ)設(shè)備和刀片服務(wù)器大量使用數(shù)據(jù)中心IT設(shè)備是能耗大戶，而服務(wù)器最大的能耗來自芯片，單顆Intel至強(qiáng)處理器的 功耗為8095W，有的達(dá)130W。芯片廠商一改之前提高運(yùn)算速度的策略，轉(zhuǎn)而增加內(nèi)核數(shù)。 即采用多核的X86芯片技術(shù)提升處理能力，從而降低芯片數(shù)量的增加。因此，在短短幾年 時(shí)間里，我們見證了處理器從2核、4核、6核、8核，直至12核的飛速發(fā)展。服務(wù)器整機(jī) 生產(chǎn)廠商紛紛推出各種“綠色”產(chǎn)品與以往服務(wù)器相比，當(dāng)前的服務(wù)器

13、無論在性能、計(jì)算能力 上都可“以一當(dāng)十”，而能耗在不斷降低。不僅如此，在硬盤、風(fēng)扇、電源等配件上，節(jié)能技術(shù)屢有突破：電源方面，服務(wù)器廠 商采用高效電源。如戴爾采用智能節(jié)能技術(shù)，可在性能增加的同時(shí)降低能耗。風(fēng)扇方面， IBM引入了高效率的雙段式對(duì)轉(zhuǎn)風(fēng)扇，它比傳統(tǒng)的風(fēng)扇設(shè)計(jì)節(jié)能40%。在硬盤方面，機(jī) 架服務(wù)器更多采用的是HDD2. 5英寸小硬盤，相比3. 5寸大硬盤，有近一半電能的節(jié)省。 不僅如此，固態(tài)硬盤開始在服務(wù)器中亮相，與普通HDD硬盤相比，在能耗上，固態(tài)硬盤的 能耗比HDD硬盤低4/5。表1展示了 IBM 一款刀片服務(wù)器與1U（U是一種表示服務(wù)器外部尺寸的單位，是unit 的縮略語，1U=

14、4. 445cm）機(jī)架式服務(wù)器的比較，不但同樣的處理能力下占用的機(jī)架空間少 42%，而且節(jié)能44%。表1刀片服務(wù)器與1U機(jī)架式服務(wù)器比較3. 4制冷體系從房間制冷轉(zhuǎn)向隨需制冷傳統(tǒng)的數(shù)據(jù)中心一般按照整個(gè)數(shù)據(jù)機(jī)房IT設(shè)備總的發(fā)熱量統(tǒng)一考慮制冷系統(tǒng)，稱之為 “房間級(jí)制冷”這種制冷體系只適用于安裝機(jī)架式或非機(jī)架式低負(fù)載密度IT設(shè)備的數(shù)據(jù)中 心，整個(gè)機(jī)房的制冷體系需要仔細(xì)考慮IT設(shè)備負(fù)載的分布情況，做好氣流組織分析。當(dāng)機(jī) 房?jī)?nèi)增加一列或者單個(gè)高密度機(jī)柜時(shí)，氣流組織形式就得重新設(shè)計(jì)，這種房間級(jí)制冷體系適 應(yīng)性稍差，經(jīng)常會(huì)出現(xiàn)局部熱點(diǎn)或過度制冷的情況。新的數(shù)據(jù)中心制冷方案是隨需而變的制冷體系，可以實(shí)現(xiàn)房間級(jí)、行列級(jí)甚至機(jī)柜級(jí)、 服務(wù)器級(jí)制冷，隨IT負(fù)載的變化可靈活布置制冷設(shè)備，提供不同制冷能力。3. 5垂直送風(fēng)模式不適應(yīng)高密度數(shù)據(jù)中心需要從垂直送風(fēng)氣流組織形式的數(shù)據(jù)中心所采用的送風(fēng)地板參數(shù)可知，單塊送風(fēng)地板的極限 制冷量是5kW，超過此功率密度的數(shù)據(jù)中心如果采用垂直模式送風(fēng)，服務(wù)器將因?yàn)榈貌坏?足夠的冷風(fēng)而強(qiáng)制從頂部抽進(jìn)回風(fēng)出現(xiàn)“廢氣再循環(huán)”現(xiàn)象，從而出現(xiàn)機(jī)框頂部服務(wù)器過熱情 況。封閉冷通道/熱通道實(shí)現(xiàn)冷熱通道完全隔離的“冷池”/“熱池”+下送風(fēng)模式