高密度機房規(guī)劃設(shè)計探討

1、高密度機房規(guī)劃設(shè)計探討文/中國石油集團東方地球物理公司研究院 易良坤      摘要：本文結(jié)合功率密度和制冷技術(shù)的變化，把高密度機房分為三個等級，其中第一、二級為常規(guī)高密度機房，第三級為超常規(guī)高密度機房。文中提出用全模塊化和能量逆向法作為高密度機房規(guī)劃的基本思路。把常規(guī)高密度機房垂直分成六層，給出送風(fēng)層和回風(fēng)層高度與功率密度和送風(fēng)距離的經(jīng)驗關(guān)系式。接著就機房節(jié)能進(jìn)行整體性思考，并把機房節(jié)能分成設(shè)施層、主機房層、主機設(shè)備層和業(yè)務(wù)層等共四個層次，并就機房節(jié)能的評估做了初步分析。最后，本文還就常見的500平米標(biāo)準(zhǔn)高密度機房模塊的規(guī)劃設(shè)計以案例形式進(jìn)行

2、了探討。關(guān)鍵詞：高密度機房、功率密度、規(guī)劃設(shè)計、機房節(jié)能      單機柜滿配I B M P 5 9 5 、1 U 集群功耗均超過10KVA，滿配刀片集群功耗接近40KVA。毫無疑問，計算機主機系統(tǒng)的高密度化必然推動計算機房的高密度化。目前，國內(nèi)有的主機房功率密度已達(dá)到每平2KVA，正在規(guī)劃和設(shè)計中的主機房已達(dá)到每平米5KVA以上。高密度、超高密度機房的規(guī)劃、設(shè)計、改造提上日程。一、高密度機房分級根據(jù)功率密度、制冷方式的差異，以主機房每平米視載功率為主要依據(jù)，結(jié)合機柜制冷方式的技術(shù)變革，可以把高密度機房分成一、二、三等共三個等級，分類標(biāo)準(zhǔn)詳見表

3、1。一級高密度機房單機柜最高功耗為10KVA，在常規(guī)制冷技術(shù)的基礎(chǔ)上，采取初級的冷熱通道分離等措施，即可滿足設(shè)備散熱要求；二級高密度機房單機柜最高功耗為20KVA，在制冷方式上要采取較為嚴(yán)格的冷熱通道分離、提高環(huán)境溫濕度、加裝制冷風(fēng)帽、輔助氣流組織等措施，才能滿足設(shè)備的散熱要求；三級高密度機房單機柜最高功耗在20KVA以上，需要采用冷凍水機柜、芯片制冷等特殊措施，才能滿足機器設(shè)備的散熱要求。因此，第一、二級高密度機房可以稱為“常規(guī)高密度機房”，第三級高密度機房可稱為“超常規(guī)高密度機房”。二、高密度機房規(guī)劃思路      圍繞機房的規(guī)劃與設(shè)計標(biāo)準(zhǔn)

4、，我國國家標(biāo)準(zhǔn)有電子信息系統(tǒng)機房設(shè)計規(guī)范GB50174-2008及相關(guān)的設(shè)計圖集和施工驗收規(guī)范，國外有美國電信產(chǎn)業(yè)協(xié)會和美國標(biāo)準(zhǔn)學(xué)會共同頒布的數(shù)據(jù)中心電信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)TIA942-2005。美國暖通空調(diào)工程師協(xié)會組建9.9技術(shù)委員會(簡稱: ASHREA TC9.9)，就數(shù)據(jù)通訊基礎(chǔ)設(shè)施有關(guān)的熱工、用電、設(shè)計思路、流體制冷、結(jié)構(gòu)與抗震、節(jié)能、高密度數(shù)據(jù)中心、顆粒與氣體污染物等進(jìn)行系統(tǒng)研究，先后出版了八本專著。      大型高密度機房的規(guī)劃，個人認(rèn)為要采用“全模塊化”的設(shè)計思路進(jìn)行規(guī)劃，按照功率密度即能量進(jìn)行逆向設(shè)計。全模塊化要綜合考慮業(yè)務(wù)需求

5、、功率密度、供配電、制冷、建筑平面、綜合布線等因素，按照業(yè)務(wù)需求及相關(guān)性、設(shè)備功耗、可用性級別進(jìn)行歸并，然后設(shè)計成不同用途的機房模塊(參見表2.大型高密度機房模塊規(guī)劃示范表)；供配電從變電站開始，進(jìn)行模塊化按序列編組，相鄰模塊的配電系統(tǒng)編排到不同組別，互為備用(參見圖5)；在系統(tǒng)級，供配電、制冷、綜合布線等要參照國家標(biāo)準(zhǔn)A級機房進(jìn)行規(guī)劃設(shè)計，如供配電要采用一級雙回路市電，配備一定量的自備柴油發(fā)電機，制冷要采用環(huán)路系統(tǒng)等(參見圖6)。具體單個模塊的可用級別，可以按國家標(biāo)準(zhǔn)A級、B級、C級甚至低于C級進(jìn)行考慮。      計算機房建筑承重，國家標(biāo)準(zhǔn)

6、、TIA942和ASHREATC9.9均給出了一些標(biāo)準(zhǔn)或參考。但對常規(guī)高密度機房，建議建筑承重要達(dá)到每平米10001500Kg，對超常規(guī)高密度機房，建筑承重要達(dá)到每平米1500-2000Kg。結(jié)構(gòu)強度增加對項目總費用增加影響不大，但結(jié)構(gòu)強度設(shè)計的不足，對后期機房的適應(yīng)性和擴展性具有致命影響。我接觸的不少機房改造，不少都受到承重不足的影響。對大型高密度機房而言，采用自備柴油發(fā)電機對所有設(shè)施提供第三路應(yīng)急供電是不現(xiàn)實的，其總用電容量可能超過一個小型電站的發(fā)電能力。根據(jù)業(yè)務(wù)需要和可用性要求進(jìn)行的模塊化設(shè)計，合理配備一定量的自備柴油發(fā)電機，就顯得非常重要。三、常規(guī)高密度機房垂直分層 

7、0;    圖1給出了常規(guī)高密度機房的垂直分層模型。該模型使用下送風(fēng)、上回風(fēng)制冷風(fēng)方式，從下到上分別為送風(fēng)層、機柜設(shè)備層、柜頂布線層、橋架布線層、回風(fēng)層和消防保護(hù)層共六層。19英寸42U工業(yè)標(biāo)準(zhǔn)機柜的高度為2米；柜頂布線層用于計算集群內(nèi)部或業(yè)務(wù)集群內(nèi)部綜合布線和強電連接，具有一個強電槽和兩個弱電槽，分別用于集群內(nèi)業(yè)務(wù)交換和設(shè)備管理；橋架布線層包括靠近冷通道的強電橋架和靠近熱通道的多層弱電橋架，弱電橋架一般包括設(shè)備管理、業(yè)務(wù)交換、光纖數(shù)據(jù)通道三種類型的橋架，該層高度一般為60厘米；消防保護(hù)層用于部署消防報警和自動滅火系統(tǒng)，高度為30厘米。  &#

8、160;   從該模型可以看出，機柜高度、柜頂布線層、橋架布線層、消防保護(hù)層的高度可以恒定，送風(fēng)層和回風(fēng)層的高度是不恒定的。送風(fēng)層的高度與功率密度、送風(fēng)距離、設(shè)定的環(huán)境溫濕度等有關(guān)。在經(jīng)驗總結(jié)的基礎(chǔ)上，不考慮設(shè)定環(huán)境溫濕度的影響，可給出送風(fēng)層和回風(fēng)層高度的計算公式：送風(fēng)層(mm)300+0.6*功率密度(w/m2)*送風(fēng)距離(米)/18 (1)回風(fēng)層(mm)送風(fēng)層*1.4 (2)回風(fēng)層比送風(fēng)層高的主要原因是回風(fēng)是負(fù)壓形式，送風(fēng)是正壓箱形式，同樣的風(fēng)量回風(fēng)需要更高的空間。如果完全隔離冷熱通道，(2)式的系數(shù)可下調(diào)到1.2甚至更低。需要特別說明的是，(1)和(2)給出的公式為經(jīng)

9、驗關(guān)系式，并沒有經(jīng)過精確的理論計算，需要在實踐中進(jìn)一步檢驗。根據(jù)公式(1)，可計算出地板送風(fēng)高度與送風(fēng)距離和功率密度的速查表，詳見表3。 四、機房節(jié)能      對于機房節(jié)能，個人認(rèn)為可以分為設(shè)施層、主機房層、主機設(shè)備層和業(yè)務(wù)層等共四個層次，這四個方面的有效工作均可以在機房節(jié)能中產(chǎn)生一定的效果。設(shè)施層節(jié)能要素主要有建筑保溫、高效供配電系統(tǒng)、高效制冷系統(tǒng)、高效UPS系統(tǒng)等，這些均是提高機房能效比(PUE值)的重要部分。圖2給出了平均PUE為2.17的12個被測數(shù)據(jù)中心的平均電力分配，可見制冷系統(tǒng)、UPS系統(tǒng)、照明及其它設(shè)施的電力總消耗超

10、過服務(wù)器自身的電力消耗。如在我國北方地區(qū)采用自由節(jié)能的冷凍水空調(diào)機組、水冷卻系統(tǒng)、雙冷源精密空調(diào)等，南方地區(qū)使用河道、湖泊進(jìn)行熱交換，可以提高制冷系統(tǒng)效率。使用轉(zhuǎn)換效率高的UPS系統(tǒng)，特別是低負(fù)載時轉(zhuǎn)換效率較高高的UPS，對A級機房節(jié)能具有較明顯的效果。(參見ASHREA TC9.9專著：Best Practices forDatacom Facility Energy Efficiency)主機房層節(jié)能主要有高效氣流組織、能滿足設(shè)備散熱要求的最佳溫濕度環(huán)境。在高效氣流組織方面，ASHREA TC9.9建議采用冷熱通道分離的布局，冷通道間距為7塊標(biāo)準(zhǔn)地板。為實現(xiàn)更好的氣流組織，也可以對冷通道或

11、熱通道做完全的封閉。熱通道要避開建筑橫梁的影響，冷通道可設(shè)在建筑橫梁的正下方。為提高工作人員環(huán)境的舒適性，提高熱通道的傳輸效率，建議通過在冷通道頂部加裝阻燃玻璃蓋層、兩側(cè)安裝阻燃百葉豎條(便于工作人員應(yīng)急逃生)即可。為進(jìn)一步提高主機房的熱交換效率，ASHREA TC9.9推薦調(diào)整主機房的干球溫度和濕度。2008年推薦環(huán)境溫度為1827，濕度為5.5的露點69%相對濕度或15的露點。在推薦范圍內(nèi)，設(shè)定的冷通道環(huán)境溫度越高，空調(diào)交換效率就越高，越節(jié)能。       主機設(shè)備層節(jié)能因素主要有配置高效服務(wù)器電源、使用調(diào)速風(fēng)扇、減少無關(guān)器件、具

12、備休眠與喚醒等。使用高效服務(wù)器電源可降低UPS后端電力諧波，提高功率因素；可提高交直轉(zhuǎn)換效率，降低電源自身消耗和發(fā)熱。使用調(diào)速風(fēng)扇可降低服務(wù)器輕負(fù)載時風(fēng)扇的功耗。具備休眠與喚醒功能的服務(wù)器，可在服務(wù)器無業(yè)務(wù)時自動進(jìn)入休眠狀態(tài)，大大降低服務(wù)器功耗和制冷系統(tǒng)功耗。      業(yè)務(wù)層就是圍繞節(jié)能，IT人員主動從事的業(yè)務(wù)遷移與調(diào)度。對于可遷移的業(yè)務(wù)，特別是具有全球性業(yè)務(wù)的機房，可根據(jù)時差進(jìn)行有規(guī)律的業(yè)務(wù)遷移，以節(jié)約能耗。對于季節(jié)性、時效性較強的業(yè)務(wù)，可以通過合理調(diào)度，啟用、關(guān)停服務(wù)器設(shè)備甚至機房模塊以實現(xiàn)節(jié)能。評價一個機房節(jié)能，可以有不同的標(biāo)準(zhǔn)。如果不

13、考慮主機設(shè)備層和業(yè)務(wù)層的節(jié)能，可以使用PUE的方法來度量機房的節(jié)能狀況；如果包括主機設(shè)備層的節(jié)能，可以采用如MFlops/W的標(biāo)準(zhǔn)來度量機房的節(jié)能狀況；如再包括業(yè)務(wù)層節(jié)能，可以采用產(chǎn)值/MWH來度量機房的節(jié)能。      由于業(yè)務(wù)需求不同，大型高密度機房不同模塊之間的可用性級別可能存在差異，導(dǎo)致其支持設(shè)備配置存在S規(guī)劃設(shè)計OLUTION METHODS2010年05月· 23 ·機房技術(shù)與管理顯著差異；不同地區(qū)、不同季節(jié)、不同天氣的瞬時PUE因氣候原因可存在差異的；一些利于提高PUE的技術(shù)如自由空氣節(jié)能具有明顯的季節(jié)特性。以

14、上原因，使得以月、日甚至分鐘為單位測量的PUE值測量結(jié)果難以用于整體評估一個機房的節(jié)能情況。為更精確評估機房節(jié)能效果，建議以年度為單位、按可用性等級分別給予評價?？紤]到水資源、氣候因素的影響，可研究制訂全國的自由空氣節(jié)能和水冷卻系統(tǒng)圖，給全國的機房建設(shè)提供指導(dǎo)。五、高密度機房規(guī)劃案例      用戶需求為按照模塊化設(shè)計，每個模塊功率密度為每平米2KVA，按照“整體B級、局部高可用”的原則進(jìn)行規(guī)劃布局。局部高可用的涵義是指B級模塊內(nèi)的存儲、核心交換系統(tǒng)在供電保障上按照A級進(jìn)行設(shè)計。結(jié)合建筑平面布局，假定模塊尺寸為25米*2米，為避免局部過載的影響

15、，建筑承重要求達(dá)到每平米1500Kg。標(biāo)準(zhǔn)模塊可以有如下兩種布局方式：      A方案需要采用嚴(yán)格的冷熱通道分離措施，B方案冷熱通道沒有嚴(yán)格分離，在空調(diào)附近不可避免存在冷熱通道混合的問題。       根據(jù)表3送風(fēng)高度與送風(fēng)距離和功率密度關(guān)系速查表，功率密度為每平米2KVA，送風(fēng)距離為9米(已扣減空調(diào)維護(hù)空間)，由該表查得送風(fēng)層高度為900mm，由此，回風(fēng)層高度為136mm，加上機柜高度、柜頂布線系統(tǒng)、橋架層和消防系統(tǒng)，樓板下凈高為5.36米，折合層高約為5.6米。       圖5為模塊化供配電系統(tǒng)邏輯圖，該連接能夠?qū)Σ煌瑢蛹壍墓┡潆姽收?，可以?.4KV、10KV、35KV以上等級相應(yīng)做出供配電切換，能夠?qū)δK內(nèi)的存儲、核心