新一代數(shù)據(jù)中心高密度部署策略

1、新一代數(shù)據(jù)中心高密度部署策略 傳統(tǒng)的說(shuō)明數(shù)據(jù)中心密度的方法可歸結(jié)為一種粗放、不完整和不明確的方法。這些傳統(tǒng)的方法無(wú)法提供規(guī)劃指導(dǎo)來(lái)確保能夠預(yù)見(jiàn)數(shù)據(jù)中心將來(lái)在最新一代的高功率密度IT 設(shè)備下的電源和制冷性能。本文概述了密度規(guī)范的要求，并介紹了制定密度規(guī)范的一種新方法。該方法提供了可實(shí)施的規(guī)范，可讓IT 員工和設(shè)備設(shè)計(jì)者之間明確交流各種要求，并加速了可預(yù)見(jiàn)成本效益和電氣效益的數(shù)據(jù)中心的創(chuàng)建。部署策略在定義密度規(guī)范要求時(shí)，必須充分考慮到隨時(shí)間變化的IT 負(fù)載以及分階段部署。必須就供電和制冷基礎(chǔ)設(shè)施隨時(shí)間的變化作出一些假設(shè)。那種認(rèn)為現(xiàn)有配電和空氣分配系統(tǒng)將隨著IT 負(fù)載的變化而改變的想法是不切實(shí)際的。

2、修改這些系統(tǒng)（例如修改使用中的電路或水管）可能需要一組機(jī)架甚至整個(gè)數(shù)據(jù)中心的停機(jī)，或產(chǎn)生這樣的風(fēng)險(xiǎn)。很多資料表明人為錯(cuò)誤是造成數(shù)據(jù)中心停機(jī)的主要原因，而對(duì)運(yùn)行中的設(shè)備進(jìn)行修改是造成停機(jī)的主要因素。因此，最好的方法是按照行或區(qū)域安裝供電和制冷分配設(shè)備，在該行或區(qū)域的工作生命周期內(nèi)不再對(duì)其進(jìn)行變更或重新配置。 在具體實(shí)施此最佳方法時(shí)，應(yīng)采用如下所述的部署策略：(1 采用標(biāo)準(zhǔn)過(guò)道間隔在平面圖上安排機(jī)架/機(jī)柜行列(2 確定行的設(shè)計(jì)密度規(guī)范，然后構(gòu)建可支持該密度規(guī)范的完整行。(3 如果要部署的設(shè)備符合現(xiàn)有行的設(shè)計(jì)規(guī)范技術(shù)參數(shù)要求，而且該行有空余位置，則可將設(shè)備部署到該行。(4 如果要部署的設(shè)備與有空余位

3、置的行的密度有顯著不同，不要為了將設(shè)備部署到該行而修改供電或制冷系統(tǒng)，而是應(yīng)該建立新的一行以滿足更高密度的要求。(5 隨著時(shí)間的推移，應(yīng)該將很少使用的機(jī)架行徹底拆除并按照符合當(dāng)前需求的不同密度規(guī)范來(lái)重新建立。由于此策略可將與修改數(shù)據(jù)中心使用中的機(jī)架行有關(guān)的人為錯(cuò)誤降到最低，因此我們強(qiáng)烈推薦您采用此策略。此行之有效的策略的確為密度規(guī)范設(shè)立了一條限制，即機(jī)架行系統(tǒng)的供電和制冷分配在安裝后就不能改變。注意，市場(chǎng)上有一些供電和制冷分配產(chǎn)品允許重新配置供電和制冷架構(gòu)而不會(huì)造成停機(jī)的風(fēng)險(xiǎn)。其主要特點(diǎn)有：(1通過(guò)添加可熱插拔的模塊來(lái)改變UPS 功率輸出。(2通過(guò)添加可熱插拔的機(jī)架配電單元來(lái)改變機(jī)架中的插座類(lèi)

4、型和容量。（3）通過(guò)插入式架裝設(shè)備來(lái)增加補(bǔ)充冷卻氣流的容量。此類(lèi)設(shè)備提供了一些附加的靈活性，允許在安裝之后進(jìn)行修改，因此特別適用于不適合進(jìn)行分階段、分行部署的小型設(shè)施。行或區(qū)域內(nèi)的峰值密度和均值密度盡管，每個(gè)機(jī)架具有絕對(duì)相同的負(fù)載功率可以簡(jiǎn)化密度規(guī)范，但是先前的討論顯示，這是一個(gè)不可能實(shí)現(xiàn)的目標(biāo)，因?yàn)樵趯?shí)際安裝中幾乎不可能做到這一點(diǎn)。事實(shí)上，機(jī)架密度的范圍可能在零（配線架）到30kW （高密度刀片式服務(wù)器）之間變化。這種變化對(duì)有效的密度規(guī)范的特性產(chǎn)生了巨大影響。由不同功率的機(jī)架組成的特定機(jī)架行或區(qū)域中，平均機(jī)架功率將低于最高機(jī)架功率值。因此，行內(nèi)的機(jī)架功率峰值/均值比實(shí)際上往往比一大或等于一。

5、非常有益的做法是考慮多種替換方法來(lái)指定機(jī)架行的功率密度設(shè)計(jì)，以便在行內(nèi)支持具有不同機(jī)架功耗的一組機(jī)架。 將行內(nèi)所有機(jī)架的功率都設(shè)計(jì)為峰值。指定行密度的一個(gè)方法為，指定行中的任何機(jī)架或所有機(jī)架的功率和制冷密度容量為機(jī)架功率的最大預(yù)期峰值。在這種情況下，總制冷容量和功率容量必須按照所有機(jī)架都可以達(dá)到最大功耗的假設(shè)情況來(lái)確定其規(guī)范。這必然會(huì)導(dǎo)致實(shí)際功率和制冷容量規(guī)模過(guò)大，因而導(dǎo)致資金和操作成本的增加，同時(shí)降低了電氣效率。 如果每機(jī)架功耗的峰值/均值比等于一，則上述這些不利之處都可以避免；但是，如果行內(nèi)的每機(jī)架功耗峰值/均值比為1.5或更高，則上述問(wèn)題都會(huì)出現(xiàn)，另外，這個(gè)規(guī)范最糟糕的情況就是沒(méi)有考慮到

6、可降低每機(jī)架功耗的峰值/均值比的情況，即最大值功率機(jī)架產(chǎn)生的負(fù)載可能呈分散分布。一般來(lái)說(shuō)，在機(jī)架峰值功率最差的情況下指定整體行密度并不是最優(yōu)選擇，除非每個(gè)機(jī)架的功率峰值/均值比非常接近1，但是在一般安裝中，出現(xiàn)這種情況的幾率非常低。將行內(nèi)所有機(jī)架的功率設(shè)計(jì)為平均值。指定行密度的另一個(gè)方法為，指定所有機(jī)架的功率為平均功率密度。和前一個(gè)方法一樣，這個(gè)簡(jiǎn)單的方法并不令人滿意，但導(dǎo)致不滿的原因卻不盡相同。這個(gè)方法要求在任何機(jī)架負(fù)載可能超過(guò)均值時(shí)，減少設(shè)備直到機(jī)架的負(fù)載等于或小于均值。此外，這個(gè)方法還存在實(shí)施上的限制，實(shí)際密度低于指定設(shè)計(jì)密度的機(jī)架所產(chǎn)生的未使用的功率和制冷容量并不能給其他機(jī)架產(chǎn)生額外的

7、功率和制冷容量。這是因?yàn)樾械脑O(shè)計(jì)僅僅是為了讓每個(gè)機(jī)架的功率和制冷最大能達(dá)到平均值?？紤]下列情況：某個(gè)IT 操作人員想要在設(shè)計(jì)容量為每機(jī)架2kW 的行中部署一個(gè)4kW 的刀片式機(jī)箱。有人可能會(huì)認(rèn)為從未使用的機(jī)架中引接一個(gè)2kW 的電源插座（如果可行）至刀片式機(jī)箱是一個(gè)可行的辦法。但是，為這4kW 的負(fù)載制冷卻成為一個(gè)問(wèn)題，因?yàn)橹评湎到y(tǒng)的設(shè)計(jì)容量在2kW 以下。另外，由于其中一個(gè)機(jī)架的電源被其他機(jī)架占用，因此這個(gè)機(jī)架也不再可用。比較上述兩種情況的要求，我們可以得知，有效密度規(guī)范的一個(gè)重要因素為應(yīng)當(dāng)指定行內(nèi)的機(jī)架功率峰值/均值比，并且該比值應(yīng)當(dāng)大于1。如何選擇適當(dāng)?shù)臋C(jī)架功率峰值/均值比取決于實(shí)際機(jī)架

8、的預(yù)期變化。下圖對(duì)于不同的機(jī)架間實(shí)際密度的變化，機(jī)架密度的峰值/均值比對(duì)電源和制冷設(shè)備的總擁有成本產(chǎn)生的影響 典型數(shù)據(jù)中心設(shè)計(jì)的限制和假設(shè)這二者的關(guān)系上圖中顯示了典型數(shù)據(jù)中心設(shè)計(jì)的限制和假設(shè)這二者的關(guān)系：上圖顯示已安裝的IT 設(shè)備中，在三種不同的實(shí)際機(jī)架功率變化的情況下，機(jī)架密度規(guī)范的峰值/均值比是如何影響電源和制冷基礎(chǔ)設(shè)施的標(biāo)準(zhǔn)總擁有成本(TCO支出的。數(shù)據(jù)顯示，在所有機(jī)架具有相同功耗的情況下，機(jī)架密度峰值/均值比等于1時(shí)，TCO 為最佳（最低）。這種效應(yīng)的解釋可歸因于指定額外的峰值功率密度容量會(huì)增加功率和制冷分配的支出，但在所有機(jī)架都具有相同功耗時(shí)不會(huì)導(dǎo)致總擁有成本增加。但是，如果實(shí)際安裝

9、的機(jī)架功率不同，峰值/均值比沒(méi)有增加時(shí)，則會(huì)增加總擁有成本。這是因?yàn)榇嬖跓o(wú)法使用的功率和制冷容量，同時(shí)，指定的IT 設(shè)備需要增加地板空間，二者共同產(chǎn)生了這種效應(yīng)。結(jié)果是，機(jī)架密度的峰值/均值比大于1，在實(shí)際安裝中可獲得最佳的TCO 。這就引出了有效制定數(shù)據(jù)中心密度規(guī)范的另一個(gè)重要因素：在典型的設(shè)計(jì)中，行內(nèi)的機(jī)架功率密度峰值/均值比應(yīng)當(dāng)大約為2，如果行內(nèi)的預(yù)期實(shí)際機(jī)架功率密度峰值/均值比大于2，建議在機(jī)架間分散最大密度的IT 負(fù)載來(lái)限制峰值/均值比，或?qū)o(wú)關(guān)的負(fù)載重新分配到其他行?；谝?guī)則的密度規(guī)范如果某行或某區(qū)域中的均值和峰值機(jī)架功率密度設(shè)計(jì)已經(jīng)指定為經(jīng)預(yù)見(jiàn)可實(shí)施的規(guī)范，則該規(guī)范可行。如果峰值

10、機(jī)架功率接近平均值，則可直接實(shí)施。但是，如果行內(nèi)的機(jī)架峰值/均值比接近1.5或更大，則實(shí)施該設(shè)計(jì)的挑戰(zhàn)和成本都將增加。確保只要不超過(guò)平均功率值，任何機(jī)架都可以在峰值功率的水平上操作，在使用高架地板送風(fēng)系統(tǒng)的安裝中，這樣造成的問(wèn)題可能會(huì)成為非常嚴(yán)重的限制。如果在密度規(guī)范中允許使用基于規(guī)則的密度部署，可獲得的整體均值和峰值功率密度都可以提高。要理解基于規(guī)則的規(guī)范所解決的問(wèn)題，請(qǐng)考慮將機(jī)架功率密度的峰值/均值比設(shè)定為建議的2時(shí)，在現(xiàn)有高架地板制冷系統(tǒng)中安裝機(jī)架的情況。從電源系統(tǒng)這方面來(lái)看，在最大機(jī)架密度下，每個(gè)機(jī)架都必須擁有一定的功率配額，而機(jī)架則通過(guò)PDU 或UPS 來(lái)供電，其額定值為平均機(jī)架密度

11、乘以IT 機(jī)架的個(gè)數(shù)。這個(gè)方案實(shí)施起來(lái)非常簡(jiǎn)單。但是，從冷卻角度看，每個(gè)機(jī)架并不具有定義良好的空氣分配系統(tǒng)，其額定值為平均機(jī)架密度的兩倍。要在密度超過(guò)均值時(shí)操作機(jī)架，必須從鄰接的低于均值密度的機(jī)架中借用未使用的容量。在使用具有有限通風(fēng)容量的高架地板時(shí)，這就意味著在行內(nèi)分散高密度機(jī)架會(huì)顯著降低制冷系統(tǒng)上的局部超負(fù)荷。如果規(guī)范具備建立行內(nèi)高密度機(jī)架位置規(guī)則的能力，則可以在系統(tǒng)限制范圍內(nèi)獲得較高的峰值和平均值密度。具有簡(jiǎn)單規(guī)則的示例為，機(jī)架僅可以超過(guò)均值額定功率的量為相鄰機(jī)架平均功耗低于均值的量。更復(fù)雜的規(guī)則可以用來(lái)最大化已知安裝中可預(yù)見(jiàn)的功率密度，并且這些規(guī)則可以在功率和制冷管理系統(tǒng)中實(shí)施。針對(duì)未

12、來(lái)的增長(zhǎng)指定密度選擇很多數(shù)據(jù)中心并不是一次完全建成，而是隨著時(shí)間的推移不斷擴(kuò)展。在這些情況下，并不需要總是提前為尚未規(guī)劃的行或區(qū)域指定密度。任何指定數(shù)據(jù)中心密度的實(shí)際方法必須考慮未來(lái)的需求，因?yàn)槊芏刃枨箅y以預(yù)測(cè)，因此需要盡可能地保留將來(lái)密度的選擇。理想的做法是，將部署電源和制冷基礎(chǔ)設(shè)施的費(fèi)用預(yù)算和相關(guān)事務(wù)盡可能延后進(jìn)行。另外，數(shù)據(jù)中心以后的擴(kuò)展并不會(huì)影響已經(jīng)投入使用的IT 設(shè)備的可用性。常用的辦法為提前規(guī)劃電源和制冷基礎(chǔ)設(shè)施，以便支持預(yù)先定義的功率密度。這樣做好處是，預(yù)先安裝設(shè)備可確保在以后進(jìn)行IT 部署時(shí)，不需要在已運(yùn)行的數(shù)據(jù)中心中再做主干電源的部署。但是，這個(gè)方法還存在多個(gè)不利的影響，包括

13、：（1）當(dāng)以后的IT 密度超過(guò)電源和制冷基礎(chǔ)設(shè)施的密度時(shí)，更改或進(jìn)行重新部署是很困難的。（2）當(dāng)以后的IT 密度低于電源和制冷基礎(chǔ)設(shè)施密度時(shí)，必然會(huì)造成主要基礎(chǔ)設(shè)施投資的浪費(fèi)。（3）基礎(chǔ)設(shè)施從來(lái)沒(méi)有擴(kuò)展，或由于某些規(guī)定或其他商業(yè)問(wèn)題而導(dǎo)致在另一個(gè)位置進(jìn)行了擴(kuò)展，因此造成主要基礎(chǔ)設(shè)施投資的浪費(fèi)。（4）近期內(nèi)數(shù)據(jù)中心的負(fù)載遠(yuǎn)遠(yuǎn)低于電源和制冷基礎(chǔ)設(shè)施的額定容量，導(dǎo)致電氣效率的顯著降低和不必要的大量電費(fèi)花費(fèi)。（5）提前安裝目前不需要的電源和制冷基礎(chǔ)設(shè)施，造成不必要的設(shè)備資金支出和維護(hù)合同成本。有效的密度指定模式可以通過(guò)將電源和制冷基礎(chǔ)設(shè)施定制為模塊化的大小可調(diào)的設(shè)計(jì)和實(shí)施方法來(lái)避免以上這些問(wèn)題。實(shí)施這

14、種架構(gòu)時(shí)要求預(yù)先安裝主供電配電線路，如行或區(qū)域范圍內(nèi)使用的電源設(shè)備和制冷設(shè)備。昂貴的電源和制冷基礎(chǔ)設(shè)施的安裝則需要延后，如UPS 系統(tǒng)、PDU 、機(jī)架、行內(nèi)的配電設(shè)備、空調(diào)及空氣分配設(shè)備。區(qū)域或行內(nèi)支持的具體密度將在延期后具體部署時(shí)確定，并且電源和制冷基礎(chǔ)設(shè)施將按行部署或以行為基礎(chǔ)來(lái)部署。 這個(gè)討論引出了建議密度規(guī)范方法的另一個(gè)主要因素：需要在將來(lái)部署的數(shù)據(jù)中心行或區(qū)域進(jìn)行規(guī)劃時(shí)，應(yīng)充分考慮在最壞情況下的最大密度值，并要求主要的電線和管線應(yīng)當(dāng)預(yù)先安裝并支持此密度；但是對(duì)這些行的實(shí)際電源和制冷設(shè)備的選擇應(yīng)當(dāng)延后到確定了部署密度和規(guī)劃之后再進(jìn)行。這樣，電源和制冷設(shè)施的主要成本將控制在實(shí)際應(yīng)用的合理

15、范圍內(nèi)，并且在需要的位置和時(shí)間進(jìn)行部署。這樣就可以大大減少資金投入和操作成本，建造更具有能源效率的數(shù)據(jù)中心。模式現(xiàn)在可以建構(gòu)一種功率密度規(guī)范模式來(lái)滿足前面所述的要求， 并解決實(shí)際操作中的約束和限制問(wèn)題。該模式包含下列關(guān)鍵因素：創(chuàng)建的數(shù)據(jù)中心物理布局以成行的機(jī)架或機(jī)柜為基礎(chǔ)，對(duì)于每一行，要求達(dá)到表1所示的數(shù)據(jù)機(jī)架范圍內(nèi)要求的數(shù)據(jù)（1）對(duì)于要在以后部署的行，應(yīng)當(dāng)指定最有可能出現(xiàn)的平均和最高機(jī)架功率，在實(shí)際部署之前降低這些值。（2）只會(huì)對(duì)規(guī)模過(guò)大的主要電源布線和管線系統(tǒng)產(chǎn)生非常小的影響從上述信息中，可以計(jì)算出表2所示的數(shù)據(jù)。數(shù)據(jù)單位說(shuō)明主要用途 可用的 IT 機(jī)架總數(shù)#設(shè)計(jì)的可用 IT 機(jī)架數(shù)，以及

16、分配給電源或制冷基礎(chǔ)設(shè)施的所有機(jī) 架位置最終數(shù)目用來(lái)確定用于規(guī)劃目的的可用總電源和 IT 機(jī)架空間 總的最初功率要求 kWIT 機(jī)房的功率和制冷要求，不包含以后的部署用來(lái)確定當(dāng)前電源 和制冷基礎(chǔ)設(shè)施投資要求 總的最終功率要求 kW 在最后最壞的情況下，機(jī)房的電源和制冷要求。用來(lái)確定電源設(shè) 施的規(guī)模，包括電源開(kāi)關(guān)、電線及制冷鉛管 峰值功率密度 kW/機(jī)架任何一行內(nèi)的最高功率密度用來(lái)建立制冷分配架構(gòu) 數(shù)據(jù)中心平均功率密度 kW/機(jī)架數(shù)據(jù)中心的密度范圍用于和其他常用單位進(jìn)行換算， 如 W/ft2 或 W/m2。這種轉(zhuǎn)換根據(jù)在表 1 中選擇的定義而定 使用這個(gè)方法來(lái)定義密度的最復(fù)雜的問(wèn)題就是機(jī)架位置的

17、確定， 這是部署電源和制冷基 礎(chǔ)設(shè)施必須要解決的問(wèn)題，如不確定則會(huì)產(chǎn)生 IT 設(shè)備無(wú)法使用的情況。1 個(gè)機(jī)架位置被電 源和制冷基礎(chǔ)設(shè)施所占用，合理的密度估算參考值為每個(gè) IT 負(fù)載 15kW。根據(jù)從現(xiàn)有的數(shù)據(jù) 中心安裝中得到的經(jīng)驗(yàn)， 這個(gè)參考值的得出包括了電源和制冷設(shè)備和相應(yīng)的空間要求。 精確 值將取決于選擇的電源和制冷基礎(chǔ)設(shè)施、機(jī)房限制和系統(tǒng)供應(yīng)商提供的指導(dǎo)原則。 數(shù)據(jù)中心規(guī)范示例 下面以示例說(shuō)明如何使用規(guī)范模式來(lái)設(shè)計(jì)實(shí)際的數(shù)據(jù)中心。 在這個(gè)示例中， 首先必須提 供一個(gè)機(jī)房，必須在機(jī)房中確定所有 UPS、配電和冷卻系統(tǒng)的位，由于凈空限制，沒(méi)有高架 地板。將要部署的各種網(wǎng)絡(luò)設(shè)備包括刀片式服務(wù)器

18、、機(jī)架安裝式服務(wù)器、存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè) 備。將刀片式服務(wù)器放置在一起，不要分散擺放。根據(jù)估算，當(dāng)前的要求是填滿機(jī)房空間的 一半。機(jī)房保留的剩余空間的部署密度將超過(guò)目前部署密度的 20%，其容量至少可以支持 3 個(gè)刀片式服務(wù)器機(jī)架，據(jù)估測(cè)每個(gè)機(jī)架的功率為 25kW?？捎眯砸笾饕槍?duì)非冗余電源和 制冷系統(tǒng)。 下圖顯示機(jī)房的大致輪廓，其中包含建議的機(jī)架布局，整個(gè)機(jī)房共有 41 個(gè)機(jī)架位置。 根據(jù)說(shuō)明，第 1、2 和 3 行將會(huì)立即完成部署，而第 4、5、6 和 7 行將在以后進(jìn)行部署。對(duì) 目前規(guī)劃的部署進(jìn)行審視可以指定行中諸如電力設(shè)備等的位置以減少行內(nèi)的峰值/均值比， 并分配位置以便按照要求在第 2 行將刀片式服務(wù)器擺放在一起。第 1、2、3 行機(jī)架范圍的規(guī) 范已經(jīng)寫(xiě)入表 4。 圖 3建議的數(shù)據(jù)中心平面圖布局，含建議的機(jī)架布局 建議的數(shù)據(jù)中心平面圖布局，含建議的機(jī)架布局 表 4建議的數(shù)據(jù)中心行密度數(shù)據(jù) 建議的數(shù)據(jù)中心行密度數(shù)據(jù) 從這些信息可以計(jì)算出第一次部署的平均密度為， 每機(jī)架(27+57+37/21=3.3kW。 如果其他行的規(guī)劃密度超出 20%（尚未指定這些行的詳細(xì)部署），則可計(jì)算出整體數(shù)據(jù)中心 平均密度為，每機(jī)架(27+57+37+45+45+45+45/41=3.7kW。給以后未定的行 指定較高的峰值密度 15kW，將在以后對(duì)這些行進(jìn)行設(shè)計(jì)和變更