CFD技術(shù)在集裝箱式數(shù)據(jù)中心的應(yīng)用

金融行業(yè)數(shù)據(jù)中心承載著金融機構(gòu)的核心業(yè)務(wù)，數(shù)據(jù)中心服務(wù)器的安全、穩(wěn)定運行是保障金融信息安全的基礎(chǔ)和關(guān)鍵，因此，對數(shù)據(jù)中心制冷系統(tǒng)的氣流組織和冷量的分析在數(shù)據(jù)中心的規(guī)劃和建設(shè)中具有舉足輕重的地位。良好的氣流組織布局是保障數(shù)據(jù)中心安全、節(jié)能運行的必要條件，氣流組織布局不良不僅會產(chǎn)生局部熱點，影響服務(wù)器的運行，嚴重時還將危害整個系統(tǒng)的安全和穩(wěn)定運行，給數(shù)據(jù)中心造成巨大的損失。《數(shù)據(jù)中心設(shè)計規(guī)范》（GB50174-2017）要求，應(yīng)采用計算流體動力學(xué)（ComputationalFluidDynamics,CFD）氣流模擬方法對主機房空調(diào)系統(tǒng)的氣流組織形式進行模擬和驗證。本文通過對某金融數(shù)據(jù)中心集裝箱機房進行CFD技術(shù)模擬仿真，深入探討CFD技術(shù)在數(shù)據(jù)中心的應(yīng)用。一、CFD技術(shù)應(yīng)用現(xiàn)狀CFD技術(shù)的基本原理是用一系列有限個離散點上的變量值的集合來代替原來在時間域及空間域上連續(xù)的物理量的場，如溫度場、速度場和壓力場等，并通過一定的原則和方式建立起關(guān)于這些離散點上場變量之間關(guān)系的代數(shù)方程組，然后對代數(shù)方程組求解獲得場變量的近似值，從而近似地模擬流體流動情況。CFD起源于航空航天領(lǐng)域，目前已被廣泛應(yīng)用到各個行業(yè)，如汽車、發(fā)動機、工業(yè)制造、土木工程、環(huán)境工程以及數(shù)據(jù)中心等。在互聯(lián)網(wǎng)和大數(shù)據(jù)蓬勃發(fā)展的背景下，金融業(yè)在線業(yè)務(wù)快速發(fā)展、數(shù)據(jù)中心大規(guī)模擴展，使得服務(wù)器機柜密度日漸升高，對數(shù)據(jù)中心提出了更高的要求——不僅要安全可靠，而且要綠色高效。CFD技術(shù)能對數(shù)據(jù)中心機房氣流組織進行模擬，校驗設(shè)計的合理性以及對現(xiàn)有方案進行優(yōu)化，在數(shù)據(jù)中心的應(yīng)用越來越成熟和完善。一般而言，CFD軟件通常包括以下幾個主要模塊：建立數(shù)學(xué)物理模型(前處理)、數(shù)值算法求解、結(jié)果可視化(后處理)。CFD軟件種類繁多，有的應(yīng)用于專用領(lǐng)域，有的可在不同領(lǐng)域中通用。目前，專門用于數(shù)據(jù)中心領(lǐng)域的CFD軟件還比較少，較有代表性的軟件是6SigmaDC，其在數(shù)據(jù)中心CFD仿真應(yīng)用領(lǐng)域處于主導(dǎo)地位。6SigmaDC軟件含有龐大的數(shù)據(jù)庫，包含機房現(xiàn)場應(yīng)用的空調(diào)、機架、服務(wù)器等模塊，這些模塊的建模數(shù)據(jù)基于經(jīng)過校準的機房現(xiàn)場測量數(shù)據(jù),需要大量的機房工作經(jīng)驗作為基礎(chǔ)。6SigmaDC軟件對機房細節(jié)的模擬能精確到機房中任何一臺IT設(shè)備的間隔尺寸及運行情況，這是其他CFD軟件不能實現(xiàn)的。二、CFD技術(shù)在機房的仿真模擬本文以某金融機構(gòu)數(shù)據(jù)中心的集裝箱機房為例，通過建模、CFD模擬仿真來對其進行分析和優(yōu)化。1.建模集裝箱機房CAD平面示意如圖1所示，由6個集裝箱（6085㎜×2438㎜×3200㎜）拼接而成，占地約100平方米，左側(cè)兩箱為配電模塊，中間一箱為管理模塊，右側(cè)兩箱為IT模塊，最右端為制冷模塊。該集裝箱機房采用了一系列如間接蒸發(fā)冷卻空調(diào)、無架空地板水平送風(fēng)、高壓直流、微模塊UPS、光伏及直流并網(wǎng)、智能母線等新技術(shù)。10個IT柜設(shè)計電力容量50KW，總用電設(shè)計需求100KW，空調(diào)送風(fēng)溫度設(shè)定為25℃，采用送回風(fēng)溫差控制，送回風(fēng)溫差設(shè)定為12℃，有干、濕和干濕混合三種工作模式。圖1

機房CAD平面示意圖2為根據(jù)CAD圖及實際情況建立的CFD模型，IT間冷通道封閉，空調(diào)為水平送風(fēng)形式，配電間與IT間通過兩風(fēng)管連接，上風(fēng)管送風(fēng)，下風(fēng)管回風(fēng)。圖2

CFD模型2.設(shè)置參數(shù)在對建好的模型進行參數(shù)設(shè)置的過程中，空調(diào)和機柜參數(shù)的設(shè)置是最重要的，參數(shù)的準確性會影響最終結(jié)果的精確度，必須保證設(shè)置的邊界條件和參數(shù)與實際環(huán)境相符，才能保證結(jié)果的可靠性。6SigmaDC的網(wǎng)格劃分及求解都是自動進行的，只需要設(shè)置好基本參數(shù)，讓軟件自動進行計算。3.結(jié)果分析CFD軟件提供了多種結(jié)果的可視化顯示，圖3~5為機柜不同高度的平面溫度分布圖，根據(jù)溫度分布圖可以分析冷熱通道在不同高度的溫度分布情況。《數(shù)據(jù)中心設(shè)計規(guī)范》（GB50174-2017）要求冷通道溫度為18℃~27℃，圖中冷通道溫度為25℃左右，符合數(shù)據(jù)中心設(shè)計規(guī)范。圖3

機柜底部溫度分布圖4

機柜中部溫度分布圖5

機柜頂部溫度分布圖6為空調(diào)送回風(fēng)流線示意。通過流線圖可以直觀感受冷熱通道以及風(fēng)管的進出風(fēng)的空氣流動情況。圖6

空調(diào)送回風(fēng)流線示意圖7為單個機柜進出風(fēng)流線示意，可根據(jù)流線圖分析機柜中每臺設(shè)備的氣流組織，因為封閉了冷通道，機柜中的進出風(fēng)冷熱氣流的相互影響比較小。圖7

機柜進出風(fēng)流線示意為找出可能存在的局部熱點，需進一步分析各機柜的溫度分布情況。圖8為機柜的平均進風(fēng)溫度與最大進風(fēng)溫度分布示意，可以看出，離空調(diào)出風(fēng)口近的機柜進風(fēng)溫度低，離出風(fēng)口遠的機柜進風(fēng)溫度相對偏高。另外，結(jié)果顯示，雖然機柜的平均進風(fēng)溫度都低于27℃，但個別機柜的最大進風(fēng)溫度還是比較高，超過了27℃，這說明該模型還可以繼續(xù)進行優(yōu)化，直至各機柜最大進風(fēng)溫度維持在18℃~27℃之間。

圖8

機柜的平均進風(fēng)溫度與最大進風(fēng)溫度分布示意4.問題優(yōu)化該集裝箱機房IT間的冷通道為“T”型通道（如圖9所示，左側(cè)紅色框部分），一部分冷量在靠近風(fēng)管處堆積沒有被充分利用，造成了冷量的浪費，可以縮小冷通道，將“T”型通道改為“L”型通道（圖9右側(cè)紅色框），提高冷通道冷量的利用率。圖9

“T”型通道改為“L”型通道圖10

“T”型通道與“L”型通道進風(fēng)溫度比較將各機柜的最大進風(fēng)溫度用不同的顏色分段表示（綠色為18℃~27℃，黃色為27℃~32℃），“T”型通道與“L”型通道進風(fēng)溫度比較如圖10所示?？梢钥闯?，在相同條件下，將“T”型冷通道改為“L”型后，機柜獲得的冷量增加，機柜進風(fēng)溫度降低，但仍有三個機柜的最大進風(fēng)溫度高于27℃。進一步分析可知，機柜中IT設(shè)備的布局也可以進行調(diào)整，不同功耗和發(fā)熱量的設(shè)備在機柜中分布可能會相互影響，這也是可以優(yōu)化的點。對每個機柜設(shè)備的進風(fēng)溫度（如圖11所示）進行分析，溫度較高的機柜中都是功率比較大的設(shè)備，且在機柜中靠上位置，而機柜下側(cè)的溫度比較低，因此可以適當調(diào)整設(shè)備的位置，降低設(shè)備的進風(fēng)溫度。圖11

IT設(shè)備進風(fēng)溫度分布調(diào)整前和調(diào)整后的IT設(shè)備分布如圖12所示，將位于機柜上部的IT設(shè)備調(diào)整到機柜的下部。圖12調(diào)整前和調(diào)整后的IT設(shè)備分布IT設(shè)備調(diào)整前后機柜最大進風(fēng)溫度比較如圖13所示，從機柜進風(fēng)溫度可以看出，調(diào)整后的進風(fēng)溫度已完全處于18℃~27℃之間。圖13

IT設(shè)備調(diào)整前后機柜最大進風(fēng)溫度比較5.總結(jié)與建議本文通過對某金融數(shù)據(jù)中心集裝箱機房進行CFD仿真模擬，分析了該機房不同高度的溫度分布及空調(diào)送回風(fēng)氣流組織情況，驗證了機房設(shè)計的合理性，并對各機柜及IT設(shè)備的進風(fēng)溫度進行了模擬，提出了兩種改善機柜進風(fēng)溫度的方法，并通過CFD仿真進行了驗證分析。CFD設(shè)計軟件能幫助設(shè)計者優(yōu)化數(shù)據(jù)中心的流場，在數(shù)據(jù)中心實際部署之前校核冷卻方案的合理性，并能對已有數(shù)據(jù)中心進行優(yōu)化，提高數(shù)據(jù)中心的能源利用效率。CFD技術(shù)能夠直觀地展示溫度、壓力等數(shù)據(jù)在機房各個位置的分布，能夠模擬出空調(diào)的氣流組織運動情況，還能對機房中各臺設(shè)備的情況進行分析，對機房的設(shè)計驗證具有很好的指導(dǎo)意義。同時，通過CFD技術(shù)對已有的數(shù)據(jù)中心進行優(yōu)化，可在實際調(diào)整之前對優(yōu)化方案進行模擬分析，找出最優(yōu)的解決方案，這在一些優(yōu)化方案復(fù)雜及優(yōu)化調(diào)整需要大量人力物力的情況下是十分必要的。此外，CFD技術(shù)對如何建設(shè)更加綠色節(jié)能的數(shù)據(jù)中心也具有指導(dǎo)意義。CFD仿真結(jié)果需要得到實際物理流場的驗證才可靠，這是因為通過CFD技術(shù)得到的計算結(jié)果的精度受多種因素影響，如對復(fù)雜流場仿真前置處理時的邊界條件、物性