浪潮模塊化數據中心方案v20第二版

1、浪潮模塊化數據中心v2.0方案2013-8-12浪潮集團互聯網行業(yè)部 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc364151663 一 項目背景： PAGEREF _Toc364151663 h 2 HYPERLINK l _Toc364151664 1.模塊化數據中心 PAGEREF _Toc364151664 h 2 HYPERLINK l _Toc364151665 2.網易、上海數據港、浪潮三方角色 PAGEREF _Toc364151665 h 2 HYPERLINK l _Toc364151666 3.項目預期 PAGEREF _Toc36415166

2、6 h 2 HYPERLINK l _Toc364151667 二 方案介紹： PAGEREF _Toc364151667 h 3 HYPERLINK l _Toc364151668 1.模塊布局 PAGEREF _Toc364151668 h 3 HYPERLINK l _Toc364151669 2.氣流遏制子系統(tǒng) PAGEREF _Toc364151669 h 4 HYPERLINK l _Toc364151675 3.供配電子系統(tǒng) PAGEREF _Toc364151675 h 9 HYPERLINK l _Toc364151682 4.制冷子系統(tǒng) PAGEREF _Toc364151

3、682 h 12 HYPERLINK l _Toc364151687 5.機柜及布線子系統(tǒng) PAGEREF _Toc364151687 h 17 HYPERLINK l _Toc364151692 6.監(jiān)控子系統(tǒng) PAGEREF _Toc364151692 h 20 HYPERLINK l _Toc364151693 三 項目管理 PAGEREF _Toc364151693 h 21 HYPERLINK l _Toc364151694 1.關系人及各方職責 PAGEREF _Toc364151694 h 21 HYPERLINK l _Toc364151698 2.項目范圍 PAGEREF _

4、Toc364151698 h 21 HYPERLINK l _Toc364151699 3.項目周期及里程碑計劃 PAGEREF _Toc364151699 h 22 HYPERLINK l _Toc364151700 4.溝通機制及工作方法 PAGEREF _Toc364151700 h 23 HYPERLINK l _Toc364151701 5.變更管理 PAGEREF _Toc364151701 h 23 HYPERLINK l _Toc364151702 6.項目交付物 PAGEREF _Toc364151702 h 23 HYPERLINK l _Toc364151705 7.驗收

5、及結束標志 PAGEREF _Toc364151705 h 24 HYPERLINK l _Toc364151708 四 附件 PAGEREF _Toc364151708 h 24一 項目背景：模塊化數據中心隨著互聯網行業(yè)規(guī)模的迅速擴大，傳統(tǒng)機房部署方式導致的空間浪費和高昂的運營成本已經成為互聯網數據中心和互聯網企業(yè)的發(fā)展瓶頸。為實現冷熱氣流互不侵擾，互聯網數據中心率先嘗試了封閉冷通道、煙囪式機柜等方式，實現了相比傳統(tǒng)數據中心PUE值的大幅降低。模塊化數據中心在封閉冷熱通道的基礎上，結合了水冷列間空調的近熱源設計，以及模塊化裝配、模塊化擴展的設計思想，成為下一代數據中心部署方式的典型代表。 模

6、塊化數據中心包含了冷熱通道模塊、供配電系統(tǒng)、制冷系統(tǒng)、機柜及布線系統(tǒng)和監(jiān)控系統(tǒng)，不僅實現了PUE值的進一步降低，還通過對數據中心所有末端設備的整合，使其成為數據中心的獨立部署顆粒，根據業(yè)務發(fā)展隨需部署，實現了數據中心初期投資的降低。網易、上海數據港、浪潮三方角色網易作為國內一線互聯網企業(yè)，希望嘗試模塊化這種新型的數據中心部署方式，以期降低不斷高企的數據中心運營費用，負責模塊化數據中心的方向性設計以及運行數據的分析； 上海數據港作為具有豐富經驗的國內知名IDC企業(yè)，負責模塊化數據中心的運維，保障試驗性模塊的安全運行； 浪潮作為網易在服務器領域的長期合作伙伴，提供模塊的設計、制造、實施及售后服務支

7、持； 此項目是三方在新型數據中心上的一次探索，也是在數據中心建設中一種全新的商業(yè)合作模式。 項目預期本項目目的在于根據三方的設計要求完成模塊化數據中心的設計、制造、交付實施，實現模塊化數據中心上線運行。意義在于通過長期測試獲取平均pPUE、列間空調制冷效率等關鍵數據，在實踐中驗證設計方案，并利用實際運行中的數據，分析評估模塊化數據中心大規(guī)模部署的可行性。二 方案介紹：模塊布局浪潮模塊化數據中心結構上包括冷通道模塊、熱通道模塊、機柜組模塊、機房適應性組件和頂部線槽，運行系統(tǒng)上包括氣流遏制子系統(tǒng)、供配電子系統(tǒng)、制冷子系統(tǒng)、機柜及布線子系統(tǒng)和監(jiān)控子系統(tǒng)。本版模塊化數據中心采用單排機柜設計，部署IT機

8、柜4個，兩個浪潮水冷模組、一個APC水冷模組和一個智能精密配電柜，在機柜組前后部署冷、熱通道模塊作為氣流遏制組件，通道頂部設計為消防掉落窗，此外為適合機房地面環(huán)境設計適應性組件，頂部強、弱電線槽各一個。氣流遏制子系統(tǒng)模塊組件規(guī)格 冷、熱通道框架使用鋁合金材質，保證功能性的前提下盡量降低自重，利用并柜件與機柜組連接，全部重量傳遞到機柜組；圖中黑色側板采用鋼材，與機柜側板保持一致，鋁合金框架采取加固措施。由于APC配電柜高度和深度與機柜組不一致，所以在配電柜一側利用橫梁和側板將冷、熱通道連接，保證模塊外觀一致性。模塊平面圖模塊剖面圖 APC空調安裝底輪和底腳，高出冷、熱通道處用可拆卸結構件封堵。冷

9、熱通道高出機柜80mm，通道頂梁底面距機柜頂面20mm，便于水冷空調進出維護，在機柜頂部設置連接冷、熱通道的梁，用來支撐強、弱電線槽。模塊整體尺寸：4260mm（寬） X 2100mm（深） X 2185mm（高）冷通道規(guī)格：4200mm（寬） X 600mm（深） X 2060mm（高）熱通道規(guī)格：4200mm（寬） X 300mm（深） X 2060mm（高）機柜組規(guī)格：4200mm（寬） X 1200mm（深） X 2000mm（高）環(huán)境適應件規(guī)格：4200mm（寬） X 1200mm（深） X 55mm（高）線槽規(guī)格：4200mm（寬） X 300mm（深） X 100mm（高）組件并

10、柜方案 本方案中利用四臺IT機柜作為支撐主體，機柜與水冷模組、配電柜之間使用直型、L型并柜件連接。 機柜與冷、熱通道之間頂部使用加長L型并柜件連接，兼顧密封需要，兩側使用直型并柜件連接。冷熱通道門簾方案模塊冷、熱通道采用柔性門簾作為通道封閉組件，每通道采用三塊2mm厚塑料門簾，每兩塊門簾之間150mm的重疊，門簾頂部利用結構件固定，兩側及底邊利用軟磁條密封，局部使用強力磁塊加強。在數據中心采用塑料材質的門簾，具有結構簡單、成本低、易運維的優(yōu)點，但同時也存在一些可預見的風險點：選取的材料標稱可在80攝氏度以下的環(huán)境工作，但在熱通道高溫環(huán)境下的老化速度和使用壽命目前沒有可靠數據；塑料材質不防火且在

11、門簾中部易產生靜電；模塊采用了一臺直吹的APC空調，經利用兩臺浪潮空調對置模擬APC空調的試驗可知，1.5mm的門簾會在APC空調正前方門簾會產生局部30mm左右的起鼓變形，更換為2mm厚的門簾后預計變形幅度為20mm，但如長期使用可能會導致永久性變形；機房環(huán)境適應件方案 由于機柜組底部鋼梁頂面相比靜電地板低500mm，為不影響服務器上架及水冷空調進出維護，設計55mm高環(huán)境適應件，保證機柜底與靜電地板持平，水冷空調處設計蓋板，便于進出維護。密封方案可能存在縫隙的地方包括：門簾之間：每兩個門簾設計150mm的重疊，在重疊處門簾接觸面的反面設計兩道軟磁條作為主要吸附件，由于軟磁條磁力較小，再利用

12、強力磁塊局部加強。當模塊工作時，冷、熱通道內會產生正壓，空氣的壓力和塑料材質的特性會使門簾重疊處壓緊，進一步避免冷量流失；門簾與立柱、底框：在門簾兩側立柱和底框內部通長固定軟磁條及局部加強磁塊，使門簾關閉時可吸附在立柱和底框上；冷、熱通道與機柜組之間：在冷、熱通道與機柜組連接位置，首先會利用螺栓將結構件連起來，在結構件接觸面上利用泡棉密封； APC水冷空調與冷、熱通道底部：利用可拆卸結構件封堵；供配電子系統(tǒng)概述 智能精密配電柜配電柜采用APC智能精密配電柜，包括各配電功能器件和系統(tǒng)軟件，柜體采用標準服務器機柜結構，整體外觀一致，安全整齊的母線銅排，高精度傳感器，智能觸摸屏。規(guī)格參數表廠商APC

13、外觀整體顏色為黑色外形尺寸mm600X1070X1991容量40KVA連接方式3L+N+PE進線方式下進線輸入380V/400V，50Hz輸出220V/380V，50Hz顯示界面5.7英寸高清大屏幕觸摸屏中文顯示，界面友好操作方便。觸摸屏顯示主路信息實時檢測輸入電流，電壓，頻率，有功，無功及視在功率，功率因數，THDi，THDu，頻率，有功，無功及視在電能，電流和電壓不平衡度。并可對高達31次諧波進行分析觸摸屏顯示支路信息實時監(jiān)測各分路狀態(tài)，電流，電能，電壓負載百分比及功率因數。防雷裝置消除雷電和浪涌干擾，保證人身和設備安全。通訊方式及通訊協議RS485接口，標準MODBUS通訊協議。重量25

14、5KG 配電柜后端頂部預留出線孔，輸出部分從柜體前部輸出空開處引到后端的端子上，出線端子位于柜子后部左右兩側的上方；柜子前門為玻璃網孔門，上面安裝一臺人機界面（觸摸屏），其余設備均固定安裝在內部器材擋板上，保證內門打開時可以檢修、拆卸有關原器材，關上內門露出有關操作手柄，便于人工操作；配電原理圖IT機柜供電每機柜后部部署兩組PDU，通過工業(yè)連接器與從精密配電柜引出的5*2.5MM2 電纜相連，一組連接市電，一組連接UPS，為機柜內的IT設備提供可靠的雙路供電。PDU插位包括12位C19,和6位萬用，其中每4個C19和2個萬用為一組，平均分配到A、B、C三相，且劃分清晰易于辨識。每插位有獨立微型

15、斷路器控制。PDU規(guī)格表品牌TOP 突破外殼顏色 黑色尺寸規(guī)格長x寬x高 = 1400mm x 48mm x 96 mm輸出單元6個10A萬用孔位（每個單元帶10A/1P施耐德空開）、12個IEC C19孔位（每個單元帶16A/1P施耐德空開）本體額定值16A/380V內連線主線為4MM2，連線為1.54MM2制冷供電 為方便采集制冷系統(tǒng)總用電量，配電柜設置有獨立的水冷模組輸出回路，其中APC ACRC502為三相供電，使用5*2.5mm2 電纜，浪潮ISC-WME301-30為單相供電，使用3*2.5 mm2電纜，電纜通過工業(yè)連接器與水冷模組連接，兩組水冷模組均采用高可靠的雙路供電。監(jiān)控供電

16、 監(jiān)控系統(tǒng)用電設備包括一臺1U監(jiān)控服務器和監(jiān)控交換機，水浸系統(tǒng)的開關電源、溫濕度傳感器和監(jiān)控采集器。 由于監(jiān)控用電端為單路供電，為保證在市電中斷的情況下仍可正常工作，在供電線路上增加STS在兩路供電間切換。照明供電 浪潮模塊化數據中心在冷、熱通道內各部署一根LED燈帶，顏色為藍色，安裝位置為通道左右上三邊，靠近開門一側，避免燈光直射人眼。 照明供電220v，壓接在配電柜市電照明輸出端子上， 在冷、熱通道外部各設置一個手動開關。 制冷子系統(tǒng)氣流組織 風量計算模塊總風量需求（m3/h）=4*3600（KJ/H）*7.5（KW）/1.25（KG/M3）/1.01（KJ/KG/）/15（）=5700m

17、3/h浪潮水冷模組最大風量=5200 m3/hAPC水冷模組最大風量=11700m3/h兩臺浪潮水冷模組加一臺APC水冷模組的總風量為22100m3/h，可以保證足夠的風量冗余。浪潮ISC-WME301-30設備描述In Row RC Chilled Water, 90-264V單相交流供電，47-63Hz, IEC 309-10，行級制冷，水平側送風模式，EC變頻風機，額定制冷量22-27KW（進水溫度12），冷凍水工作模式，標配LCD顯示器、IPMI 2.0接口協議等，標準半寬服務器機柜外觀。常規(guī)技術冷凍方式 : 冷凍水 送風方式 : 水平 回風方式 : 后置返回 風量 : 5200m3/

18、h系統(tǒng)總水壓降 :30.0-80.0kPa輸入工作電壓額定輸入電壓 : 220V 輸入功率 : 1700W(2+2冗余)輸入頻率 : 50 Hz 設備安裝有效高度 : 42U 輸入端子類型 : IEC 309 10A 1P+N+PE電源輸入：支持雙電源通訊與管理控制面板 : 多功能液晶顯示器狀態(tài)管理控制臺。 有聲報警 : 1.實現系統(tǒng)故障報警功能2.實現機柜開門報警功能3.實現水浸報警功能APC ACRC 502設備描述In Row RC Chilled Water, 380-415V 50Hz, IEC 309-16，行級制冷，水平送風模式，EC變頻風機，額定制冷量（進水溫度12），冷凍水工

19、作模式，標配LCD顯示器、通訊網卡、RS485串口等，標準機架服務器柜外觀。常規(guī)技術冷凍方式 : 冷凍水 送風方式 : 水平 回風方式 : 后置返回 風量 : 11700m3/h冷凝泵容量 : 0.53l/min的速度將冷凝水抽吸18米，最大吸升高度3.5米；最低進水溫度 : 12.0C 系統(tǒng)總水壓降 :33.0-75.0kPa 輸入工作電壓額定輸入電壓 : 380V 輸入功率 : 3000W輸入頻率 : 50 Hz 設備安裝有效高度 : 42U 輸入端子類型 : IEC 309 16A 3P+N+PE電源輸入：支持雙電源通訊與管理控制面板 : 多功能液晶顯示器狀態(tài)管理控制臺。 有聲報警 :

20、Audible and visible alarms prioritized byACRC500外部組件ACRC500內部組件（前部） ACRC500內部組件（后部）管路方案本項目空調水系統(tǒng)管道采用同程管設計，以確保具備良好的水力平衡性。系統(tǒng)冷源處設有過濾裝置，每臺列間空調供水口不再單獨增設Y型過濾器。由于浪潮水冷模組機組供水管、回水管設計為DN40（盤管本身冷量設計較大），APC制冷機組進出水管管徑設計也是DN40，故系統(tǒng)支管設計管徑均為DN40。浪潮水冷模組的流量可通過供水管口球閥控制。浪潮機組與系統(tǒng)管道的連接采用不銹鋼軟管連接。軟管兩端均有球閥設計（支管端口與軟管處、盤管供水口與軟管處）

21、。有效保障接管出的管道更換及泄露。浪潮水冷模組盤管最底部設計泄水閥。機組更換時，可把機組進出水口閥門關閉，通過泄水閥將機組內冷凍水放出，通過水盤及排水管排出。水系統(tǒng)管路流程圖如下：除冷凝水管外的所有管路使用保溫棉，可防止管道上冷凝水產生，冷凝水管采用PVC管材，從水冷模組底部接水盤引出，利用高差將冷凝水排出至空調室。機柜及布線子系統(tǒng)機柜本方案采用42U標準機柜，物理規(guī)格如下：凈重 ：150KG 高 ：2000.00mm 寬 ：600.00mm 深 ：1200.00mm 運輸重量 ：175KG 運輸高度 ：2250.00mm 運輸寬度 ：800.00mm 運輸長度 ：1350.00mm 載荷能力

22、（靜態(tài)負載）： 1100KG 載荷能力（動態(tài)負載）： 1000KG 最大機架安裝深度 ：900.00mm 設備安裝有效高度 ：42U 顏色 ：黑色 適用標準 ：EIA-310-E理線架理線架為網易與浪潮聯合設計，尺寸為：178mm*18mm*55mm，安裝后最厚處不超過機柜方孔條，避免與部分超長服務器的結構沖突。強電布線模塊進線浪潮模塊化數據中心支持雙路三相五線供電，根據模塊設計容量至少需要25mm2以上的線纜規(guī)格，線纜利用模塊頂部強電線槽進入配電柜，電纜壓接至配電柜輸入端子。機柜及水冷模組配電柜與IT機柜PDU及水冷模組全部在模塊上方橋架內通過工業(yè)連接器連接。監(jiān)控監(jiān)控供電線纜從配電柜兩路輸出

23、端子通過STS輸出到一只小型PDU，監(jiān)控服務器、交換機直接從PDU上取電，四只監(jiān)控采集器從配電柜監(jiān)控輸出端子引出供電電纜通過工業(yè)連接器給四只監(jiān)控采集器供電。照明照明LED燈帶在冷、熱通道各部署一根，供電線纜從配電柜市電照明輸出端子引出后行至模塊頂部線槽，穿入冷、熱通道頂部框架，通過空心框架行至LED燈帶供電位置及各開關。弱電布線監(jiān)控信號線纜水浸、溫濕度傳感器的485信號線通過機柜頂部的轉換器輸出TCP/IP協議，通過前部弱電線槽連接至監(jiān)控交換機；網絡線纜模塊內相鄰兩個機柜共用一個TOR交換機，機柜之間在理線架上方開孔，供跨柜走線。上行光纖通過頂部弱電線槽向上級聯。監(jiān)控子系統(tǒng)浪潮SmartClo

24、ud MDC采用的監(jiān)控系統(tǒng)為純網絡型、分布式結構，特點如下：底層采集數據通過網絡上傳，帶寬是10M-100M（RS485總線的帶寬通常在100K以下），因而數據上傳速度大大提高。底層數據傳輸遵守Lonworks或C-bus協議，數據主動上傳，不需要主機輪詢，大大提高了傳輸效率。同時C-bus有校驗功能，保證數據的準確性。系統(tǒng)數據采集的丟包率低于1%。網絡化結構可以充分利用現有網絡資源，節(jié)約布線成本及施工時間。模塊化數據中心監(jiān)控子系統(tǒng)獨立于機房主監(jiān)控，提供web界面供機房運維工程師和網易遠程監(jiān)控。 監(jiān)控拓補圖三 項目管理關系人及各方職責浪潮 項目經理：袁泉，負責項目整體協調及商務推進 項目組成員

25、：趙吉志，研發(fā)項目負責人，負責研發(fā)端資源協調、進度管理、人員管理熊鑫，負責項目需求確認、方案設計、資源協調、生命周期管理肖波，負責項目方案設計、供電系統(tǒng)設計、監(jiān)控系統(tǒng)設計谷俊杰，負責供電系統(tǒng)設計任玉迎/劉廣志，負責項目制冷系統(tǒng)設計遲秀/牛占林，負責項目結構設計孫磊，負責采購相關工作王琛，負責實施、售后工作 浪潮負責本項目產品的設計、制造、測試、運輸、實施、交付網易 項目代表：王洪濤，負責項目產品設計確認，測試上海數據港 項目代表：徐力朝，負責項目產品設計確認、下單、APC產品議價、配合測試及實施、運維項目范圍階段起止時間工作描述輸出成果技術參數確認2013-7-292013-8-30在三方充分

26、溝通的基礎上，浪潮提出模塊的設計方案，包括模塊布局、并柜方式、空調配置、模塊尺寸、監(jiān)控系統(tǒng)設計以及開門形式等，上海數據港提供水冷空調的具體型號，通過浪潮、網易、上海數據港三方的共同確認，實現三方認可的最終方案經三方確認的浪潮模塊化數據中心v2.0方案浪潮模塊化數據中心技術規(guī)格書浪潮模塊化數據中心部件級BOM商務合同簽訂2013-8-102013-8-31浪潮和上海數據港共同確認模塊化產品的維保協議并在技術參數達成一致的前提下簽訂采購合同采購合同模塊化數據中心售后服務協議（或可體現在采購合同中）結構設計2013-8-132013-9-15機柜、空調、配電柜并柜設計，冷、熱通道結構設計，與網易、上海數據港進行確認模塊化數據中心結構設計文件部件采購2013-8-302013-10-20柜體并柜件、冷熱通道