數(shù)據(jù)中心運行的幾個坑

1、數(shù)據(jù)中心建設的幾個坑單位：中國移動北京公司日期：2014年7月2目錄我什么也不管，只要安全？我什么都不懂，可什么都敢答應？方法介紹DCIM的幾個建議IDC機房界面IDC機房標準3前言90年代，有位老師做了實驗，當水溫60度的時候，青蛙就從水中跳出來了。所以大家都這么說，但實際上可能不是這么回事。IDC又何嘗不是一個溫水煮青蛙的故事。成本（萬元/年）民營民營電信電信北京移動北京移動帶寬購買費468-409 網(wǎng)絡（按5年折舊）11025142271 電費36021771355 房租240-224 人工成本300301288 運維成本1080663 總成本147860725210 成本收入率74%8

2、4%84%總機架數(shù)200900560每機架網(wǎng)絡投資2.892.794.06 每機架電費（萬元.年）1.82.422.42 每機架房租1.2-0.40 每機架人工運維1.51.531.70 每機架收入10811.09 每機架平均成本7.396.759.30 每機架毛利2.611.251.78 凈利率20%12%12%2009年數(shù)據(jù)，當時只有560個銷售機架，目前已經(jīng)有了6000多，5年成長了10倍以上4我什么都不懂，可什么都敢答應-小坑IDC到底掙錢不掙錢？是每個領導都要問的問題，所以需要大量的成本核算工作。5我什么都不懂，可什么都敢答應-小坑IDC機房是作為產(chǎn)品銷售的，在一個充分競爭的市場，銷

3、售人員為了完成銷售指標，以滿足客戶需求為宗旨，答應了客戶各種合理或者不合理的要求。比如：1、機房溫度24度。冷熱通道的機房怎么解決？2、72小時柴油后備。上哪放那么大的油庫？安全合規(guī)嗎？3、全雙路供電，雙總線，還能提供直流供電。配電結(jié)構(gòu)一下復雜了？4、高密機柜要求水冷空調(diào)具有不間斷制冷能力。水泵配UPS，配得起嗎？再說就這么幾個高密，值嗎？5、外電不中斷。柴油發(fā)電機應急演練怎么辦？6、3路外電，一路都不能少。當初誰告訴他的呀？。接待室、會議室、庫房、停車位、電力施工。最核心的問題：還沒當過乙方，還不會當乙方。態(tài)度生硬客戶跑了，一味從了的話，后臺支撐不了。6我什么都不懂，可什么都敢答應7我什么都

4、不懂，可什么都敢答應8我什么都不懂，可什么都敢答應9我什么都不懂，可什么都敢答應-小坑10我什么都不懂，可什么都敢答應-小坑能耗能耗密度密度kw/架架11我什么都不懂，可什么都敢答應-大坑CAPEX：CAPITION EXPENSE 一般只資金、固定資產(chǎn)的投入。對數(shù)據(jù)中心來說，可以簡單理解為拿地、建樓、購買機房內(nèi)一切基礎設施及IT設備的一次性投資OPEX：OPREATING EXPENSE 既運營成本，可以理解為每年為了維持數(shù)據(jù)中心運營的費用性支出，如電費、柴油、人力、維保等等，當然還有折舊。IDC機房的建設基本上是拿地、地勘、報建、咨詢、建設設計、機房設計、IT設計等等。但是這事正好干反了，

5、因為IDC我們還不知道用戶是誰，他的主要功率密度，什么IT設備，所以，方案的靈活性要求很高，但是。12我什么也不管，只要安全？運維部門的KPI全年無重大故障，不影響業(yè)務能耗降低計劃部門考核要求：投資完成比建設部門考核要求：是否按時交資“考核什么，就得到什么”考核的是安全，收支兩條線，掙多少錢和維護的無關，有關的只有安全建設成本和維護無關13我什么也不管，只要安全？每臺機柜占純機房面積約為2.5M2，TIERIII標準純機房面積和總建筑面積比例約為1:3，比如3000臺IT機柜的機房面積約為7500M2，總建筑面積約為22500M2，如IT機房滅火方式為氣體滅火（根據(jù)氣體滅火設計規(guī)格要求每個防護

6、區(qū)最大容積不宜大于3600M3）IT機房模塊約為15個，每個IT模塊約為為500+120M2（精密空調(diào)面積）；總建筑面積約為22500M2包括7500M2的IT模塊機房，高壓配電室、電力控制室、柴油發(fā)電機房、雨淋閥組間、冷凍站、消防控制室、電信介入間、氣體鋼瓶間、變電所及UPS室、電池間、網(wǎng)絡核心間等。目前移動公司的水平，10個平米出一個機柜。民營的可以做到5平米一個機柜。14我什么也不管，只要安全？計算PUE，需要在如圖2所示的數(shù)據(jù)中心的供配電系統(tǒng)示意圖中，測量數(shù)據(jù)中心總耗電及IT設備耗電，具體測量點如下：1)數(shù)據(jù)中心總耗電在正常情況下，數(shù)據(jù)中心的電能由市電提供，測量點應取市電輸入變壓器之前

7、，即圖2中的M1點。當市電故障情況下，柴油發(fā)電機產(chǎn)生的電力（圖2中的M2點）作為數(shù)據(jù)中心總耗電的測量點。如果是多用途機房樓，數(shù)據(jù)中心總耗電計算中，需減去在M4點測量的辦公等其它耗電。2)IT設備耗電嚴格來說，IT設備耗電應該在各IT設備輸入電源處測量耗電量并進行加總，但由于IT設備數(shù)量較多，這一方法將大大增加測量工作量和成本。因此，在實際操作中，可在各路UPS輸出或者列頭柜配電輸入處進行測量后，將測量值加總作為IT設備耗電。每一路供電的IT設備測量點即圖2中的M3點。15我什么也不管，只要安全？能耗指標的數(shù)值受各種因素的影響，會隨季節(jié)、節(jié)假日和每天忙閑時段的改變發(fā)生變化，因此為全面、準確了解數(shù)

8、據(jù)中心的能效，應采用固定測量儀表，對數(shù)據(jù)中心能耗進行持續(xù)、長期的測量和記錄。若數(shù)據(jù)中心未安裝固定測量設備，可采用鉗形功率計等設備測量數(shù)據(jù)中心及IT設備等的短時用電量。測量的周期和頻率如下：(A) 每次測量不小于一小時；(B)每天測量不少于2次，在業(yè)務忙時和閑時進行測量；(C)每月不少于3天，可在5日、15日、25日進行測量。數(shù)據(jù)中心應根據(jù)連續(xù)或多次短時累計的數(shù)據(jù)中心總耗電、IT設備耗電等測量值（單位為KWH）來計算PUE等能效指標。如無特殊說明，數(shù)據(jù)中心的PUE、PPUE、CLF、PLF和RER等能效指標，是指采用固定測量儀表，在指定測量點測量并記錄至少一年的數(shù)據(jù)。數(shù)據(jù)中心如果選擇公布季度、月

9、份、周、天或小時發(fā)布能效數(shù)據(jù)，應對其能效周期加以說明。其中季度可按照春季（3月5月）、夏季（6月8月）、秋季（9月11月）、冬季（12月2月）劃分。16我什么也不管，只要安全？n機柜密度：3KW/RACK ，功率密度：1.26KW/M2 1.65KW/M2， PUE1.6-1.8n平面布局：面對面，背靠背；冷通道1200MM，熱通道為1200MM 封閉冷通道，通過熱通道自然回風；n氣流組織: 風冷DX型空調(diào)與主設備機柜放置在同一房間內(nèi)，若單獨隔開，則需要額外1525的空間（冷凍水或水冷卻型需要單獨隔開）；采用下送風，上回風設計；送風距離小于1520M時可以采用單排送風，送風距離大于1520M時

10、，要采用雙排送風設計n地板高度: 500-600MM，機柜上方高度1000MM左右，n走線方式：強電、弱電線槽均采用機柜上走線方式；n機柜內(nèi)氣流：前進后出，服務器、交換機等設備間做盲板隔離，防止熱風回流；n冷通道送風溫度：18度-24度（在允許情況下盡可能提高送風溫度），n送風濕度：24攝氏度時,相對濕度為35%-60%；18攝氏度時，相對濕度為45%-80%之間；n機房專用空調(diào)類型：冷凍水型、乙二醇干冷器水冷型、DX直接蒸發(fā)風冷型；均可以使用自然冷卻技術，節(jié)能效果比較好的是冷凍水系統(tǒng)配板換自然冷卻技術，和乙二醇干冷器水冷型雙盤管自然冷卻技術；n供電設計：雙總線供電設計或矩陣式多總線供電設計（

11、3路或4路交錯供電）17按照UPTIME INSTITUTE（正常運行時間研究所）的標準分為4類 TIER 1:簡單的非冗余建筑構(gòu)件 IT的簡單非冗余分配網(wǎng)絡TIER 2: 冗余建筑構(gòu)件IT的簡單非冗余分配網(wǎng)絡TIER 3:冗余建筑構(gòu)件多分配網(wǎng)絡(任何時候每臺服務器都只有一個分配網(wǎng)絡)TIER 4:冗余建筑構(gòu)件多分配網(wǎng)絡(每臺服務器同時有多個分配網(wǎng)絡)IDC機房標準18IDC機房標準19DCIM真的管用嗎？UMG現(xiàn)場采集結(jié)構(gòu)圖現(xiàn)場采集結(jié)構(gòu)圖 各級各級智能智能 配電配電柜柜 UPSUPS CRAHCRAH 水浸 煙感 門磁 紅外 采集器采集器 PDUPDU 電池組電池組 油機油機 開關開關電源電

12、源 電池電池監(jiān)測監(jiān)測儀儀 各級非各級非智智 能配電能配電柜柜 智能智能電量電量儀儀 非智能非智能 設備設備 變變送送器器 環(huán)境傳感器環(huán)境傳感器 服務器服務器 網(wǎng)絡、網(wǎng)絡、 存儲存儲 設備設備 KVM IQ 串口轉(zhuǎn)接頭 SP端口 ITIT基礎設施基礎設施 智能動力基礎設施智能動力基礎設施 非智能動力基礎設施非智能動力基礎設施 Modbus IPModbus IP SNMP SNMP BACnet BACnet Velocity Velocity BACnetBACnet Rs485Rs485 Rs485Rs485 IOIO IPMIIPMI SSHSSHTelnetTelnet Modbus I

13、PModbus IP SNMP SNMP UMGUMG通用管理網(wǎng)關通用管理網(wǎng)關 數(shù)字溫濕度 數(shù)字漏水 檢測儀 20電源分配單元PDU測定連接設備的能耗部分也可以測量溫度和濕度通過分析 - 找出節(jié)能點潛力 - 更高的服務器負荷開/關 不用的設備 (通過 IP 或者 SNMP)DCIM的幾個建議211、貴；2、水土不服；3、怎么升級；4、如何完善。DCIM的幾個建議1、構(gòu)架；2、人員；3、操作VDI3922中規(guī)定的能源審計方法學能源審計能源審計/ 定義測測量量1. 1. 能源審計的方案能源審計的方案建立建立聯(lián)聯(lián)系系報報價和價和簽約簽約了解了解現(xiàn)現(xiàn)狀狀展示和展示和評評價價現(xiàn)現(xiàn)狀狀數(shù)據(jù)材料充分數(shù)據(jù)材料

14、充分嗎嗎？合理利用能源合理利用能源的措施的措施開開發(fā)總發(fā)總體方案體方案 實實施和施和 成果成果監(jiān)監(jiān)控控 匯報匯報和和 咨咨詢報詢報告告 評評估和估和 措施措施篩選篩選 確定審計的范圍2. 2. 組織和組織和規(guī)規(guī)劃劃能源能源審計審計/能源審計的流程范圍窄寬 精度粗細目的闡述建議 能源審計的劃分2. 2. 組織和組織和規(guī)劃規(guī)劃能源審計能源審計/能源審計的流程范圍 檢查模型檢查模型 分析模型分析模型 針對系統(tǒng)的 能源審計 初步初步審計審計 逐點逐點審計審計預備預備性能源性能源審計審計 針對針對性能源性能源審計審計綜綜合性能源合性能源審計審計精確度 初步能源審計能源消費結(jié)構(gòu)不復雜的情況下大部分實際情況

15、和措施事先都已經(jīng)明了 準備性能源審計（初步審計）準備性能源審計（初步審計） 對于大型企業(yè)或者建筑物經(jīng)常以項目組的形式進行逐條能源審計逐條能源審計（選擇性審計）（選擇性審計）未明確定義的審計領域或者工藝審計師可以自由選擇考查范圍針對性能源審計（目標性審計）針對性能源審計（目標性審計）由用戶規(guī)定考察的范圍某些范圍可以排除在外綜合性能源審計（全面審計）綜合性能源審計（全面審計）最精確的一種審計（涉及到所有相關領域） 開發(fā)所有可能的措施針對特定系統(tǒng)的能源審計針對特定系統(tǒng)的能源審計選出任務領域（比如壓縮空氣、電力驅(qū)動等）2. 2. 組織和組織和規(guī)劃規(guī)劃能源審計能源審計/能源審計的流程 能源審計的節(jié)點能源

16、審計能源審計/能源審計的流程2. 2. 組織和組織和規(guī)劃規(guī)劃管理系統(tǒng)管理系統(tǒng)能源審計能源審計 措施實施措施實施其他設施其他設施 培訓培訓能源消耗記錄能源消耗記錄能源管理能源管理環(huán)境管理環(huán)境管理自覺自覺意識意識形成的管理形成的管理有關員工自覺有關員工自覺意識意識的形的形成成無成本措施無成本措施低成本措施低成本措施高成本措施高成本措施框架條件框架條件環(huán)境活動環(huán)境活動質(zhì)量和安全標準質(zhì)量和安全標準典型的能源審計流程第一步 ：啟動活動收集相關的一般性信息第二步 ：現(xiàn)場考察獲得相關領域的概況第三步 ：收集和分析現(xiàn)有文件分析和移交現(xiàn)有的相關資料第四步 ：數(shù)據(jù)收集和測量收集并測量相關設備的數(shù)據(jù)第五步 ：對相關

17、領域進行約談收集和澄清相關領域的必要的信息第六步 ：對能源供應進行分析 分析現(xiàn)有的測量系統(tǒng)/能源結(jié)算單評估評估2. 2. 組織和組織和規(guī)劃規(guī)劃能源審計能源審計/能源審計的流程典型的能源審計流程第七步 ：措施開發(fā)節(jié)能措施的提出、規(guī)劃、可行性研究以及評估第八步 ：經(jīng)濟性分析對措施的經(jīng)濟行進行分析第九步 ：編寫審計報告編寫一份審計報告，包括措施以及經(jīng)濟性分析第十步 ：展示能源審計結(jié)果向企業(yè)展示和匯報審計結(jié)果并融合企業(yè)的意見報告報告確定措施確定措施2. 2. 組織和組織和規(guī)劃規(guī)劃能源審計能源審計/能源審計的流程審計報告審計報告確定措施確定措施的的清單清單羅列所有措施，包括能源、經(jīng)濟和生態(tài)評價等企業(yè)的企

18、業(yè)的基本數(shù)據(jù)基本數(shù)據(jù)能源價格能耗、生產(chǎn)數(shù)據(jù)、參照標準能量流、能量平衡相關的能源用戶確定的措施確定的措施現(xiàn)狀描述展示優(yōu)化措施能源評價經(jīng)濟性評價生態(tài)評價所有措施的清單措施建議措施建議根據(jù)規(guī)定的標準對措施進行排序?qū)嵤┐胧┙M合的建議2. 2. 組織和組織和規(guī)劃規(guī)劃能源審計能源審計/能源審計的流程確定審計的目標和范圍確定觀察確定觀察界限界限選擇所包括的設備和能源方面，以及考察的詳細程度確定審計目標確定審計目標選擇考察的領域（全面審計/專項審計）審計的范圍審計的范圍提出為達到審計目的所必需的時間和人力成本審計標準審計標準提出測量審計時應遵循的標準，詳細程度確定確定框架框架條件條件定義公開的邊界條件（如能

19、源價格）定義影響的程度（比如生產(chǎn)目標，停產(chǎn)等）能源審計能源審計/能源審計的流程2. 2. 組織和組織和規(guī)劃規(guī)劃確定審計的目標 全面審計全面審計 考察所有和能源有關的領域（通用技術和工藝技術），比如建筑物能源證明企業(yè)的能源審計二氧化碳審計 專項審計專項審計 考察一個企業(yè)內(nèi)部的單個領域（通用技術或者工藝技術），比如壓縮空氣審計電力驅(qū)動熱量圖能源審計能源審計/能源審計的流程通用通用技技術術： ：用途不僅僅局限在一個行業(yè)/部門的技術工工藝藝技技術術： ：在各自行業(yè)內(nèi)應用的不同的生產(chǎn)工藝2. 2. 組織和組織和規(guī)劃規(guī)劃全面審計專項審計壓縮空氣 電力驅(qū)動 照明 熱能生產(chǎn)資源規(guī)劃/結(jié)構(gòu)和流程組織規(guī)劃確定為實

20、現(xiàn)目標所需的資金和確定為實現(xiàn)目標所需的資金和物資物資 實現(xiàn)各個工作步驟各需要幾天時間？需要哪些物資（軟件/硬件）？人員人員規(guī)劃規(guī)劃是否需要些外部專家？（比如進行測量和模擬等）根據(jù)專業(yè)能力和個人能力選擇審計團隊；審計師的中立性規(guī)劃規(guī)劃組織構(gòu)成組織構(gòu)成各項活動的責任規(guī)劃規(guī)劃日程組織規(guī)劃日程組織需要進行的工作步驟的規(guī)劃能源審計能源審計/能源審計的流程2. 2. 組織和組織和規(guī)劃規(guī)劃能源審計能源審計/能源審計的流程典型的能源審計項目規(guī)劃2. 2. 組織和組織和規(guī)劃規(guī)劃日期和日期和時間時間準備準備 編寫必要的問卷 分發(fā)問卷 準備用戶數(shù)據(jù) 對獲得的數(shù)據(jù)進行評估考考察工廠察工廠 項目啟動會議 收集數(shù)據(jù)、進行

21、測量 對收集的數(shù)據(jù)進行評估 確定節(jié)能措施 項目思路的中期匯報制定措施，編寫報告制定措施，編寫報告 對收集的數(shù)據(jù)進行詳細分析 建立能量平衡和材料流 建立能量流和對標 制定節(jié)能措施 計算節(jié)能量和經(jīng)濟性分析文獻資料文獻資料 編寫中期報告 提交中期報告 客戶對中期報告進行評價提出意見 編寫最終報告 提交最終報告 準備匯報資料 進行最終結(jié)果匯報 結(jié)束考察典型的能源審計規(guī)劃能源審計能源審計/能源審計的流程活動建筑物工廠天數(shù)天數(shù)數(shù)據(jù)收集13數(shù)據(jù)評估13節(jié)能項目分析25編寫報告12編寫匯報材料0.81.3匯報0.20.22. 2. 組織和組織和規(guī)劃規(guī)劃典型的根據(jù)領域 /活動進行安排的物資、人員和職責規(guī)劃能源審

22、計能源審計/能源審計的流程領域/活動物資人員/職責分工能源中心煙氣分析專家A工藝A熱敏照相機 專家A,B工藝B-專家C壓縮空氣電流卡鉗專家B污水處理設備-專家C編寫報告電腦專家A,B,C準備匯報材料電腦專家A,B,C匯報電腦/投影儀專家A,B,C2. 2. 組織和組織和規(guī)劃規(guī)劃根據(jù)審計目標制定詳細的審計內(nèi)容規(guī)劃需要哪些程序？工作步驟、模擬、測量編寫問卷提前收集相關領域的數(shù)據(jù)編寫審計的檢查清單審計過程的檢查清單能源審計能源審計/能源審計的流程檢查檢查清清單單現(xiàn)有哪些與能源相關的設備在運行？現(xiàn)場采用了哪些與能源相關的工藝？現(xiàn)場與能源相關的設備是如何相互連接的？利用哪些參數(shù)確定單體設備的能耗？有否主

23、體設備/工藝的能量平衡？2. 2. 組織和組織和規(guī)劃規(guī)劃典型的建筑物檢查清單何時建造？有多少層？總供熱面積是多少？存在哪些圖紙以及是否可供使用？外墻部分是如何構(gòu)建的？尺寸多大？安裝有哪種門窗，有多少？是否有相鄰建筑？建筑物內(nèi)是否有不同的溫度區(qū)間？熱水和室內(nèi)供暖是如何提供的？熱水和室內(nèi)供暖是如何分配的？熱水和室內(nèi)供暖的主導溫度是多少？供熱管網(wǎng)的分配管道是否保溫絕熱？建筑物內(nèi)的自然/機械換氣（通風）率是多少？.能源審計能源審計/能源審計的流程2. 2. 組織和組織和規(guī)劃規(guī)劃能源審計能源審計/能源審計的流程典型的工業(yè)企業(yè)檢查清單企業(yè)何時建成？企業(yè)生產(chǎn)何種產(chǎn)品？年產(chǎn)量多大？企業(yè)在什么時間生產(chǎn)？企業(yè)廠生產(chǎn)采用了哪些工藝步驟？是否有計劃年度停產(chǎn)？有否特殊的安全技術設備？企業(yè)有多少職工？企業(yè)使用何種能源載體？每年各種能源載體的消耗量是多少？每種能源載體的價格是多少？各種能源載體的主要用戶是哪些？是否有主要耗能用戶的資料？企業(yè)自己是否按照不同的部門、 機器和驅(qū)動器等分類進行能耗測量？.2. 2. 組織和組織和規(guī)劃規(guī)劃3. 3. 審計的進行審計的進行介紹性會談（項目啟動會）審計成功的基礎審計的成功主要取決于現(xiàn)場的從業(yè)人員，因為他們擁有數(shù)據(jù)和經(jīng)驗介紹參加人員，確定負責范圍聯(lián)系人