朝陽教育城域網(wǎng)應用虛擬化建設項目深化設計方案1 .5-圖文

朝陽教育城域網(wǎng)應用虛擬化建設項目深化設計方案承建單位:北京北控電信通科技發(fā)展有限公司地址:北京市海淀區(qū)花園路13號院網(wǎng)商世紀商務樓3層電話:010-********日期:二零零九年九月目錄第一章設計方案(31.1項目概述(31.2設計目標(31.3設計原則(31.4總體方案設計概述(5第二章各子系統(tǒng)詳細設計方案(82.1.服務器系統(tǒng)的深化設計方案(82.1.1.IBM設備的升級(82.1.2.HP服務器的規(guī)劃設計(132.1.3.HP服務器安裝位置圖(132.1.4.刀片服務器結(jié)構(gòu)示意圖(152.2.存儲系統(tǒng)擴容實施計劃(162.2.1.擴容硬件安裝(192.2.2.新增DAE識別(222.2.3.新增光纖交換機接入SAN(222.2.4.新增存儲空間劃分(292.2.5.主機連接存儲(332.2.6.新增存儲空間的管理(332.2.7.存儲升級規(guī)劃(342.2.8.CX4-480擴容步驟(372.3.虛擬機系統(tǒng)的深化設計方案(392.3.1.ESX3.5升級方案(392.3.2.新服務器部署深化設計方案(412.4.接入網(wǎng)絡系統(tǒng)的深化設計(492.4.1.以太網(wǎng)10Gbps平滑接入(492.4.2.防火墻配置策略(50第三章培訓深化方案(513.1VMWARE培訓(513.1.1培訓目標(513.1.2培訓對象(513.1.3培訓規(guī)劃(513.1.4VMware培訓目錄(523.1.5服務器及存儲設備設備原廠操作培訓(54第一章設計方案1.1項目概述在朝陽區(qū)教委VMware服務器虛擬化項目實施過程中,細化實現(xiàn)步驟,以及使朝陽區(qū)教委相關項目人員對實際安裝、操作、維護VMware虛擬基礎架構(gòu)軟件有所了解。1.2設計目標本方案設計目標,可以歸納為如下五點:1、采用最成熟和完善的虛擬化技術,不片面追求性能和價格,以基礎架構(gòu)的高可用性和可靠性為重;2、應用業(yè)務數(shù)據(jù)集中存儲、集中備份,使用專業(yè)的數(shù)據(jù)備份恢復軟件,為隨時可能出現(xiàn)的災難做好數(shù)據(jù)恢復準備;3、數(shù)據(jù)庫服務器建議使用成熟穩(wěn)定的高性能服務器,并做好雙機實現(xiàn)的準備;4、搭建虛擬架構(gòu)的服務器使用較大的內(nèi)存和多核處理器;5、成本控制方面,建議選擇易于擴展的虛擬架構(gòu),做好按需擴展的準備;1.3設計原則對于整個系統(tǒng)的構(gòu)建,我們的理念是希望設計成一個具備以下特點的系統(tǒng):先進性方案中的各個部分應推薦符合當代信息技術發(fā)展形勢,既體現(xiàn)先進技術又比較成熟,并且是各個領域公認的領先產(chǎn)品。系統(tǒng)方案應滿足未來各種應用系統(tǒng)對存儲備份中心的要求,提供統(tǒng)一平臺的服務;對平臺軟件選擇必須具備先進性,以及提供針對各種已有數(shù)據(jù)源的接口支持。高度可用隨著未來更多系統(tǒng)的廣泛使用,存儲備份中心需要提供更高級別的穩(wěn)定服務,并具備當異?；驗碾y發(fā)生時的快速恢復機制。系統(tǒng)穩(wěn)定性和可靠性直接關系到網(wǎng)管系統(tǒng)應用能否正常運行。因此在系統(tǒng)設計中,高可靠性至關重要。高度可擴展整個數(shù)據(jù)中心系統(tǒng)應當具備極強的靈活性。為了適應整個應用的未來變化,現(xiàn)在搭建的IT基礎架構(gòu)。必須具備高可擴展性和靈活的資源調(diào)配。包括虛擬計算資源、協(xié)同計算、虛擬存儲池、數(shù)據(jù)生命周期管理、數(shù)據(jù)歸檔、存儲系統(tǒng)管理、系統(tǒng)容災等一系列的技術實現(xiàn)方式,為適應未來應用開發(fā)和擴展,奠定堅實的基礎。完善的數(shù)據(jù)保護機制通過信息生命周期戰(zhàn)略,將數(shù)據(jù)進行分層存儲和保護,可以將特別重要的數(shù)據(jù)存儲在一級光纖存儲陣列上,將次重要的數(shù)據(jù)和過期的數(shù)據(jù)存儲到二級SATA存儲設備上,這樣不僅可以提高主存儲系統(tǒng)的性能和利用率,也降低了總體的投資成本。數(shù)據(jù)安全性在數(shù)據(jù)保密、安全措施上采取較縝密的權(quán)限與加密管理,以保證系統(tǒng)和數(shù)據(jù)的安全。平滑過渡系統(tǒng)的建設是逐步完善的過程,本次系統(tǒng)的建設應保障相關各系統(tǒng)的穩(wěn)定,在工程割接時平滑過渡,不應影響到最終客戶的使用。易于管理建立一套易于管理的IT基礎架構(gòu),用戶可以通過一個終端管理整個數(shù)據(jù)中心的所有IT資源,及時發(fā)現(xiàn)計算機系統(tǒng)運行中的問題或者潛在的危險,使整個數(shù)據(jù)中心處于一個運行良好的狀態(tài)中。高性價比對于本系統(tǒng),雖然要使用先進的技術和產(chǎn)品來搭建底層的平臺,但我們要通過良好的設計和選擇為用戶降低投資成本,對于目前已有的建設,我們要盡量使其物盡其能,以降低整個系統(tǒng)的TCO(總體擁有成本。1.4總體方案設計概述目前中心機房所有功能網(wǎng)絡區(qū)塊直接接入核心層,核心層由兩臺CiscoCatalyst6509交換機組成。兩臺分別配置一塊SUP720-3B引擎、一塊4口萬兆接口(XENPAK插槽板、一塊24口千兆(SFP插槽接口板。萬兆接口用于核心互聯(lián),以及與大流量服務器區(qū)及關鍵服務器區(qū)核心設備互聯(lián);千兆接口用于滿足其它功能區(qū)上聯(lián)核心層。大流量服務器核心交換設備使用華為QuidwayS8512來擔當。利用本交換機配置的兩個萬兆接口,分別連接兩臺核心交換機,組成冗余萬兆主干,滿足本區(qū)數(shù)據(jù)傳輸需求;本交換機已配置48個10/100/1000Mbps接口,滿足本區(qū)服務器接入需求。關鍵服務器區(qū)核心交換設備使用CiscoCatalyst6506,通過兩個萬兆接口上聯(lián)核心層;并擴展防火墻模塊(FWSM,提供關鍵服務器區(qū)的網(wǎng)絡安全控制。本次項目對CiscoCatalyst6506進行改造,通過增加WS-X6708-10G-3C模塊滿足刀片服務器10Gbps的接入。同時本次項目還要對中心機房現(xiàn)有的4臺IBMX346,6臺IBMX3650和現(xiàn)有的4臺虛擬化系統(tǒng)的IBM3850M2ESX服務器進行硬件上的升級。同時4臺虛擬化系統(tǒng)的ESX服務器進行虛擬化軟件升級后,與新增刀片機BL680c作為本次虛擬化系統(tǒng)的一個集群。系統(tǒng)結(jié)構(gòu)如下圖所示:EMCCX-480CESXVMVMVMVMVMVirtualCenterClient圖形終端ESXVMVMVMVMVM刀片服務器系統(tǒng):為兩套刀片服務器系統(tǒng)。每套系統(tǒng)包括:12臺刀片服務器BL460c(每臺BL460c內(nèi)存為16GB;雙核類型為E5504的CPU;2*2.5"雙端口72GBSAS熱插拔硬盤,2臺刀片服務器BL680c(每臺BL680c內(nèi)存為32GB,四核類型為E7430的CPU,2*2.5"雙端口72GBSAS熱插拔硬盤。每套刀片服務器機箱上LAN網(wǎng)絡接口配備為:兩臺Cisco1/10GbE3125X交換機,每臺交換機上配有兩個Cisco10GBASE-CX4X2模塊。同時每套刀片機箱上配有兩塊連接SAN網(wǎng)絡的直通模塊。磁盤陣列系統(tǒng):通過對客戶的實際應用環(huán)境調(diào)研,朝陽信息中心在2008年虛擬化建設項目中采用了一臺EMCCX4-480,本次項目實施我們將對原有EMC設備存儲空間進行升級。我們將增加2個磁盤柜,每個磁盤柜中配15*300G的SAS盤。兩個磁盤柜通過RAID6后,使整體存儲達到7.3T的實際應用。在SAN網(wǎng)絡里,我們將增加兩臺DS-C9134AP-K9光纖交換機,每臺交換機將32個SFP端口全部激活,同時還要激活1個10Gbps的端口。兩臺DS-C9134AP-K9分別連接到EMCCX4-480的兩個通道中,達到冗余的連接方式。以太網(wǎng)絡的連接系統(tǒng):信息中心原服務器網(wǎng)絡接入設備為一臺WS-C6506,此次項目對接入交換機進行升級。我們將增配一塊WS-X6708-10G-3C接口板和四塊Cisco10GBASE-CX4X2模塊。虛擬機系統(tǒng):本次訂購的28臺HP刀片機作為本次虛擬化系統(tǒng)的ESX,刀片機安裝的是vSphere4.0。VCenter控制臺現(xiàn)在使用的是一臺IBMx346服務器,IP地址為58.132.8.80,即是VC也是LicenseServer。在VC里有兩個集群,同時管理著IBM3850M2和HP刀片服務器。整體的連接方式是這樣的:LAN網(wǎng)絡端:每套刀片服務器機箱C7000上配備兩臺Cisco3125X刀片式接入交換機,每臺Cisco3125X上配有兩塊Cisco10GBASE-CX4X2萬兆銅纜模塊;升級后的WS-C6506增加一塊8口WS-X6708-10G-3C萬兆接口板,同時接口板上也配有四塊Cisco10GBASE-CX4X2萬兆銅纜模塊。每臺刀片交換機上的萬兆接口通過15米的萬兆銅纜CAB-INF-26G-15連接到接入交換機WS-C6506的WS-X6708-10G-3C的接口板上,從而使服務器接入到中心網(wǎng)絡。如上圖所示。SAN網(wǎng)絡端:由于每臺刀片機上都配有一塊雙端口的HBA卡,所以每臺刀片機箱C7000上配有兩塊16端口4GbFCSAN直通模塊,通過多模光纖跳線,每臺刀片機箱C7000上的兩塊直通模塊分別連接不同的光纖交換機DS-C9134AP-K9,從而達到冗余的連接方式。由于EMCCX-480為雙驅(qū)動器,每個驅(qū)動器上有兩個4Gb/s光纖通道,每一個驅(qū)動器通過兩條多模光纖跳線分別連接不同的光纖交換機DS-C9134AP-K9,從而達到存儲的冗余連接鏈路。如上圖所示。同時,兩套服務器系統(tǒng)中每臺刀片服務器上都安裝配置VMware第四代虛擬架構(gòu)套件-VMWAREVSPHERE?4.0企業(yè)版軟件,用于在單個物理服務器實體上,利用HP服務器強大的處理能力,生成多個虛擬服務器,而每一個虛擬服務器,從功能、性能和操作方式上等同于傳統(tǒng)的單臺物理服務器,在每個虛擬服務器上,再安裝配置相關的Windows或Linux操作系統(tǒng),進而再安裝應用軟件,這樣以前的每個物理服務器就變身成為VMwarevSphere?4.0服務器上的虛擬機,從而大大提高資源利用率,降低成本,增強了系統(tǒng)和應用的可用性,提高系統(tǒng)的靈活性和快速響應,完美的實現(xiàn)了服務器虛擬架構(gòu)的整合。實際安裝中可以根據(jù)客戶服務器現(xiàn)有條件及運行狀況,充分利用原有服務器的資源,只要能達到與我們建議的服務器類似的容量、性能(如添加內(nèi)存等方式即可滿足作為ESXServer的要求。在具體實現(xiàn)中,為了實現(xiàn)數(shù)據(jù)的集中存儲、集中備份以及充分利用VMware虛擬架構(gòu)中虛擬機可動態(tài)在線從一臺物理服務器遷移到另一臺物理服務器上的特性等,我們已經(jīng)建議使用有冗余配置的光纖交換機標準的SAN集中存儲架構(gòu),由VMware虛擬架構(gòu)套件生產(chǎn)出來的虛擬機的封裝文件都存放在SAN存儲陣列上。通過共享的SAN存儲架構(gòu),可以最大化的發(fā)揮虛擬架構(gòu)的優(yōu)勢,進行在線地遷移正在運行的虛擬機(VMwareVMotion,進行動態(tài)的資源管理(VMwareDRS,和集中的基于虛擬機快照技術的LanFree的整合備份(VMwareVCB等,而且為以后的容災提供擴展性和打下基礎。為了集中管理和監(jiān)控虛擬機、實現(xiàn)自動化以及簡化資源調(diào)配,對物理服務器及其上的虛擬服務器進行統(tǒng)一的管理。仍然保持將VC布署在一臺獨立的物理服務器上,這樣可以保證VC的運行“不受當對虛擬化后的物理機器進行操作時的影響”。新升級后的虛擬機可以直接掛載到VC上,從而達到直接管理的目的。第二章各子系統(tǒng)詳細設計方案2.1.服務器系統(tǒng)的深化設計方案本次工程要對4臺IBMX346服務器,6臺IBMX3650服務器和4臺IBM3850M2服務器進行升級。4臺IBMX346為閑置的服務器,目前沒有任何應用,現(xiàn)有配置也比較少。6臺IBMX3650服務器現(xiàn)在承擔著機房里的一些應用,主要是放在大流量服務器區(qū)和關鍵應用服務器區(qū)。4臺IBM3850M2服務器為信息中心現(xiàn)有的虛擬化系統(tǒng)的ESX服務器。朝陽教育城域網(wǎng)應用虛擬化建設項目深化設計方案北控電信通科技發(fā)展有限公司升級前各服務器的狀態(tài)如下:-9-朝陽教育城域網(wǎng)應用虛擬化建設項目深化設計方案北控電信通科技發(fā)展有限公司本次工程要對上述的14臺服務器進行升級:根據(jù)現(xiàn)場探勘需要升級的4臺閑置的IBMX346服務器升級的內(nèi)容比較多,需要每臺機器都要增加CPU,7KRAID控制器,2*1G內(nèi)存和46GSCSI硬盤。4臺閑置的IBMX346服務器每臺都有1顆3.2GHZ的CPU,需要升級后的服務器每臺要包含兩顆CPU。投標時購買的CPU為3.0GHZ,則升級時需要將4臺閑置的IBMX346服務器的3.2GHZ的CPU合并。最終升級后4臺IBMX346服務器其中兩臺(產(chǎn)品序列號為:99AVEKL和99AVLZX為雙3.2GHZCPU的服務器(0621/0698為1組,0113/0788為1組,兩臺(產(chǎn)品序列號為:99AVEMA和99AVBTW為雙3.0GHZCPU的服務器(0460/0283為1組,0351/0085為1組。序列號為99AVLZX和99AVBTW的服務器升級后為5塊146G的SAS盤,其余的兩臺為6塊146G的SAS盤。所有的服務器升級后都有7KServerRAID。升級后的服務器安裝放置在第PC3-4號機柜中,目前尚沒有任何應用,沒有連接到中心機房的局域網(wǎng)中。升級后的服務器安裝微軟操作系統(tǒng),進行系統(tǒng)和硬件的穩(wěn)定化測試。(具體配置見下附表6臺IBMX3650服務器現(xiàn)在承擔著機房里的一些應用,主要是放在大流量服務器區(qū)和關鍵應用服務器區(qū)。本次升級對IBMX3650進行內(nèi)存、硬盤的升級。由于現(xiàn)有數(shù)據(jù)量比較大,升級后硬盤肯定由原有的RAID1變換成RAID5分區(qū),這樣勢必會造成數(shù)據(jù)的丟失。為了保證數(shù)據(jù)的完整和安全性,我們對其中4臺機器(37-6,37-7,31-1,31-2只對升級后的硬盤做RAID,原有的硬盤數(shù)據(jù)不變。而對另2臺機器(39-6,35-5采取重要數(shù)據(jù)備份以后新舊硬盤重新整合做RAID。待升級機器加電測試通過后,再將數(shù)據(jù)回遷。4臺IBM3850M2服務器為信息中心現(xiàn)有的虛擬化系統(tǒng)的ESX服務器。本次升級只對服務器的內(nèi)存進行升級。在升級之前將待升級的服務器上的應用Vmotion到下一臺ESX服務器上,待升級完畢,加電測試成功后,再將應用Vmotion回來。升級后的產(chǎn)品將由原有的虛擬化系統(tǒng)中劃分出來,規(guī)劃到本次虛擬化系統(tǒng)集群系統(tǒng)中,形成新的HA系統(tǒng)。升級后各服務器的狀態(tài)如下:-11-根據(jù)對現(xiàn)場機房環(huán)境的調(diào)研,以及甲方對設備環(huán)境的要求,做出如下機柜結(jié)構(gòu)設計:1.升級后的4臺IBMX346(2U/臺服務器布置在PC3-4號機柜中,與原有的2臺IBMX366(4U/臺服務器在同一機柜中,4臺IBMX346(2U/臺服務器分別排34-1至34-4號位置,1個KVM液晶套件(1U/臺。服務器之間有1U的差,以便區(qū)別。3.原則上,為了通風散熱考慮,每臺設備之間留1U的空隙。由機柜距底10公分處開始安裝機器。4.機柜分布示意圖如下機機34圖1:機柜結(jié)構(gòu)示意圖經(jīng)現(xiàn)場測量HP刀片機機箱的尺寸比第二排機柜的規(guī)格尺寸大,所以新到服務器只能安裝在機房第三排或第四排的黑色機柜中,經(jīng)現(xiàn)場勘查,第PC3-3號機柜和第PC3-8號機柜安裝刀片的條件是最合適的。所以我們建議將PC3-3號機柜中的4臺服務器遷移到PC2-2號機柜中;將PC3-8號機柜中原有設備上移。每套刀片安裝時距底部20公分,這樣有利于機器的散熱。2.1.根據(jù)對現(xiàn)場機房環(huán)境的調(diào)研,以及甲方對設備環(huán)境的要求,做出如下機柜結(jié)構(gòu)設計:1.將PC3-3號機柜中的設備移到PC2-2號機柜中。機機機機21機機機機機PC3-3機機機機機機機機機PC2-2機機機機2.兩套刀片服務器分別布置在機房第PC3-3、PC3-8號兩臺42U機柜里面。3.第PC3-3號機柜布置一套HP刀片服務器,兩臺CISCO光纖交換機MDS9134。4.第38號機柜布置一套HP刀片服務器,將機柜中原有的虛擬備份設備和網(wǎng)絡設備向上移動,新的HP服務器和原有設備之間3個U來區(qū)分。5.為了通風散熱考慮,刀片服務器布置離機柜底座20公分處高。6.機柜PC3-3和機柜PC3-8中的刀片服務器都是為虛擬化擴容用途;其中升級后的3850M2(7141QXE作為本項目所涉及的虛擬化平臺服務器群成員。7.機柜分布示意圖如下:圖3:機柜結(jié)構(gòu)示意圖2.1.4.刀片服務器結(jié)構(gòu)示意圖刀片機前面板圖:刀片機后面版圖2.2.存儲系統(tǒng)擴容實施計劃朝陽教育信息中心原有存儲CX4-480,硬盤總數(shù)為46塊,其中400GB光纖硬盤有6塊,1TBSATAⅡ硬盤有40塊。本次擴容30塊300GB15K光纖硬盤,并且以RAID6的方式為新ESXServer提供存儲空間?，F(xiàn)有系統(tǒng)概況:HPDL680G5刀片機HPC7000刀片機箱電源模塊HPDL460G6刀片機刀片機電源指示燈SAS300GFC磁盤HPC7000風扇CISCO3125forHP刀片交換機HPC7000HBA卡直通模塊HP刀片機管理模塊HPC7000電源HPC7000HBA卡直通模塊CISCO3125forHP刀片交換機現(xiàn)在SAN網(wǎng)絡拓撲:升級前的中心機房SAN網(wǎng)絡工作環(huán)境包括:虛擬化網(wǎng)絡服務器端原有6臺IBMX3850M2作為前期虛擬化系統(tǒng)的ESX主機,名稱為CHY-ESX1至CHY-ESX6。SAN網(wǎng)絡包括兩臺EMCDS5000B光纖交換機,6臺ESX主機通過多模光纖分別與兩臺光纖交換機EMCDS5000B相連。兩臺光纖交換機EMCDS5000B通過四條多模光纖分別與EMCCX-480的兩個主機頭SPA0,SPA1,SPB0,SPB1相連,達到冗余的鏈路。擴容后SAN網(wǎng)絡拓撲:中心機房升級后的SAN網(wǎng)絡工作環(huán)境增加了28臺HP刀片服務器(其中四臺HPBL680G5和二十四臺BL460G6作為本次虛擬化系統(tǒng)的ESX主機,名稱為CHY-ESX7至CHY-ESX34。SAN網(wǎng)絡增加了包括兩臺CISCODS-C9134AP-K9光纖交換機,命名為MDS9134-1和MDS9134-2。這28臺刀片ESX主機通過多模光纖分別與兩臺光纖交換機DS-C9134AP-K9相連。MDS9134-1光纖交換機第9端口與第25端口分別與CX-480的SPA03,SPB03相連,MDS9134-21光纖交換機第9端口與第25端口分別與CX-480的SPA13,SPB13相連,達到冗余的鏈路。CX4-480體系結(jié)構(gòu)示意圖:CX4-480后端連接示意圖:擴容后的CX4-480后端總線連接設計圖:原有存儲系統(tǒng)安裝了4個DAE,每個DAE占用了一條總線。每條總線上都運行著相應的業(yè)務,為了安全起見,我們這期工程只能在原有的總線方式上擴展新的DAE。新到的兩個光纖DAE連接到第3個DAE的擴展口上,走BUS2。根據(jù)后期計劃采購的設備,新進的3個SATADAE連接在其他總線上(BUS0,BUS1,BUS3;新進的4個FCDAE及未來將要擴充的FCDAE通過第6個DAE來擴展,獨自占用BUS2。CX4-480DAE前端結(jié)構(gòu)圖:CX4-480后端:每一個DAE上都有一個磁盤存儲模塊總線(環(huán)路,每一個磁盤存儲模塊總線都對應一個地址指示符,當加載操作系統(tǒng)時,存儲處理器將對總線ID進行初始化。存儲模塊(DAE地址在安裝時進行設置。磁盤模塊ID自左向右進行編號(以單元前面的視角為準,并且在整個存儲系統(tǒng)中是連續(xù)的:存儲磁盤柜0包含模塊0-14;存儲磁盤柜1包含模塊15-29;存儲磁盤柜2包含30-44等,因此新增的DAE上的磁盤存儲磁盤柜總線地址指示符必須修改,數(shù)值不能為0。用NST工具中的硬件添加向?qū)瓿尚略鲇布淖R別工作。2.2.前期EMC存儲系統(tǒng)包含了兩臺EMCDS5000B光纖交換機與CX4-480相連形成了SAN光纖網(wǎng)絡,這兩臺光纖交換機的管理IP地址都為10.77.77.77,本次項目新采購的光纖交換機的安裝在機柜PC3-3中,并連接CX4-480上的SP端口,以及新增的主機FC接口,光纖交換機分別命名為MDS9134-1和MDS9134-2,安裝位置如上述圖例。兩臺交換機的用戶名都為:admin,密碼為:!QAZ2wsx。為了便于管理和統(tǒng)一,MDS9134-1的管理IP地址為10.77.77.10,MDS9134-2的管理IP地址為10.77.77.11,與原有一期的EMC光纖交換機的管理地址劃分在同一個網(wǎng)段里,同時便于管理。光纖交換機的配置方法可以采用WEB圖形界面配置形式也可以同過命令行的方式進行配置。通過IE界面登陸到交換機的管理界面中,對相應的主機光纖和EMC存儲劃到一個ZONE里,創(chuàng)建一個NewZone,名稱和EMCDS5000B中的ZONE的名稱相統(tǒng)一,然后進行綁定。按照每個光纖卡的一個端口為一個zone的原則配置zoning。由于刀片服務器的HBA卡模塊為雙端口,所以每一組光纖直通模塊的端口對應在不同的交換機上,達到冗余的狀態(tài)。每一臺光纖交換機DS-C9134AP-K9激活1個10Gbps端口,兩臺光纖交換機通過多模萬兆光纖跳線級聯(lián)實現(xiàn)端口的最大化。SAN系統(tǒng)的線路圖如下:EMCCX-480C刀片服務器光纖直通模塊與光纖交換機對應列表關系如下:-24--25--26-刀片服務器光纖直通模塊與光纖交換機對應端口圖例:注:由于HPBL680c服務器尺寸為全高,其占用C7000第9、第10槽位,在9、10槽位HBA卡端口為空,故由第11槽位開始編號-27--28-通過IE瀏覽器,輸入EMCCX-480C原有管理IP地址192.168.0.60/61,進入NavispereManager登陸到管理界面。2.2.4.1.創(chuàng)建RAIDgrouppool首先在同一個RAID組中不能使用不同類型的磁盤(如:FCDRIVER和SATA不能混用在同一個RAID組中;其次,同一個磁盤陣列中可以混合使用不同類型的RAID組。在存儲系統(tǒng)名稱圖標上,點擊鼠標右鍵點擊鼠標右鍵,選擇createstoragePool如下圖在RAIDGroupParameters欄中選擇RAIDGroupID和RAIDGroup包含的磁盤數(shù)量,本次存儲設備新增30塊300G光纖盤,每一個DAE包含15塊光纖盤,共兩個DAE。因為采用RAID6方式劃分RAIDGroup,即12+2為一個RAIDGroup組,同時每個RAIDGroup還有一個HotSpare,所以每個DAE中包含可用的12塊光纖盤。將12塊盤為一個單位劃分為一個RAIDGroup,因此可用的24塊光纖盤劃分兩個RAIDGroup,即每個DAE對應一個RAIDGroup,分別命名為RAIDGroup5和RAIDGroup6。在”SupportedRAIDType”選擇RAID6單擊”Manual”進行手工選盤(如下示意圖所示,要將一個DAE的盤放入一個RAIDGroup中。將每個DAE中的磁盤應用到相應的的RAIDGroup中,最后點擊Apply。RAIDGroup就建立完成(如下示意圖所示。RAIDGroup實際配置情況如下2.2.7.1所描述。2.2.4.2.綁定Lun。每個lun在同一時間只能被一個SP管理。在存儲系統(tǒng)名字上點擊鼠標右鍵,選擇CREATELUN。在RAIDType欄中選擇RAID類型,這里我們選擇RAID6的方式,同時在StoragePoolfornewLUN欄中選擇新LUN所屬得RAIDGroup。同時保證EnableReadCache,EnableWritecache選擇筐被選中。根據(jù)NumberofLUNstoBind根據(jù)實際需要來選擇,這里選擇4。如下示意圖所示:選擇RAID6,選擇創(chuàng)建LUN大小和數(shù)量選擇SPA或SPB2.2.4.3.配置HotSpare(熱備盤將每個DAE的最后一個盤作為熱備盤,劃為單獨的一個RadiGroup。在”bindLun”的過程中,將”RAIDType”選擇為”HotSpare”就可以。2.2.5.1.創(chuàng)建Storagegroup創(chuàng)建Storagegroup決定一個LUN能夠被哪些主機訪問。在存儲系統(tǒng)名稱上點擊鼠標右鍵,選擇CreateStorageGroup如下圖:選擇相應的主機和LUN,以建立兩者之間的約束關系。加入主機到storagegroup中,點擊StorageGroup前的+,在storagegroupname上點擊鼠標右鍵,選擇屬性,再選擇host標簽,具體實施步驟按照竣工實施文檔為準。LUN與主機的對應關系如2.2.7.2小節(jié)描述。EMC陣列兼容不同RAID類型,即原有40塊SATA盤的RAID5與新建30塊FC盤RAID6在NaviManager管理界面中統(tǒng)一管理。EMCCX4-480,通過SPA/SPB的兩個網(wǎng)絡管理端口,進行管理。新接的2個磁盤柜,統(tǒng)一通過NaviManager管理界面進行管理。所以新接磁盤柜的數(shù)據(jù)訪問,通過CX4-480的控制器SPA/SPB統(tǒng)一進行訪問控制。當ESX4Server重新啟動或重新掃描主機總線適配器時,系統(tǒng)將會自動注冊CLARiiON存儲系統(tǒng)。原有EMC設備沒有購買POWERPATH軟件,所以在我們用到VMWare軟件自己的光纖鏈路管理功能。VMware光纖鏈路管理與PowerPath的區(qū)別是前者同時只有兩條鏈路是Active的,如果現(xiàn)有的Active鏈路出現(xiàn)故障,則啟用另外兩條鏈路,而后者是四條鏈路都是Active的?；谀壳暗腅MCCX4-480存儲空間不足的情況,在此次虛擬化項目上,朝陽區(qū)教委又新購了30塊300G容量的光纖盤,用于存儲空間的擴容。為了達到最佳的使用效果,考慮到數(shù)據(jù)保護以及空間分配等因素,采用以下方案進行規(guī)劃存儲空間。新采購的30塊光纖盤,在RAID規(guī)劃上,我們采用RAID6方式,EMC實現(xiàn)上闡述如下:從數(shù)據(jù)安全性上考慮,建議配置二塊熱備盤。因為RAID6每一個RAID組需要二塊盤做校驗,盤數(shù)只能是偶數(shù),而且最多只支持16塊盤。同是每個RAIDGroup組需要兩塊奇偶校驗盤,即12+2一個RAIDGroup組,一個HotSpare。綜合上述考慮,所以決定將可用的24塊盤做成2個RAIDGroup組。在命名規(guī)則上,延用之前RAID組的命名,新建的RAID組分別為RAIDGroup5和RAIDGroup6,詳細見下圖所示:在邏輯卷劃分方面,建議采用單個LUN最大配置,即2TB。做完RAID6以后,這兩個RAIDGroup組可用空間各為3.2TB。在LUN的劃分上,每個RAID組分為兩個LUN,一個容量為2TB,另一個容量為1.2TB。每一個LUN的可用空間為實際容量減去512B,可忽略不計的。同RAID組的命名規(guī)則一樣,新建的4個LUN的命名為FCstorage8,FCstorage9,FCstorage10,FCstorage11。這4個LUN注冊給四臺BL680G5和六臺IBMX3850M2,供這些高性能的服務器使用使用。LUN劃分狀況如下:,對于數(shù)據(jù)的規(guī)劃,將之前存儲在SATA盤中高IO的虛擬機數(shù)據(jù)遷移到FC盤的中存儲運行,充分發(fā)揮FC盤的性能,以保證虛擬機的性能,本次高性能的四臺BL680G5和六臺IBM3850M2數(shù)據(jù)存儲在新到的FC盤上。對于應用數(shù)據(jù)穩(wěn)定,資源比較穩(wěn)定的虛擬機的數(shù)據(jù),二十四臺BL460G6對于數(shù)據(jù)的要求略低的我們建議存儲在前期采購的SATA盤中存儲。由于之前的6臺IBMX3850M2主機的命名為chy-esx1~6,所以新建的28臺刀片的命名延續(xù)之前的命名規(guī)則,即從chy-esx7~34。其中chy-esx7~10為BL680G4,chy-esx11~34為BL460G6。由于FC存儲的空間有限,而高性能的四臺BL680G5和六臺IBM3850M2所能提供的虛擬機數(shù)量又比較多。為了降低存儲的壓力,于ESX與存儲的連接方案為,十臺高性能的ESX服務器對所有的LUN都可訪問,而二十四臺BL460G6僅可訪問原有的STAT存儲空間。ESX主機對存儲LUN的訪問表如下:由于這次采購的刀片服務器有兩個型號,其中四臺為四顆四核CPU,32G內(nèi)存的DL680G5,另外二十四臺為兩顆四核CPU,16G內(nèi)存的DL460G6刀片。在規(guī)劃時,單獨將四臺配置較高的刀片服務器以及升級后的IBM3850M2ESXServers劃在一個集群里,以供對性能要求高的虛擬機使用,其余的二十四臺DL460G6劃分在另一個集群中。2.3.虛擬機系統(tǒng)的深化設計方案本方案主要涉及功能方面的重點內(nèi)容,包括:虛擬基礎架構(gòu)系統(tǒng)管理、安全、部署以及VMotion、HA、DRS、FT等功能。除此之外,還要對現(xiàn)在的ESX3.5升級到最新版本的vSphere4.0。本次設計方案對朝陽區(qū)教委VMware服務器虛擬化項目實施過程中,細化實現(xiàn)步驟,以及使朝陽區(qū)教委相關項目人員對實際安裝、操作、維護VMware虛擬基礎架構(gòu)軟件有所了解。1:現(xiàn)有四臺IBMX3850M2服務器用作VMwareESXServer宿主機,配置分別為4*Intel7330CPU(2.4GHz,6ML2,4核;16G內(nèi)存;4*146GSAS硬盤(2.5寸,10000轉(zhuǎn);2*千兆以太網(wǎng);Combo光驅(qū);2*4GB光纖卡;雙電源。每臺ESX服務器都通過光纖通道連接到EMCCX480存儲上。2:這四臺ESX服務器安裝的是VI3.5的版本,由于后期要新上28臺刀片服務器,用作虛擬化平臺,這28臺服務器安裝的是vSphere4.0,為了把之前的四臺ESXServer與新增加的28臺服務器整合到一起,所以需要升級現(xiàn)有的四臺ESXServer3.5到VsphereEsx4.0。1:準備ESX4.0.ISO和VsphereVC4.0.ISO兩個安裝文件,并刻錄DVD光盤(文件>700M只能刻錄DVD光盤,準備VMware-converter-4.0.1客戶端遷移文件.VMwareConverter是一款能將物理電腦系統(tǒng)、VMware其他版本虛擬機鏡像或第三方虛擬機鏡像轉(zhuǎn)化為一個虛擬機映像文件的工具,而且生成的映像可以在該公司的VMware虛擬機軟件中使用。2:把現(xiàn)有的EMC與新增加的32ESXServer存儲接入到同一個SAN網(wǎng)絡中,并在存儲上注冊配置每一臺ESXServer,使存儲上的LUN,對每一臺主機都可見。3:利用VMotion,把要升級的ESXServer上的虛擬機遷移到其它ESX主機上,然后升級ESXServer.4:升級VMwareLicense,由于ESX3.5和ESX4.0認證許可不同,重新配置License。ESX3.5利用文件認證,ESX4.0是通過序列號認證。1:通過Vsphereclinet進入升級的主機,關閉所有虛擬機,將主機置于維護模式。2:在程序中打開Vmwarevspherehostupdareutility,在主機列表中選擇要升級的主機,如果沒有找到要升級的主機,需要添加升級的主機IP地址,選中升級的主機IP,點擊升級主機,輸入升級主機的管理員密碼和帳號,進行升級直到完成。3:升級完成后重新啟動服務器,啟動虛擬主機,并對每臺虛擬主機升級VMWARETOOS。測試服務器能正常使用。VirtualCenterServer4.0能管理ESXSERVER3.5及更低的版本,反之不行.所以在升級ESX后,要升級安裝VCenter4.0。需要注意的是LICENSE文件能通過LICENSESERVER下發(fā),否則不行,我們有兩個支持3.5的LICENSE文件,其中一個文件中有一個VC和兩個ESX的認證,另一個是單機的沒有聚合,前者行后者就不行,升級到4.0后都改為序列號,就可以統(tǒng)一管理了。VCenter,現(xiàn)在使用的是一臺IBMe346服務器,IP地址為192.168.8.80,即是VC也是LicenseServer.在VC里有兩個集群,同時管理著IBM3850M2和HP刀片服務器。利用VirtualCenter,通過一個單一的界面管理整個虛擬基礎架構(gòu)。利用清單面板,查看ESXServer主機和虛擬機的層級結(jié)構(gòu)。通過這一部分的實施,可以更好地理解如何對虛擬基礎架構(gòu)進行組織,從而實現(xiàn)更加便捷的管理。對于運行VirtualCenterManagementServer的Windows系統(tǒng),其系統(tǒng)管理員會自動獲得VirtualCenter的管理員權(quán)限。VirtualCenter管理員可以通過訪問ActiveDirectory或者域控制器,將權(quán)限授予其他用戶,還可以通過訪問本機的Windows用戶和組,將權(quán)限授予其他用戶。配置用戶權(quán)限的目的,是在于根據(jù)不同的用戶,制定不同的操作級別,以確保虛擬平臺的正常運行,防止誤操作等帶來的影響。由于在VCenter上的每一個操作對虛擬機的影響都很大,所以出于安全的考慮,要針對不同的用戶,分配不同的權(quán)限。在VCenter里分為管理員,虛擬機用戶數(shù)據(jù)存儲等用戶。比如:針對朝陽數(shù)據(jù)中心和管理員,分配給其數(shù)據(jù)中心的管理員權(quán)限,此權(quán)限可以針對虛擬機數(shù)據(jù)中心里所有的集群,以及ESX主機,虛擬機,都有最高的權(quán)限。而普通的虛擬機用戶,可以只分配給他只讀或虛擬機管理員權(quán)限,這樣,當虛擬機用戶通過vSphereClient登錄到VCenter后,只能看到得到授權(quán)的虛擬機。對于分配權(quán)限的用戶,可以使用VCenter的本地用戶,也可以使用域用戶.這兩種用戶在VCenter里都是普通用戶,只是提供身份認證所需的用戶名和密碼,而權(quán)限是靠在VCenter里的權(quán)限設置來授權(quán)。為了評估部署新服務器,并重新部署現(xiàn)有服務器的可能性,例如,在災難恢復的情況下。?創(chuàng)建虛擬機模板?從模板部署?克隆虛擬機?映像定制核心交換機CiscoCatalyst6506目前已有58.132.9.*和58.132.10.*兩個網(wǎng)段,所以ESXServer有跨網(wǎng)段的需求。刀片服務器ESXServer若按12:1的整合比來計算,目前四臺性能比較高的DL680C可以提供8臺虛擬機,另外二十四臺DL460C刀片服務器,可以提供288臺虛擬機,加上之前的6臺X3850M2可以提供的72臺虛擬機,總共可以提供408臺虛擬機,供業(yè)務部門使用。在網(wǎng)絡規(guī)劃方面,將二十四臺BL460cG6刀片服務器作為一個集群,四臺DL680G5和六臺IBM3850M2作為一個集群。其中二十四臺BL460cG6的集群中,每個刀片有兩塊網(wǎng)卡。關于虛擬機劃分VLan方面,所有VLan的劃分都是在物理交換機上來做。在虛擬交換機上,根據(jù)不同的VLan,創(chuàng)建不同的端口組,然后在端口組上指定VLan號,與物理交換機上的VLan對應?；谔摂M機跨網(wǎng)段的需求考慮,將BL460G6刀片機兩塊網(wǎng)卡的其中一塊網(wǎng)卡上連到Trank口,滿足跨VLan的要求。另外一塊網(wǎng)卡作為服務控制口和VMKernel用于虛擬機VMotion動態(tài)遷移遷移口。而針對于四塊網(wǎng)卡的BL680G5刀片服務器,,解決跨網(wǎng)段的方法是將第一塊網(wǎng)卡上連到Trank口,另外二個網(wǎng)卡進行綁定,做成Teaming的方式,進行與交換機的連接,實現(xiàn)網(wǎng)絡負載均衡,以及鏈路冗余。因為每臺服務器上連的交換機都是萬兆的交換機,所以基本上每臺ESXServer上的虛擬機,都能滿足網(wǎng)絡高IO的需求。為了保證高網(wǎng)絡IO虛擬機的需求,可以制定一條DRS策略,使相同高網(wǎng)絡IO需求的虛擬機,分散到不同的ESXServer上運行,以保障網(wǎng)絡高IO需求。考慮到某些虛擬機需要使用F5作網(wǎng)絡負載的要求,把4臺DL680G5刀片機剩下的一塊網(wǎng)卡連接到F5,把需要做網(wǎng)絡負載的虛擬機放在其上運行。DL680G4刀片機第一塊網(wǎng)卡:上連Trank口,滿足虛擬機跨VLAN需求。第二塊網(wǎng)卡:上連F5設備,滿足虛擬機網(wǎng)絡負載的需求。第三、四塊網(wǎng)卡:創(chuàng)建三個虛擬機端口組,第一個端口組分配給不路網(wǎng)段的虛擬機使用。每二個端口組為管理端口組,第三個端口組為VMKenel端口組,用于遷移網(wǎng)絡。由于平常管理端口組的網(wǎng)絡流量并不多,跟遷移網(wǎng)絡競爭網(wǎng)絡資源的機會很少。如果把這兩塊網(wǎng)卡分開,那么無論是管理網(wǎng)絡還是遷移網(wǎng)絡,都沒有做負載和鏈路冗余的考慮,就提高了風險點。HP刀片服務器所有的網(wǎng)卡都是平均地連接到兩個Cisco3125交換機,然后每個3125交換機通過一個萬兆銅纜與Cisco6506相連。由于這個特性,決定每個刀片歸屬于同一個Cisco3125的所有網(wǎng)卡,只能是相同的端口。另外,同是Trunk口的兩塊網(wǎng)卡,無法實現(xiàn)Teaming的功能。基于上述考慮,在網(wǎng)絡規(guī)劃方面,將其中一根Cisco3125上連的萬兆銅纜連接到Cisco6506上的Trunk網(wǎng)口。那么與其相連的刀片服務器的網(wǎng)口為Trunk口,滿足跨網(wǎng)段的需求?？紤]到虛擬機要使用58.132.97.*和58.132.100.*這兩個網(wǎng)段,將所有的刀片服務器的管理網(wǎng)口,使用內(nèi)部IP進行連接。即將另外一個Cisco萬兆銅纜連接到Cisco6506的VLan12,此VLan為192.168.12.*的內(nèi)部IP。將此網(wǎng)段的網(wǎng)卡設置為Teaming方式,作為ServiceConsole和VMotion端口使用。詳細見下圖:VMotion是VMwareVirtualCenter中一項關鍵的數(shù)據(jù)遷移技術。利用VMotion,可以簡化實現(xiàn)業(yè)務連續(xù)性的方法,提高服務器的利用率,整合基礎架構(gòu),并且擁有成本效益更高的高可用性和災難恢復解決方案。在本次深化設計方案里執(zhí)行冷遷移的測試用例(將當前沒有正在運行的虛擬機從一臺主機遷移到另一臺主機。利用VMotion手動