解決方案數(shù)據(jù)中心vm虛擬化最佳實踐開局配置指導(dǎo)書1.0nxpowerlite

1、解決方案數(shù)據(jù)中心VM虛擬化最佳實踐開局配置指導(dǎo)書擬制 Prepared by評審人 Reviewed by批準(zhǔn)Approved by測試中心解決方案測試部Date日期 Date日期 Date日期2009-03-31杭州通信技術(shù)Hangzhou H3C Technologies Co.,.文檔ID密級ity level數(shù)據(jù)中心VM虛擬化配置指導(dǎo)書公開文檔狀態(tài)Sus共64頁 Total 64pagesRelease1.00ReviRecord 模板修訂Date日期Revi Ver修訂版本Sec No.章節(jié)Change Description修改描述Author作者2009-03-311.00初稿完

2、成馬目錄1解決方案簡介51.1解決方案需求分析52數(shù)據(jù)中心VM虛擬化解決方案配置說明53數(shù)據(jù)中心VM虛擬化局限性54數(shù)據(jù)中心VM虛擬化使用注意事項65數(shù)據(jù)中心VM虛擬化組網(wǎng)實現(xiàn)65.1最佳實踐解決方案組圖65.2配置說明95.2.1匯聚層75配置95.2.2接入層55EI配置105.2.3VM安裝和基本配置145.2.4VM center連接管理ESX165.2.5配置ESX連接設(shè)備185.2.6設(shè)置ESX器235.2.7設(shè)置ESX業(yè)務(wù)網(wǎng)絡(luò)組Vportgroup，為vm提供對外的網(wǎng)絡(luò)接口235.2.8增加虛擬機(jī)vm265.3組網(wǎng)適用性說明285.4vm功能應(yīng)用說明285.4.1vmotion2

3、85.4.2HA29圖目錄 Table of Pic圖1 數(shù)據(jù)中心VM虛擬化組網(wǎng)1雙網(wǎng)卡6圖2 S75E+55EI+服務(wù)器四網(wǎng)卡組合（單VSWITCH）7圖3 S75E+55EI+服務(wù)器四網(wǎng)卡組合（雙VSWITCH）8圖4 S75E+55EI堆疊聚合+服務(wù)器四網(wǎng)卡組合（雙VSWITCH）91解決方案簡介1.1解決方案需求分析隨著數(shù)據(jù)中心的大力發(fā)展，對服務(wù)器虛擬化的需求不斷增加：1、整合資源：將一個物理服務(wù)器作為多個服務(wù)器使用；2、提高可靠性：在不同物理服務(wù)器間實現(xiàn)備份、業(yè)務(wù)不中斷遷移。VMware結(jié)合lsw的配合可以很方便地實現(xiàn)上述兩個目標(biāo)?？梢杂?種組網(wǎng)模式實現(xiàn)：組網(wǎng) 1：對外業(yè)務(wù)/管理網(wǎng)共

4、用二網(wǎng)卡，分別主備模式上行到 2 個接入 lsw。組網(wǎng) 2：四網(wǎng)卡部署模式，對外業(yè)務(wù)/管理網(wǎng)分別主備模式上行到 2 個接入 lsw。組網(wǎng) 3：四網(wǎng)卡部署模式，在組網(wǎng) 2 基礎(chǔ)上讓 vm 增加一個虛擬網(wǎng)卡連接到管理網(wǎng)為用戶提供業(yè)務(wù)。組網(wǎng) 4：四網(wǎng)卡部署模式，在組網(wǎng) 3 基礎(chǔ)上將上行兩個 lsw 堆疊作為一個設(shè)備上行，并聚合 esx 的兩個上行接口。2數(shù)據(jù)中心 VM 虛擬化解決方案配置說明1.接入層設(shè)備S55EI，匯聚設(shè)備S75E相關(guān)命令的詳細(xì)說明請參見相關(guān)產(chǎn)品令手冊和配置手冊。2.數(shù)據(jù)中心VM虛擬化最佳實踐解決方案，根據(jù)業(yè)務(wù)/管理網(wǎng)是否共用、VM是否為內(nèi)部用戶提供業(yè)務(wù)的不同分為4組網(wǎng)，組網(wǎng)簡單集

5、中，便于管理。3數(shù)據(jù)中心 VM 虛擬化局限性1.端口聚合組網(wǎng)不能配合VM使用，負(fù)載分擔(dān)由VMWARE以vm為進(jìn)行。2.堆疊組網(wǎng)不能配合VM使用信標(biāo)檢測。3.HA切換是冷切換，業(yè)務(wù)的恢復(fù)需要系統(tǒng)管理員。4.由熱遷移或ftp等業(yè)務(wù)引起esx和vm內(nèi)存升高，但業(yè)務(wù)停止后下降非常緩慢，15分鐘后降到日常穩(wěn)定情況；其他詳見測試。4數(shù)據(jù)中心 VM 虛擬化使用注意事項其他偶發(fā)性問題詳見測試說明。5數(shù)據(jù)中心 VM 虛擬化組網(wǎng)實現(xiàn)5.1最佳實踐解決方案組圖圖1 數(shù)據(jù)中心 VM 虛擬化組網(wǎng) 1雙網(wǎng)卡組網(wǎng)1ESX服務(wù)器雙網(wǎng)卡部署，NIC Teaming為主備模式：1、75為交換機(jī)，啟三層接口，55EI為接入交換機(jī)，

6、服務(wù)器二層接入；2、ESX 1 和2 的VM Network以VMNIC1網(wǎng)卡為主，VMNIC2為備；3、Service console /VM kernel以VMNIC2網(wǎng)卡為主，VMNIC1為備。圖2 S75E+55EI+服務(wù)器四網(wǎng)卡組合（單 Vswitch）組網(wǎng)2ESX服務(wù)器 4 網(wǎng)卡部署，NIC Teaming為主備/雙活模式：1、75為交換機(jī)，啟三層接口，55EI為接入交換機(jī)，服務(wù)器二層接入；2、ESX服務(wù)器1上的VM1和VM2以VMNIC1網(wǎng)卡為主，VMNIC3為備；3、ESX服務(wù)器2上的VM2和VM4以VMNIC3網(wǎng)卡為主，VMNIC1為備份；4、ESX服務(wù)器 1和2 的Serv

7、ice console都優(yōu)先走VMNIC2網(wǎng)卡，VMNIC4為備份；5、ESX服務(wù)器 1和2 的VM kernel都優(yōu)先走VMNIC4網(wǎng)卡，VMNIC2為備份；圖3 S75E+55EI+服務(wù)器四網(wǎng)卡組合（雙 Vswitch）組網(wǎng)3ESX服務(wù)器 4 網(wǎng)卡部署，NIC Teaming為主備/雙活模式，使用2個虛擬LSW：1、75為交換機(jī)，啟三層接口，55EI為接入交換機(jī)，服務(wù)器二層接入；2、ESX服務(wù)器1上的VM1和VM2以VMNIC1網(wǎng)卡為主，VMNIC3為備；3、ESX服務(wù)器2上的VM2和VM4以VMNIC3網(wǎng)卡為主，VMNIC1為備份；4、ESX服務(wù)器 1和2 的Service consol

8、e都優(yōu)先走VMNIC2網(wǎng)卡，VMNIC4為備份；5、ESX服務(wù)器 1和2 的VM kernel都優(yōu)先走VMNIC4網(wǎng)卡，VMNIC2為備份；6、VM提供兩塊虛擬網(wǎng)卡上連兩個Vswitch，分別提供兩個不同的業(yè)務(wù)；圖4 S75E+55EI 堆疊聚合+服務(wù)器四網(wǎng)卡組合（雙 Vswitch）組網(wǎng)4ESX服務(wù)器 4 網(wǎng)卡部署，NIC Teaming為主備/雙活模式，使用2個虛擬LSW，上層接入2個LSW堆疊作為一個邏輯LSW：1、55EI為接入交換機(jī)啟用堆疊特性，服務(wù)器二層聚合接入；2、接入交換機(jī)為兩臺堆疊交換機(jī)；3、服務(wù)器 1 和2 的VM都走VMNIC1和VMNIC2，兩網(wǎng)卡配置為聚合鏈路；4、服

9、務(wù)器 1 和2 的Service console和VM kernel都走VMNIC3和VMNIC4，兩網(wǎng)卡配置為聚合鏈路；5.2配置說明5.2.1 匯聚層 75 配置配置說明：本組網(wǎng)中有2臺接入設(shè)備：7506E。75作為上層匯聚和網(wǎng)關(guān)，配置3層接口，啟用STP協(xié)議，將對應(yīng)的接劃入特定的VLAN，兩個75配置基本一致。對外業(yè)務(wù)網(wǎng)使用vlan10:/24網(wǎng)段，網(wǎng)關(guān)54；管理網(wǎng)使用vlan20:/24網(wǎng)段，網(wǎng)關(guān)20。#/啟用STPstp instance 0 root primary#/設(shè)置兩個75之間的聚合口erface Bridge-Aggregation1port link-type trun

10、kport trunk permit vll#erface GigabitEthernet2/0/1portlink-type trunkporttrunk permit vllportlink-aggregation group 1erface GigabitEthernet2/0/2port link-type trunkport trunk permit vllport link-aggregation group 1# /下行連接接入層LSW的接口上配置Trunk模式erface GigabitEthernet2/0/3port link-type trunkport trunk pe

11、rmit vlan 1 10 20 30erface GigabitEthernet2/0/4port link-type trunkport trunk permit vlan 1 10 20 30#/配置外部業(yè)務(wù)用戶接入的接口，使能相應(yīng)的業(yè)務(wù)VLANerface GigabitEthernet2/0/15port acs vlan 10#/配置網(wǎng)關(guān)erface Vlan-erface10ip address 54 erface Vlan-erface20ip address 20 5.2.2 接入層 55EI 配置配置說明：本組網(wǎng)中有2臺接入設(shè)備：S55EI。 S55EI作為接入交換機(jī)，2

12、層連接各設(shè)備和服務(wù)器，啟用STP協(xié)議，將對應(yīng)的接劃入特定的VLAN，兩個55配置基本一致；對于組網(wǎng)4，設(shè)置堆疊。組網(wǎng)13：除了堆疊，基本配置類似組網(wǎng)4組網(wǎng)4：#/啟用STPstp enable#/堆疊，兩個55EI插上后插板，連接堆疊口，分別在兩個s55上下發(fā)如下配置#S55-1irf member 1 renumber 1irf member 1 irf-port 2 port 2#S55-2irf member 1 renumber 2irf member 1 irf-port 1 port 1#堆疊實現(xiàn)后，顯示如下，此時可把兩個55作為一個交換機(jī)對待55EI-1dis irf confi

13、gurationMemberIDNewIDIRF-Port1IRF-Port2*111disable+22disable2* indicates the device is the master.+ indicates the device through which the user logs in.#配置vcenter的管理接erface GigabitEthernet1/0/14port acs vlan 20#/配置Vcenter控制pc的接erface GigabitEthernet2/0/31port acs vlan 20#/配置設(shè)備ix1000的連接口，4口聚合，允許業(yè)務(wù)vla

14、n10，管理vlan20erface GigabitEthernet1/0/29port acs vlan 20port link-aggregation group 1erface GigabitEthernet1/0/30port acs vlan 20port link-aggregation group 1erface GigabitEthernet1/0/31port acs vlan 20port link-aggregation group 1erface GigabitEthernet1/0/32port acs vlan 20port link-aggregation gro

15、up 1#/配置ESX 100.61的兩個業(yè)務(wù)口erface GigabitEthernet1/0/17port link-type trunkport trunk permit vlan 1 10erface GigabitEthernet2/0/13port link-type trunkport trunk permit vlan 1 10#/配置ESX 100.71的兩個業(yè)務(wù)口erface GigabitEthernet1/0/15port link-type trunkport trunk permit vlan 1 10erface GigabitEthernet2/0/16por

16、t link-type trunkport trunk permit vlan 1 10#/配置ESX 100.71的兩個管理口erface GigabitEthernet1/0/36port link-type trunkport trunk permit vlan 1 20erface GigabitEthernet2/0/30port link-type trunkport trunk permit vlan 1 20#/配置ESX 100.61的兩個管理口erface GigabitEthernet1/0/33port link-type trunkport trunk permit

17、vlan 1 20erface GigabitEthernet2/0/32port link-type trunkport trunk permit vlan 1 20#/55EI-1 上行連接75eerface GigabitEthernet1/0/1port link-type trunkport trunk permit vlan 1 10 20erface GigabitEthernet1/0/2port link-type trunkport trunk permit vlan 1 10 20#/55EI-2 上行連接75eerface GigabitEthernet2/0/14po

18、rt link-type trunkport trunk permit vlan 1 10#erface GigabitEthernet2/0/15port link-type trunkport trunk permit vlan 1 105.2.3 VM 安裝和基本配置1. ESX安裝說明：1、 當(dāng)前配套驗證版本就是ESX 3.5，如果是ESX 3i 3.5，則控制界面特別簡單，很多功能無法使用，連接設(shè)備的一些必要配置也可能無法設(shè)置。2、 有資料檢測CD Media，目的：看盤上由網(wǎng)上DOWN下來的安裝文件是否缺東西，是否可安裝。但是，如果選擇檢測，時間比較長，且可能裝不上：檢測后進(jìn)入一個

19、狀態(tài)（有相關(guān)esx提示的界面，但提示的space/tab/f11等各操作按鈕都沒有反應(yīng)）。選擇測CD Media也可以正常通過。3、 安裝過程簡單不需要什么處理，可以都按默認(rèn)提示的網(wǎng)卡、磁盤等進(jìn)行安裝。過程中按提示設(shè)置網(wǎng)卡IP、掩碼、ROOT用戶的、時區(qū)等。類似windows的安裝過程，這里的網(wǎng)卡IP是管理IP，為后面Vcenter連接管理用，比如設(shè)置為1。4、 安裝完成后，按提示ALT+F1進(jìn)入linux的配置管理終端，用ei修改/etc/hosts文件，增加host（其他需要互為HA的ESX服務(wù)器主機(jī)）的地址信息，為后期HA功能的配置做準(zhǔn)備，比如：1esx2. VCenter安裝1、 安裝

20、設(shè)置sqlserver2000，確保server和agent已經(jīng)啟動，并設(shè)置odbc連接2、 解壓縮VMware-VIMSetup-2.5.0-104265.rar后用autorun.exe安裝vcenter默認(rèn)選擇安裝全部的組件，選擇事先設(shè)好的sql server2000 odbc連接，會出現(xiàn)如下提示。確認(rèn)后安裝界面進(jìn)入license界面，在提示如下后，可以繼續(xù)往下安裝，注意此時無法選擇evaluate模式，安裝完成后可以設(shè)置評估版；如果選擇如下模式，會提示驗證失敗且不能往下走3. 安裝完成后設(shè)置license：打開vcenter后，使用windows的administrator用戶名和口令

21、登陸5.2.4 VM center 連接管理 ESX1. 創(chuàng)建數(shù)據(jù)中心2. 創(chuàng)建CLUST，設(shè)置啟用HA和DRSDRS：自動管理vm的資源分配和起始?xì)w屬，可設(shè)置為手動/半自動/自動3種模式HA：集群管理，設(shè)置如下：3. 添加esx主機(jī)如果連接成功，會有如下提示過程中會提示啟用HA錯誤，可能是ESX的hosts文件未配置，或配置后需要重起ESX使其生效。從ESX的配置 選項卡 已獲的功能看，標(biāo)明是不的。但不影響實際的評估使用。4. 管理網(wǎng)絡(luò)配置組網(wǎng)1：業(yè)務(wù)網(wǎng)和管理網(wǎng)共用物理網(wǎng)卡在組網(wǎng)1中，設(shè)置業(yè)務(wù)網(wǎng)和管理網(wǎng)共用同一塊物理網(wǎng)卡，上層lsw設(shè)置trunk模式，允許業(yè)務(wù)網(wǎng)和管理網(wǎng)兩個不同的vlan接口

22、通過，這個配置為了保證實施過程的順利，需要遵循一定的配置順序：先用acs口連接管理網(wǎng)，配置好虛擬交換機(jī)上兩塊網(wǎng)卡的模式之后再轉(zhuǎn)為trunk模式。如果提前配置好lsw的接口為trunk業(yè)務(wù)口和管理口，再添加兩塊物理網(wǎng)卡到同一個vlsw，會使得該esx的管理接口不通，無法作進(jìn)一步的nicTeaming的active/standby模式配置，問題解決的操作順序1、down掉非consol網(wǎng)卡的交換機(jī)接口，將對應(yīng)的交換機(jī)接口配置為acs模式，連接esx。2、esx綁定雙網(wǎng)卡，配置對應(yīng)虛擬網(wǎng)卡的vlan和對應(yīng)的物理網(wǎng)卡主備模式。3、配置上行交換機(jī)，將其對應(yīng)接口配置為TRUNK模式。5.2.5 配置 ES

23、X 連接設(shè)備1. 設(shè)置ESX連接網(wǎng)絡(luò)選擇ESX的配置/添加網(wǎng)絡(luò)連接在安裝時已經(jīng)配置了基本的ServiConsol，還需要增加VMKernel，以通過ipSan方式連接設(shè)備可以選擇與ServiConsol控制網(wǎng)在一個虛擬交換機(jī)上，也可以單獨使用一個虛擬交換機(jī)。在這里，選擇與ServiConsol共用一個虛擬交換機(jī)上的兩塊物理網(wǎng)卡vmnic2/vmnic3，并分別為各自的主備（ServiConsol以vmnic2為主，vmnic3為備，而VMKernel以vmnic3為主，vmnic2為備）或雙active模式。vmnic2/vmnic3分別上行兩個物理交換機(jī)。設(shè)置VMKernel的vlan、ip

24、，注意選擇“將此端口用于vmotion”檢查設(shè)置DNS2. 配置ESX的適配器：選擇ESX的配置/適配器通過屬性配置啟用iSCSI，然后配置名稱，在動態(tài)發(fā)現(xiàn)頁添加設(shè)備的ip地址，后面的chap認(rèn)證可以不配3. 配置設(shè)備ix10001、 管理網(wǎng)絡(luò)連接：將一臺pc與設(shè)備的管理口直連，通過串口（設(shè)置波特率為115200）登陸ix1000，設(shè)置ix的管理ip地址。如果網(wǎng)絡(luò)連接不上，可能是配置IP地址后需要重起下。具體參見Neocean IX1000網(wǎng)絡(luò)產(chǎn)品開局指導(dǎo)書等手冊。例如：IX1000-1:/ # ifconfig eth0 8/242、 通過IE圖形化管理IX：通過管理pc的IE瀏覽器ix10

25、00的管理口ip，系統(tǒng)顯示虛擬機(jī)和Neocean NeoStor 控制臺的包，完畢后會自動啟動Neocean NeoStor 控制臺3、 添加設(shè)備，使用Root用戶，默認(rèn)passwd。4、 設(shè)置IX的業(yè)務(wù)網(wǎng)絡(luò)：綁定4個G口，設(shè)置業(yè)務(wù)ip5、 通過RAID管理設(shè)置可用的磁盤NeoStor 服務(wù)器名”選擇“RAID 管理 ”，查看磁盤的在位信息及是否已初始化（磁盤必須初始化后才能創(chuàng)建陣列），在RAIDConsole中選擇 Disk/Initialize 菜單或直接創(chuàng)建陣列。然后在ix的NeoStor重新掃描可以見到。再將其屬性從“未分配”更改為“虛擬設(shè)備”6、 添加san資源：邏輯資源/SAN資源

26、/創(chuàng)建7、 將ESX設(shè)置為自己的一個san客戶端，并添加，分配前面創(chuàng)建的SAN資源。注意：配置ix1000的san客戶端，名稱要與esx上的一樣才可以讓ESX連接成功。4. ESX連接IX1000：重新掃描，看到目標(biāo)變?yōu)?5.2.6 設(shè)置 ESX器1. 添加設(shè)備2. 設(shè)置vm將要安裝的操作系統(tǒng)安裝文件，如win2003.isovcenter的/數(shù)據(jù)，選擇設(shè)備的數(shù)據(jù)盤ix1000，右鍵菜單打開數(shù)據(jù)瀏覽器，如下，將win2003.iso上傳在的數(shù)據(jù)盤上，為后面創(chuàng)建vm設(shè)備并安裝vm的操作系統(tǒng)作準(zhǔn)備。5.2.7 設(shè)置 ESX 業(yè)務(wù)網(wǎng)絡(luò)組 Vportgroup，為 vm 提供對外的網(wǎng)絡(luò)接口配置類似VM

27、 Kernel的設(shè)置，此時不需要選擇使能vmotion，如果要讓vm能同時連通兩個網(wǎng)絡(luò)，為兩個網(wǎng)絡(luò)的用戶提供服務(wù)，需要為其設(shè)置兩個網(wǎng)卡，此時需要增加兩個VMnetwork。VM network可以不與VM Kernel在同一個虛擬交換機(jī)上，注意設(shè)置VM network的vlan，使得該vlan與上層交換機(jī)的trunk 或acs的vlan設(shè)置一致，以保證2層連通性。1. 多物理網(wǎng)卡VM nicTeaming配置說明對于組網(wǎng)2，是4塊網(wǎng)卡，通過設(shè)置ESX主機(jī)的網(wǎng)絡(luò)，可以為1個虛擬交換機(jī)綁定4個物理網(wǎng)卡，在網(wǎng)絡(luò)/屬性/VMnetwork/網(wǎng)卡綁定的設(shè)置來決定用那塊物理網(wǎng)卡。如下為：以VMnic2為主

28、，VMnic3為備，不使用VMnic4。對于組網(wǎng)3/4，也是4塊網(wǎng)卡，通過設(shè)置ESX主機(jī)的網(wǎng)絡(luò)為兩個虛擬交換機(jī)，將業(yè)務(wù)網(wǎng)和管理網(wǎng)完全分開，并通過虛擬交換機(jī)綁定物理網(wǎng)卡，確定哪個虛擬交換機(jī)使用哪兩個物理網(wǎng)卡，進(jìn)而決定哪2塊網(wǎng)卡給業(yè)務(wù)網(wǎng)，哪2塊網(wǎng)卡給管理網(wǎng)。如下圖：vSwitch0為管理網(wǎng)，vSwitch1為業(yè)務(wù)網(wǎng)，為了讓vm能同時為管理網(wǎng)用戶提供服務(wù)，每個vm同時擁有2個虛擬網(wǎng)卡，一個在外部業(yè)務(wù)網(wǎng)vSwitch上，一個在管理網(wǎng)vSwitch上。2. Active/Active模式3種負(fù)載分擔(dān)方式1、 負(fù)載分擔(dān)：基于源端口ID2、 負(fù)載分擔(dān)：基于IP 哈希（配置方式同上）3、 負(fù)載分擔(dān)：基于源 M

29、AC哈希（配置方式同上）3. Active/standby：選擇某個網(wǎng)卡為活動的適配器，另一個為待機(jī)5.2.8 增加虛擬機(jī) vm1. 增加一個新的vm對某個ESX主機(jī)/集群/數(shù)據(jù)中心，右鍵菜單“新建虛擬機(jī)”，選擇典型的vm。數(shù)據(jù)注意選擇事先在ESX上添加的設(shè)備，如下選擇要安裝的操作系統(tǒng)，并考慮ESX實際的物理內(nèi)存為其設(shè)置內(nèi)存的大小設(shè)置該虛擬機(jī)的網(wǎng)卡個數(shù)，這里的VM Network為前面在esx虛擬交換機(jī)上增加的vm業(yè)務(wù)網(wǎng)絡(luò)創(chuàng)建完成后，對vm用右鍵菜單“編輯設(shè)置”，或者在創(chuàng)建提交前選擇在完成前編輯虛擬機(jī)配置，可以設(shè)置如下的DVD光驅(qū)為前面上傳到設(shè)備的iso文件，并設(shè)置連接時啟動。在選項頁，可以設(shè)置“引導(dǎo)選項”，使得VM啟動時能從光驅(qū)啟動，以安裝操作系統(tǒng)安裝操作系統(tǒng)完成后，可以通過VM右鍵菜單的“升級/安裝vmtool”來操作系統(tǒng)