數(shù)據(jù)中心設(shè)計

1、 虛擬數(shù)據(jù)中心設(shè)計方案一、現(xiàn)狀 1、ACME Energy 公司介紹：從事可再生能源項目的開發(fā)運營，包括風(fēng)能和太陽能。 2、要求IT部門將所有的x86服務(wù)器虛擬化。原先服務(wù)器分部在主數(shù)據(jù)中心和幾個分支機構(gòu)的小數(shù)據(jù)中心。使用虛擬化技術(shù)后，所有服務(wù)全部集中在主數(shù)據(jù)中心。 3、服務(wù)分為3個區(qū)域： Production, Dev/Test, QA4、預(yù)評估方案需要考慮現(xiàn)大量的已有工作負載和未來的工作負載。盡量提高服務(wù)器的利用率的同時盡量降低硬件相關(guān)總成本。 5、需要將1000臺物理進行虛擬化。 6、有2種類型服務(wù)器可用做虛擬化，虛擬機/物理機的具體比率如下： 7、可以增加接口卡。 8、1個刀箱可容納1

2、6個半高刀片，高度為10U；機架式服務(wù)器高度為4U。 9、電力能源足夠。 10、業(yè)務(wù)關(guān)鍵服務(wù)器要求具有高可用性。用于生產(chǎn)的資源要求具有高可用性，可以容許多臺ESX主機故障。要隔離用作管理的虛擬機和用作生產(chǎn)的虛擬機。 11、1000臺物理機中包括400臺Linux服務(wù)器和600臺windows 服務(wù)器 總計：400臺生產(chǎn)，400臺開發(fā)/測試，200臺質(zhì)量控制12、Window 服務(wù)器磁盤配置：系統(tǒng)盤 15GB（平均使用10GB），數(shù)據(jù)盤10GB（平均使用25G）；Linux服務(wù)器磁盤配置：60GB（平均使用40GB）。 13、預(yù)計今后3年每年10%的服務(wù)器增長需求。 14、磁盤陣列情況:(1)

3、1臺高性能FC磁盤陣列（控制器為主備模式）可用。 (2) 高速緩存：該磁盤陣列有256GB的鏡像高速緩存，可擴展到512GB。 (3) 磁盤數(shù)量：120塊磁盤安裝在中央系統(tǒng)存儲柜，另有120快磁盤安裝在1個外接存儲柜上。 (4) 擴展存儲柜：可另外付費購買外接存儲柜，每個外接的存儲柜最多可安裝240塊磁盤。整個存儲系統(tǒng)最多可安裝1920塊磁盤。 (5) 磁盤類型：包括73GB的SSD固態(tài)磁盤，146GB的FC磁盤，300GB的FC磁盤和500GB的SATA磁盤。 (6) 現(xiàn)有空間3.6T的SSD固態(tài)磁盤，30T的FC磁盤，35TB的SATA磁盤。 (7) 現(xiàn)在只有生產(chǎn)服務(wù)器連到了SAN網(wǎng)絡(luò)，其

4、他服務(wù)器還未連接到SAN網(wǎng)絡(luò)。 15、大多數(shù)服務(wù)器有4個CPU16、Production 服務(wù)器必須和Dev/Test/QA 隔離， Production類型的虛擬機不能和Dev/Test/QA類型的虛擬機在同一臺ESX主機上。 17、 Production類型的虛擬機的流量必須和Dev/Test/QA類型的虛擬機的網(wǎng)絡(luò)流量隔離。由于使用了IDS（入侵檢測系統(tǒng)），虛擬機的網(wǎng)絡(luò)端口屬性不能改變。即使使用Vmotion遷移虛擬機，虛擬機的網(wǎng)絡(luò)端口屬性也必須保持不變。 18、現(xiàn)有的網(wǎng)絡(luò)環(huán)境使用了多個VLAN來進行網(wǎng)絡(luò)隔離。希望在虛擬環(huán)境中減少VLAN的個數(shù)以方便管理。網(wǎng)絡(luò)環(huán)境有多臺接入交換機提供冗余

5、和負載均衡。環(huán)境中沒有DMZ區(qū)域。 Current VLAN configurationVLAN 10 - Management VLAN 20 - IP Storage VLAN 30 - Production VLAN 40 - Dev/Test VLAN 50 - QA VLAN 60 - Voice VLAN 70 - Replication VLAN 80 - Backup二、 主機設(shè)計要求：主機必須能容納1000臺物理服務(wù)器虛擬化。確保相對此前使用的物理機環(huán)境，在性能或穩(wěn)定性方面沒有明顯差異。預(yù)計每年服務(wù)器增長10%具體規(guī)劃選擇：刀片或機架式選擇設(shè)計選擇：根據(jù)提供的兩種服務(wù)器，選擇

6、刀片式服務(wù)器。 理由：刀片式服務(wù)器密度較高，同樣空間擁有更多處理器和內(nèi)存，可以承載更多虛擬機。以戴爾M1000刀片機箱為例，10U高度插滿16臺半高服務(wù)器，用機架式只能安裝兩臺4U服務(wù)器，CPU個數(shù)比為32：8=4倍，內(nèi)存比為16*64：2*96=5.33倍。而且刀片式服務(wù)器刀箱已包含多路輸入電源、網(wǎng)絡(luò)交換機和存儲交換機，新加刀片時無需布線與連接。影響：單個刀片機箱會成為故障單點，為了提高可用性，應(yīng)部署兩個機箱，刀片機盡量平均放置。 服務(wù)器數(shù)量最少要求 設(shè)計選擇：生產(chǎn): 20 臺, Dev/Test: 8 臺, QA: 4 臺 總共32臺。 理由：由于選擇了刀片服務(wù)器，根據(jù)上圖要求，400臺生

7、產(chǎn)服務(wù) 器需要20臺主機，400臺測試開發(fā)/測試服務(wù)器需要8臺主機，200臺QA測試服務(wù)器需要4臺主機。影響：在產(chǎn)生物理機故障后，服務(wù)器承載的主機數(shù)將會超出要求標(biāo)準(zhǔn)。 附加的服務(wù)器要求 設(shè)計選擇：10臺 理由：每年10%的服務(wù)器需求增長，32*10%*3=9.6 合計10臺影響：需提前列入采購預(yù)算，防止采購不及時導(dǎo)致資源緊缺而無法滿足業(yè)務(wù)新需求。 Hypervisor 選擇 設(shè)計選擇： Enterprise PLUS理由：由于主機數(shù)量多，為便于管理，提高安全性使用ESXI的分布式交換機，所以需要使用企業(yè)版PLUS版本。影響：需提前列入采購預(yù)算，防止采購不及時導(dǎo)致資源緊缺而無法滿足業(yè)務(wù)新需求。

8、主機邏輯設(shè)計 主機類型和版本：vmware ESXi 5.1企業(yè)版PLUSCPU插槽：2 每CPU 核心數(shù)：4總核數(shù)：8處理器頻率：2.93Ghz內(nèi)存：64GB網(wǎng)卡數(shù)：4個 HBA卡數(shù)：0個 主機物理選擇 主機類型和版本：Dell PowerEdge M710hdCPU型號：Intel Xeon Processor X5647CPU插槽：2 每CPU 核心數(shù)：4總核數(shù)：8處理器頻率：2.93Ghz內(nèi)存：64GB板載網(wǎng)卡數(shù)：4個 5709千兆板載網(wǎng)卡速率：1Gbps插卡網(wǎng)卡數(shù)：2個 網(wǎng)卡型號：雙端口8GB FC HBA網(wǎng)卡個數(shù)和速率：2個8GB FC本地磁盤個數(shù)和型號：2個SAS 300G 10

9、kRAID級別：RAID 1 本地磁盤總?cè)萘浚?00G 系統(tǒng)監(jiān)控： OpenManage Essentials或 Dell Management Console 三、 虛擬化數(shù)據(jù)中心設(shè)計需求位置：1個主數(shù)據(jù)中心（1000臺虛擬機且增長迅速）10個分支機構(gòu)（每個分支機構(gòu)少于10臺服務(wù)器） 可用性： 設(shè)計為具有最高的可用性 已具備一個SQL故障轉(zhuǎn)移群集 管理： 所有組件需經(jīng)過公司認證（活動目錄） 某些虛機管理員使用Mac OS 估計： 生產(chǎn)機器與開發(fā)測試質(zhì)檢不能運行在同樣的主機上 最大化靈活性（首選無狀態(tài)）Vcenter服務(wù)器選擇物理主機或虛擬化（VM或VA） 設(shè)計選擇：虛擬化，VM 理由：可以利

10、用VMOTION、DRS、HA，節(jié)省資源。 Virtual Appliance 不支持IPv6v;不支持Microsoft SQLSERVER數(shù)據(jù)庫;影響：為防止自動遷移導(dǎo)致位置不定，增大斷電等事故造成的恢復(fù)難度，維持虛擬機位置的穩(wěn)定性。建議為管理虛擬機建立獨立的主機集群并默認不動態(tài)遷移。 vCenter服務(wù)器組件共享虛擬機或?qū)Ｓ?設(shè)計選擇：分離 理由：各個組件分開，可維護性更好，沒有單一故障點，服務(wù)隔離，不相互影響性能。 影響：虛擬機消耗的總資源較多，但性能較好。Vcenter服務(wù)器數(shù)據(jù)庫共享或?qū)Ｓ?設(shè)計選擇：共享故障轉(zhuǎn)移群集，單獨新建專用數(shù)據(jù)庫理由：物理環(huán)境現(xiàn)的故障轉(zhuǎn)移群集，提供了高可用。

11、數(shù)據(jù)庫與虛擬化環(huán)境分離，故障點分離易于恢復(fù)與重建。影響：只需建立新的數(shù)據(jù)庫，并與其他數(shù)據(jù)庫隔離訪問。 Vcenter Update Manager 位置 設(shè)計選擇：安裝在Vcenter并連接外部數(shù)據(jù)庫。理由： Update manager適合于Vcenter虛擬機安裝在一起,Update manger需要連接外部數(shù)據(jù)庫而不是單獨主機影響：Vcenter主機需要更多資源 Cluster 結(jié)構(gòu)設(shè)計選擇： Production 群集包含 28臺服務(wù)器,2個刀箱；Dev/Test/QA 集群 包含18服務(wù)器，2個刀箱；管理集群 ，2臺服務(wù)器，利用舊的服務(wù)器。 理由：最小主機數(shù)+未來3年主機規(guī)劃主機數(shù)+

12、2每個集群N+2保證HA冗余性。因此：生產(chǎn)：20+6+2 =28臺 開發(fā)/測試/質(zhì)控： 12+4+2=18臺 影響：可保證HA冗余資源 Resource Pools 設(shè)計選擇： Production不用建立資源池。Dev/Test和QA需要各自建立資源池。理由： Production群集里機器都用于生產(chǎn)，不建立資源池區(qū)分優(yōu)先級。Dev/Test和QA分為2種類型的業(yè)務(wù)，因為資源共享同一個集群，需要各自建立資源池，根據(jù)需要設(shè)置資源傾斜。影響： 隨著Production群集虛擬機的增加，可建立資源池，根據(jù)業(yè)務(wù)關(guān)鍵度，保證最重要的應(yīng)用有足夠資源。Dev/Test/QA根據(jù)資源的使用情況，修改資源池的

13、配置 VSphere許可證版本 設(shè)計選擇： Enterprise Plus Edition。 理由：IDS（入侵檢測）策略需使用ESXI的分布式交換機。 影響：支持網(wǎng)絡(luò)和存儲服務(wù)質(zhì)量控制；支持第三方多路徑和網(wǎng)絡(luò)交換機；支持主機配置文件和自動部署 邏輯設(shè)計 設(shè)計選擇Vcenter Server 版本：5.5 物理機或虛擬機：虛擬機 CPU個數(shù)：2個 處理器類型：vCPU 處理器速度：利舊服務(wù)的每個核的cpu頻率*2 內(nèi)存：4GB網(wǎng)卡： 1個 磁盤個數(shù)和大?。?系統(tǒng)盤30G，數(shù)據(jù)盤30G 操作系統(tǒng)版本：Windows 2008 R2 物理設(shè)計 型號：VMware virtual hardware

14、9 處理器類型：VMware vCPU 網(wǎng)卡型號：vmxnet3 網(wǎng)卡個數(shù)：1x GbE 網(wǎng)絡(luò)：管理網(wǎng)絡(luò) 本地磁盤：共享存儲上的虛擬機磁盤 四、 網(wǎng)絡(luò)設(shè)計需求：production流量需要與Dev/Test/QA流量分離在虛擬機進行VMotion后網(wǎng)絡(luò)屬性與狀態(tài)必須保持不變虛擬網(wǎng)絡(luò)配置需滿足可用性、安全性與效率 標(biāo)準(zhǔn)交換機或分布式交換機 設(shè)計選擇：使用分布式交換機。 理由：群集內(nèi)主機數(shù)量眾多，分布式交換機方便管理，可創(chuàng)建PVLAN，滿足IDS入侵檢測要求，且確保Vmotion后端口屬性不變。 影響：集群內(nèi)的主機使用統(tǒng)一的交換機。 vSwitch VLAN配置設(shè)計選擇：管理、虛擬機、VMOTIO

15、N、FT、存儲使用不同的VLAN。 理由：隔離流量，控制流量優(yōu)先級。 影響：所有與Esxi主機連接的交換機端口需配置配成Trunk。 vSwitch PVLAN配置設(shè)計選擇：使用。 理由：可隔離生產(chǎn)業(yè)務(wù)和開發(fā)/測試/質(zhì)檢的網(wǎng)絡(luò)流量。 影響：減少VLAN個數(shù)。 vSwitch 負載均衡模式的配置 設(shè)計選擇：端口組選擇 基于物理網(wǎng)卡負載的路由。 理由：網(wǎng)卡為1Gbps，單網(wǎng)卡可能會成為瓶頸。采用基于負載的綁定時，相應(yīng)算法會定期檢查所有綁定網(wǎng)卡的負載。如果其中一個網(wǎng)卡過載而另一個網(wǎng)卡尚有可用帶寬，則分布式虛擬交換機會重新分配端口與網(wǎng)卡的映射關(guān)系，以便達到平衡狀態(tài)。從而達到負載均衡的目的。影響：基于負

16、載的綁定在工作原理上與VMwareDRS類似：會檢查當(dāng)前負載，并將負載較高的虛擬機移至更加合適的物理網(wǎng)卡，在下次執(zhí)行檢查之前的這段時間，這種映射關(guān)系會保持穩(wěn)定 vShield Zone 設(shè)計選擇：不使用。 理由：已有硬件防火墻設(shè)備。 影響：vShield Zone會消耗一定的主機資源，不使用vShield Zone會減輕主機的壓力。但vShield與vShpere集成度高，方便使用。硬件防火墻則需要另外維護。 vSwitch 安全設(shè)置 設(shè)計選擇：默認情況下，混雜模式設(shè)置為拒絕，MAC 地址更改和偽信號設(shè)置為接受。 理由：無特殊要求，使用默認情況。 影響：后期根據(jù)安全要求可修改配置 物理交換機選

17、擇 設(shè)計選擇：Dell PowerConnect M6348 1Gb以太網(wǎng)高密度刀片交換機。 理由：用于M1000E刀箱，能夠與M系列高密度網(wǎng)卡配合使用。達48個端口（32個內(nèi)部端口）、可堆疊多達6個模塊。 影響：支持堆疊 FC SAN交換機選擇設(shè)計選擇：Brocade M5424 FC 8Gb光纖通道交換機理由：用于M1000E刀箱，能與環(huán)境中的FC存儲相連影響：可提供高級brocade功能方案拓撲圖： Vswitch物理設(shè)計 dvSwitch vmnicNIC / SlotPortFunction00主板自帶0管理網(wǎng)絡(luò)（主）VMotion網(wǎng)絡(luò)（主）FT（網(wǎng)絡(luò)）VM網(wǎng)絡(luò)（主）113243vS

18、witchvSwitchVLAN ID0Management_10100Vmotion_20200FT_30300VM_VLAN5050Primary VLANVm TypePVLAN TypeSecondary VLAN50ProductionComunity10050Dev/TestComunity20050QAComunity300五、 存儲設(shè)計需求：使用高性能FC存儲陣列（雙控制器處于激活/激活狀態(tài)）Windos服務(wù)器提供15GB系統(tǒng)盤（平均使用10GB）以及40GB數(shù)據(jù)盤（平均使用25GB）Linux 服務(wù)器配置為60GB總?cè)萘浚ㄆ骄褂?0GB）必須為性能作最佳優(yōu)化LUN大小 設(shè)計

19、選擇：67*750GB LUN。 理由： windows OS 15GB厚置備格式，40GB精簡格式。Linux 60GB精簡格式。 虛擬機基本數(shù)據(jù)空間：600*（15+25）+400*40 =40000GB。虛擬機SWAP+快照：占20%；保留安全空間：占10%；總空間大小為40000*（100%+20%+10%）=52000GB 一般1個LUN大概15個虛擬機，那LUN的總數(shù)為1000/15=67個；每個LUN大小為：52000/67=776GB。 影響：1個LUN存儲15個虛擬機只是一般情況，如虛擬機性能要求特殊，需酌情考慮。如果存儲有分層也需酌情考慮。 存儲負載均衡 設(shè)計選擇：若是EM

20、C存儲，則使用 PowerPath/VE多路徑切換與恢復(fù)軟件，優(yōu)化存儲控制器負載平衡 。其他存儲則使用廠家提供的多路徑軟件。理由：EMC PowerPath/VE多路徑插件比原生的vSphere多路徑插件性能高，支持跨物理和虛擬環(huán)境部署。 影響：存儲廠家提供的多路徑軟件可能需要購買許可證。 VMFS或RDM格式 設(shè)計選擇：選擇VMFS，除了微軟故障轉(zhuǎn)移群集 理由： VMFS是提供Vmotion，快照，存儲IO控制，F(xiàn)T功能，支持VDP備份。RDM物理模式無法提供以上功能，虛擬模式也無法提供存儲IO控制，無法被vCloud Director支持。 影響：根據(jù)性能和需要合理安排格式，需要注意RDM

21、的限制。 主機Zone配置 設(shè)計選擇：不劃分zone。 理由：劃分zone每次增加主機都要修改交換機配置，存儲分配訪問控制可在存儲軟件上建立訪問控制。 影響：需存儲管理員按集群要求配置，只分配LUN給相應(yīng)的vSphere集群上的物理機。 LUN分配設(shè)計選擇：LUN分配給相應(yīng)的vSphere集群上的物理機。 理由：分配的主機少了，不能保證可將虛擬機使用Vmotion遷移到集群內(nèi)的任一物理機。分配的主機多了，主機有權(quán)限訪問該存儲，可能會破壞到存儲中的數(shù)據(jù)。 一般1個LUN大概15個虛擬機，那LUN的總數(shù)為1000/15=67個；每個LUN大小為：52000/67=776GB。 影響：1個LUN存儲

22、15個虛擬機只是一般情況，如虛擬機性能要求特殊，需酌情考慮。如果存儲有分層也需酌情考慮。 精簡和厚置備格式 設(shè)計選擇：一般系統(tǒng)盤為厚置備，數(shù)據(jù)盤為精簡制備，如果使用FT或?qū)Υ疟P性能要求較高，如數(shù)據(jù)庫，數(shù)據(jù)盤也使用厚置備。 理由：精簡置備可節(jié)省磁盤空間，厚相對性能較高。影響：精簡置備分配的總空間可能會超過存儲的總空間，對存儲的剩余空間需要留意。 邏輯設(shè)計 存儲類型：已有的FC SAN存儲控制器個數(shù)： 2個（主-主） FC交換機個數(shù)：2個 每臺主機與每臺交換機之間連接端口數(shù)：每臺主機與每臺FCoE交換機連接1個端口 LUN大小： 776GB LUN總數(shù)：67個 每個LUN多少個VMFS datastore：1個 物理設(shè)計 存儲類型：EMC Symmetrix VMAX 10K類型： 2個（主-主） Esxi主機多路徑策略：PowerPath/VE MPP多路徑最小/最大交換機端口速率：8G/10G六、 虛擬機 虛擬機部署注意事項設(shè)計選擇： 安裝vmtools，使用模板部署時重新封裝操作系統(tǒng)避免SSID重復(fù)理由： vmtools使虛擬機時間可與主機同步，SSID重復(fù)加入域會有問題影響： 08以前的舊操作系統(tǒng)重新封裝需要把封裝文件放置到vcenter特定的文件夾。 交換區(qū)與頁面文件位置設(shè)計選擇： 與主機目錄位置一致理由：方便Vmotion 影響：VM負載