基于VMWare虛擬化vSAN技術(shù)構(gòu)建雙活數(shù)據(jù)中心

1、基于VMWare虛擬化vSAN技術(shù)構(gòu)建雙活數(shù)據(jù)中心VSAN延伸集群的出現(xiàn)，不僅使VMware有了自己的存儲(chǔ)雙活技術(shù)，從成本角度來(lái)看，更使存儲(chǔ)雙活這項(xiàng)技術(shù)，從“天上”來(lái)到了“民間”。 通過(guò)VSAN延伸集群加上VMware已有的SRM和VR技術(shù)，一個(gè)全新的、高效低成本的兩地三中心方案應(yīng)運(yùn)而生。目前市場(chǎng)上常見(jiàn)的硬件廠商的雙活方案通常指的是分布式存儲(chǔ)雙活，如EMC vPlex, HDS VSP, IBM PowerHA HyperSwap, GPFSA-A, SVC等。本質(zhì)上講，都是基于某種存儲(chǔ)虛擬化技術(shù)或者存儲(chǔ)同步復(fù)制技術(shù)。對(duì)OS而言，雙活的存儲(chǔ)要么提供block設(shè)備，要么提供共享文件系統(tǒng)。目前業(yè)內(nèi)

2、具有雙活能力的存儲(chǔ)常是高端存儲(chǔ)，正是因?yàn)楦叨耍虼似涑杀鞠鄬?duì)較高，所以通常只運(yùn)行一些關(guān)鍵業(yè)務(wù)，如Oracle RAC。在6.1版本中，VSAN也可以提供雙活功能（VSAN延伸集群）。相對(duì)于傳統(tǒng)雙活方案，VSAN延伸集群具有一定優(yōu)勢(shì)。具體如下：（1） 還是那句話，VSAN繼承了VMware的基因，即與vCenter集成，操作簡(jiǎn)單：點(diǎn)擊下鼠標(biāo)就能完成。 3VSAN雖然不是開(kāi)源軟件，但是十分開(kāi)放。VSAN對(duì)服務(wù)器硬件兼容性列表很長(zhǎng)（VSAN Ready Node），生態(tài)圈很好。（2） 我 們知道，VSAN屬于基于策略驅(qū)動(dòng)的分布式存儲(chǔ)，集成在vSphere Kernel中，運(yùn)行在X86上。在

3、此基礎(chǔ)上，利用服務(wù)器本地盤(pán)，實(shí)現(xiàn)的VSAN延伸集群，屬于低成本雙活解決方案。同時(shí)VSAN提供雙活的保護(hù)級(jí)別，是 VMDK級(jí)別的，其顆粒度更高（傳統(tǒng)存儲(chǔ)雙活方案基于LUN）（3） VSAN雖然不是開(kāi)源軟件，但是十分開(kāi)放。VSAN對(duì)服務(wù)器硬件兼容性列表很長(zhǎng)（VSAN Ready Node），生態(tài)圈很好。··下面我們談?wù)刅SAN延伸集群的技術(shù)細(xì)節(jié)。·· 整體架構(gòu)從 整體架構(gòu)來(lái)看，VSAN延伸集群也是一個(gè)VSAN集群，只是它的ESXi主機(jī)分布到兩個(gè)數(shù)據(jù)站點(diǎn)上：SiteA和SiteB。每個(gè)站點(diǎn)是一個(gè)“故障域”。 兩個(gè)故障域之間VSAN數(shù)據(jù)完全一樣，也就是FTT=1

4、. 除了兩個(gè)數(shù)據(jù)站點(diǎn)，VSAN延伸集群“仲裁站點(diǎn)”的角色由第三站點(diǎn)的見(jiàn)證主機(jī)擔(dān)任，見(jiàn)證主機(jī)不提供計(jì)算資源和存儲(chǔ)資源。數(shù)據(jù)站點(diǎn)之間通過(guò)萬(wàn)兆網(wǎng)絡(luò)相連，數(shù) 據(jù)站點(diǎn)與見(jiàn)證主機(jī)使用普通網(wǎng)即可。當(dāng)一個(gè)站點(diǎn)的虛擬機(jī)對(duì)VSAN進(jìn)行寫(xiě)操作的時(shí)候，數(shù)據(jù)將會(huì)被雙寫(xiě)到兩個(gè)數(shù)據(jù)站點(diǎn)磁盤(pán)上。版本要求VSAN延伸集群版本要求：vCenter Server 6.0U1 、ESXi 6.0U1。VSAN延伸集群既支持混合磁盤(pán)，又支持全閃存陣列。配置規(guī)模SAN 延伸集群最小配置是1+1+1（兩個(gè)數(shù)據(jù)站點(diǎn)和一個(gè)仲裁站點(diǎn)ESXi的數(shù)量），最大是15+15+1，VSAN雙活兩個(gè)站點(diǎn)的ESXi數(shù)量相同。目前高端 X86服務(wù)器配置都很高，

5、因此15個(gè)ESXi對(duì)于中小規(guī)模的雙活需求是夠的。如果是大規(guī)模的雙活要求，那就需要配置多個(gè)VSAN延伸集群。每個(gè)VSAN延 伸集群有一個(gè)見(jiàn)證主機(jī)即可。 見(jiàn)證主機(jī)見(jiàn) 證主機(jī)可以是物理的ESXi，也可以在虛擬機(jī)中安裝ESXi。VMware提供見(jiàn)證主機(jī)的Appliance（免費(fèi)的OVF），它不消耗客戶的 vSphere license。見(jiàn)證主機(jī)不必加入到VSAN集群中，而是在創(chuàng)建VSAN延伸集群的時(shí)候進(jìn)行選擇，它位于VSAN集群之外。心跳機(jī)制VSAN延伸集群實(shí)施完畢后，VSAN會(huì)從主站點(diǎn)和備站點(diǎn)分別選出兩個(gè)ESXi，做站點(diǎn)間心跳通訊檢測(cè)。VSAN的Master節(jié)點(diǎn)位于主站點(diǎn)的某一個(gè)ESXi上

6、，Backup節(jié)點(diǎn)位于第二個(gè)站點(diǎn)的某一個(gè)ESXi上。Master節(jié)點(diǎn)和Backup節(jié)點(diǎn)每一秒鐘發(fā)一個(gè)心跳，如果持續(xù)5秒沒(méi)有心跳，Master將會(huì)選擇第二站點(diǎn)另外一個(gè)ESXi作為Backup。如果備站整體出現(xiàn)故障，Master會(huì)從主站點(diǎn)選一個(gè)ESXi作為心跳的backup。如果Master和仲裁站點(diǎn)5秒鐘沒(méi)有心跳，那么仲裁站點(diǎn)將被認(rèn)為出現(xiàn)故障。出現(xiàn)這種情況，可以配置一個(gè)新的見(jiàn)證主機(jī)即可。腦列問(wèn)題在解決腦列問(wèn)題方面，VSAN延伸集群的做法是手工指定主站點(diǎn)。也就是發(fā)生腦列后，指定哪個(gè)站點(diǎn)存活，這樣就避免了很多隨機(jī)事件。性能VSAN 延伸集群很好低解決了本地讀的問(wèn)題。在標(biāo)準(zhǔn)VSAN集群，虛擬機(jī)的讀操作

7、是從所有數(shù)據(jù)副讀。例如FTT=1，那么對(duì)數(shù)據(jù)進(jìn)行讀操作的時(shí)候，50%的I/O 來(lái)自第一個(gè)副本，另外50%I/O將來(lái)自第二個(gè)副本。同理如果有三個(gè)副本的話，那么讀的時(shí)候，每個(gè)副本各占33%。而VSAN延伸集群增加了本地讀的特 性，例如主站點(diǎn)一個(gè)虛擬機(jī)讀取數(shù)據(jù)時(shí)，所有I/O操作都將源于本站點(diǎn)ESXi的本地盤(pán)。為 了保證性能，在VSAN延伸集群中，盡量減少不必要的站點(diǎn)之間的vMotion。因?yàn)樽xcache預(yù)熱是在一個(gè)故障域內(nèi)完成的，如果虛擬機(jī)vMotion 到另外一個(gè)故障域，對(duì)方站點(diǎn)的cache則需要過(guò)一會(huì)才起作用。VSAN集群利用vSphere特有的優(yōu)勢(shì)，如vSphere HA的affinity（設(shè)

8、置VM和ESXi之間的關(guān)聯(lián)，當(dāng)某一個(gè)ESXi發(fā)生故障時(shí)，如果條件允許，虛擬機(jī)優(yōu)先在本故障域內(nèi)其它ESXi上重啟），這樣 既保證性能，又保證高可用。網(wǎng)絡(luò)要求VSAN的數(shù)據(jù)站點(diǎn)之間，或者數(shù)據(jù)站點(diǎn)和仲裁站點(diǎn)之間的網(wǎng)絡(luò)，二層和三層網(wǎng)絡(luò)都可以支持，這降低了對(duì)大二層的要求。但是，我們推薦在數(shù)據(jù)站點(diǎn)之間使用二層網(wǎng)絡(luò)。1數(shù)據(jù)站點(diǎn)站點(diǎn)之間小于5ms之間的延遲（RTT）。數(shù)據(jù)站點(diǎn)與仲裁站點(diǎn)之間200的延遲不能超過(guò)200ms。 2數(shù)據(jù)站點(diǎn)和仲裁站點(diǎn)之間的帶寬最不小于50-100Mbps. 3網(wǎng)絡(luò)劃分：· 管理網(wǎng)絡(luò)：連接三個(gè)站點(diǎn)。二層或者三層網(wǎng)絡(luò)· VSAN網(wǎng)絡(luò)：連接三個(gè)站點(diǎn)。

9、數(shù)據(jù)中心之間建議二層網(wǎng)絡(luò)，與仲裁站點(diǎn)之間使用三層網(wǎng)絡(luò)。· VM network：連接數(shù)據(jù)中心。建議二層網(wǎng)絡(luò)，這樣當(dāng)虛擬機(jī)從一個(gè)數(shù)據(jù)站點(diǎn)vMotion或HA到另外一個(gè)數(shù)據(jù)站點(diǎn)時(shí)，IP地址不變。· vMotion網(wǎng)絡(luò)：連接數(shù)據(jù)中心。二層，三層網(wǎng)絡(luò)都可以。網(wǎng)絡(luò)協(xié)議1數(shù)據(jù)站點(diǎn)之間既有組播(metadata / state)又有單播(IO). 數(shù)據(jù)站點(diǎn)和仲裁站點(diǎn)之間走的單播，數(shù)據(jù)站點(diǎn)之間和數(shù)據(jù)站點(diǎn)內(nèi)使用組播協(xié)議。最后，向大家介紹一下VMware的兩地三中心解決方案。在這個(gè)方案中，數(shù)據(jù)中心分為同城和異地。同城兩個(gè)數(shù)據(jù)中心，異地作為災(zāi)備中心通常在遠(yuǎn)端城市。同城之間，利用VSAN延伸集群提供數(shù)據(jù)同步復(fù)制，異地之間，利用VR提供數(shù)據(jù)的異步復(fù)制。這里需要注意的是，在這個(gè)方案中，VR提供的RTO最短可以做到5分鐘。根據(jù)這個(gè)方案