使用一臺測試2臺ESXi6.5部署vSAN集群

1、測試2臺ESXi部署vSAN實(shí)驗(yàn)亠、實(shí)驗(yàn)環(huán)境和介質(zhì)1.1:實(shí)驗(yàn)環(huán)境這里我是使用一臺 Dell R730物理機(jī)來做這次的測試，R730 安裝ESXi 6.5，然后在這上面虛擬 2臺ESXi6.5服務(wù)器，和一 臺vCenter 6.5管理服務(wù)器，來模擬 2臺ESXi配置vSAN因?yàn)?6.0 U1 U2版本可能vSAN功能還有些問題，我這里就直接用6.5的版本了。Dell R730配置如下:CPU2 顆 8 核的 In tel Xeo n E5-2609內(nèi)存8 根 8G,共：64G網(wǎng)絡(luò)3個千兆網(wǎng)卡，1個百兆網(wǎng)卡存儲2 個 275G 的 SSD卡做 RAID1, 3 個 4T 的 iSCSI 盤做 R

2、AID5。就是一個 230G的，加一個 7T 的。IP地址192.168.10.21.2 : vSAN原理和用途因?yàn)関SAN必須使用3臺ESXi主機(jī)，那么我們2臺ESXi主機(jī) 怎么配置vSAN呢？這個你就必須了解 vSAN的原理和通途。vSAN全名叫 vSphere Virtual Storage Area Network,vSphere虛擬化局域網(wǎng)存儲。是 vSphere 5.5后才開始出來的新功能，而 且只能通過 Web Client來部署。是基于服務(wù)器端存儲的共享分布式對象存儲系統(tǒng)，可以用來取代vSphere后端的外置磁盤陣列vSAN就是一種分布式存儲，其數(shù)據(jù)保護(hù)技術(shù)不是采用傳統(tǒng)的RAI

3、D方式，而是叫分布式 RAIDb VSAN在主機(jī)之間使用 RAID來 滿足對系統(tǒng)中存儲對象的可用性和可靠性的要求，虛擬機(jī)存儲對象的鏡像拷貝數(shù)量取決于虛擬機(jī)存儲策略。數(shù)據(jù)的副本都是存儲 在主機(jī)上的，當(dāng)某臺主機(jī)失效或宕機(jī)，就會出現(xiàn)類似腦裂問題， vSphere為了解決這個問題，引入了一個重要的組件一見證 (winess)，類似于我們常說的仲裁盤。由于見證只是一個邏輯組 件，不保存數(shù)據(jù)，占用空間非常小，我們也就可以實(shí)現(xiàn)2臺ESXi 主機(jī)的vSAN集群。這個見證是一個模板，可以從官網(wǎng)直接下， 免費(fèi)的，安裝這個模板，最好從vCe nter web clie nt添加，就可以省去2個CPU的許可，用cli

4、ent部署這個模板是看不到見 證自帶的許可的。1.4 :虛擬機(jī)規(guī)劃CPU內(nèi)存磁盤網(wǎng)卡IP地址ESXi 6.5 主機(jī)2顆16G40G2個管理地址：192.168.10.650GvSAN kernel 地址：192.168.10.16500GESXi 6.5 主機(jī)2顆16G40G2個管理地址：192.168.10.750GvSAN kernel 地址：192.168.10.17500G見證服務(wù)器2顆8G12G2個管理地址：192.168.10.6vSAN kernel 地址：192.168.10.1610G100GvCe nter 6.5 服務(wù)器1顆8G100G1個192.168.10.31.5

5、:需要準(zhǔn)備的介質(zhì)vCenter6.5 : VMware-VIM-all-6.5.0-4602587.isoESXi6.5 :VMware-VMvisor-I nstaller-201701001-4887370.x86_64.isoWiness6.5 : VMware-VirtualSAN-Witness-6.5.0-4564106.ova】、配置主機(jī)，安裝虛擬機(jī)，安裝vCenter2.1 :配置主機(jī)因?yàn)橐_啟vSAN功能，虛擬機(jī)必須配置 2塊網(wǎng)卡，1塊單獨(dú) 來處理vSAN流量，所以在安裝ESXi的主機(jī)上最好配置2個交換 機(jī)，1個交換機(jī)放正常的虛擬機(jī)的管理， 另一個當(dāng)2臺ESX虛擬 機(jī)的vSA

6、N網(wǎng)卡的交換機(jī)?？?a q >?» nj *_r-|J Sn-血<1圧 OaErTlM0MTir A*iUid西*Ug.|律 wfA»：a«& vUM- TDfl序fir*、 Utt尊WL：ttffItMCIS 血曲EHu?rmRHi mk«yn-Qi *±MSP= 主他i齊豊 ftwifriritbiKtF-IV理-WLitEcil WHVaKf * 14 vmi倉4»I47 曲W vUWlJdJia unOiwuiii!i44 ； iq 刪 im選擇一塊千兆網(wǎng)卡配置交換機(jī)名稱，不配置 vlan2.2 :安裝ES

7、Xi6.5虛擬機(jī)因?yàn)関SAN集群主機(jī)至少需要 2個CPU 1個SSD磁盤、1個 HDD磁盤、2個網(wǎng)卡、8G內(nèi)存，我這虛擬機(jī)配置了 2個CPU 2 個網(wǎng)卡、16G內(nèi)存、3個HDD磁盤。這個3個HDD磁盤分別是 40G、50G、500G容量，40G用來當(dāng)ESXi6.5系統(tǒng)盤使用，50G用 來當(dāng)SSD磁盤使用，500G當(dāng)后面vSAN存儲。2塊網(wǎng)卡，第2個 網(wǎng)卡要放在我們剛才創(chuàng)建的交換機(jī)中。虛擬機(jī)具體配置，如下圖： 呱V4.T. I' "I、V <7ki hli r 神Wirt-丄個區(qū)啊©二：41芯H專旻：溝 Dra±CT-LCL3j LhwIm 泊母 iC

8、efUbSmrlri-F.hrSefi托3&伽3略訊*旳島10?"漁 rt-10'?託卞擊:同I?BKL曲型片上丈 nln-MTK 瘟扣鞏在匸嵐上虐hho£o11+CRJMCI遲普KM jWS 工CDJMO酈若I2n也昭卄己貝凹 ilc fl-tiI鮎的>祁F屮心席|£趙91«&Drfl尸用丿口創(chuàng)'1'. *忖pSK£）計 4'rfch JO下貳片0冋Ifrtj蕓Ldi ±i*（滯匪林申* I»_卜財燦應(yīng)（1& riN-L.-.l_”.蟲lm桂勒H丄2.3 :配置

9、ESXi虛擬機(jī)IP、SSH上面我們配置完虛擬機(jī)硬件條件，安裝ESXi 6.5系統(tǒng)后，進(jìn)入控制臺，根據(jù)自己網(wǎng)絡(luò)的實(shí)際情況配置管理IP地址，并開啟SSH配置管理IP地址，IP地址最好是靜態(tài)的，配置好了，回車就好了 H-SJ-J LIT'一ni>Conf fi qur« Pars.swDrdHostnaneUoringji'e L(x毀duunlOCdllNQVt廠1U_nrir iqiirr tlnnqrnrnT Firtirf-irkrpvl ArHrzi：r*-kJ.-ai nrv icmjFiHni I： inlet PlniagriHsiit FIctMur

10、 k ftetLwrk R&sicre Opt lorKIPufi Adtlrcxc、；仕Rfl;: ?H0; Sfiff fis® iPRI iF/5<CanriguriE Keyboard Trcubleshcwt Inq Opt ionsIo uileu ar uadi if 14 th Is host "s manaqennt inettidetail> pre5*b 灶nter.Wiiux Syp>lefi Lug>Vleij Si.tpfmir-t Inrarruit IonItascttonil i guMt icwiw屮rvd

11、iA|»ii»n iiclmu* , ，i0 Ne ( mui Ik Adlcp Lo"11 ai iualVLAIt (apt »cnoHIPv4 Address： 152.160.10.6Cnnl iqiirAt inn.Siihnrrt FlnMk : 255 .2S5 7fi5.01ihjo umr irgurananH>cfauH叫；132.168 18.254DHS Conf i quraX 1 antint on l)ns ifl inmTh i 5 hot an otitfl i n on JiPv-1 nrlrtrc55paran

12、eters autonatleally If your netsei uef IT ik>1 « 口4 L|uut iir liMM k adbiipprnpr5ctt >i«ng BIPv4 Conf iQM-dt ionThis lnrh-1 cdii oMafin Mtuonk sstt Ings duljtmt licflI ly if yaw natuopk iimr;a PHEP M-nfler If it r|nr rinl: # thr： fql |m pnq| 'wf I inq HlirJl hr3蘆匚 if icd：回到配置界面，配

13、置 SSH開啟SSHCm rt' I ijijm u PdwzjrTCnnficjiir r L nr尿dw Hud*-Cord iirc nanogcncnt irnelkork 計恥些Kill BotMorl< Test Marqeftent Hetunr-k MhlHark 配己/if口r#DptIo v lieu tMi'Iitu*. Mwtal七勺liojl Muy hlhIu upl 4in ns 1 llk EiubhFWi lilwl I r FiXH尸 5531 科門d打匚護(hù)nt q”Vieu 5q% t en Lnqriview >uppar&l

14、t;t l.v>FcrMt >l>on可以看到SSH現(xiàn)在是不可用的狀態(tài)回車，直接可以將 Disabled改成Enabled2.4 :安裝 vCenter這個沒什么新東西，就不說了。2.5 :安裝 Witness見證這個最好通過vCenter Web Client來安裝這個Witness，要不 然看不到 Witn ess自帶的2個CPU的Lice nseo這個 Win ess服務(wù) 器也是安裝在Dell R730服務(wù)器上的虛擬機(jī)，要將這個虛擬機(jī)的 vSAN的網(wǎng)卡配置到上面新建的交換機(jī)上去。如何你是真實(shí) 2臺 物理ESXi主機(jī)做vSAN,也可以將這個 Witness安裝到你的2臺

15、ESX主機(jī)去。3 JMf"4 eirworA5 rMVIHK6 MX.二一 lURLU nteFecT，祀考賽 SF：徉£ "右-Mr.力亡 行 g亠:吃 CO6* .*»)Qurl 一 © f吃龍淳|已W 1文. 七？一拿芒陽”厶 舟？性0 0E十弗辱9K|rfi蕊M選擇Dell主機(jī)魚汗juit<< .竄恂'ri Its弓總鬥呻UHSt6扯fWriftvtAre vrcjaA'rrejg pi anceo.sWh*：are,lnc.9 EM何KH 冋信1JE)TS鈦 J-丄陽1 LIB無盤占用窒flhW： (W n

16、 1)1.4B 辱豎 rl'hhwEe Virlusl SAN Wi in & pp E an7 、耐擰的諒v* 4許看和侗息* 5 葉許-TRUE39；7根據(jù)你的實(shí)際虛擬機(jī)的數(shù)量選擇那雷OV卜假檢71 iM¥ 砂1MTIP* ?員桿洛林和船>wmum iUD $00懷斜伽屮扁曲訂血創(chuàng)騷陸ofm h 500 VMsMecfejm Civ toSDOMVb)Lare (f w nar &0C、T/te:* In 12GB £SXi Boat Dick '1)!萸LUE Maqnhr Disk* 1M 1OBB SDiM-St81e DI

17、Sk* Wd ： rr <jrr drill.'r ar ipuriH'iis選擇存儲這里注意配置 Winess網(wǎng)卡的所在的交換機(jī)配置 Witness服務(wù)器root密碼完成m粗錢W *時僅崛* J由下£祥flittJl7 3 MEFlff* 4 «K?n可1槪下敢孟卜V* 6 AfTEKh諾.b融同* r iUT有憐Wife# 心V 1氏”懦總涼丿、P電疋議爭5C陸"加1vlrbarSMv.tif<6&.l WELaii»r1»F9216S.102Neu- urr心口訕弓D匚叫網(wǎng) Rmni*=-手材上一毀三、

18、配置vSAN集群3.1 :配置ESX虛擬機(jī)SSD磁盤vSAN必須使用SSD磁盤來做緩存，我們必須把我的HDD磁盤 標(biāo)記為SSD磁盤。安裝好vCenter，創(chuàng)建數(shù)據(jù)中心，將 2臺ESXi 主機(jī)和見證服務(wù)器都加入到數(shù)據(jù)中心中，我這里是已經(jīng)創(chuàng)建了一 個vSAN的集群，這個你別管他，找到你要修改的主機(jī)，找到要 修改的磁盤，幾下磁盤的 mpx后面的標(biāo)記。然后使用 SSH協(xié)議 登錄到這個主機(jī)，將這個標(biāo)記的磁盤，標(biāo)為SSD硬盤。我這里是把這個50G的磁盤標(biāo)記為SSD硬盤用過SSH登錄ESXi主機(jī)，我這使用SecureCRT這個工具執(zhí)行如下命令，將 HDD硬盤標(biāo)記為SSD硬盤。這個 C0:T1丄0是 我磁盤的

19、mpx的標(biāo)記，你根據(jù)自己實(shí)際情況。#esxclistorage nmpsatp rule add -satp VMW_SATP_LOCAL -devicempx.vmhba1:C0:T1:L0 -option=enable_ssd#esxcli storage core claiming reclaim -d mpx.vmhba1:C0:T1:L0修改后可以看到，原理的 HDD，變成了 SSD硬盤UV口 1 甕 IVBTV 433 c口 C 11 11 樺兀?1 |l IU 口 | _v U. U U /U<UUMU. V.匚 r j1 THTT1J 5“Local VMware Dis

20、k (mpotvmhbal :CO:T1:LO)D d 50.00. a.不.網(wǎng)存hffs.3.2 :創(chuàng)建vSAN功能集群創(chuàng)建vSAN功能集群，先不要選擇 HA、DRS功能。等配置完vSAN后，再開啟你需要的 HA、DRSvSAN磁盤組選擇手動創(chuàng)建名稱/SANEVCT Virtual SANHn-ff向存儲中添加晞盤"手動,vfbr r亡 T 衛(wèi) | j.t.HltaKDRSk Sphere HA許可瓜必須向群集分12許可込，以便白動創(chuàng)宦磁盥眸驟 血晞盤空間*3.3 :添加主機(jī)將2臺ESXi主機(jī)加入到剛才創(chuàng)建的 vSAN集群中，Witness服務(wù)器不要加進(jìn)vSAN集群中去。vmwar

21、e vSphere Web Client A=192.168 110 .BI； 1 92.1 66.1 07Sj Lostk |"? 192.163.10.2k 192,160.1 0.8新建虎擬機(jī)KF1標(biāo) .： St建資逓迪一.升部署OVF複析二日分配許可證.IGJ ® NQ上一uJ入門應(yīng)n呼圖目2.I 二上£I192.1ES.1C.3囲劭榨-vSAN區(qū)將王機(jī)移入群隼”，忝加主機(jī)八Phi Datacgntervmwaref vSphere Web Client A=導(dǎo)航器上一瓦ra ai寸 J)192.16B.10.3騙 Data ctitnrySAN冷舷臺ES

22、Xi主機(jī)|192.108.10.6 r,' 19,1 aa i 叩b' testk 192.166.10.2EZSZ： I這是Win七鉛服務(wù)器3.4 :配置2臺ESXi主機(jī)vSAN流量的kernel，這個vSAN流 量的kernel是需要IP地址的，Witness的vSAN流量的kernel也是需要配置IP地址的，這個3個地址必須在一個網(wǎng)段 先創(chuàng)建一臺虛擬交換機(jī)，使用第二塊網(wǎng)卡選擇剛才創(chuàng)建的虛擬機(jī)配置混雜模式蘇是箱機(jī)IC 3就迅M 空!*札詁wNlN（活肚嘲町卍1卜斤 192 1fi9LiaioUts副H 站Hern 顧T921fi6 1D J* g. 92103 10 2 Q

23、l99.1ddl0iq I 史 a st *i論ii i.a»£j|DeillinlEP* lt*存加E逛 MEirahU7 1 iXn»TSy 2 a/TH杯設(shè)帝分凱的適酋曙4即涯成音用適Bi器未用的適國番從列表中迭擇一吟uniU.M-iii 曲H址屮 1 AtTEIklH RUhtfPi'.IC：3D : 1C-4ffitrhMS2t7.?：7下Y-*皿建杯巻交憧札仁h用姑竹理冋咗氈看：配 斬它，:廠話動適裁器Rr ir fi帀 Co jin 利in I 忖療hr m. R1 腫和IQ 3atiaEtrBrrflt'i«r_-ilcl

24、NetMDd(LOC4)fTTr：m 酉皂的臣恥疋工 菊匱，杠2$ffinwaitj.192.19811M 93 160 10 2542 igz”陽0.2-盪加網(wǎng)絡(luò)OniwlMihLOt)近為1 ：卡丁點(diǎn)f C fif""i*全禪 JEtl CCF _DF:辭益削HtHM卻曲1ej vrelent *MAC地見西址肉傳葡最后選擇剛才創(chuàng)建的交換機(jī)，創(chuàng)建vSAN流量的kernel。專用Bs, 邊*淫fEKS 懺理於抑I診褊否曲巨舟1wnworcr v Sphere Web Client111»i GtM魚農(nóng)忸> ?. i216fl.t01 |il3ZlfB.-l

25、0.3MHMit搭存itKi m3HMi(?1® 158L1QLJg DatzEEirter尹 v9<rkri1n i吐闘肚ij6 春IP的kernel是需要配置IP地址的，所以根據(jù)具體情況配置地址。U I jUniBniffk¥fci4BPWHERff LDI配置完后可以看到你創(chuàng)建的vSAN流量的kernel3.5 :配置見證服務(wù)器的 vSAN kernel IP地址和交換機(jī)修改見證服務(wù)器的交換機(jī)開啟混雜模式.-'lSiifiiir - t hCwi4.*Hifri辛罌命N& W汀帕沖E 乩1M 1曲1UTjf PH 鼻h it HlILtMlih

26、ifMNMirirl)H *審RAflLwitM:中 wttinRss5wr1cJi -氏性崖庭mtiritKtt!*Rra*A< TMkurn®修改 vSAN kernel的IP地址，必須和前面ESXi虛擬機(jī)的vSANkernel地址同網(wǎng)段vni-AAare' vSpiiere Wet> Clientf»=CJ 1 Adm-njpIrwIflrZSPHBRELL *1» "痕|血一一匕K? 職“三世乂 蓋琢宜融界曲冃塔Ail 晦win« Mita 心芒i err «E僅血Jar&2r.iQ6 p或 FB8

27、H0TJl tast Bj號MiLPJt丿尸y* *師鶴*鼎it、烤fUwTM沾fr*耶|«詢n ftsnit tKAAK代良古凰機(jī)E JIBT認(rèn)ib槪機(jī)詢tlH 塔 «i a / x © ftMih|殲刖HtT甲尊酸詢.i 訶”, iDr：roSIIAU：J平樓厲IF制意世J自晦取陽曲i' 史習(xí)靜忘皿*誥罡e ft*IPV6 匹ifw H?Ui»2.io . ie«lt M子陰植碼：255 . 355 255 . A酗胃売彗代儉歐斟謝認(rèn)網(wǎng)去味技器劃It21S.S5.16 ' H3fl 55.152 SS3.6配置后的ESXi主

28、機(jī)網(wǎng)絡(luò)和見證主機(jī)的網(wǎng)絡(luò)ESXi主機(jī)一：管理 IP: 192.168.10.6vSAN kernel IP: 1921.68.10.16vmvane- vSphere Woto Clrannit »U I AdmirislTilMriMil-EFE LOCAL *t； WXldBkiU 弘 t怡 丁小2Ail. 理牡 譚盂刖冃 Q機(jī) 曲S敢H網(wǎng)略vmvane- vSphere Woto Clrannit »U I AdmirislTilMriMil-EFE LOCAL *vmvane- vSphere Woto Clrannit »U I AdmirislTilMr

29、iMil-EFE LOCAL *鼻 102.181.10.3*J" ! u I JffTSTTIR: TU £® iesi »M商 tiifiiaMrfliFrM ftii|t* 陽MlltKM鼻皿豪rw楚虛轍審煥削軟其謀T fclLAfikamclo' 爾JdTVL*NICr-T|qL4 1 100* wflF.RiJinn ii仲財T貶IHijQMGQvmvane- vSphere Woto Clrannit »U I AdmirislTilMriMil-EFE LOCAL *ESXi主機(jī)二:管理 IP: 192.168.10.7vSAN kernel IP: 1921.68.10.17vmvane- vSphere Woto Clrannit