安裝配置實(shí)驗(yàn)

1、DRBD安裝測(cè)試一、實(shí)驗(yàn)要求1、DRBD(Distributed Replicated Block Device）安裝測(cè)試二、架構(gòu)拓?fù)渚W(wǎng)絡(luò)要求：所有服務(wù)器位于同一VLan機(jī)器無(wú)特殊要求。三、系統(tǒng)環(huán)境1、操作系統(tǒng)：CentOS 6.62、相關(guān)軟件：drbd-8.4.3、網(wǎng)絡(luò)要求：/etc/hosts文件添加雙方主機(jī)名列表。四、地址規(guī)劃名 稱角 色I(xiàn)P地址虛擬IP地址CentOS-66A主服務(wù)器CentOS-66B從服務(wù)器五、安裝軟件1、安裝支持軟件#在編譯安裝之前，必須安裝內(nèi)核開(kāi)發(fā)包，以及支持庫(kù) shell# yum -y install gcc kernel-devel kernel-head

2、ers shell# yum -y install perl perl-libs shell# yum -y install flex libxslt libxslt-devel2、 編譯安裝drbd2.1、安裝drbd內(nèi)核模塊 # 起已包含DRBD內(nèi)核模塊，無(wú)需再安裝。核心版本與DRBD版本 shell# tar -xvzf drbd-8.4.6.tar.gz -C /usr/local/src shell# cd /usr/local/src/drbd-8.4.6 shell# cd drbd shell# cp drbd.ko /lib/modules/uname -r/kernel/l

3、ib/ shell# depmod# 更新內(nèi)核包關(guān)聯(lián)文件modules.dep shell# modprobe drbd# 安裝內(nèi)核模塊 shell# modinfo drbd# 查看drbd內(nèi)核模塊是否加載成功 # KDIR= 指定的系統(tǒng)內(nèi)核源碼路徑，根據(jù)實(shí)際情況設(shè)置2.2、安裝drbd管理工具 -C /usr/local/src shell# ./configure -prefix=/usr/local/drbd -sysconfdir=/etc/ -localstatedir=/var/ -with-pacemaker shell# make && make instal

4、l # -with-pacemaker，啟用pacemaker集群支持，會(huì)創(chuàng)建ocf格式資源文件：/usr/lib/ocf/resource.d/linbit/drbd 及（drbddisk、drbdupper）二個(gè)服務(wù)腳本。3、拷貝配置文件、啟動(dòng)腳本 shell# cp /usr/local/drbd/etc/drbd.conf /etc/drbd.conf shell# cp -r /usr/local/drbd/etc/drbd.d/ /etc/drbd.d/ shell# cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/rc.d/init.d/

5、drbd shell# ln -s /usr/local/drbd/sbin/drbdadm /usr/sbin/drbdadm shell# ln -s /usr/local/drbd/sbin/drbdmeta /usr/sbin/drbdmeta shell# ln -s /usr/local/drbd/sbin/drbdsetup /usr/sbin/drbdsetup 4、啟動(dòng)軟件 shell# /etc/rc.d/init.d/drbd start # 為方便管理，可配置為系統(tǒng)服務(wù)自動(dòng)啟動(dòng)六、軟件配置1、DRBD主配置文件（/etc/drbd.conf）： shell# vi /e

6、tc/drbd.confinclude "/etc/drbd.d/global_common.conf"include "/etc/drbd.d/*.res" # global_common.conf文件包含global和common的DRBD全局配置部分； # *.res文件包含DRBD資源的配置信息。 # 編輯全局配置文件（global_common.conf）： shell# vi /etc/drbd.d/global_common.conf# DRBD is the result of over a decade of development b

7、y LINBIT.# In case you need professional services for DRBD or haveglobal usage-count no; # 是否加入DRBD官方統(tǒng)計(jì)common handlers # 定義處理機(jī)制程序，/usr/lib/drbd/ 里有大量的程序腳本。 startup # 定義啟動(dòng)超時(shí)時(shí)間等 options # cpu-mask on-no-data-accessible disk # 磁盤(pán)相關(guān)公共設(shè)置，比如I/O、數(shù)據(jù)狀態(tài) on-io-error detach; # 配置I/O錯(cuò)誤處理策略為分離 net # 設(shè)置DRBD同步時(shí)使用的驗(yàn)

8、證方式和密碼信息。 cram-hmac-alg sha1; shared-secret "drbd" syncer verify-alg sha1; # 定義網(wǎng)絡(luò)傳輸速率，一般傳輸速度的30% rate 50M; # 創(chuàng)建資源配置文件(/etc/drbd.d/r0.res) shell# vi /etc/drbd.d/r0.resresource r0 # 公用相同部分可以放到頂部，各節(jié)點(diǎn)會(huì)自動(dòng)繼承 protocol C; # 使用drbd的第三種同步協(xié)議,表示收到遠(yuǎn)程主機(jī)的寫(xiě)入確認(rèn)后,則認(rèn)為寫(xiě)入完成 device /dev/drbd0; # DRBD邏輯設(shè)備的路徑 met

9、a-disk internal; # drbd的元數(shù)據(jù)存放方式，DRBD磁盤(pán)內(nèi)部。 # 每個(gè)主機(jī)的說(shuō)明以"on"開(kāi)頭,后面是主機(jī)名.在后面的中為這個(gè)主機(jī)的配置. on node11 # 此處是節(jié)點(diǎn)的主機(jī)名uname -n address 192.168.10.11:7788; # 設(shè)置DRBD的監(jiān)聽(tīng)端口 disk /dev/sda3; # 節(jié)點(diǎn)物理設(shè)備 on node12 address 192.168.10.12:7788; disk /dev/sda3; 2、 啟用DRBD資源 # 創(chuàng)建設(shè)備元數(shù)據(jù)。這一步必須僅在創(chuàng)建初始化設(shè)備時(shí)完成。它初始化DRBD元數(shù)據(jù)。 shell

10、# drbdadm create-md r0 # 啟用資源 shell# drbdadm up r0 # 啟動(dòng)初始完全同步，設(shè)置主節(jié)點(diǎn)。 shell# drbdadm primary -force r0當(dāng)執(zhí)行完上面一條命令后初始完全同步就開(kāi)始了，可以通過(guò)/proc/drbd來(lái)監(jiān)控同步進(jìn)程。 shell# cat /proc/drbd3、創(chuàng)建文件系統(tǒng)(僅在node1執(zhí)行) # 把/dev/drbd0格式化成ext4格式的文件系統(tǒng)。 shell# mkfs -t ext4 /dev/drbd0 # 將/dev/drbd0掛載到數(shù)據(jù)目錄 shell# mkdir /mnt/drbd0 shell#

11、mount /dev/drbd0 /mnt/drbd0七、測(cè)試1、可以通過(guò)/proc/drbd來(lái)監(jiān)控同步進(jìn)程。 shell# cat /proc/drbd1、其中一個(gè)節(jié)點(diǎn)沒(méi)有初始化，ds:UpToDate/Disklessrootnode21 # cat /proc/drbdversion: 8.4.6 (api:1/proto:86-101)GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by rootnode21, 2015-06-16 15:37:24 0: cs:Connected ro:Primary/Secondar

12、y ds:UpToDate/Diskless C r- ns:0 nr:0 dw:0 dr:664 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:209708442、節(jié)點(diǎn)已開(kāi)始同步，ds:UpToDate/Inconsistentrootnode21 # cat /proc/drbdversion: 8.4.6 (api:1/proto:86-101)GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by rootnode21, 2015-06-16 15:37:24 0: cs:Sync

13、Source ro:Primary/Secondary ds:UpToDate/Inconsistent C r- ns:925056 nr:0 dw:0 dr:925720 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:20045788 >. sync'ed: 1.4% (19572/19836)M finish: 0:24:57 speed: 13,380 (10,784) K/sec3、節(jié)點(diǎn)同步完成，ds:UpToDate/UpToDaterootnode21 # cat /proc/drbdversion: 8.4.6 (api:

14、1/proto:86-101)GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by rootnode21, 2015-06-16 15:37:24 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r- ns:20970844 nr:0 dw:0 dr:20971508 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:02、drbd腦裂手動(dòng)恢復(fù)過(guò)程(以node11的數(shù)據(jù)位主，放棄node12不同步數(shù)據(jù))：1）將Node1

15、設(shè)置為主節(jié)點(diǎn)并掛載測(cè)試，r0為定義的資源名 shell# drbdadm primary r0 shell# mount /dev/drbd0 /mnt/drbd0 shell# ls -lh /mnt/drbd0 查看文件情況2）將Node2設(shè)置為從節(jié)點(diǎn)并丟棄資源數(shù)據(jù) shell# drbdadm secondary r0 shell# drbdadm - -discard-my-data connect r03）在Node1主節(jié)點(diǎn)上手動(dòng)連接資源 shell# drbdadm connect r04）最后查看各個(gè)節(jié)點(diǎn)狀態(tài)，連接已恢復(fù)正常 shell# cat /proc/drbd附：錯(cuò)誤處理

16、A、軟件編譯時(shí)，錯(cuò)誤解決辦法：1、configure: error: Cannot build utils without flex, either install flex or pass the -without-utils option.解決方式：yum install flexB、軟件運(yùn)行時(shí)，錯(cuò)誤解決辦法：1、shell# /etc/rc.d/init.d/drbd startStarting DRBD resources: no resources defined!解決辦法：沒(méi)有配置DRBD資源，或編譯時(shí)沒(méi)指定配置文件路徑（/etc/drbd.conf)。2、當(dāng)執(zhí)行命令”drbdadm create-md r0”時(shí)，出現(xiàn)以下錯(cuò)誤信息。Device size would be truncated, which would corrupt data and result in'access beyond end of device' errors.You need to either * use external meta data (recommended) * shrink that filesys