云計算集群技術(shù)與應用- 教案-教學設計 第04章 NFS存儲集群

云計算集群技術(shù)與應用教學設計課程名稱：云計算集群技術(shù)與應用__授課年級：_______________________授課學期：_______________________教師姓名：_______________________年月日課程名稱第4章NFS存儲集群計劃學時4學時內(nèi)容分析本章主要介紹數(shù)據(jù)庫集群的相關(guān)知識，包含數(shù)據(jù)庫簡介、數(shù)據(jù)庫集群簡介、數(shù)據(jù)庫集群架構(gòu)、數(shù)據(jù)庫主從復制實戰(zhàn)、數(shù)據(jù)庫讀寫分離實戰(zhàn)。教學目標與教學要求【知識目標】理解NFS在集群的位置。理解NFS的系統(tǒng)原理?！炯寄苣繕恕空莆詹渴餘FS存儲。掌握部署NFS存儲實時備份?！舅颊四繕恕繂⒌蠈W生思考其后的數(shù)據(jù)存儲和工作原理，提高大家以專業(yè)能力服務社會意識。通過生活實踐的案例，潛移默化培養(yǎng)學生學以致用，利用專業(yè)知識服務社會?？紤]社會、經(jīng)濟和安全等多方面因素，培養(yǎng)同學們社會責任感。教學重點理解NFS的系統(tǒng)原理、掌握部署NFS存儲、掌握部署NFS存儲實時備份教學難點理解NFS的系統(tǒng)原理、掌握部署NFS存儲實時備份教學方式課堂講解配合ppt演示2學時，上機演練2學時教學過程第一學時（NFS介紹、NFS系統(tǒng)原理）一、提出需求，導入學習任務（1）思考數(shù)據(jù)庫集群的學習應該從何入手。隨著業(yè)務的發(fā)展，用戶的增加，網(wǎng)站功能的不斷擴展完善，隨之產(chǎn)生的視頻、圖片、附件等靜態(tài)資源文件占用硬盤資源的空間也越來越大。比如大眾點評或者微信中“曬”的朋友圈，會產(chǎn)生用戶頭像以及用戶發(fā)布的圖片、視頻等大量文件，這就需要使用網(wǎng)絡文件共享服務解決這一問題。（2）明確學習方向。理解NFS在集群中的位置。理解NFS系統(tǒng)原理。二、知識講解（一）NFS介紹1.存儲類型直連式存儲（DAS，DirectAttachedStorage）：指直接連接主機系統(tǒng)的存儲設備，直連式存儲設備一般采用SCSI連接服務器主機，比如磁盤陣列（RAID，RedundantArraysofIndependentDisks）、磁盤簇（JBOB，JustaBunchofDisks）、本地硬盤等。網(wǎng)絡附加存儲（NAS，NetworkAttachedStorage）：指通過網(wǎng)絡拓撲結(jié)構(gòu)添加到主機上的存儲設備，常用于文檔共享、圖片共享、視頻共享等。存儲區(qū)域網(wǎng)絡（SAN，StorageAreaNetwork）：指使用高速網(wǎng)絡或者子網(wǎng)絡連接存儲陣列和服務器主機，最后形成一個專用的存儲網(wǎng)絡，可輕易實現(xiàn)物理分離的存儲。2.NFSNFS（NetworkFileSystem，網(wǎng)絡文件系統(tǒng)）是UNIX系統(tǒng)之間共享文件的一種協(xié)議，其功能是通過網(wǎng)絡讓不同的服務器之間共享數(shù)據(jù)資源。NFS網(wǎng)絡文件系統(tǒng)在企業(yè)級集群架構(gòu)中，通常用于存儲共享視頻、圖片、附件等靜態(tài)資源文件，比如博客的用戶頭像、發(fā)布的圖片、視頻等網(wǎng)站用戶上傳的文件，都會放在NFS共享中。在Web服務器集群后端搭建NFS共享存儲服務器，使得用戶上傳圖片都會存儲到共享存儲上，如此一來，所有用戶訪問圖片會在共享存儲上查找。NFS共享存儲的優(yōu)點如下所示。部署簡單、快速，且易于后期維護。實現(xiàn)了透明文件的訪問以及數(shù)據(jù)傳輸，數(shù)據(jù)的可靠性高。占用更少的本地磁盤空間，不用改變已有的工作環(huán)境就可以實現(xiàn)新資源和文件的擴充。性能高，數(shù)據(jù)可靠性高，配置靈活，易于掌握。（二）NFS系統(tǒng)原理1.NFS系統(tǒng)掛載NFS服務器與客戶端掛載的結(jié)構(gòu)圖。2.認識RPC在NFS工作流程中，RPC服務主要用于記錄NFS各功能對應的端口信息，然后將該信息傳輸在服務端和客戶端之間。NFS工作流程圖。3.NFS工作原理NFS的工作原理流程簡圖。首先在NFS服務器端啟動RPC服務，并開啟111端口。然后NFS服務器端啟動NFS服務，并向RPC注冊端口信息。客戶端啟動RPC服務，向服務端的RPC服務請求服務端的NFS端口。服務端的RPC服務反饋NFS端口信息給客戶端。三、知識鞏固（1）回顧上課前的學習目標，對本節(jié)課知識點進行總結(jié)。（2）使用第4章課后作業(yè)。第二學時（NFS存儲實戰(zhàn)訓練、NFS共享數(shù)據(jù)實時推送備份案例）一、回顧上節(jié)課內(nèi)容（1）對上節(jié)課布置的作業(yè)以及學生提出的問題進行答疑解惑。（2）回顧上節(jié)課內(nèi)容，引出本節(jié)課主題。（3）明確學習方向。掌握部署NFS存儲。掌握部署NFS共享數(shù)據(jù)實時推送備份。二、知識講解（一）NFS存儲實戰(zhàn)訓練1.NFS存儲案例中服務器部署的結(jié)構(gòu)圖。準備4臺VM虛擬機（或者物理服務器），一臺作為存儲端（nfs-server），三臺作為Web集群，具體如表。服務器系統(tǒng)IP主機名CentOS7.6x86_64192.168.10.128nfs-serverCentOS7.6x86_64192.168.10.129web1CentOS7.6x86_64192.168.10.130web2CentOS7.6x86_64192.168.10.131web32.服務端配置配置NFS服務器需要有兩個軟件，分別是rpcbind和nfs-utils。rpcbind：RPC的主程序。NFS其實可以理解為一個RPC服務，在啟動任何一個RPC服務之前，需要做好port（端口）的對應功能的工作，而這個工作是rpcbind這個服務來完成的。由此可知，在啟動NFS服務之前需要先啟動rpcbind程序。nfs-utils：NFS主程序提供了rpc.nfsd和rpc.mountd這兩個NFSdaemons，以及其他相關(guān)文件和說明文件、執(zhí)行文件。（1）CentOSrelease7是最小化安裝，默認情況下沒有安裝nfs和rpcbind，此處使用Yum搜尋安裝包是否存在，并下載軟件。[root@nfs-server~]#yum-yinstallnfs-utilsrpcbind（2）使用rpm命令查看NFS軟件的安裝情況。（3）啟動rpcbind服務，設置開機自啟。（4）查看111端口是否開啟。[root@nfs-serverwebdata]#lsof-i:111[root@nfs-serverwebdata]#netstat-lntup|greprpcbind（5）查看NFS服務向rpc服務注冊的端口信息。[root@nfs-serverwebdata]#rpcinfo-plocalhostrpcbind服務對外提供服務的主端口即111端口，由于NFS服務還未啟動，上述命令返回的結(jié)果顯示的端口映射信息較少（6）啟動nfs-server服務。（7）nfs-sever啟動成功后，再次查看NFS服務向RPC注冊的端口信息。[root@nfs-server~]#rpcinfo-plocalhost（8）查看NFS服務相關(guān)進程。[root@nfs-server~]#ps-ef|egrep"rpc|nfs"（9）NFS服務的主配置文件/etc/exports默認是空的，需要自行配置。/etc/exports文件配置格式。NFS共享目錄NFS客戶端地址1[權(quán)限參數(shù)]NFS客戶端地址2[權(quán)限參數(shù)]在配置文件中寫入共享目錄，具體要求如下所示。/webdata/share目錄可讀寫且不限制用戶身份，共享給Web客戶端。/webdata/upload目錄作為Web客戶端的數(shù)據(jù)上傳目錄，并將所屬組和所屬用戶設置為nfs_upload，UID和GID設置為2000。/webdata/nfs目錄設置為只讀，向Web客戶端提供數(shù)據(jù)內(nèi)容。[root@nfs-server~]#vim/etc/exports/webdata/share192.168.10.0/24(rw,sync,no_root_squash)/webdata/upload192.168.10.0/24(rw,all_squash,anonuid=2000,anongid=2000)/webdata/nfs192.168.10.0/24(ro)（10）根據(jù)要求創(chuàng)建對應的共享目錄/webdata/share。[root@nfs-server~]#mkdir-p/webdata/share[root@nfs-server~]#chmod777/webdata/share/（11）根據(jù)要求創(chuàng)建對應的共享目錄/webdata/upload之前，創(chuàng)建對應用戶的UID和GID。[root@nfs-server~]#groupadd-g2000nfs_upload[root@nfs-server~]#useradd-g2000-u2000-Mnfs_upload#查看創(chuàng)建的nfs_upload用戶和屬組信息[root@nfs-server~]#cat/etc/passwd|grepnfsrpcuser:x:29:29:RPCServiceUser:/var/lib/nfs:/sbin/nologinnfsnobody:x:65534:65534:AnonymousNFSUser:/var/lib/nfs:/sbin/nologinnfs_upload:x:2000:2000::/home/nfs_upload:/bin/bash（12）創(chuàng)建對應的共享目錄/webdata/upload，并修改屬主。[root@nfs-server~]#mkdir-p/webdata/upload[root@nfs-server~]#chown-Rnfs_upload:nfs_upload/webdata/upload/根據(jù)要求創(chuàng)建對應的共享目錄/webdata/nfs。（13）一般修改NFS配置文檔后，無需重啟NFS，直接執(zhí)行exportfs-rv命令即可使修改的/etc/exports生效。（14）查看NFS服務器共享出來的目錄。[root@nfs-server~]#showmount-elocalhostExportlistforlocalhost:/webdata/nfs192.168.10.0/24/webdata/upload192.168.10.0/24/webdata/share192.168.10.0/24至此NFS服務端的配置已完成。3.客戶端配置（1）在Web客戶端安裝nfs-utils和rpcbind，以web1為例。[root@web1~]#yum-yinstallnfs-utilsrpcbind（2）啟動rpcbind，并設置為開機自啟。（3）啟動nfs服務，并設置為開機自啟。（4）在Web客戶端查看NFS服務端的共享目錄。接下來，掛載NFS服務端的共享目錄至NFS客戶端并測試。（5）掛載NFS服務端的/webdata/nfs到客戶端本地的/webtata/nfs1。在本地創(chuàng)建要掛載的目錄，并掛載。[root@web1~]#mkdir-p/webdata/nfs1#掛載[root@web1~]#mount-tnfs192.168.10.128:/webdata/nfs/webdata/nfs1/查看磁盤分區(qū)的使用情況。創(chuàng)建文件測試nfs1目錄的權(quán)限。[root@web1~]#touch/webdata/nfs1/test1touch:無法創(chuàng)建"/webdata/nfs1/test1":只讀文件系統(tǒng)由于共享目錄nfs的權(quán)限是只讀，所以目錄下無法創(chuàng)建文件。（6）掛載NFS服務端的/webdata/upload到客戶端本地的/webtata/upload1。在本地創(chuàng)建要掛載的目錄。[root@web1~]#mkdir-p/webdata/upload1#掛載[root@web1~]#mount-tnfs192.168.10.128:/webdata/upload//webdata/upload1/查看磁盤分區(qū)的使用情況。Web客戶端創(chuàng)建nfs_upload用戶和屬組。[root@web1~]#groupadd-g2000nfs_upload[root@web1~]#useradd-g2000-u2000-mnfs_uploadWeb客戶端的數(shù)據(jù)上傳upload目錄測試。創(chuàng)建測試文件。[root@web1upload1]#touchtest.txt創(chuàng)建目錄測試。[root@web1upload1]#mkdirtestdir在upload1創(chuàng)建的目錄及文件默認屬主為nfs_upload。為了進一步驗證，在NFS服務端查看/webdata/upload共享目錄。[root@nfs-server~]#ll/webdata/upload/總用量0drwxr-xr-x2nfs_uploadnfs_upload62月1710:47testdir-rw-r--r--1nfs_uploadnfs_upload02月1710:48test.txt由上述結(jié)果所示，Web客戶端成功上傳文件到NFS服務端的/webdata/upload共享目錄，且默認屬主為nfs_upload。（7）掛載NFS服務端的/webdata/share到客戶端本地的/webtata/share1。在本地創(chuàng)建要掛載的目錄。[root@web1~]#mkdir-p/webdata/share1#掛載[root@web1~]#mount-tnfs192.168.10.128:/webdata/share/webdata/share1/查看磁盤分區(qū)的使用情況。在NFS服務端的/webdata/share添加測試文件test.jpg。[root@nfs-servershare]#chmod777test.jpg回到Web客戶端，查看/webdata/share1中的文件，并重命名為a.jpg。#重命名[root@web1~]#mv/webdata/share1/test.jpg/webdata/share1/a.jpg[root@web1~]#ll/webdata/share1/總用量172-rwxrwxrwx1rootroot1751322月1510:00a.jpg由上述結(jié)果所示，可以對share目錄中的文件進行讀寫。4.前端測試在Web客戶端創(chuàng)建一個網(wǎng)頁，模擬生產(chǎn)環(huán)境下，用戶點擊網(wǎng)頁鏈接讀取NFS共享存儲文件。（1）在Web客戶端安裝nginx。（2）修改配置文件的server模塊，使默認網(wǎng)頁指向/webdata掛載目錄。（3）重啟nginx，使配置文件生效。（4）通過一個簡單的前端頁面，實現(xiàn)共享文件的訪問。（5）瀏覽器訪問web1的IP。（6）單擊“林間小路”鏈接。可正常訪問共享文件。此處需要注意，web1主機中/webdata/share1/中的a.jpg實際上是NFS服務端/webdata/share中a.jpg的映射。（二）NFS共享數(shù)據(jù)實時推送備份案例1.環(huán)境準備（1）工具Rsync（Remotesynchronization）是一款優(yōu)秀的遠程復制工具，它不但開源、快速、功能多，而且適用于多種操作系統(tǒng)。利用rsync服務結(jié)合監(jiān)控服務Inotify機制（inotify-tools、sersync、lrsyncd）做實時的數(shù)據(jù)備份，即根據(jù)存儲服務器上目錄的變化，把變化的數(shù)據(jù)通過inotify或sersync結(jié)合rsync命令實時同步到備份服務器，還可以通過drbd方案以及雙寫的方案實現(xiàn)雙機數(shù)據(jù)同步。（2）原理本節(jié)的案例要求NFS服務器以Rsync守護進程的方式部署Rsync服務，然后把本地的數(shù)據(jù)通過Rsync的方式傳輸?shù)絺浞莘掌鱞ackup上，最后通過notify-tools插件實現(xiàn)數(shù)據(jù)的實時推送備份。（3）NFS數(shù)據(jù)備份案例中服務器部署的結(jié)構(gòu)如圖。準備1臺VM虛擬機（或者物理服務器）作為備份服務器（backup），繼續(xù)使用nfs-server存儲服務器作為Rsync客戶端，具體如表。服務器系統(tǒng)IP主機名CentOS7.6x86_64192.168.10.128nfs-serverCentOS7.6x86_64192.168.10.132backup2.部署Rsync服務端—backup備份服務器（1）首先查看備份主機是否安裝了rsync工具。（2）安裝rsync服務。（3）修改/etc/rsyncd.conf配置文件，添加nfsbackup模塊，模塊名可根據(jù)NFS服務端的備份目錄自定義。[root@backup~]#vim/etc/rsyncd.conf#/etc/rsyncd:configurationfileforrsyncdaemonmode#Seersyncd.confmanpageformoreoptions.#configurationexample:uid=rsync#用戶gid=rsync#用戶組usechroot=no#程序安全設置maxconnections=200 #客戶端連接數(shù)pidfile=/var/run/rsyncd.pid#進程號文件位置logfile=/var/log/rsync.log #日志文件位置timeout=300 #超時時間ignoreerrors #忽略錯誤readonly=false #只讀false，即可讀可寫list=false #阻止遠程列表hostsallow=192.168.10.128/24 #允許IPhostsdeny=0.0.0.0/32 #禁止IP，如果IP有沖突，可注釋掉該句authusers=rsync_backup #虛擬用戶，用來在客戶端和服務端傳輸數(shù)據(jù)，非系統(tǒng)內(nèi)真正的虛擬用戶secretsfile=/etc/rsync.password #用于存放虛擬用戶的用戶名和密碼fakesuper=yes#不需要daemon以root運行，就可以存儲文件的完整屬性######[multi_module_1]path=/multi_module_1/#[nfsbackup]path=/nfsbackup/####rsync_config____end##（4）創(chuàng)建rsync屬主和屬組。（5）根據(jù)對配置文件的新模塊的描述，創(chuàng)建相應目錄。（6）設置目錄的屬主和屬組，使得rsync客戶端通過用戶連接時對/nfsbackup/目錄獲得相關(guān)權(quán)限。（7）啟動rsync服務，并且設置開機自啟。（8）默認情況下rsync的端口都是873，查看端口是否開啟。（9）將虛擬用戶及密碼寫入密碼配置文件。[root@backup~]#echo"rsync_backup:123456">/etc/rsync.password（10）為提高密碼安全性，修改密碼文件的權(quán)限。[root@backup~]#chmod600/etc/rsync.password3.部署Rsync客戶端—nfs-server存儲服務器（1）實現(xiàn)rsync數(shù)據(jù)推送安裝rsync服務。添加虛擬用戶的密碼文件，只寫入密碼即可。[root@nfs-server~]#echo"123456">/etc/rsync.password更改密碼文件的權(quán)限，以提高安全性。[root@nfs-server~]#chmod600/etc/rsync.passwordRsync同步包括兩種方式，push推送和pull拉取。push推送是指把本地的文件同步到指定的主機目錄下；pull拉取是指將指定主機目錄下的文件同步到本地。本節(jié)案例使用push推送測試rsync工具是否能傳輸文件。首先在rsync客戶端創(chuàng)建測試目錄/nfsbackup以及測試文件。[root@nfs-server~]#mkdir/nfsbackup[root@nfs-server~]#touch/nfsbackup/{1,2,3}_file[root@nfs-server~]#ls/nfsbackup/1_file2_file3_file在備份服務器backup中的/nfsbackup目錄中創(chuàng)建測試文件，表示已有的數(shù)據(jù)。[root@backup~]#touch/nfsbackup/{a,b,c}_test[root@backup~]#ls/nfsbackup/a_testb_testc_test在Rsync客戶端nfs-server中將客戶端指定的目錄內(nèi)容推送到rsync服務端指定目錄下。[root@nfs-server~]#rsync-avH--port=873--progress--delete/nfsbackup/rsync_backup@192.168.10.132::nfsbackup/--password-file=/etc/rsync.password--delete參數(shù)表示無差異同步，使得rsync服務端（備份服務器backup）以本地源文件為基準，將差異的文件刪除。最后，查看rsync服務端（備份服務器）的/nfsbackup目錄。[root@backup~]#ls/nfsbackup/a_testb_testc_testpush推送數(shù)據(jù)的測試完成。2.安裝Inotify插件－rsync客戶端rsync不能實時監(jiān)測和同步數(shù)據(jù)，為了使服務端和客戶端數(shù)據(jù)保持一致，以及在應用故障時完全恢復數(shù)據(jù)，可以使用rsync+inotify插件解決，然后通過寫入腳本實現(xiàn)數(shù)據(jù)的實時同步。（1）首先查看當前系統(tǒng)是否支持inotify。[root@nfs-server~]#ls-l/proc/sys/fs/inotify/出現(xiàn)了三個文件則表示支持inotify。（2）接下來，查看是否安裝了inotify軟件，如果沒有，則安裝inotify軟件，[root@nfs-server~]#yum-yinstallinotify-toolsinotify軟件包含2個工具，即inotifywait和inotifywatch。inotifywait：在被監(jiān)控的文件或目錄上等待特定文件系統(tǒng)事件（open，close，delete等）發(fā)生，執(zhí)行后處于阻塞狀態(tài)，適合shell腳本中使用。inotifywatch：收集被監(jiān)視的文件系統(tǒng)使用度統(tǒng)計數(shù)據(jù)，指文件系統(tǒng)事件發(fā)生的次數(shù)統(tǒng)計。（3）最后，開啟兩個nfs-server窗口用于測試inotify插件的監(jiān)控功能是否正常開啟。第一個窗口使用inotifywait命令監(jiān)控/nfsbackup目錄的創(chuàng)建文件。[root@nfs-server~]#inotifywait-mrq--timefmt'%y/%m/%d%H:%M'--format'%T%w%f'-ecreate/nfsbackup第二個窗口在/nfsbsckup目錄中創(chuàng)建文件，以觸發(fā)inotify的監(jiān)控功能。[root@nfs-server~]#cd/nfsbackup/#查看已有文件[root@nfs-servernfsbackup]#ls1_file2_file3_file#創(chuàng)建測試文件1和2[root@nfs-servernfsbackup]#touchinotifywait_create_event_1[root@nfs-servernfsbackup]#touchinotifywait_create_event_2[root@nfs-servernfsbackup]#ls1_fileinotifywait_create_event_12_fileinotifywait_create_event_23_file回到窗口1觀察監(jiān)控創(chuàng)建create事件會有什么變化。[root@nfs-server~]#inotifywait-mrq--timefmt'%y/%m/%d%H:%M'--format'%T%w%f'-ecreate/nfsbackup22/02/2218:04/nfsbackup/inotifywait_create_event_122/02/2218:04/nfsbackup/inotifywait_create_event_2將rsync和inotify實現(xiàn)的功能寫入腳本中。[root@nfs-server~]#catrsync_test_1.sh#!/bin/bashsrcdir=/nfsbackupinotifywait-rq--timefmt'%d/%m/%y-%H:%M'--format'%T%w%f'-emodify,create,attrib${srcdir}\|whilereadfiledoecho"${file}isnotified!"rsync-aH--port=873--progress--delete/nfsbackup/rsync_backup@192.168.10.132::nfsbackup/--password-file=/etc/rsync.passworddone（4）開啟兩個nfs-server主機窗口用于測試實時同步數(shù)據(jù)備份，然后在備份服務器查看數(shù)據(jù)是否推送備份成功。首先在nfs-server主機窗口1，執(zhí)行上述腳本。[root@nfs-server~]#bashrsync_test_1.sh然后在nfs-server主機窗口2，對需要備份的目錄創(chuàng)建文件。#已有文件[root@nfs-servernfsbackup]#ls1_fileinotifywait_create_event_12_fileinotifywait_create_event_23_file#創(chuàng)建新的測試文件[root@nfs-servernfsbackup]#touch{a,b,c}_test[root@nfs-servernfsbackup]#ls1_file3_fileb_testinotifywait_create_event_12_filea_testc_testinotifywait_create_event_2返回窗口1觀察。[root@nfs-server~]#bashrsync_test_1.sh23/02/22-09:56/nfsbackup/a_testisnotified!sendingincrementalfilelist./a_test0100%0.00kB/s0:00:00(xfr#1,to-chk=4/9)b_test0100%0.00kB/s0:00:00(xfr#2,to-chk=3/9)c_test0100%0.00kB/s0:00:00(xfr#3,to