《虛擬化與云計算技術(shù)應(yīng)用實踐項目化教程》 課件 項目6 網(wǎng)絡(luò)存儲搭建和使用

虛擬化與云計算應(yīng)用實踐

項目化教程

項目6網(wǎng)絡(luò)存儲搭建和使用

學(xué)習(xí)目標(biāo)知識目標(biāo)了解存儲系統(tǒng)網(wǎng)絡(luò)架構(gòu)；了解分布式存儲技術(shù)。技能目標(biāo)掌握Openfiler安裝和配置；掌握NFS和iSCSI存儲搭建和使用；掌握HDFS和MooseFS搭建和使用。通過本課程的學(xué)習(xí)你將可以項目引導(dǎo)網(wǎng)絡(luò)存儲搭建和使用隨著存儲技術(shù)的不斷發(fā)展和完善，企業(yè)的IT技術(shù)架構(gòu)正從以服務(wù)器為中心逐漸向以數(shù)據(jù)存儲為中心的方向演變。不斷增長的數(shù)據(jù)量也讓傳統(tǒng)的基礎(chǔ)架構(gòu)、數(shù)據(jù)存儲方式面臨新的挑戰(zhàn)。在本項目中，重點介紹基于文件系統(tǒng)的存儲和基于設(shè)備的存儲，拓展存儲虛擬化知識。主流的存儲架構(gòu)技術(shù)知識準備任務(wù)實施14安裝Openfiler存儲平臺使用Openfiler搭建NFS存儲123使用Openfiler搭建iSCSI存儲HDFS安裝配置和使用2分布式存儲技術(shù)5MooseFS安裝配置和使用1主流的存儲架構(gòu)技術(shù)主流的存儲架構(gòu)技術(shù)包括直連式存儲、網(wǎng)絡(luò)接入存儲和存儲區(qū)域網(wǎng)絡(luò)。1．直連式存儲（Direct-AttachedStorage，DAS）2．網(wǎng)絡(luò)接入存儲（Network-AttachedStorage，NAS）3．存儲區(qū)域網(wǎng)絡(luò)（StorageAreaNetwork，SAN）2分布式存儲技術(shù)分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負荷，利用位置服務(wù)器定位存儲信息，不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。常見的分布式存儲系統(tǒng)包括HDFS、MooseFS等。1．HDFSHDFS（HadoopDistributedFileSystem）是Hadoop項目的核心子項目，Hadoop三大核心子項目還包括資源管理系統(tǒng)YARN、分布式計算框架MapReduce。2分布式存儲技術(shù)2．MooseFSMooseFS是一款具有冗余容錯功能的分布式文件系統(tǒng)。它把數(shù)據(jù)分散在多臺服務(wù)器上，確保一份數(shù)據(jù)多個備份副本，對外提供統(tǒng)一的結(jié)構(gòu)。MFS分布式文件系統(tǒng)由元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)日志服務(wù)器，數(shù)據(jù)存儲服務(wù)器，客戶端等幾部分組成。項目實施任務(wù)6-1安裝Openfiler存儲平臺任務(wù)6-2使用Openfiler搭建NFS存儲任務(wù)6-3使用Openfiler搭建iSCSI存儲任務(wù)6-4HDFS安裝配置和使用任務(wù)6-5MooseFS安裝配置和使用需要完成的任務(wù)：項目實施包括6個具體任務(wù)。本項目包括使用veth、實現(xiàn)橋接、NAT模型，安裝openvswitch，使用OVS管理網(wǎng)橋及創(chuàng)建gre隧道。

Project任務(wù)實施1安裝Openfiler存儲平臺Openfiler是一款開源免費的存儲管理操作系統(tǒng)，通過web界面管理磁盤。Openfiler支持流行的網(wǎng)絡(luò)存儲技術(shù)，如IP-SAN和NAS，支持iSCSI、NFS、SMB/CIFS及FTP等協(xié)議。從Openfiler官網(wǎng)下載OpenfilerNAS/SANAppliance,version2.99鏡像，這個鏡像基于RHEL6定制，內(nèi)核使用2.6.32，提供的是x86_64位版本。（1）參考安裝RHEL6的步驟在VMwareWorkstation中安裝Openfiler2.99。安裝模式有圖形界面和文本界面安裝模式兩種選擇。（2）安裝完成，從光驅(qū)中取出安裝鏡像，單擊“Reboot”重新啟動計算機。（3）Openfiler的默認用戶名為openfiler，密碼為password（4）在瀏覽器輸入29:446/開啟Openfiler的Web界面。這里29為當(dāng)前Openfiler操作系統(tǒng)的ip地址，446為服務(wù)端口任務(wù)實施2使用Openfiler搭建NFS存儲在本任務(wù)中，通過VMwareWorkstation為Openfiler添加一塊1G磁盤作為NFS共享磁盤。接下來在Openfiler中執(zhí)行創(chuàng)建物理卷、創(chuàng)建卷組、創(chuàng)建邏輯卷、共享設(shè)置策略、網(wǎng)絡(luò)訪問控制策略、啟動服務(wù)、測試等操作步驟。（1．創(chuàng)建物理卷（1）單擊Openfiler頁面中的“Volumes”選項。在頁面右側(cè)的功能列表區(qū)中點選“BlockDevices”，頁面左側(cè)顯示的“BlockDeviceManagement”用來對物理磁盤進行管理。在BlockDeviceManagement中的/dev/sdb是新添加的1GB磁盤。單擊“/dev/sdb”進入創(chuàng)建分區(qū)界面。（2）在“Createapartitionin/dev/sdb”頁面中，單擊“create”創(chuàng)建默認的物理卷分區(qū)。（3）新創(chuàng)建的分區(qū)/dev/sdb1即為物理卷。2．創(chuàng)建卷組單擊Openfiler菜單欄，在volumessection里選擇VolumeGroups，對卷組進行管理。在管理界面可以看到前面創(chuàng)建的物理卷/dev/sdb1。（1）勾選要添加到卷組的物理卷/dev/sdb1，給即將創(chuàng)建的卷組取個名字vg1，單擊“Addvolumegroup”按鈕將物理卷/dev/sdb1添加到卷組vg1中。（2）卷組vg1信息查看。3．創(chuàng)建邏輯卷（1）在卷組vg1上創(chuàng)建邏輯卷。在volumessection里選擇“AddVolume”進入添加邏輯卷界面。首先在“SelectVolumeGroup”中選擇卷組vg1，然后單擊“Change”按鈕。（2）在界面中“Createavolumein‘vg1’”中填上希望創(chuàng)建的邏輯卷的名稱、邏輯卷描述、需要分配給該邏輯卷的大小以及邏輯卷的文件類型等，單擊“Create”按鈕創(chuàng)建邏輯卷。注意暫時不要選擇block類型，選擇的XFS和Ext*等類型可以即刻在邏輯卷上創(chuàng)建文件，對外提供文件共享服務(wù)。4．共享設(shè)置策略（1）Openfiler中的“Shares”選項是對文件進行共享設(shè)置。單擊邏輯卷，彈出創(chuàng)建邏輯卷子文件夾的選項。輸入文件夾名稱data，單擊“CreateSub-folder”，創(chuàng)建子文件夾。任務(wù)實施2使用Openfiler搭建NFS存儲（2）單擊文件夾data，彈出界面上還可以創(chuàng)建更多的子文件夾并設(shè)置共享。單擊“MakeShare”按鈕進入共享設(shè)置。（3）進入共享設(shè)置頁面后，可以選擇“ShareAccessControlMode”或“Hostaccessconfiguration”兩種模式。選擇ShareAccessControlMode，這種模式又包括包括Publicguestaccess和Controlledaccess。選擇后單擊“Update”按鈕。5．網(wǎng)絡(luò)訪問控制策略（1）單擊“System”選項，在右側(cè)出現(xiàn)的功能列表中選擇“NetworkSetup”。（2）“NetworkSetup”用于設(shè)置網(wǎng)絡(luò)訪問策略。每一個策略都可以針對主機IP地址或網(wǎng)段進行權(quán)限設(shè)置，達到控制訪問目的。這里設(shè)置訪問策略名為share，Network/Host的.代表允許網(wǎng)絡(luò)中的所有主機都訪問共享存儲空間，單擊“Update”按鈕更新策略。6．啟用和啟動共享（1）單擊Openfiler的Services，選擇啟用和啟動CIFSServer和NFSServer，其狀態(tài)分別變?yōu)镋nable和Running。（2）返回Openfiler的“Shares”共享設(shè)置策略?？梢园l(fā)現(xiàn)“Hostaccessconfiguration”選項中出現(xiàn)了share策略，將NFS選項下的權(quán)限改成RW，單擊Update按鈕。這里的修改會寫入Openfiler的/etc/exports文件。7．測試NFS共享存儲的可用性（1）在RHEL8上查看Openfiler上的NFS共享情況。（2）RHEL8掛載Openfiler上NFS共享目錄。（3）在RHEL8上創(chuàng)建一個大小為1MB的文件d，測試共享存儲可用。任務(wù)實施3使用Openfiler搭建iSCSI存儲Internet小型計算機系統(tǒng)接口（InternetSmallComputerSystemInterface，iSCSI）是2003年IETF（InternetEngineeringTaskForce，互聯(lián)網(wǎng)工程任務(wù)組）制訂的一項bcm5722ISCSI網(wǎng)卡標(biāo)準，用于將SCSI（SmallComputerSystemInterface）數(shù)據(jù)塊映射成以太網(wǎng)數(shù)據(jù)包。1．iSCSI工作過程當(dāng)iSCSI主機應(yīng)用程序發(fā)出數(shù)據(jù)讀寫請求后，操作系統(tǒng)會生成一個相應(yīng)的SCSI命令，該SCSI命令在iSCSIinitiator層被封裝成iSCSI消息包并通過TCP/IP傳送到設(shè)備側(cè)，設(shè)備側(cè)的iSCSItarget層會解開iSCSI消息包，得到SCSI命令的內(nèi)容，然后傳送給SCSI設(shè)備執(zhí)行；設(shè)備執(zhí)行SCSI命令后的響應(yīng)，在經(jīng)過設(shè)備側(cè)iSCSItarget層時被封裝成iSCSI響應(yīng)PDU，通過TCP/IP網(wǎng)絡(luò)傳送給主機的iSCSIinitiator層，iSCSIinitiator會從iSCSI響應(yīng)PDU里解析出SCSI響應(yīng)并傳送給操作系統(tǒng)，操作系統(tǒng)再響應(yīng)給應(yīng)用程序。里解析出SCSI響應(yīng)并傳送給操作系統(tǒng)，操作系統(tǒng)再響應(yīng)給應(yīng)用程序。2．SCSI啟動器從本質(zhì)上說，iSCSI啟動器是一個客戶端設(shè)備，它連接到服務(wù)器提供的某一服務(wù)，并發(fā)起對該服務(wù)的請求。如果利用iSCSI創(chuàng)建RAC，iSCSI啟動器軟件需要安裝在每個OracleRAC節(jié)點上。iSCSI啟動器可以用軟件實現(xiàn)，也可以用硬件實現(xiàn)。軟件iSCSI啟動器可用于大部分主要操作系統(tǒng)平臺，可以使用iscsi-initiator-utils

RPM中提供的免費LinuxOpen-iSCSI軟件驅(qū)動程序。iSCSI軟件啟動器通常與標(biāo)準網(wǎng)絡(luò)接口卡（NIC）（大多數(shù)情況下是千兆位以太網(wǎng)卡）配合使用。硬件啟動器是一個iSCSI

HBA（或TCP卸載引擎（TOE）卡），它本質(zhì)上只是一個專用以太網(wǎng)卡，其上的SCSIASIC可以從系統(tǒng)CPU內(nèi)卸載所有工作（TCP和SCSI命令）。iSCSI

HBA可以從許多供應(yīng)商處購買，包括Adaptec、Alacritech、Intel和QLogic。3．iSCSI目標(biāo)SCSI目標(biāo)是iSCSI網(wǎng)絡(luò)的“服務(wù)器”組件。它通常是一個存儲設(shè)備，包含所需的信息并響應(yīng)來自一個或多個啟動器的請求。任務(wù)實施3使用Openfiler搭建iSCSI存儲本任務(wù)中將Openfiler作為iSCSItarget服務(wù)器。在此需要執(zhí)行創(chuàng)建物理卷、創(chuàng)建卷組、創(chuàng)建邏輯卷、配置網(wǎng)絡(luò)訪問、設(shè)置iSCSI服務(wù)，創(chuàng)建iSCSI目標(biāo)等6個步驟。步驟1：創(chuàng)建物理卷。在VMwareWorkstation里為Openfiler添加4塊20GB硬盤，通過瀏覽器連接Openfiler，在菜單欄選擇Volumes后在所在頁面右側(cè)單擊BlockDevices，可以看到安裝了系統(tǒng)的硬盤sda，上一個任務(wù)的NFS硬盤sdb，以及新添加的4塊新硬盤sdc、sdd、sde、sdf步驟2：創(chuàng)建卷組。（1）單擊對應(yīng)的硬盤如/dev/sdc等創(chuàng)建分區(qū)，用這4個硬盤做軟RAID。選擇RAIDarraymember類型，單擊create按鈕，其余3塊盤做同樣操作。（2）在右側(cè)單擊SoftwareRAID，選擇RAID-5（parity），勾選新添加的4個分區(qū)，其中3個分區(qū)建立RAID，1個分區(qū)備用。單擊“Addarray”按鈕創(chuàng)建RAID-5陣列md0。（3）單擊右側(cè)VolumeGroups，勾選/dev/md0，設(shè)置卷組名稱iscsi_vg0并單擊“Addvolumegroup”按鈕，添加卷組。步驟3：創(chuàng)建邏輯卷。（1）在頁面右側(cè)單擊“AddVolume”，選擇卷組iscsi_vg0，單擊“Change”按鈕。（2）在顯示的頁面上添加卷名iscsi_lv0，大小設(shè)為10240MB，類型選擇為block，單擊“Create”按鈕。（3）創(chuàng)建完成后的iscsi卷。步驟4：配置網(wǎng)絡(luò)訪問。單擊Openfiler菜單欄System，在NetworkSetup中添加網(wǎng)絡(luò)策略test，允許IP地址訪問。單擊“Update”按鈕。步驟5：啟動iSCSI服務(wù)。單擊菜單欄Services，啟動iSCSITarget服務(wù)。任務(wù)實施3使用Openfiler搭建iSCSI存儲步驟6：創(chuàng)建iSCSI目標(biāo)。（1）選擇菜單欄Volumes。單擊右側(cè)的iSCSITargets，在彈出的頁面中，在TargetConfiguration添加新的iSCSITarget，這個TargetIQN碼是系統(tǒng)自動生成的，只需單擊“add”按鈕即可。（2）LUN映射。選擇LUNMapping，單擊“Map”按鈕，掛載iscsi卷。（3）網(wǎng)絡(luò)ACL。選擇NetworkACL，設(shè)置Access為Allow，允許放行，單擊“Update”按鈕。（4）CHAP認證。選擇CHAPAuthentication，添加CHAPusertotarget，這里用戶名為user1，密碼輸入12位密碼，單擊“Add”按鈕。4．Windows7連接iSCSI目標(biāo)（1）依次打開Windows7控制面板-→系統(tǒng)和安全-→管理工具,打開iSCSI發(fā)起程序。（其他Window版本發(fā)起iSCSI連接稍有差異）第一次打開iSCSI發(fā)起程序，會提示需要開啟iSCSI服務(wù)，直接單擊“是”即可。（2）在iSCSI發(fā)起程序?qū)傩悦姘逯幸来螁螕舭l(fā)現(xiàn)-→發(fā)現(xiàn)門戶，填寫服務(wù)器IP地址，選擇默認端口，再單擊“高級”按鈕，在高級設(shè)置窗口輸入CHAP登錄信息，單擊確定按鈕。返回到iSCSI發(fā)起程序窗口，切換到目標(biāo)，單擊“刷新”按鈕就可以看到iSCSI目標(biāo)名稱，此時iSCSI目標(biāo)狀態(tài)為不活動。（3）依次單擊連接→高級，添加CHAPusertotarget完成后，單擊“確定”按鈕。（4）打開Windows7計算機管理中的磁盤管理，對掛載上來的10GB磁盤進行格式化后即可正常使用。任務(wù)實施4HDFS安裝配置和使用本任務(wù)在主機hadoop1、hadoop2、hadoop3節(jié)點上部署HDFS文件系統(tǒng)，其中NameNode部署在hadoop1節(jié)點，SecondaryNameNode部署在hadoop2節(jié)點上，DataNode部署在hadoop3節(jié)點上?；A(chǔ)環(huán)境如表6-1所示。節(jié)點號主機名Ip地址角色1hadoop192NameNode2hadoop293SecondaryNameNode3hadoop328DataNode任務(wù)實施4HDFS安裝配置和使用（1）分別修改三臺主機的主機名及主機的hosts文件，并確認三臺機器之間的連通性。（2）清除各節(jié)點iptables規(guī)則，關(guān)閉firewalld。（3）配置java環(huán)境（同步完成hadoop1、2、3節(jié)點）。（4）讓環(huán)境變量生效，測試JDK是否有效。（5）安裝hadoop環(huán)境。（6）完成hadoop安裝后，可以通過瀏覽器訪問hadoop對應(yīng)的服務(wù)。通過綁定host的方式訪問hadoop1:50070或者直接訪問92:50070/。（7）訪問YARN。網(wǎng)址為92:8088/。任務(wù)實施5MooseFS安裝配置和使用通過本任務(wù)了解MooseFS組件功能，并掌握MooseFS文件系統(tǒng)的安裝、配置和集群管理。在VMwareWorkstation中模擬4臺機器，主機名、角色、網(wǎng)絡(luò)配置等基礎(chǔ)環(huán)境要求情況如表6-2所示。主機名IPCPU內(nèi)存磁盤角色RHEL8-1282核4GB50GBmasterRHEL8-2292核4GB50GBmetaloggerRHEL8-31302核4GB50GBchunkerRHEL8-4131

2核4GB50GBclient任務(wù)實施5MooseFS安裝配置和使用（1）在任務(wù)開始前，請確認各節(jié)點ip地址是否設(shè)置好，并檢查彼此之間的連通性。（2）修改hosts文件，以便通過主機名訪問。（步驟2、3、4、5在RHEL8-1、RHEL8-2、RHEL8-3、RHEL8-4均設(shè)置）（3）從MooseFS官網(wǎng)上下載gpgcheck文件，核驗gpg簽名確保軟件下載使用的安全。（4）編輯MooseFS.repo文件，