HCNPCBDS大數(shù)據(jù)存儲(chǔ)系統(tǒng)維護(hù)與故障處理系統(tǒng)維護(hù)

大數(shù)據(jù)存儲(chǔ)系統(tǒng)維護(hù)與故障處理

-系統(tǒng)維護(hù)

2目標(biāo)學(xué)完本課程，您將能夠：掌握OceanStor9000日常維護(hù)方法及維護(hù)工具的使用熟悉OceanStor9000主要部件更換方法掌握OceanStor9000存儲(chǔ)系統(tǒng)故障排查思路和方法掌握OceanStor9000版本升級(jí)流程及版本回退方法3例行維護(hù)安全維護(hù)巡檢與信息收集部件更換4維護(hù)基本原則日常維護(hù)按照正確的流程操作使用原廠(chǎng)提供的資源和軟件現(xiàn)場(chǎng)保留備件，以便故障時(shí)及時(shí)更換創(chuàng)建日志制定可靠的備份計(jì)劃嚴(yán)格遵守設(shè)備安全注意事項(xiàng)5管理軟件介紹介紹OceanStor9000的管理方式，包括GUI和CLI：

OceanStor9000支持GUI（GraphicalUserInterface）和CLI（CommandLineInterface）兩種管理方式。OceanStorDeviceManager提供GUI的管理方式，其中服務(wù)器端部署在OceanStor9000上，用戶(hù)通過(guò)終端瀏覽器連接到OceanStor9000所在業(yè)務(wù)網(wǎng)，訪(fǎng)問(wèn)OceanStor9000進(jìn)行管理和維護(hù)。OceanStorDeviceManager是存儲(chǔ)單元管理平臺(tái)，支持同時(shí)管理集群和節(jié)點(diǎn)。CLI是命令行接口，能夠高效、快捷地管理和維護(hù)設(shè)備。6P25/P12節(jié)點(diǎn)設(shè)備運(yùn)行指示燈

1系統(tǒng)電源指示燈/開(kāi)機(jī)按鈕2系統(tǒng)告警指示燈3系統(tǒng)定位指示燈4USB端口5硬盤(pán)運(yùn)行指示燈6硬盤(pán)告警/定位指示燈7C36/P36設(shè)備運(yùn)行指示燈

1系統(tǒng)電源指示燈/開(kāi)機(jī)按鈕2系統(tǒng)告警指示燈3系統(tǒng)定位指示燈4USB端口5硬盤(pán)運(yùn)行指示燈6硬盤(pán)告警/定位指示燈8C36/P36設(shè)備運(yùn)行指示燈

1電源模塊拉手2電源運(yùn)行/告警指示燈3電源接口4PCI-E擴(kuò)展插槽5SAS卡6GE網(wǎng)口7IPMI管理網(wǎng)口8USB端口9系統(tǒng)串口10VGA端口11系統(tǒng)告警指示燈12系統(tǒng)定位指示燈13IPMI管理網(wǎng)口LNK指示燈14IPMI管理網(wǎng)口ACT指示燈15GE網(wǎng)口ACT指示燈16GE網(wǎng)口LNK指示燈17硬盤(pán)運(yùn)行指示燈18硬盤(pán)告警/定位指示燈1910GESFP+以太網(wǎng)光接口指示燈2010GESFP+以太網(wǎng)光接口9C72設(shè)備運(yùn)行指示燈

1框號(hào)2定位燈3告警燈4運(yùn)行燈5過(guò)溫告警燈6硬盤(pán)單元告警燈7后部FRU告警燈10C72設(shè)備運(yùn)行指示燈

1電源模塊2風(fēng)扇模塊3CBU模塊4風(fēng)扇模塊5電源模塊6控制模塊（左側(cè)編號(hào)：B，右側(cè)編號(hào)：A）710GE網(wǎng)口lLINK指示燈810GE網(wǎng)口ACT指示燈910GESFP+以太網(wǎng)接口10系統(tǒng)串口11USB端口12控制模塊電源按鈕13GE網(wǎng)口14控制模塊運(yùn)行/告警指示燈15控制模塊定位指示燈11交換機(jī)指示燈

1電源運(yùn)行指示燈2電源開(kāi)關(guān)3風(fēng)扇運(yùn)行指示燈4MODE模式切換按鈕/ID指示燈5管理網(wǎng)口指示燈6USB開(kāi)局指示燈7堆疊主從指示燈8系統(tǒng)運(yùn)行狀態(tài)燈12交換機(jī)指示燈

1系統(tǒng)運(yùn)行狀態(tài)燈2堆疊主從指示燈3STAT模式狀態(tài)燈4SPEED模式狀態(tài)燈5STACK模式狀態(tài)燈6模式切換按鈕/ID指示燈7業(yè)務(wù)接口指示燈（10GE光口）8業(yè)務(wù)接口指示燈（40GE光口）940GE接口的10GE模式指示燈（1/2/3/4）--13設(shè)備管理軟件維護(hù)項(xiàng)查看硬盤(pán)信息查看告警信息查看系統(tǒng)信息查看集群狀態(tài)查看節(jié)點(diǎn)狀態(tài)查看節(jié)點(diǎn)文件系統(tǒng)服務(wù)狀態(tài)查看性能信息14例行維護(hù)安全維護(hù)巡檢與信息收集部件更換15OceanStor9000系統(tǒng)安全概述OceanStor9000具有安全的物理組網(wǎng)結(jié)構(gòu)，將用戶(hù)的業(yè)務(wù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)隔離，保護(hù)系統(tǒng)運(yùn)行的安全。16分層的安全維護(hù)應(yīng)用層安全維護(hù)的目的是從安全角度保障業(yè)務(wù)系統(tǒng)可以正常運(yùn)行和對(duì)外提供服務(wù)。系統(tǒng)層安全維護(hù)的目的是保障操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件可以正常運(yùn)行，以支撐應(yīng)用層各個(gè)應(yīng)用軟件的運(yùn)行。網(wǎng)絡(luò)層安全維護(hù)的目的是保障交換機(jī)、路由器、防火墻等網(wǎng)絡(luò)設(shè)備的正常運(yùn)行，確保網(wǎng)絡(luò)層的安全策略得到落實(shí)。管理層安全維護(hù)的目的是加強(qiáng)人為管理，防范于未然。管理層維護(hù)涉及上述各個(gè)層面。17OceanStorWushanFS賬戶(hù)管理管理OceanStorDeviceManager賬戶(hù)WushanFS的OceanStorDeviceManager管理員擁有不同的操作權(quán)限，包括超級(jí)管理員、管理員、只讀用戶(hù)、資源管理員和設(shè)備管理員。系統(tǒng)默認(rèn)提供了admin（超級(jí)管理員），該管理員不允許修改和刪除。管理方法：登錄OceanStorDeviceManager。選擇“設(shè)置>查看與設(shè)置>權(quán)限設(shè)置>管理用戶(hù)”。在中間信息展示區(qū)，超級(jí)管理員可以執(zhí)行創(chuàng)建、刪除、鎖定、解鎖、強(qiáng)制下線(xiàn)等操作。18修改系統(tǒng)密碼（C01）系統(tǒng)密碼是登錄系統(tǒng)的必要條件，修改系統(tǒng)密碼能夠防止密碼的泄露。對(duì)于OceanStor9000的Linux操作系統(tǒng)自帶特權(quán)賬戶(hù)root，建議定期更新一次賬戶(hù)密碼。修改系統(tǒng)密碼方法有如下方式：以root用戶(hù)使用PuTTY工具登錄系統(tǒng)，輸入passwd后設(shè)置root的新密碼。使用CLI命令changesystemroot_password修改。登錄OceanStorDeviceManager，選擇“設(shè)置>集群設(shè)置>集群節(jié)點(diǎn)設(shè)置”，勾選需要修改的節(jié)點(diǎn)后單擊左下角的“修改Root密碼”。19檢查系統(tǒng)賬戶(hù)（C01）系統(tǒng)會(huì)擁有很多賬戶(hù)，定期檢查系統(tǒng)賬戶(hù)能夠防止賬戶(hù)的不合理擴(kuò)散和泄露，規(guī)避安全隱患。建議您每季度對(duì)系統(tǒng)維護(hù)賬戶(hù)、應(yīng)用系統(tǒng)的運(yùn)行賬戶(hù)進(jìn)行檢查，查看是否存在不合理的賬戶(hù)和不合理的賬戶(hù)權(quán)限。檢查方式：以root用戶(hù)使用KVM工具登錄節(jié)點(diǎn)。查看所有群組的信息：cat/etc/group查看所有賬戶(hù)的信息：cat/etc/passwd20檢查系統(tǒng)賬戶(hù)（C30）系統(tǒng)會(huì)擁有很多賬戶(hù)，定期檢查系統(tǒng)賬戶(hù)能夠防止賬戶(hù)的不合理擴(kuò)散和泄露，規(guī)避安全隱患。建議您每季度對(duì)系統(tǒng)維護(hù)賬戶(hù)、應(yīng)用系統(tǒng)的運(yùn)行賬戶(hù)進(jìn)行檢查，查看是否存在不合理的賬戶(hù)和不合理的賬戶(hù)權(quán)限。檢查方式：以root用戶(hù)登錄節(jié)點(diǎn)。P12/P25/P36/C36：使用KVM工具登錄節(jié)點(diǎn)。C72：通過(guò)左側(cè)控制框的系統(tǒng)串口登錄節(jié)點(diǎn)。波特率為115200、8位數(shù)據(jù)位、1位停止位、無(wú)奇偶校驗(yàn)和無(wú)數(shù)據(jù)流控制。查看所有群組的信息：cat/etc/group查看所有賬戶(hù)的信息：cat/etc/passwd21檢查系統(tǒng)進(jìn)程（C01）系統(tǒng)運(yùn)行中會(huì)觸發(fā)眾多進(jìn)程，不合理進(jìn)程的存在會(huì)帶來(lái)性能、安全等方面的風(fēng)險(xiǎn)，而檢查系統(tǒng)進(jìn)程并做相應(yīng)處理能避免這些風(fēng)險(xiǎn)。管理員進(jìn)行安全維護(hù)時(shí)，需要檢查是否有多余的進(jìn)程，及時(shí)發(fā)現(xiàn)不合理進(jìn)程并處理，避免風(fēng)險(xiǎn)。檢查方式：以root用戶(hù)使用KVM工具登錄節(jié)點(diǎn)。輸入ps-ef檢查不相關(guān)的賬戶(hù)進(jìn)程。22檢查服務(wù)/端口（C01）系統(tǒng)會(huì)提供各種服務(wù)/端口，但多余服務(wù)/端口會(huì)帶來(lái)安全風(fēng)險(xiǎn)，需要及時(shí)停止。檢查是否有多余的服務(wù)/端口，如果有多余服務(wù)/端口建議聯(lián)系技術(shù)支持分析確認(rèn)后及時(shí)停止，以避免安全風(fēng)險(xiǎn)。系統(tǒng)提供的詳細(xì)服務(wù)、端口請(qǐng)參見(jiàn)《通信端口矩陣》文檔。檢查方式：以root用戶(hù)使用KVM工具登錄節(jié)點(diǎn)。輸入netstat-an|grepLISTEN|greptcp檢查T(mén)CP服務(wù)/端口。輸入netstat-an|grepudp檢查UDP服務(wù)/端口。23檢查服務(wù)/端口（C30）系統(tǒng)會(huì)提供各種服務(wù)/端口，但多余服務(wù)/端口會(huì)帶來(lái)安全風(fēng)險(xiǎn)，需要及時(shí)停止。檢查是否有多余的服務(wù)/端口，如果有多余服務(wù)/端口建議聯(lián)系技術(shù)支持分析確認(rèn)后及時(shí)停止，以避免安全風(fēng)險(xiǎn)。系統(tǒng)提供的詳細(xì)服務(wù)、端口請(qǐng)參見(jiàn)《通信端口矩陣》文檔。檢查方式：以root用戶(hù)登錄節(jié)點(diǎn)。P12/P25/P36/C36：使用KVM工具登錄節(jié)點(diǎn)。C72：通過(guò)左側(cè)控制框的系統(tǒng)串口登錄節(jié)點(diǎn)。波特率為115200、8位數(shù)據(jù)位、1位停止位、無(wú)奇偶校驗(yàn)和無(wú)數(shù)據(jù)流控制。輸入netstat-an|grepLISTEN|greptcp檢查T(mén)CP服務(wù)/端口。輸入netstat-an|grepudp檢查UDP服務(wù)/端口。24安全組網(wǎng)組網(wǎng)劃分需要考慮安全區(qū)域劃分、邊界訪(fǎng)問(wèn)控制、網(wǎng)絡(luò)入侵檢測(cè)等方面，并根據(jù)這些規(guī)則規(guī)劃出系統(tǒng)的安全組網(wǎng)。在存儲(chǔ)系統(tǒng)業(yè)務(wù)網(wǎng)絡(luò)中，OceanStor9000系統(tǒng)集群與網(wǎng)管系統(tǒng)置于同一個(gè)安全網(wǎng)絡(luò)中。遠(yuǎn)程用戶(hù)需要通過(guò)防火墻才能連接OceanStor9000系統(tǒng)。25檢查交換機(jī)安全以華為QuidWayS5700-52C-SI交換機(jī)為例進(jìn)行說(shuō)明，通過(guò)檢查其ACL配置來(lái)確保業(yè)務(wù)系統(tǒng)接收的數(shù)據(jù)包是安全的?？梢允褂萌缦旅畈榭碅CL的配置結(jié)果。displayacl{acl-number|all}查看以編號(hào)創(chuàng)建的ACL規(guī)則。displayaclname{acl-name}查看以名稱(chēng)創(chuàng)建的ACL規(guī)則。displaytime-range{all|time-name}查看時(shí)間段信息。displayaclresourceslot{slot-id}查看ACL的資源信息。上述ACL命令均以S5700V200R001C00版本為例，實(shí)際所用的ACL相關(guān)命令請(qǐng)參照交換機(jī)對(duì)應(yīng)版本的產(chǎn)品文檔。26檢查VLAN/IP地址VLAN的作用是將一個(gè)物理的LAN在邏輯上進(jìn)行隔離，使得廣播報(bào)文等通信受到VLAN劃分的限制。檢查VLAN配置信息及相關(guān)IP地址、處理異常能保障網(wǎng)絡(luò)的安全性。當(dāng)網(wǎng)絡(luò)中需要跨越防火墻設(shè)備時(shí)，建議按IP地址放行流量。如果需要按IP地址+端口放行流量，則需獲取端口列表，避免屏蔽掉OceanStor9000使用的端口。27賬戶(hù)維護(hù)建議建議系統(tǒng)管理員對(duì)賬戶(hù)例行檢查，檢查的內(nèi)容包括：操作系統(tǒng)、OceanStorDeviceManager的賬戶(hù)是否有必要，臨時(shí)賬戶(hù)是否已刪除。各類(lèi)賬戶(hù)的權(quán)限是否合理，不同的管理員擁有不同的權(quán)限。對(duì)各類(lèi)賬戶(hù)的登錄、操作日志進(jìn)行檢查和審計(jì)。28密碼維護(hù)建議用戶(hù)的賬戶(hù)和密碼的復(fù)雜性、有效期等需根據(jù)客戶(hù)的安全要求進(jìn)行配置。對(duì)密碼的維護(hù)建議如下：專(zhuān)人保管系統(tǒng)root密碼。密碼需要滿(mǎn)足一定的強(qiáng)度要求，例如密碼最少字符數(shù)、混合大小寫(xiě)等。密碼傳遞時(shí)注意加密，盡量避免通過(guò)郵件傳遞密碼。密碼需要加密存儲(chǔ)。系統(tǒng)移交時(shí)提醒客戶(hù)更改系統(tǒng)默認(rèn)密碼。首次登錄后請(qǐng)及時(shí)修改系統(tǒng)默認(rèn)密碼。定期修改密碼。29日志維護(hù)建議定期檢查日志定期查看系統(tǒng)日志，若發(fā)現(xiàn)有非法操作、非法登錄用戶(hù)等異常情況，應(yīng)根據(jù)異常情況進(jìn)行相應(yīng)的處理。定期備份日志日志應(yīng)當(dāng)進(jìn)行定期備份，同時(shí)將備份文件在安全的保存介質(zhì)（磁盤(pán)、磁帶、光盤(pán)等）上存檔。日志在備份后應(yīng)當(dāng)及時(shí)刪除，以釋放日志空間。30例行維護(hù)安全維護(hù)巡檢與信息收集部件更換31巡檢內(nèi)容（1）性能指標(biāo)磁盤(pán)利用率CPU利用率內(nèi)存利用率節(jié)點(diǎn)吞吐量硬件狀態(tài)電源狀態(tài)風(fēng)扇狀態(tài)網(wǎng)口狀態(tài)光模塊狀態(tài)32巡檢內(nèi)容（2）集群軟件狀態(tài)集群狀態(tài)節(jié)點(diǎn)狀態(tài)DeviceManager運(yùn)行狀態(tài)軟件設(shè)置時(shí)鐘同步外部DNS連通性L(fǎng)icense狀態(tài)日志級(jí)別33巡檢內(nèi)容（3）文件系統(tǒng)運(yùn)行狀態(tài)節(jié)點(diǎn)池內(nèi)存一致性檢測(cè)檢查打開(kāi)的文件句柄數(shù)文件系統(tǒng)運(yùn)行狀態(tài)數(shù)據(jù)恢復(fù)狀態(tài)其他風(fēng)險(xiǎn)檢查近30天是否存在core和crash恢復(fù)任務(wù)執(zhí)行時(shí)間過(guò)長(zhǎng)本地文件系統(tǒng)是否有操作超時(shí)34OceanStorToolkit進(jìn)行巡檢（1）界面列出了所有的巡檢項(xiàng)，根據(jù)需求進(jìn)行選擇，默認(rèn)全部進(jìn)行巡檢。35OceanStorToolkit進(jìn)行巡檢（2）待巡檢完成后，單擊“查看巡檢報(bào)告”可以進(jìn)行查看。

36OceanStorToolkit進(jìn)行信息收集（1）

步驟一：選擇“所有功能>維護(hù)>信息收集”。37OceanStorToolkit進(jìn)行信息收集（2）

步驟二：勾選待收集的設(shè)備后單擊“收集”。步驟三：當(dāng)進(jìn)度變成100%時(shí)，單擊“打開(kāi)收集目錄”查看信息收集結(jié)果。38常見(jiàn)巡檢不通過(guò)項(xiàng)分析（1）

Nvdimm從原始信息可看到巡檢不通過(guò)原因。39常見(jiàn)巡檢不通過(guò)項(xiàng)分析（2）

BMC狀態(tài)從原始信息可看到巡檢不通過(guò)原因。40OceanStorToolkit進(jìn)行日志分析（1）

打開(kāi)收集OceanStor9000設(shè)備信息結(jié)果目錄，進(jìn)入以收集信息設(shè)備IP為名稱(chēng)的目錄。將信息收集結(jié)果壓縮包解壓到當(dāng)前目錄，獲得名為“DataCollect”的文件夾。進(jìn)入“DataCollect”目錄，獲取每個(gè)節(jié)點(diǎn)的信息收集結(jié)果包。41OceanStorToolkit進(jìn)行日志分析（2）

在OceanStorToolkit工具主界面中，選擇“所有功能>維護(hù)>日志分析”，打開(kāi)日志分析工具。單擊“選擇”按鈕，依次導(dǎo)入獲取的每一個(gè)節(jié)點(diǎn)的信息收集包，進(jìn)行日志分析。以下以一個(gè)節(jié)點(diǎn)的信息包為例說(shuō)明。42OceanStorToolkit進(jìn)行日志分析（3）

在“設(shè)備類(lèi)型”中選擇“OceanStor9000”。如果更新了日志分析的配置文件AnalyzeRule.xml，要先單擊“清空臨時(shí)文件”，再重新導(dǎo)入日志包進(jìn)行日志分析。單擊“開(kāi)始分析”并選擇要分析的內(nèi)容。單擊提示框中的“確定”后開(kāi)始進(jìn)行分析。43例行維護(hù)安全維護(hù)巡檢與信息收集部件更換44基本操作流程45基本操作流程-確定操作的可行性在執(zhí)行故障處理或設(shè)備檢修的過(guò)程中，當(dāng)維護(hù)人員需要對(duì)某個(gè)設(shè)備部件執(zhí)行更換操作時(shí)，首先需要對(duì)本次操作的可行性進(jìn)行評(píng)：設(shè)備庫(kù)房有待安裝或待更換部件的可用部件，當(dāng)缺少可用部件時(shí)，請(qǐng)及時(shí)聯(lián)系華