HCIE-Storage實驗手冊05---統(tǒng)一存儲維護和故障診斷實驗手冊.pdf-1

1、HCIE實驗手冊統(tǒng)一存儲系統(tǒng)維護與故障診斷實驗手冊文檔版本02發(fā)布日期2014-01-18目錄第1章存儲故障診斷工具與資源實驗 (31.1 實驗環(huán)境介紹 (31.2 OceanStor Toolkit的獲取下載和使用 (41.2.1 OceanStor Toolkit工具下載 (41.2.2 HUAWEI OceanStor Toolkit存儲日志收集工具使用簡介 (51.3 存儲產品日志信息收集實驗 (101.3.1 S5000T V100R005存儲日志信息收集 (101.4 維護與故障處理資料的獲取 (101.4.1 產品預警材料的獲取 (101.4.2 產品配置指導和故障處理案例的獲取

2、 (111.4.3 產品兼容性列表的獲取 (11第2章SAN存儲系統(tǒng)故障診斷實驗 (112.1 實驗目的 (112.2 故障診斷前準備 (122.2.1 熟悉實驗環(huán)境 (122.2.2 主機LUN丟失/全部或部分業(yè)務中斷故障診斷和處理步驟 (132.2.3 主機訪問存儲性能降低診斷和處理步驟 (142.3 鏈路故障診斷與處理步驟 (142.3.1 診斷與步驟 (14第3章NAS系統(tǒng)故障診斷 (153.1 故障診斷前準備 (153.1.1 熟悉實驗環(huán)境 (153.1.2 信息收集具體步驟 (153.2 故障診斷與處理 (173.2.1 N8000系統(tǒng)登陸失敗診斷和處理步驟 (173.2.2 文件

3、共享無法訪問/業(yè)務部分或全部中斷問題診斷與處理步驟 (19第1章 存儲故障診斷工具與資源實驗1.1 實驗環(huán)境介紹實驗組網: (RedhatRH2288HCS MA終端PC管理網絡FC 業(yè)務網絡IP 業(yè)務網絡1.2 OceanStor Toolkit的獲取下載和使用1.2.1 OceanStor Toolkit工具下載維護軟件:HUAWEI OceanStor Toolkit V100R001C03SPCd00工具:管理終端PC 1-4臺Windows XPStep1:進入OceanStor Toolkit工具下載頁面: 19749|7941815|9523109|8576706&pid

4、=8576706&vrc=8637025|8637027|2109479 6&show=showVDetail&tab=bz&bz_vr=8637027&bz_vrc=&nbz_vr=null#idAbsPath= fixnode01%7C7919749%7C7941815%7C9523109%7C8576706&nameAbsPath= %E4%BA%A7%E5%93%81%E8%BD%AF%E4%BB%B6%7CIT%7C%E5%AD%9 8%E5%82%A8%7C%E5%B7%A5%E5%85%B7%E5%8F%8A%E5%B9%B

5、3%E5 %8F%B0%7CISM+ServiceTool&ot=clk&pid=8576706&t=162&type=402-00023809 Step2:登錄后下載HUAWEI OceanStor Toolkit V100R001C03SPCd00工具包并解壓縮,安裝HUAWEI OceanStor Toolkit V100R001C03SPCd00.exe。 注意:HUAWEI OceanStor Toolkit V100R001C03SPCd00為一個工具集,集成了巡檢、日志收集、日志分析、升級等多項工具。本章節(jié)試驗使用HUAWEI OceanStor

6、Toolkit V100R001C03SPCd00工具集中的信息收集功能。1.2.2 HUAWEI OceanStor Toolkit存儲日志收集工具使用簡介1、HUAWEI OceanStor Toolkit存儲日志收集Step1:安裝完成后,運行OceanStor Toolkit程序,點擊“信息收集”功能。 Step2:進入信息收集功能頁后,點擊“添加設備”功能: Step3:輸入設備IP地址: “添加方式”可以選擇指定IP地址和指定IP段: Step4:當無法直接訪問存儲設備,需要通過第三方服務器間接訪問存儲設備時,可使用SSH跳轉功能設置存儲設備需要跳轉的服務器,對存儲設備進行巡檢。請

7、確保第三方服務器開通了SSH服務。若不需要設置SSH跳轉,請直接跳到Step5。1 選中“SSH跳轉”選項,若當前沒有配置SSH跳轉服務器,則系統(tǒng)提示配置SSH跳轉服務器: 2 單擊“確定”按鈕,彈出SSH服務配置界面: 3 首先單擊SSH跳轉列表的按鍵,添加“SSH跳轉列表”: 4 選擇已添加的“SSH跳轉列表”,單擊SSH跳轉節(jié)點的按鍵,添加“SSH跳轉節(jié)點”。 5 對添加的“SSH跳轉節(jié)點”進行配置: 一般情況下,第三方服務器的SSH端口默認為22。6 在配置界面中可添加多個SSH跳轉列表,每個跳轉列表支持多個SSH跳轉節(jié)點。配置好SSH跳轉信息后,可直接在SSH跳轉列表中選擇所配置的跳

8、轉節(jié)點。Step5:修改信息收集目錄到指定文件目錄: 指定信息存放的文件目錄: Step6:在設備列表中選擇需要做信息收集的設備,可以選擇多個設備: Step7:單擊“收集”,開始執(zhí)行信息收集(設備信息收集的時間大概為5分鐘: 說明:1、HUAWEI OceanStor Toolkit存儲日志收集工具會收集當前登錄控制器和對端控制器的日志。1.3 存儲產品日志信息收集實驗1.3.1 S5000T V100R005存儲日志信息收集按照1.4.2小結步驟收集S5000T V100R005日志信息1.4 維護與故障處理資料的獲取1.4.1 產品預警材料的獲取Step1:登錄告、整改公告 Step2:

9、進入“預警公告”或“整改公告”欄后,選擇對應的存儲產品就可以看到產品預警及整改信息: 預警信息需要工程師主動學習,了解在網產品發(fā)布的預警,按照預計建議處理1.4.2 產品配置指導和故障處理案例的獲取Step1:登錄:Step2:登錄后在搜索欄里輸入“維護寶典”檢索關鍵詞,維護寶典中集成了各種常用案例及操作指導,可以檢索案例和文檔。 1.4.3 產品兼容性列表的獲取授權中心工程師獲取具體場景的產品兼容信息,可以咨詢響應中心工程師或撥打4008882333獲取幫助。第2章SAN存儲系統(tǒng)故障診斷實驗2.1 實驗目的完成本實驗,您應該能夠:熟悉SAN系統(tǒng)與網絡故障排除思路和流程掌握主機LUN異常或業(yè)務

10、中斷故障診斷與處理2.2 故障診斷前準備2.2.1 熟悉實驗環(huán)境1、熟悉實驗環(huán)境Step1:講師引導學員參考上面存儲系統(tǒng)環(huán)境搭建了解系統(tǒng)組網、配置和登錄信息。Step2:了解系統(tǒng)故障故障的具體現(xiàn)象,發(fā)生的時間、業(yè)務類型和影響、故障發(fā)生前后的操作。2、信息收集具體步驟存儲設備導出的日志信息文件類型是*.tar,請勿更改導出的日志信息文件內容。Step1:登錄ISM,在ISM導航樹上,依次展開“所有設備> SN_XX > 系統(tǒng)配置”。說明:SN_XX 表示需要導出日志信息的存儲設備名稱。Step2:單擊“導出系統(tǒng)日志”標簽,打開“導出系統(tǒng)日志”對話框。 Step3:在“名稱”中輸入導出

11、的文件名。包括后綴名在內的文件名的長度不超過200個字符。Step4:按照教材和第一章實驗內容分析存儲系統(tǒng)日志。Step5:查看主機端的日志信息,確認運行狀態(tài)。2.2.2 主機LUN丟失/全部或部分業(yè)務中斷故障診斷和處理步驟1、控制器故障及異常診斷與處理步驟診斷與處理步驟Step1:通過ping命令查看主機與陣列的連通性。Step2:登錄到陣列,查看ISM告警和日志信息。Step3:通過告警信息查看故障發(fā)生時陣列控制器是否出現(xiàn)過復位: Step4:通過告警信息判斷另一控制器是否存在鏈路故障的問題: Step5:確認發(fā)生異常復位的控制器狀態(tài)是否已經正常。Step6:更換出現(xiàn)異常的接口卡模塊。St

12、ep7:在主機端掃描磁盤,識別到LUN。2.2.3 主機訪問存儲性能降低診斷和處理步驟1、控制器故障引發(fā)性能下降問題診斷與處理步驟診斷與處理步驟Step1:確認性能問題發(fā)生時間段。Step2:查看陣列的指示燈,確認是否有系統(tǒng)和硬件告警。Step2:通過ISM登錄陣列,查看告警信息、收集日志信息、查看硬件狀態(tài)、查看RAID、LUN的狀態(tài)。Step3:查看性能問題出現(xiàn)時間點是否存在控制器異常的告警: Step4:確認控制器異常原因,若需要更換則按照操作流程更換控制器。驗證與總結陣列中如果出現(xiàn)單控情況,系統(tǒng)會轉透寫,導致相關LUN讀寫速度降低。2.3 鏈路故障診斷與處理步驟2.3.1 診斷與步驟1.

13、 確認啟動器配置正確;2. 確認物理鏈路連接完好;3. 確認鏈路配置正確(FC SAN組網確認zone劃分正確,IP SAN組網確認VLAN配置正確。需要登錄到FC交換機或者IP交換機查看配置。4. IP SAN組網需要確認iscsi登錄鏈接正常,Windows系統(tǒng)下登錄initiator軟件,查看連接是否已連接,Linux系統(tǒng)下使用iscsiadm m session命令,可以查看iscsi連接情況,FC SAN可以進到cd /sys/class/fc_host/host*,使用命令cat port_state查看端口連接狀態(tài)。第3章NAS系統(tǒng)故障診斷3.1 故障診斷前準備3.1.1 熟悉實

14、驗環(huán)境講師引導學員參考上面N8000系統(tǒng)環(huán)境搭建了解系統(tǒng)組網、配置和登錄信息。3.1.2 信息收集具體步驟按照下面步驟收集分析事件日志Step1 登錄ISM 管理界面。Step2 在菜單欄上,選擇“事件> 事件管理”,系統(tǒng)彈出“事件管理”對話框,如圖所示。 Step3 選擇“事件列表”頁簽。Step4 在“過濾查看”中,填寫相應的設備名稱、事件信息級別或搜索關鍵字,選擇需要保存事件信息的設備。Step5 在“事件列表”頁簽中,選中需要保存的事件信息。Step6 單擊“保存”,系統(tǒng)彈出“事件信息保存”對話框。Step7 在“保存”下拉列表中,選擇保存路徑。Step8 在“文件名”文本框中,

15、輸入保存事件信息的文件名稱。Step9 單擊“保存”,系統(tǒng)彈出“信息”提示框。Step10 單擊“確定”。按照下面步驟收集分析事件日志Step1 登錄ISM 管理界面。Step2 在菜單欄上,選擇“事件> 事件管理”,系統(tǒng)彈出“事件管理”對話框,如圖3-9 所示。圖3-9 導出故障信息 Step3 選擇“故障列表”頁簽。Step4 在“過濾查看”中,填寫相應的設備名稱、故障信息級別或搜索關鍵字,選擇需要保存故障信息的設備。Step5 在“故障列表”頁簽中,選中需要保存的故障信息。Step6 單擊“保存”,系統(tǒng)彈出“故障信息保存”對話框。Step7 在“保存”下拉列表中,選擇保存路徑。St

16、ep8 在“文件名”文本框中,輸入保存故障信息的文件名稱。Step9 單擊“保存”,系統(tǒng)彈出“信息”提示框。Step10 單擊“確定”。按照下面步驟逐步檢查N8000系統(tǒng)狀態(tài)分析定位問題:Step1:了解故障的具體現(xiàn)象、發(fā)生時間、業(yè)務類型和影響、故障發(fā)生前后的操作。Step2:在處理過程中,首先查看引擎和存儲單元的系統(tǒng)、告警和接口指示燈的狀態(tài)是否正常,如果不正常,需要分析具體的原因。Step3:查看能否通過master用戶登錄到集群,如果不能通過master用戶登錄集群,需要根據(jù)不能登錄的流程分析故障的原因。Step4:如果登錄到master用戶,查看系統(tǒng)的告警信息,根據(jù)告警提示進行分析處理。

17、Step5:查看集群的業(yè)務狀態(tài),包括節(jié)點、raid、lun、磁盤、pool和文件系統(tǒng)的狀態(tài)是否正常。Step6:查看物理IP和虛擬IP資源配置與狀態(tài)。Step7:查看集群的服務狀態(tài),包括NFS服務狀態(tài)、CIFS的服務狀態(tài)。Step8:通過support用戶登錄,使用gabconfig a / 檢查底層服務hastatus -sum / 檢查集群狀態(tài)和資源狀態(tài)hagrp state / 資源組hares state / 檢查資源狀態(tài)等命令查看集群的資源和服務狀態(tài)并進行分析。Step9:收集debug信息,并分析debug日志信息。Step10:根據(jù)日志和收集的信息分析故障的原因。Step11:根

18、據(jù)推斷的故障原因排除故障。3.2 故障診斷與處理3.2.1 N8000系統(tǒng)登陸失敗診斷和處理步驟1、診斷與步驟確認問題狀態(tài),檢查日志和告警獲取系統(tǒng)當前主要告警信息,指導后續(xù)排查方向。Step1:檢查N8000物理網卡(pubeth0、交換網絡、管理終端PC的物理網卡狀態(tài)是否正常和鏈路物理狀態(tài)是否正常。Step2:登錄support 執(zhí)行ethtool X,X代表網卡名稱,查詢每個私網和公網網卡連接狀態(tài),如果狀態(tài)為NO,說明網卡物理連接不通,檢查網線或卡,確認物理故障后更換。 Step3。檢查Con IP地址與管理終端PC IP地址、網關、掩碼配置是否合理。Step4:在support下執(zhí)行,v

19、xdctl -c mode,查詢主節(jié)點,顯示主節(jié)點為N8000_01 也可通過在support下執(zhí)行,hagrp list |grep Man,Man Con 在哪個節(jié)點上判斷此節(jié)點為主節(jié) Step5:在support下執(zhí)行,hastatus |grep Man,查詢ManagementConsole的服務狀態(tài)是否正常ONLIN。執(zhí)行hagrp -online ManagementConsole -sys N8000_01 ,啟動ManangementConsole服務或者重新啟動主節(jié)點。 2、驗證與總結N8000系統(tǒng)登失敗或異常,一般先排查物理網絡連接、再檢查IP地址配置,然后檢查節(jié)點狀態(tài),

20、最后檢查ManagementConsole 服務。3.2.2 文件共享無法訪問/業(yè)務部分或全部中斷問題診斷與處理步驟1、后端存儲異常掉電導致文件共享失效問題診斷與處理步驟診斷與步驟確認問題狀態(tài),檢查日志和告警獲取系統(tǒng)當前主要告警信息,指導后續(xù)排查方向。Step 1 :查看引擎和存儲單元的系統(tǒng)、告警和接口指示燈的狀態(tài)是否正常,如果不正常,需要分析具體的原因,保證每個節(jié)點、交換機、存儲系統(tǒng)正常上電,且可以正常登錄。Step 3 使用“master”用戶登錄集群NAS 控制臺,進入storage 功能。N8000test> storageEntering storage mode.N8000t

21、est.Storage>Step 4 執(zhí)行disk list 命令檢驗是否可以正常顯示磁盤信息。N8000test.Storage> disk listDisk N8000test_01 N8000test_02= = =n8000-s2300-0_20 OK OKn8000-s2300-0_21 OK OKn8000-s2300-0_22 OK OKn8000-s2300-0_23 OK OKn8000-s2300-0_24 OK OKn8000-s2300-0_25 OK OK顯示OK,說明集群已經對資源組調整完畢,請執(zhí)行步驟5。顯示異常,請保持故障環(huán)境并聯(lián)系技術支持工程師。S

22、tep 5 運行scanbus 操作,重新掃描磁盤信息。N8000test.Storage> scanbus100% # Scanning the bus for disksStep 6 當磁盤狀態(tài)都為ok 狀態(tài)時,執(zhí)行fs online 命令,將離線的文件系統(tǒng)設置為在線。Step 7 執(zhí)行nfs 命令,進入nfs 功能界面。N8000test> nfsEntering share mode.N8000test.NFS>Step 8 執(zhí)行server status 命令查看服務狀態(tài)。如果nfs 服務狀態(tài)為offline,執(zhí)行server start命令啟動nfs 服務。N80

23、00test.NFS> server statusNFS Status on N8000test_01 :ONLINENFS Status on N8000test_02 :ONLINEHCIE 實驗手冊 教師用書 Step 9 執(zhí)行 cifs 命令，進入 cifs 功能界面。 N8000test> CIFS Entering CIFS share mode. N8000test.CIFS> Step 10 執(zhí)行 server status 命令查看服務狀態(tài)。如果 cifs 服務狀態(tài)為 offline， 執(zhí)行 server start 命令啟動 cifs 服務。 N8000test.CIFS> server status CIFS Status on N8000test_01 ： ONLINE CIFS Status on N8000test_02 ： ONLINE Security ： user Step11： 在 CLI 模式下查看是否可以通過 “master” 用戶對存儲資源進行管理。 資源正常管理，故障