OceanStor 18000系列存儲系統(tǒng) 日志分析

修訂記錄課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEXXXXXXXXXXXXXXXXX開發(fā)/優(yōu)化者時間審核人開發(fā)類型（新開發(fā)/優(yōu)化）周曉峰/9000185820131203新開發(fā)本頁不打印OceanStor18000系列存儲系統(tǒng)日志分析目標(biāo)學(xué)完本課程后，您將能夠：

掌握如何收集日志及了解日志結(jié)構(gòu)掌握如何使用工具（OceanStorToolKit）進(jìn)行日志分析掌握如何對常見問題進(jìn)行人工日志分析及處理方法目錄日志收集方法日志結(jié)構(gòu)介紹日志分析工具介紹常見問題手工日志分析方法存儲設(shè)備運(yùn)行出現(xiàn)故障，需要進(jìn)行故障排查和定位時需要收集日志信息。日志收集方法分為兩類：當(dāng)存儲設(shè)備工作正常時，可以通過DeviceManager/CLI或者OceanStorToolKit進(jìn)行常規(guī)日志收集當(dāng)存儲設(shè)備開工失敗，無法登錄系統(tǒng)時，需要通過其他方式進(jìn)行日志收集（后面詳述）日志收集概述使用DeviceManager收集日志V100R001使用ISM登錄存儲系統(tǒng)選擇“設(shè)置”->“導(dǎo)出數(shù)據(jù)”->“系統(tǒng)日志”使用CLI收集日志常規(guī)日志收集1.使用SSH登錄存儲陣列CLI界面2.執(zhí)行命令“exporteventevent_type=log…”，等待2-5分鐘。命令收集完成，界面顯示文件存放位置。使用OceanStorToolkit收集日志關(guān)于OceanStorToolkit工具的介紹請參見“OceanStorToolkit存儲配套管理工具介紹”課程。收集方法常規(guī)日志收集12使用OceanStorToolkit收集日志常規(guī)日志收集345信息收集過程顯示界面6如果存儲設(shè)備開工失敗，請使用以下方法收集日志：方法通過sftp工具，使用管理網(wǎng)口IP登錄控制器（用戶名/密碼與正常登錄時一樣），進(jìn)入“/OSM/log/cur_debug”，下載該目錄下的所有文件。然后再登錄到另外一個控制器，下載同樣目錄下的所有文件。開工失敗日志收集（夏士鑫更新）目錄日志收集方法日志結(jié)構(gòu)介紹日志分析工具介紹常見問題手工日志分析方法日志包格式為*.tar（壓縮包）日志包包含格式為*.tar.bz2的兩個控制器的日志壓縮包

控制器的日志壓縮包命名規(guī)則：控制器IP地址及是否主控標(biāo)識（主控文件名含“MAIN”字樣）控制器日志文件結(jié)構(gòu)日志包結(jié)構(gòu)介紹【Config】其中包含一個config.txt文件

含陣列中當(dāng)前的軟、硬件配置及各運(yùn)行參數(shù)【Event】其中包含一個event.txt文件

含陣列中當(dāng)前的告警、事件記錄【Messages】主要包含系統(tǒng)日志，小系統(tǒng)日志等【other】主要是各個軟件模塊的一些調(diào)試級別信息（及操作系統(tǒng)的少量信息）注意：原始壓縮包中Messages、other兩個目錄被壓縮在“msg_other.zip”文件中。主控制器日志包目錄日志收集方法日志結(jié)構(gòu)介紹日志分析工具介紹常見問題手工日志分析方法原理介紹日志分析工具通過定制規(guī)則庫中的關(guān)鍵字或者關(guān)鍵ID，在日志包中進(jìn)行搜索，滿足定制的條件，分析出問題并給出解決方案。定制規(guī)則庫介紹定制規(guī)則庫是根據(jù)現(xiàn)網(wǎng)出現(xiàn)的常見問題和版本存在的問題，提取定位問題所需的關(guān)鍵字或者關(guān)鍵ID并滿足某種關(guān)系，編寫成規(guī)則庫?？煞治鋈罩景愋虳eviceManager收集的日志包OceanStorToolkit收集的日志包開工失敗收集的日志包可分析的問題（僅列舉部分，預(yù)期可分析規(guī)則為200個）內(nèi)存不一致問題導(dǎo)致控制器無法正常啟動直流環(huán)境BYD生產(chǎn)的BBU電壓采樣算法有誤硬盤出現(xiàn)硬件錯誤硬盤慢盤日志分析工具介紹功能介紹日志分析工具介紹日志分析工具包下載后，解壓可直接運(yùn)行start.exe程序進(jìn)行使用。日志分析工具界面包括三部分：日志分析工具操作指導(dǎo)區(qū)，分析出的問題顯示區(qū)域和分析過程記錄區(qū)域。日志分析工具在V100R001C03SPC600及以上版本支持。運(yùn)營商軟件下載企業(yè)網(wǎng)軟件下載***請定時關(guān)注網(wǎng)站更新操作指導(dǎo)日志分析工具介紹操作指導(dǎo)日志分析工具介紹操作指導(dǎo)日志分析工具介紹目錄日志收集方法日志結(jié)構(gòu)介紹日志分析工具介紹常見問題手工日志分析方法以下介紹4類常見問題開工失敗硬盤故障硬盤隔離主機(jī)業(yè)務(wù)表現(xiàn)出性能慢人工處理常見問題的日志分析

及處理方法現(xiàn)象

DeviceManager上報“開工失敗”或“開工保險箱盤失敗”錯誤可能原因1.保險箱盤未插好2.保險箱記錄的控制框MAC地址和實(shí)際不一致3.控制框與硬盤框線纜級聯(lián)錯誤4.控制框溫度過高處理方法首先排查1和3號原因（也可通過查看日志進(jìn)行確認(rèn)），再進(jìn)行日志分析。日志分析方法：通過前面所述的“開工失敗日志收集”方法收集日志。先分析主控制器日志包中的“/OSM/log/cur_debug/messages”文件，搜索關(guān)鍵字“SYS_TRACE”，找到報上電失敗的日志。如果日志中提示是slave上電失敗，則再分析備控制器的上述文件。在提示上電失敗日志附近（如前后100行），查找具體的失敗原因。下面對各種常見的原因進(jìn)行逐一說明。開工失敗保險箱盤未插好日志表現(xiàn)在上電失敗日志內(nèi)容部分，有類似提示“SYS_VAULT:CheckCofferdiskfailed”。表明保險箱盤未正常接入系統(tǒng)，或者保險箱槽位未插硬盤。解決方法重新排查連接和硬盤一般可以解決。注意事項OceanStor18000系列存儲系統(tǒng)會認(rèn)為接到引擎0和1的0號槽位的接口卡0號端口的第一個框為保險箱盤所在的框，該框前四塊盤為保險箱盤。所以如果沒有框接入到該位置，或A、B控制器該位置的框不是同一個框，則設(shè)備必然上電失敗。開工失敗保險箱記錄的控制框MAC地址和實(shí)際不一致日志表現(xiàn)在日志中搜索“DEVfirstfailingreasonisthatctrlmacindbdifffrombaseboardonphase(waitreaddb).”。表明保險箱記錄的控制框MAC地址和實(shí)際不一致。解決方法清除保險箱DB（僅針對局點(diǎn)首次開工時）。執(zhí)行命令cleardb，該命令的具體用法請參見對應(yīng)產(chǎn)品型號的《受限命令參考》?！妒芟廾顓⒖肌肥謨允芟薨l(fā)布，如需使用需要向研發(fā)接口人申請。開工失敗控制框與硬盤框線纜級聯(lián)錯誤日志表現(xiàn)“framemacinvalid(newframenotwritemac,orframewasnotfastplugged)”。該錯誤主要原因是保險箱盤所在的框位置錯誤，主要場景是設(shè)備之前成功上過電，然后下電拆下重新連接，而框的連接順序與之前不同引起。解決方法一般修正連接順序后即可解決。----------------------------------------------------------------------------------------------------控制框溫度過高日志表現(xiàn)“Ctrlboardisfaulty(theentrancetemperatureistoohigh,orsomethingelseiswrong)”。該問題出現(xiàn)在上電時，由于環(huán)境溫度異常導(dǎo)致控制框溫度過高，導(dǎo)致開工失敗。解決方法排除環(huán)境溫度過高后重新上電可解決。開工失敗可能原因一般硬盤故障可能是介質(zhì)錯誤，硬件錯誤等日志表現(xiàn)在日志中搜索關(guān)鍵字“Setdisk

to

bad”，在其前面可以看到具體錯誤原因，如有壞道記錄，或者SCSI打印出的具體原因。解決方法申請備件，更換對應(yīng)硬盤。硬盤故障可能原因誤碼反復(fù)拔插硬盤硬盤電源接觸出現(xiàn)問題處理方法以下根據(jù)分類，分別給出兩種硬盤被隔離后的日志分析和解決方法。硬盤隔離日志表現(xiàn)查看SAS后端硬盤誤碼情況，在SES日志中搜索關(guān)鍵字errinc和disablediskphy日志中的phy:9phymon***disablediskphy表示Phy9被隔離，即9號槽位硬盤被隔離（phy0~phy23對應(yīng)硬盤0~23）。解決方法1.拔插故障硬盤前，請收集硬盤的S.M.A.R.T信息并返回研發(fā)進(jìn)行分析2.在允許的條件下，將隔離硬盤插入到其他槽位，判斷隔離現(xiàn)象是跟著硬盤走還是跟著槽位走。假如跟著硬盤走，申請硬盤備件進(jìn)行更換。若跟著槽位走，觀察槽位內(nèi)是否有異物。硬盤隔離（SAS硬盤）現(xiàn)象

主機(jī)業(yè)務(wù)表現(xiàn)出性能慢日志表現(xiàn)查看是否有端口故障和端口隔離的告警，沒有的話，查看A、B控日志，是否有如下打?。涸蚍治鯠iscardFrame表示存在丟幀，表示出現(xiàn)存儲出現(xiàn)丟幀的現(xiàn)象。解決方法如果出現(xiàn)如下打印的A、B控端口連接在同一個交換機(jī)上，且BadChar0表示交換機(jī)到存儲沒有產(chǎn)生誤碼，建議排查主機(jī)側(cè)到交換機(jī)的鏈路問題。主機(jī)業(yè)務(wù)表現(xiàn)出性能慢參考材料材料名稱內(nèi)容簡介獲取鏈接誤碼導(dǎo)致FC框硬盤單鏈路故障案例介紹常見故障現(xiàn)象及處理方法。LinkExercise1、（判斷題）日志收集包括ToolKit