OceanStor 18000系列存儲(chǔ)系統(tǒng) 日志分析

修訂記錄課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEXXXXXXXXXXXXXXXXX開(kāi)發(fā)/優(yōu)化者時(shí)間審核人開(kāi)發(fā)類(lèi)型（新開(kāi)發(fā)/優(yōu)化）周曉峰/9000185820131203新開(kāi)發(fā)本頁(yè)不打印OceanStor18000系列存儲(chǔ)系統(tǒng)日志分析目標(biāo)學(xué)完本課程后，您將能夠：

掌握如何收集日志及了解日志結(jié)構(gòu)掌握如何使用工具（OceanStorToolKit）進(jìn)行日志分析掌握如何對(duì)常見(jiàn)問(wèn)題進(jìn)行人工日志分析及處理方法目錄日志收集方法日志結(jié)構(gòu)介紹日志分析工具介紹常見(jiàn)問(wèn)題手工日志分析方法存儲(chǔ)設(shè)備運(yùn)行出現(xiàn)故障，需要進(jìn)行故障排查和定位時(shí)需要收集日志信息。日志收集方法分為兩類(lèi)：當(dāng)存儲(chǔ)設(shè)備工作正常時(shí)，可以通過(guò)DeviceManager/CLI或者OceanStorToolKit進(jìn)行常規(guī)日志收集當(dāng)存儲(chǔ)設(shè)備開(kāi)工失敗，無(wú)法登錄系統(tǒng)時(shí)，需要通過(guò)其他方式進(jìn)行日志收集（后面詳述）日志收集概述使用DeviceManager收集日志V100R001使用ISM登錄存儲(chǔ)系統(tǒng)選擇“設(shè)置”->“導(dǎo)出數(shù)據(jù)”->“系統(tǒng)日志”使用CLI收集日志常規(guī)日志收集1.使用SSH登錄存儲(chǔ)陣列CLI界面2.執(zhí)行命令“exporteventevent_type=log…”，等待2-5分鐘。命令收集完成，界面顯示文件存放位置。使用OceanStorToolkit收集日志關(guān)于OceanStorToolkit工具的介紹請(qǐng)參見(jiàn)“OceanStorToolkit存儲(chǔ)配套管理工具介紹”課程。收集方法常規(guī)日志收集12使用OceanStorToolkit收集日志常規(guī)日志收集345信息收集過(guò)程顯示界面6如果存儲(chǔ)設(shè)備開(kāi)工失敗，請(qǐng)使用以下方法收集日志：方法通過(guò)sftp工具，使用管理網(wǎng)口IP登錄控制器（用戶(hù)名/密碼與正常登錄時(shí)一樣），進(jìn)入“/OSM/log/cur_debug”，下載該目錄下的所有文件。然后再登錄到另外一個(gè)控制器，下載同樣目錄下的所有文件。開(kāi)工失敗日志收集（夏士鑫更新）目錄日志收集方法日志結(jié)構(gòu)介紹日志分析工具介紹常見(jiàn)問(wèn)題手工日志分析方法日志包格式為*.tar（壓縮包）日志包包含格式為*.tar.bz2的兩個(gè)控制器的日志壓縮包

控制器的日志壓縮包命名規(guī)則：控制器IP地址及是否主控標(biāo)識(shí)（主控文件名含“MAIN”字樣）控制器日志文件結(jié)構(gòu)日志包結(jié)構(gòu)介紹【Config】其中包含一個(gè)config.txt文件

含陣列中當(dāng)前的軟、硬件配置及各運(yùn)行參數(shù)【Event】其中包含一個(gè)event.txt文件

含陣列中當(dāng)前的告警、事件記錄【Messages】主要包含系統(tǒng)日志，小系統(tǒng)日志等【other】主要是各個(gè)軟件模塊的一些調(diào)試級(jí)別信息（及操作系統(tǒng)的少量信息）注意：原始?jí)嚎s包中Messages、other兩個(gè)目錄被壓縮在“msg_other.zip”文件中。主控制器日志包目錄日志收集方法日志結(jié)構(gòu)介紹日志分析工具介紹常見(jiàn)問(wèn)題手工日志分析方法原理介紹日志分析工具通過(guò)定制規(guī)則庫(kù)中的關(guān)鍵字或者關(guān)鍵ID，在日志包中進(jìn)行搜索，滿(mǎn)足定制的條件，分析出問(wèn)題并給出解決方案。定制規(guī)則庫(kù)介紹定制規(guī)則庫(kù)是根據(jù)現(xiàn)網(wǎng)出現(xiàn)的常見(jiàn)問(wèn)題和版本存在的問(wèn)題，提取定位問(wèn)題所需的關(guān)鍵字或者關(guān)鍵ID并滿(mǎn)足某種關(guān)系，編寫(xiě)成規(guī)則庫(kù)?？煞治鋈罩景?lèi)型DeviceManager收集的日志包OceanStorToolkit收集的日志包開(kāi)工失敗收集的日志包可分析的問(wèn)題（僅列舉部分，預(yù)期可分析規(guī)則為200個(gè)）內(nèi)存不一致問(wèn)題導(dǎo)致控制器無(wú)法正常啟動(dòng)直流環(huán)境BYD生產(chǎn)的BBU電壓采樣算法有誤硬盤(pán)出現(xiàn)硬件錯(cuò)誤硬盤(pán)慢盤(pán)日志分析工具介紹功能介紹日志分析工具介紹日志分析工具包下載后，解壓可直接運(yùn)行start.exe程序進(jìn)行使用。日志分析工具界面包括三部分：日志分析工具操作指導(dǎo)區(qū)，分析出的問(wèn)題顯示區(qū)域和分析過(guò)程記錄區(qū)域。日志分析工具在V100R001C03SPC600及以上版本支持。運(yùn)營(yíng)商軟件下載企業(yè)網(wǎng)軟件下載***請(qǐng)定時(shí)關(guān)注網(wǎng)站更新操作指導(dǎo)日志分析工具介紹操作指導(dǎo)日志分析工具介紹操作指導(dǎo)日志分析工具介紹目錄日志收集方法日志結(jié)構(gòu)介紹日志分析工具介紹常見(jiàn)問(wèn)題手工日志分析方法以下介紹4類(lèi)常見(jiàn)問(wèn)題開(kāi)工失敗硬盤(pán)故障硬盤(pán)隔離主機(jī)業(yè)務(wù)表現(xiàn)出性能慢人工處理常見(jiàn)問(wèn)題的日志分析

及處理方法現(xiàn)象

DeviceManager上報(bào)“開(kāi)工失敗”或“開(kāi)工保險(xiǎn)箱盤(pán)失敗”錯(cuò)誤可能原因1.保險(xiǎn)箱盤(pán)未插好2.保險(xiǎn)箱記錄的控制框MAC地址和實(shí)際不一致3.控制框與硬盤(pán)框線(xiàn)纜級(jí)聯(lián)錯(cuò)誤4.控制框溫度過(guò)高處理方法首先排查1和3號(hào)原因（也可通過(guò)查看日志進(jìn)行確認(rèn)），再進(jìn)行日志分析。日志分析方法：通過(guò)前面所述的“開(kāi)工失敗日志收集”方法收集日志。先分析主控制器日志包中的“/OSM/log/cur_debug/messages”文件，搜索關(guān)鍵字“SYS_TRACE”，找到報(bào)上電失敗的日志。如果日志中提示是slave上電失敗，則再分析備控制器的上述文件。在提示上電失敗日志附近（如前后100行），查找具體的失敗原因。下面對(duì)各種常見(jiàn)的原因進(jìn)行逐一說(shuō)明。開(kāi)工失敗保險(xiǎn)箱盤(pán)未插好日志表現(xiàn)在上電失敗日志內(nèi)容部分，有類(lèi)似提示“SYS_VAULT:CheckCofferdiskfailed”。表明保險(xiǎn)箱盤(pán)未正常接入系統(tǒng)，或者保險(xiǎn)箱槽位未插硬盤(pán)。解決方法重新排查連接和硬盤(pán)一般可以解決。注意事項(xiàng)OceanStor18000系列存儲(chǔ)系統(tǒng)會(huì)認(rèn)為接到引擎0和1的0號(hào)槽位的接口卡0號(hào)端口的第一個(gè)框?yàn)楸ｋU(xiǎn)箱盤(pán)所在的框，該框前四塊盤(pán)為保險(xiǎn)箱盤(pán)。所以如果沒(méi)有框接入到該位置，或A、B控制器該位置的框不是同一個(gè)框，則設(shè)備必然上電失敗。開(kāi)工失敗保險(xiǎn)箱記錄的控制框MAC地址和實(shí)際不一致日志表現(xiàn)在日志中搜索“DEVfirstfailingreasonisthatctrlmacindbdifffrombaseboardonphase(waitreaddb).”。表明保險(xiǎn)箱記錄的控制框MAC地址和實(shí)際不一致。解決方法清除保險(xiǎn)箱DB（僅針對(duì)局點(diǎn)首次開(kāi)工時(shí)）。執(zhí)行命令cleardb，該命令的具體用法請(qǐng)參見(jiàn)對(duì)應(yīng)產(chǎn)品型號(hào)的《受限命令參考》?！妒芟廾顓⒖肌肥謨?cè)受限發(fā)布，如需使用需要向研發(fā)接口人申請(qǐng)。開(kāi)工失敗控制框與硬盤(pán)框線(xiàn)纜級(jí)聯(lián)錯(cuò)誤日志表現(xiàn)“framemacinvalid(newframenotwritemac,orframewasnotfastplugged)”。該錯(cuò)誤主要原因是保險(xiǎn)箱盤(pán)所在的框位置錯(cuò)誤，主要場(chǎng)景是設(shè)備之前成功上過(guò)電，然后下電拆下重新連接，而框的連接順序與之前不同引起。解決方法一般修正連接順序后即可解決。----------------------------------------------------------------------------------------------------控制框溫度過(guò)高日志表現(xiàn)“Ctrlboardisfaulty(theentrancetemperatureistoohigh,orsomethingelseiswrong)”。該問(wèn)題出現(xiàn)在上電時(shí)，由于環(huán)境溫度異常導(dǎo)致控制框溫度過(guò)高，導(dǎo)致開(kāi)工失敗。解決方法排除環(huán)境溫度過(guò)高后重新上電可解決。開(kāi)工失敗可能原因一般硬盤(pán)故障可能是介質(zhì)錯(cuò)誤，硬件錯(cuò)誤等日志表現(xiàn)在日志中搜索關(guān)鍵字“Setdisk

to

bad”，在其前面可以看到具體錯(cuò)誤原因，如有壞道記錄，或者SCSI打印出的具體原因。解決方法申請(qǐng)備件，更換對(duì)應(yīng)硬盤(pán)。硬盤(pán)故障可能原因誤碼反復(fù)拔插硬盤(pán)硬盤(pán)電源接觸出現(xiàn)問(wèn)題處理方法以下根據(jù)分類(lèi)，分別給出兩種硬盤(pán)被隔離后的日志分析和解決方法。硬盤(pán)隔離日志表現(xiàn)查看SAS后端硬盤(pán)誤碼情況，在SES日志中搜索關(guān)鍵字errinc和disablediskphy日志中的phy:9phymon***disablediskphy表示Phy9被隔離，即9號(hào)槽位硬盤(pán)被隔離（phy0~phy23對(duì)應(yīng)硬盤(pán)0~23）。解決方法1.拔插故障硬盤(pán)前，請(qǐng)收集硬盤(pán)的S.M.A.R.T信息并返回研發(fā)進(jìn)行分析2.在允許的條件下，將隔離硬盤(pán)插入到其他槽位，判斷隔離現(xiàn)象是跟著硬盤(pán)走還是跟著槽位走。假如跟著硬盤(pán)走，申請(qǐng)硬盤(pán)備件進(jìn)行更換。若跟著槽位走，觀察槽位內(nèi)是否有異物。硬盤(pán)隔離（SAS硬盤(pán)）現(xiàn)象

主機(jī)業(yè)務(wù)表現(xiàn)出性能慢日志表現(xiàn)查看是否有端口故障和端口隔離的告警，沒(méi)有的話(huà)，查看A、B控日志，是否有如下打印：原因分析DiscardFrame表示存在丟幀，表示出現(xiàn)存儲(chǔ)出現(xiàn)丟幀的現(xiàn)象。解決方法如果出現(xiàn)如下打印的A、B控端口連接在同一個(gè)交換機(jī)上，且BadChar0表示交換機(jī)到存儲(chǔ)沒(méi)有產(chǎn)生誤碼，建議排查主機(jī)側(cè)到交換機(jī)的鏈路問(wèn)題。主機(jī)業(yè)務(wù)表現(xiàn)出性能慢參考材料材料名稱(chēng)內(nèi)容簡(jiǎn)介獲取鏈接誤碼導(dǎo)致FC框硬盤(pán)單鏈路故障案例介紹常見(jiàn)故障現(xiàn)象及處理方法。LinkExercise1、（判斷題）日志收集包括ToolKit