20170731-北京-中加基金-EMC告警問題處理

中加基金-EMC存儲報警問題處理【處理時間】2017年07月31日現(xiàn)場處理【客戶名稱】中加基金【主機(jī)信息】EMCVNX5300FCNXX 46/248和47/248【處理人員】畢光明【問題說明】現(xiàn)象：存儲告警燈常亮，EMC存儲Unisphere圖形管理界面發(fā)現(xiàn)有如下報錯：Severity:ErrorSystem:FCNXXDomain:LocalCreated:Jul30,20176:21:04PMMessage:DPE(Bus0Enclosure0)isfaulted.FullDescription:DiskProcessorEnclosure(Bus0Enclosure0)isfaulted.Serversmayhavelostaccesstodiskdrivesinthisstoragesystem.RecommendedAction:Contactyourserviceprovider.EventCode:0x7409事件分析A aiMfJwV32MI74FJ#*aa蚪，■陽首先現(xiàn)場檢查EMC存儲狀態(tài)，發(fā)登錄EMC管理控制臺，查看各部CVHHWMt 4日中總■ FinuWrl?cmHMiA ftptw■\rawinAra Pwri/Hrtri flW/i^in"! Fmbhs電FT EiriM單W MW3I*JplE5 Uutq$*"ii■鼻@SiM?n曜■fwe*i*AH *WVH號6l^ailWb *hE3￡Ti/3K，F(xiàn)n X.WMHC帛一. J—l,JrPw5 1kwf -H f 號y e*口澗時 ￡P(guān)r{M.OftfCy土wNdwi!'5#>KHifi > )5mffjPErs>Ee收集2個控制器的日志包，?法為M 5J-m UtfcPitedU^ Dilitulvdi81B33 事舊事惹irw「”期期型E3?糟3MH母H [ii詡 tf'EnYCUiwKiaiBHriHafau4Ahwwacijtm-t之現(xiàn)只有EMC存儲告警燈常亮，但各部件的告警燈正常。?B件狀態(tài)，發(fā)現(xiàn)各部件轉(zhuǎn)臺正常。:.11ste卜嗯tEndiau-Rf1 #OwQEiKflEvvQmp EfHW~~。由i1Eiittaam口Mt E.4d?Mu&Encknira□M2 E，&d獷口山口Ek*kut?|MJ*Bm.4Em+”ir>QDM**Aus曾EnctaBBE4 Fm.* 0 a crm mkMHuaatM^wnrtDefcj tnalM#,&￡11■>trdraiTH□Uqfcf ElADdd步3d3=natt?EaData1 b不. 步舊口日注" IfiM-d# □nu9?DUI.-C!Enctxuv□Dufc13 Enrtted步中TC!5ctFaM方Qg4li 柚卻門■一?*-卡專—■?(jfc.uniQiPwma NtMHi、電1al口鼻■力2v>efEl k?El"-酢sfti-*MA AewI-卓環(huán)0三:鼻wwr￡u￡(ASK，Bi、0EiWhM^呼1；印后4 F^l能看到如下的報錯日志：MfwiHifcki Hi66k fiU1■:注正安h彈咄2MfttXaMtWb ^UWVU^nCIX * WATUWfrl油MSB 吸 H?雷邙i晰舟也皿偌 Er臼*皿球典

07/30/1710:17:38Spe0PowA07/30/1710:18:3307/30/1710:21:04Bus0Enc099325807409SPEnvironmentalInterfaceFailure.[DeviceError]]0 136StorageArrayFaultedBus0Enclosure0:FaultedDiskProcessorEnclosureisfaulted.Seealertsfordetailsa8000000.提示電源A有報錯4、查看電源狀態(tài)：c:\EMC\Navisphere\.41.1\msgbin\NavisecCli.exe-npgetcrus-allDPE7Bus0Enclosure0*FAULT*(Bus0Enclosure0:Faulted)EnclosureDriveType:CurrentSpeed:6GbpsMaximumSpeed:6GbpsSPAState:SPBState:SASPresentPresentBus0Enclosure0PowerAState:PresentBus0Enclosure0PowerBState:PresentBus0Enclosure0SPSAState:PresentBus0Enclosure0SPSBState:PresentBus0Enclosure0SPSACablingState:ValidBus0Enclosure0SPSBCablingState:ValidBus0Enclosure0CPUModuleAState:PresentBus0Enclosure0CPUModuleBState:PresentBus0Enclosure0SPAI/OModule0State:EmptyBus0Enclosure0SPAI/OModule1State:EmptyBus0Enclosure0SPBI/OModule0State:EmptyBus0Enclosure0SPBI/OModule1State:EmptyBus0Enclosure0DIMMModuleAState:PresentBus0Enclosure0DIMMModuleBState:Present顯示電源口0亞。1）A/B以及電池（SPS）A/B都是正常狀態(tài)。懷疑微碼版本:因此懷疑是個誤報。處理建議（不影響業(yè)務(wù)，為安全起見，建議在非業(yè)務(wù)時間段操作）：1、重啟managerserver服務(wù)，查看告警是否消失具體步驟如下：以下步驟需在兩臺SP上分別執(zhí)行：a）打開瀏覽器b）輸入地址：http://<IP_address_of_SP>/setupc）頁面加載完成后，輸入用戶名密碼以進(jìn)入NavisphereUserInterface（UI）d）登錄后，點擊〃RestartManagementServer〃按鈕e）頁面加載完成后，點擊〃Yes〃并〃Submit"2、升級微碼由于第一步重啟管理沒能消除錯誤日志以及告警燈，既然硬件都正常，我們就懷疑可能是微碼太低，版本老，產(chǎn)生的誤報，我們就準(zhǔn)備實施微碼升級（由于是生產(chǎn)建議在線升級）：升級firmware過程前，確保所有使用本存儲的應(yīng)用服務(wù)器多路徑完全正常，可以正常訪問陣列的SPA和SPB。會依次升級陣列的SPB和SPA的firmware，如果發(fā)現(xiàn)升級完SPB導(dǎo)致SPB路徑不可訪問，則中斷升級。a）備份存儲數(shù)據(jù)，通過HMC控制臺觀察小機(jī)連接存儲的狀態(tài)，諾頓NBU完成數(shù)據(jù)備份b）Unispher圖形管理界進(jìn)入工程師模式，然后將告警信息刪除。（告警不能刪除，執(zhí)行c）瀏覽器登錄陣列管理界面

至USystemMonitoringandalerts Alerts安裝CTRL+SHIFT+F12，輸入密碼messner進(jìn)入工程師模式點擊需要消除的告警，看能否刪除c）升級微碼BlockOE:05.32.000.5.221orlater在升級前先檢查業(yè)務(wù)服務(wù)器的存儲多通道是否健康，升級大約需要3-4個小時）。d）升級微碼的過程是：在線升級步驟：檢查VNX上有無硬件故障檢查VNX版本信息客戶檢查主機(jī)上多路徑軟件檢查SP,I/O是否滿足在線升級條件disable統(tǒng)計日志寫入;disablecallhome或者connecthome（如果有）用USM進(jìn)行升級flarecode；兩個SP需要依次升級/重啟升級完成后檢查SP的read和writecache的狀態(tài)檢查有無LUNtrespassCommitflare檢查flarecode版本Enablecallhome或者connecthome收集系統(tǒng)日志e）升級后檢查，待兩控制器都升級完成后檢查故障是否消除，發(fā)現(xiàn)故障依舊存在。f）根據(jù)現(xiàn)有環(huán)境，做了一步關(guān)閉一重啟SPSA電池，故障未消除g）更換電池SPSA和SPSB通訊信號線，出現(xiàn)了控制器都不能識別到電池的F狀態(tài)。h）一晚上沒能解決故障，由于現(xiàn)場沒有備件所有能做的嘗試都不能消除故障，下一步申請兩塊電池以及電池與控制器的通訊線，檢查鏈路狀態(tài)。升級過程中由于鏈路狀態(tài)不穩(wěn)定在服務(wù)器端會看到：檢查鏈路：powermtdisplaydev=alllmoreThepowermtdisplaydev=**mandshowshardwarepathwithasb:iopfinsteadofalive:SymmetrixID=xxxxxxxxxxxstate=alive;policy=SymmOpt;queued-I0s=0 Host -Stor--I/OPath--Stats###HWPathI/OPathsInterf.ModeStateQ-IOsErrors3072pci@1e,600000/SUNW,qlc@3,1/fp@0,0c3tXXADD18d4s0FA7eAasb:iopfalive02

3074pci@1e,600000/SUNW,qlc@3/fp@0,0c2tXXADD1Cd4s0FA8eAactivealive00恢復(fù)鏈路：powermtsetmode=activedev=allforce強(qiáng)制3、更換備件1、更換sps電池方法第一步：找到壞掉的電池，關(guān)閉電池電源，等待大約2分鐘電池?zé)敉耆P(guān)閉；第二步：依次拔掉管理線和電源線；第三步：卸載并安裝對應(yīng)電池（新電池開關(guān)要為關(guān)閉狀態(tài)）；第四步：依次連接管理線和電源線；第五步：打開電池開關(guān)，等待電池充電，綠燈會一直閃爍；充滿后會放電，然后再次充滿；（注：兩次充電時間大約3個小時及以上，電池充滿后最上面一個燈綠色為長亮）第六步：打開管理控制臺，觀察電池狀態(tài)（從充電時就可以觀察state，Unknown——>present），電池圖標(biāo)由F變?yōu)門，再消失，更換完畢，工作正常，結(jié)束；注意：如果兩次充電后，電池狀態(tài)由Unknown變?yōu)閜resent，說明電池正常，但是電池圖標(biāo)依然F，這時建議重啟控制器，一般都會消失；2、更換SPS時注意的事項：*如果是雙控制器和電池，又有UPS，里面的writecache不需要disable.近單控制器，單電池，又沒有UPS的時候要先把writecache變?yōu)閐isable（以免數(shù)據(jù)丟失，但是如果業(yè)務(wù)比較重，會影響業(yè)務(wù)，做之前要跟管理員商議好）.*更換好之后要確認(rèn)writecacheenabled1）、關(guān)閉故障SPS上的開關(guān)，不要拔線，此時即斷掉了其中一路電源供應(yīng)，SPS的狀態(tài)燈會滅掉，另一個SPS電池的ON-BATTERYLED亮起，等待大概幾十秒后，另一個SPS的ON-BATTERYLED滅掉，ACTIVELED開始慢閃。2）、此時才能開始拔線（順序：AC-IN，AC-OUT，連接控制器的INTERFACE）。3）、從設(shè)備后面，卸下4個固定螺絲，從設(shè)備前面，拆開擋板，卸下6個固定螺絲，卸下故障SPS。4）、裝上新的SPS。注意要保證新SPS上的開關(guān)是在0位置，即關(guān)閉的。5）、接好電源線后（順序：連接控制器的INTERFACE，AC-OUT，AC-IN）。6）、打開更換的SPS的開關(guān)。A）檢查存儲日志，更換狀態(tài)是日志中報錯的其中一塊電池及電池通訊線不會重啟控制器，通過更改電池測試時間，使電池到指定時間自動測試。右擊電池標(biāo)識設(shè)定時間0sMo447Q7475fl49(J8o8oaM53^6s7s744292616142323121ca3E.r"x'cl?-.

h3土Aikr?1.,1.L上_LLI上上tT土土M0sMo447Q7475fl49(J8o8oaM53^6s7s744292616142323121ca3E.r"x'cl?-.

h3土Aikr?1.,1.L上_LLI上上tT土土M一七m-3'm64;4工.■」叮出出Hi0x72^infermetiorinnl/CRUready.Loggrigei^McharacterCRUserial加訴「網(wǎng)10/201713:03:04￡n班sureSTCPowerA(723}Frmware即館.PiJVWE1rISR已sto「&d 一Field-ValueField|vaii?Dote：2017-06^10Type：blformationlirne：2115:00CategoryMfALogStoregteArraySenseKey;0x0Host:&IMAGEExtCcdel:0X0EventCodeOnfiZaExtCodc2:0x2StorageSystfim：FCN0012<70aSP:SPBSource:NXAOeviiM：Bus0Encl□&ur,..EventDetailsXjatterydevtce-「Ree12,prefw=Qrsuffix，visionnfXPE_PSAi>JserialnumbefDescription:11；PeriodicSPStesttiime.2.Noactionneededunlessthismessageisseerrmorefreguentlj/tfianIheperiodi(|^PSTestissetuptorun.Mext?HelpDfX^PS