05 業(yè)務軟件故障排除及維護(20130301)

1、業(yè)務軟件故障排除及維護業(yè)務軟件故障排除及維護 ISSUE 2.0 杭州華三通信技術有限公司 版權所有，未經(jīng)授權不得使用與傳播 n 熟悉熟悉iMC產(chǎn)品體系架構產(chǎn)品體系架構 n 掌握掌握iMC常用組件故障排除及定位方法常用組件故障排除及定位方法 n 熟悉熟悉iMC常用工具的使用方法常用工具的使用方法 課程目標課程目標 學習完本課程，您應該能夠：學習完本課程，您應該能夠： n iMC體系介紹體系介紹 n iMC 常用組件故障排除及維護方法常用組件故障排除及維護方法 n iMC常用工具常用工具/資料介紹資料介紹 目錄目錄 3 liMC產(chǎn)品控制按鈕就是產(chǎn)品控制按鈕就是“智能部署監(jiān)控代理智能部署監(jiān)控代理”

2、，若想使用，若想使用“智能部智能部 署監(jiān)控代理署監(jiān)控代理”，必須在操作系統(tǒng)中啟用，必須在操作系統(tǒng)中啟用iMC 部署監(jiān)控代理服務部署監(jiān)控代理服務 Windows系統(tǒng)：在服務列表中對應的是H3C iMC Server Linux系統(tǒng)：對應的進程是imcdmsd，命令是service imcdmsd stop/start/restart iMC 體系介紹體系介紹 n iMC體系介紹體系介紹 n iMC 常用組件故障排除及維護方法常用組件故障排除及維護方法 n iMC常用工具常用工具/資料介紹資料介紹 目錄目錄 5 iMC安裝或升級問題及排錯方法安裝或升級問題及排錯方法 liMC的組件安裝或升級前需要

3、仔細閱讀相關版本說明書， 了解安裝或升級的配套關系、注意事項及限制，遇到問 題時需要反饋如下信息: 1) 操作系統(tǒng)詳細版本、數(shù)據(jù)庫詳細版本 2）所裝iMC組件版本 3）現(xiàn)場的操作步驟描述 4）日志信息： - C:WINDOWSiMC-Reserved - iMCdeploylog 6 iMC前臺常見問題及排錯方法前臺常見問題及排錯方法 liMC的前臺指的是iMC web的應用業(yè)務，對應的進程是jserver.exe l該進程控制的業(yè)務主要對應的是iMC的web界面相關操作，比如登錄 iMC的web界面，生成報表等 l常見問題舉例： 1）無法登錄iMC web界面 2）周期報表無法生成 3）登錄

4、iMC web界面提示系統(tǒng)繁忙或者登錄界面緩慢 4）jserver.exe進程無法正常啟動 。 l需收集前臺對應的日志進行分析，日志路徑為： iMC的安裝路徑下，iMCclientlog 7 iMC前臺問題案例分析前臺問題案例分析 l問題現(xiàn)象：某用戶無法登錄iMC web界面 l問題原因：收集前臺日志iMCclientlog進行分析，發(fā)現(xiàn)給java分配的內(nèi)存 不合理導致此問題 l解決方法：右鍵選擇編輯clientbinstartup.bat 文件中的如下內(nèi)容 set JAVA_OPTS=-server -Xmx1024m -Xrs -XX:PermSize=64m - XX:MaxPermSi

5、ze=512m -XX:+HeapDumpOnOutOfMemoryError - XX:HeapDumpPath=./log -Dimc.home=%IMC_HOME% - Duser.language=$LANGUAGE -Duser.country=$COUNTRY - Djava.io.tmpdir=%IMCROOT%tmp - Dorg.apache.el.parser.COERCE_TO_ZERO=false 將紅色標識的數(shù)值調(diào)整到合理的參數(shù)，然后重啟jserver.exe進程即可 調(diào)整的原則：給java分配的內(nèi)存決定了iMC web界面操作的可用性，當然是 希望盡可能根據(jù)服務器的

6、配置，多給java分配內(nèi)存，提高web應用。但是對 于32位操作系統(tǒng)，第一個數(shù)字最多只能設置到1024，后面的數(shù)字是512， 調(diào)高則不能啟動jserver進程，所以，至于是要調(diào)整到哪一個數(shù)值，最根本 的原則是，在服務器配置允許的基礎之上，調(diào)整數(shù)值后能將jserver啟動起 來 8 iMC PLAT常見問題及排錯方法常見問題及排錯方法資源管理（資源管理（1） lPLAT中的資源管理對應的進程是imcnetresdm.exe，對應的數(shù)據(jù)庫 是config_db l資源管理常見問題舉例： 1）iMC web界面上顯示的設備資源信息和設備不一致 2）設備添加到iMC中時報錯 。 l資源管理故障需要收集

7、的信息 1）iMC版本信息 2）設備和iMC兩邊的SNMP參數(shù)設置 3）現(xiàn)場實施時具體的操作步驟 4）復現(xiàn)問題過程的抓包 5）資源后臺日志：iMCserverconflogimcnetresdm.yyyy-mm-dd 9 iMC PLAT常見問題及排錯方法常見問題及排錯方法資源管理（資源管理（2） l資源管理故障案例分析 l問題現(xiàn)象：添加設備時報錯 10 iMC PLAT常見問題及排錯方法常見問題及排錯方法資源管理（資源管理（3） l問題原因：通過復現(xiàn)問題，將此過程抓包，分析如下:設備10.33.84.1 對之前的SNMP操作是有回應，但是在訪問到ifHighSpeed.53節(jié)點時，每隔 4秒

8、（iMC SNMP操作的超時時間）iMC訪問了四次，設備都沒有回應，直 到最后一次訪問完的8秒以后，設備才回應，但這時已經(jīng)過了SNMP的超時 時間，所以iMC認定設備沒有回應，這樣導致iMC訪問設備失敗，從而不能 成功增加設備。 l解決方法：可確認網(wǎng)絡環(huán)境是否繁忙，導致設備回應不及時，同時建議修 改iMC訪問設備的SNMP參數(shù)，增加超時等待時間，看是否能夠成功增加這 個設備。 11 iMC PLAT常見問題及排錯方法常見問題及排錯方法告警管理（告警管理（1） lPLAT中的告警管理對應的進程是imcfaultdm.exe，對應的數(shù)據(jù)庫是 monitor_db l告警管理常見問題舉例： 1）iM

9、C web界面上無法正確解析設備告警 2）設備產(chǎn)生了告警，但iMC上無顯示 。 l若告警的類型是“Trap”，則屬于設備側(cè)問題；若告警類型是iMC，再來定 位iMC的問題；告警管理遇到故障時需要收集的信息： 1）iMC版本信息 2）設備和iMC兩邊的SNMP參數(shù)設置及Trap設置 3）確認是否有iMC對該類告警的過濾策略 4）現(xiàn)場實施時具體的操作步驟及相關故障截圖 5）復現(xiàn)問題過程的抓包 6）設備Trap buffer里的相關記錄 7）告警后臺日志：iMCserverconflogimcfaultdm.yyyy-mm-dd 12 iMC PLAT常見問題及排錯方法常見問題及排錯方法告警管理（告

10、警管理（2） l問題現(xiàn)象：設備發(fā)生了冷啟動，從設備的Trap buffer中有相關記錄： #Apr 26 12:01:00:121 2000 SW5120-160-21 DEVM/4/SYSTEM COLD START: - Slot=3; Trap 1.3.6.1.4.1.25506.6.8.4: system cold start. #Apr 26 12:01:00:122 2000 SW5120-160-21 DEVM/4/SYSTEM COLD START: - Slot=2; Trap 1.3.6.1.4.1.25506.6.8.4: system cold start. 但在iMC

11、上卻沒有顯示該告警 l問題原因：檢查設備的Trap配置，的確設置了將設備的Trap信息發(fā) 往iMC的地址，SNMP參數(shù)及抓包也能看到iMC服務器網(wǎng)卡有接收到 該告警，但是檢查iMC的告警定義列表時發(fā)現(xiàn)，設備冷啟動告警的 OID是1.3.6.1.4.1.25506.6.8.6.4，但是設備發(fā)送的OID是 1.3.6.1.4.1.25506.6.8.4，由于不匹配，所以沒有解析顯示，確認后是 設備的OID定義錯誤導致 13 iMC PLAT常見問題及排錯方法常見問題及排錯方法性能管理性能管理 lPLAT中的性能管理對應的進程是imcperfdm.exe，對應的數(shù)據(jù)庫是 perf_db l性能管理常

12、見問題舉例： 1）iMC web界面上顯示的數(shù)據(jù)和實際設備命令行顯示有差異 2）iMC上對設備的某監(jiān)控指標進行監(jiān)控時提示錯誤，無法監(jiān)視 。 l性能管理遇到故障時需要收集的信息： 1）iMC版本信息 2）現(xiàn)場實施時具體的操作步驟及相關故障截圖 3）性能后臺日志：iMCserverconflogimcperfdm.yyyy-mm-dd 4）對于上面的第一類問題，還需要錄制設備的MIB信息。 /New_Internal_Versions(新內(nèi)部版本歸檔)/01-IP網(wǎng)絡產(chǎn)品/30-業(yè) 務軟件/01-iMC(智能管理中心)/文檔中心/MIB信息采集工具/ 5）對于上面的第二類問題，還需要復現(xiàn)問題過程的

13、抓包 14 iMC PLAT常見問題及排錯方法常見問題及排錯方法拓撲管理拓撲管理 lPLAT中的拓撲管理對應的進程是imcl2topodm.exe，對應的數(shù)據(jù)庫 是config_db l拓撲管理常見問題舉例： 1）iMC拓撲界面上顯示的設備間連接信息不正確 2）設備之間有連線，但是在iMC拓撲上顯示沒連線 。 l設備若配置了正確的鄰居協(xié)議，在iMC上對相關設備進行【同步】 操作后，刷新拓撲看是否問題解決，如還存在故障，需要收集如下 信息： 1）iMC版本信息 2）現(xiàn)場實施時具體的操作步驟及相關故障截圖 3）拓撲后臺日志：iMCserverconflogimcl2topodm.yyyy-mm-d

14、d 4）設備的diagnostic-information 5）數(shù)據(jù)庫信息config_db 6）若config_db獲取有難度，可收集iMC的拓撲內(nèi)存信息，方法見附件 15 PLAT調(diào)試日志的收集方法調(diào)試日志的收集方法 lPLAT中的問題通常收集后臺日志（INFO級別）即可， 但在某些復雜問題定位時需要開啟DEBUG級別，采集 DEBUG級別的日志 lDEBUG開關的打開方法：打開iMC/server/conf/ qvdm.conf 文件，將其中的loglevel一行改為DEBUG， 缺省是INFO l重啟某PLAT模塊進程后，則該模塊對應的后臺日志即開 始以DEBUG級別記錄，其他未重啟的

15、PLAT模塊進程依 舊以修改前的缺省級別記錄 l關閉DEBUG的方法類似，將DEBUG改為INFO，重啟對 應的進程即可 16 iNode客戶端日志采集方法客戶端日志采集方法 liNode詳細日志路徑：C:Program FilesH3CiNode ClientLog 17 iMC NTA/UBA常見問題及排錯方法（常見問題及排錯方法（1） lNTA/UBA組件對應的進程是receiver.exe和processor.exe。常見問 題是在web中看不到流量或者流量有異常的問題，都按照下面的方 式收集信息： 1）相關報錯或異常的截圖 2）iMC版本 3）iMC上的配置 4）設備的型號、版本、配

16、置 5）組網(wǎng)描述 6）iMCunbaconf 文件夾，可打包發(fā)送 7）服務器側(cè)的抓包 （5分鐘左右的抓包） 8）NTA/UBA的調(diào)試日志 9）其他 另外，在排查無法顯示流量問題時，需查看是否有日志積壓現(xiàn)象引起該問 題?？刹榭磇MCdatareceiverdata和processordata文件夾中是否有積壓日 志，如果這些文件夾下存在大量日志（比如日志條數(shù)有上百條或日志文件 大小有上GB）則基本可判斷是日志積壓導致的問題，清理積壓日志即可恢 復業(yè)務 18 iMC NTA/UBA常見問題及排錯方法（常見問題及排錯方法（2） lNTA/UBA調(diào)試日志的開啟方法： l在命令行下執(zhí)行： l大概開啟5分鐘左右（最好是和服務器側(cè)的抓包同時進行），就可以 采集到debug級別的日志了；日志路徑：iMCunbalog l收集完之后，再把日志級別改回warning級別，方法還是在命令行下 執(zhí)行 19 iMC Dbman常見問題及排錯方法常見問題及排錯方法 lDbman用來備份和恢復iMC的數(shù)據(jù)庫，對應的進程是dbman.exe， 對外體現(xiàn)是在“智能部署監(jiān)控代理”的【運行環(huán)境】選項中 l常見問題： 使用Dbman自動或手動備份iMC數(shù)據(jù)庫失敗 使用Dbman自動或手動還原iMC數(shù)據(jù)庫失敗 l收集的信息包括： Dbman的log，日志路徑：iMC