接入網(wǎng)管巡檢方法介紹

公共研發(fā)部測(cè)試運(yùn)維部2017-7-11UNM2000接入網(wǎng)管巡檢方法介紹烽火通信科技股份有限公司目錄1、windows環(huán)境unm2000運(yùn)行巡檢（1）服務(wù)器cpu、內(nèi)存占用檢查（2）服務(wù)器磁盤(pán)占用空間檢查（3）網(wǎng)管數(shù)據(jù)庫(kù)檢查（4）網(wǎng)管配置數(shù)據(jù)安全檢查目錄1、windows環(huán)境unm2000運(yùn)行巡檢（5）網(wǎng)管后臺(tái)服務(wù)運(yùn)行檢查（6）網(wǎng)管tl1接口功能檢查（7）網(wǎng)管corba接口功能檢查（8）網(wǎng)管服務(wù)器系統(tǒng)日志檢查目錄2、linux環(huán)境UNM2000運(yùn)行巡檢（1）服務(wù)器內(nèi)存占用檢查（2）服務(wù)器磁盤(pán)占用空間檢查（3）網(wǎng)管數(shù)據(jù)庫(kù)檢查（4）網(wǎng)管配置數(shù)據(jù)安全檢查目錄2、linux環(huán)境UNM2000運(yùn)行巡檢（5）網(wǎng)管后臺(tái)服務(wù)運(yùn)行檢查（6）網(wǎng)管tl1接口功能檢查3、UNM2000網(wǎng)管熱備環(huán)境巡檢windows環(huán)境unm2000運(yùn)行巡檢（1）服務(wù)器cpu、內(nèi)存占用檢查巡檢方法：Windows環(huán)境下通過(guò)任務(wù)管理器查看網(wǎng)管服務(wù)器上服務(wù)占用cpu和內(nèi)存情況。巡檢內(nèi)容：1、檢查服務(wù)器上cpu占用率和內(nèi)存占用率是否持續(xù)占用超過(guò)80%，如果超過(guò)需要預(yù)警，并分析為硬件配置過(guò)低導(dǎo)致還是存在可疑進(jìn)程導(dǎo)致；2、檢查是否存在可疑進(jìn)程持續(xù)占用cpu超過(guò)20%，可能存在病毒感染風(fēng)險(xiǎn)；3、檢查網(wǎng)管服務(wù)占用內(nèi)存是否超過(guò)1G，如果超過(guò)，需要預(yù)警，并導(dǎo)出dump文件分析內(nèi)存增長(zhǎng)過(guò)快原因；windows環(huán)境unm2000運(yùn)行巡檢（2）服務(wù)器磁盤(pán)占用空間檢查巡檢方法：Windows環(huán)境下打開(kāi)計(jì)算機(jī)直接查看磁盤(pán)空間占用情況。巡檢內(nèi)容：1、檢查網(wǎng)管服務(wù)器各個(gè)磁盤(pán)空間占用情況是否超過(guò)80%，如果超過(guò)，需及時(shí)清理磁盤(pán)空間；2、檢查UNM2000服務(wù)安裝所在磁盤(pán)占用情況是否超過(guò)90%，剩余可用空間確保不少于10G，如果剩余可用磁盤(pán)空間太小，需要對(duì)unm2000\server\log和unm2000\server\log\nbinterface目錄下日志文件進(jìn)行清理，建議保留最近3個(gè)月日志即可；windows環(huán)境unm2000運(yùn)行巡檢（3）網(wǎng)管數(shù)據(jù)庫(kù)檢查巡檢方法：Windows環(huán)境下通過(guò)人物管理器檢查mysql服務(wù)內(nèi)存占用情況，檢查d:MySQL\my.ini配置文件是否已包含表?yè)p壞自動(dòng)修復(fù)參數(shù)，檢查mysql所在磁盤(pán)存儲(chǔ)空間是否充足。巡檢內(nèi)容：1、檢查數(shù)據(jù)庫(kù)服務(wù)占用內(nèi)存情況是否正常，windows環(huán)境一般情況不超過(guò)1.5G；2、檢查數(shù)據(jù)庫(kù)配置文件my.ini是否已開(kāi)啟表?yè)p壞自動(dòng)恢復(fù)配置參數(shù)myisam-recover-options=BACKUP,FORCE；3、查看數(shù)據(jù)庫(kù)文件存放的磁盤(pán)空間是否充足，剩余可用空間不少于30%；windows環(huán)境unm2000運(yùn)行巡檢（4）網(wǎng)管配置數(shù)據(jù)安全檢查巡檢方法：登錄nmtool管理界面查看網(wǎng)管配置定時(shí)導(dǎo)出設(shè)置是否正確，到對(duì)應(yīng)ftp路徑檢查網(wǎng)管配置是否每天都正常生成。巡檢內(nèi)容：1、檢查nmtool工具是否已經(jīng)配置每天定時(shí)導(dǎo)出網(wǎng)管配置，網(wǎng)管配置是否存儲(chǔ)到其他主機(jī)上，避免網(wǎng)管服務(wù)器硬件損壞導(dǎo)致網(wǎng)管配置丟失無(wú)法及時(shí)恢復(fù)現(xiàn)網(wǎng)環(huán)境；2、到網(wǎng)管配置存儲(chǔ)的ftp路徑檢查網(wǎng)管配置文件是否每天都正常生成；windows環(huán)境unm2000運(yùn)行巡檢（5）網(wǎng)管后臺(tái)服務(wù)運(yùn)行檢查巡檢方法：使用icegrid工具檢查網(wǎng)管服務(wù)是否存在異常停止的現(xiàn)象，使用任務(wù)管理器檢查網(wǎng)管服務(wù)內(nèi)存占用是否超過(guò)1G，到D:\unm2000\platform\thirdparty\win32_vc9_x86\bin目錄檢查是否存在dump文件。巡檢內(nèi)容：1、檢查網(wǎng)管服務(wù)是否正常啟動(dòng)狀態(tài)，檢查網(wǎng)管服務(wù)內(nèi)存占用是否超過(guò)1G，如果超過(guò)1G，導(dǎo)出對(duì)應(yīng)dump反饋給總部研發(fā)；2、檢查D:\unm2000\platform\thirdparty\win32_vc9_x86\bin目錄是否存在dump文件生成，如果有，反饋給總部分析服務(wù)異常掛死原因；windows環(huán)境unm2000運(yùn)行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢方法：使用icegrid工具檢查服務(wù)運(yùn)行狀態(tài)，通過(guò)任務(wù)管理器查看服務(wù)內(nèi)存增長(zhǎng)情況，進(jìn)入D:\unm2000\platform\thirdparty\win32_vc9_x86\bin目錄檢查是否有生成dump文件，通過(guò)網(wǎng)管界面tl1日志查詢(xún)統(tǒng)計(jì)tl1指令失敗原因和耗時(shí)時(shí)間。windows環(huán)境unm2000運(yùn)行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢內(nèi)容：1、檢查tl1相關(guān)服務(wù)是否正常運(yùn)行，是否存在異常終止的dump文件生成，是否存在內(nèi)存泄漏，內(nèi)存超過(guò)1G需分析確認(rèn)內(nèi)存增長(zhǎng)原因；2、檢查tl1日志，確認(rèn)是否存在大批量工單執(zhí)行失敗的記錄，且失敗原因是否在合理范圍之內(nèi)；3、檢查tl1日志，確認(rèn)業(yè)務(wù)開(kāi)通相關(guān)的指令是否存在大量耗時(shí)時(shí)間超過(guò)15秒的記錄，確認(rèn)lst查詢(xún)類(lèi)指令是否存在大量耗時(shí)時(shí)間超過(guò)30秒的記錄。windows環(huán)境unm2000運(yùn)行巡檢（7）網(wǎng)管corba接口功能檢查巡檢方法：使用任務(wù)管理器檢查corba服務(wù)和tao服務(wù)內(nèi)存占用情況，檢查是否有服務(wù)異常終止時(shí)的dump文件生成，使用corba客戶(hù)端自測(cè)告警上報(bào)是否正常，自測(cè)掛載ONU最多的網(wǎng)元資源采集耗時(shí)是否在3分鐘以?xún)?nèi)。巡檢內(nèi)容：1、檢查corba服務(wù)和tao服務(wù)占用內(nèi)存是否超過(guò)1G；2、檢查現(xiàn)網(wǎng)環(huán)境是否存在corba異常終止的dump文件，結(jié)合網(wǎng)管系統(tǒng)日志中的起停記錄排除人為起停生成的dump文件；3、使用corba客戶(hù)端登陸，自測(cè)getEms()、getAllEMSAndMEActiveAlarms()、getAllManagedElements()、getAllPTPs()、getAllEquipment()、GetAllFDFrs()這部分常用接口是否正常，耗時(shí)是否在3分鐘以?xún)?nèi)；4、使用客戶(hù)端登陸到Corba接口，檢查告警是否正常上報(bào)；windows環(huán)境unm2000運(yùn)行巡檢（8）網(wǎng)管服務(wù)器系統(tǒng)日志檢查巡檢方法：檢查服務(wù)器事件查看器中的應(yīng)用程序日志和系統(tǒng)日志，檢查dump文件，檢查是否安裝賽門(mén)鐵克殺毒軟件。巡檢內(nèi)容：1、服務(wù)器系統(tǒng)事件查看器中檢查服務(wù)器應(yīng)用程序中是否有錯(cuò)誤日志，確認(rèn)tao隊(duì)列是否被占滿(mǎn)，是否存在網(wǎng)管服務(wù)被病毒攻擊導(dǎo)致異常終止；2、檢查網(wǎng)管的系統(tǒng)日志，確認(rèn)是否存在網(wǎng)管服務(wù)異常重啟的記錄，如果存在，找到對(duì)應(yīng)的dump文件取回來(lái)。3、檢查網(wǎng)管配套殺毒軟件symantecendpointprotection是否運(yùn)行正常。linux環(huán)境unm2000運(yùn)行巡檢（1）服務(wù)器內(nèi)存占用檢查巡檢方法：使用top命令檢查當(dāng)前服務(wù)器上服務(wù)內(nèi)存占用情況。Res表示服務(wù)占用的物理內(nèi)存，執(zhí)行top之后，shift+m可根據(jù)內(nèi)存占用大小由高到低排序，mem中的free值+swap中的free值+swap中的cached值表示服務(wù)器可用內(nèi)存linux環(huán)境unm2000運(yùn)行巡檢（1）服務(wù)器內(nèi)存占用檢查巡檢內(nèi)容：1、檢查服務(wù)器上剩余可用內(nèi)存是否耗盡；2、檢查服務(wù)器上網(wǎng)管服務(wù)占用內(nèi)存是否超過(guò)3G，檢查服務(wù)器上mysql服務(wù)占用內(nèi)存是否在12G范圍以?xún)?nèi)，如果超過(guò)，使用gcore指令導(dǎo)出對(duì)應(yīng)core文件反饋總部分析；linux環(huán)境unm2000運(yùn)行巡檢（2）服務(wù)器磁盤(pán)占用空間檢查巡檢方法：使用df–k查看服務(wù)器磁盤(pán)總的占用大小，使用du–h|grepG查看哪些目錄占用磁盤(pán)空間太大，通常情況日志文件和抓包文件占用空間較大?？筛鶕?jù)每天的磁盤(pán)空間增長(zhǎng)大小計(jì)算出需要多長(zhǎng)時(shí)間清理一次，清理日志時(shí)，建議保留最近3個(gè)月的日志文件，清理抓包文件時(shí)，建議保留最近一周的抓包文件，根據(jù)實(shí)際磁盤(pán)空間總大小和每天增長(zhǎng)大小決定保留時(shí)間。linux環(huán)境unm2000運(yùn)行巡檢（2）服務(wù)器磁盤(pán)占用空間檢查linux環(huán)境unm2000運(yùn)行巡檢（2）服務(wù)器磁盤(pán)占用空間檢查rm*2017-01*表示刪除文件命中帶2017-01的文件，即刪除2017年1月份日志，其他月份依此類(lèi)推。linux環(huán)境unm2000運(yùn)行巡檢（2）服務(wù)器磁盤(pán)占用空間檢查巡檢內(nèi)容：1、檢查服務(wù)器各分區(qū)磁盤(pán)空間占用率是否超過(guò)80%，UNM2000安裝所在分區(qū)和mysql數(shù)據(jù)庫(kù)存儲(chǔ)文件所在分區(qū)剩余可用空間不少于20G；如果磁盤(pán)空間使用達(dá)到預(yù)警值，需清理磁盤(pán)空間。linux環(huán)境unm2000運(yùn)行巡檢（3）網(wǎng)管數(shù)據(jù)庫(kù)檢查巡檢方法：1、使用ps命令找到mysql服務(wù)進(jìn)程，使用top命令查看mysql服務(wù)內(nèi)存占用情況，超過(guò)12G需要預(yù)警；2、使用vi命令查看f是否已開(kāi)啟表?yè)p壞自動(dòng)恢復(fù)配置參數(shù)myisam-recover-options=BACKUP,FORCElinux環(huán)境unm2000運(yùn)行巡檢（3）網(wǎng)管數(shù)據(jù)庫(kù)檢查巡檢方法：1、使用top命令查看mysql服務(wù)內(nèi)存占用情況，超過(guò)12G需要預(yù)警；2、使用vi命令查看f是否已開(kāi)啟表?yè)p壞自動(dòng)恢復(fù)配置參數(shù)myisam-recover-options=BACKUP,FORCEVi編輯器，ctrl+F，往下翻頁(yè)。linux環(huán)境unm2000運(yùn)行巡檢（3）網(wǎng)管數(shù)據(jù)庫(kù)檢查巡檢內(nèi)容：1、檢查數(shù)據(jù)庫(kù)服務(wù)占用內(nèi)存情況是否正常，linux環(huán)境根據(jù)f配置可使用到12G，超過(guò)12G需要預(yù)警;2、檢查數(shù)據(jù)庫(kù)配置文件f是否已開(kāi)啟表?yè)p壞自動(dòng)恢復(fù)配置參數(shù)myisam-recover-options=BACKUP,FORCElinux環(huán)境unm2000運(yùn)行巡檢（4）網(wǎng)管配置數(shù)據(jù)安全檢查巡檢方法：登錄nmtool管理界面查看網(wǎng)管配置定時(shí)導(dǎo)出設(shè)置是否正確，到對(duì)應(yīng)ftp路徑檢查網(wǎng)管配置是否每天都正常生成。巡檢內(nèi)容：1、檢查nmtool工具是否已經(jīng)配置每天定時(shí)導(dǎo)出網(wǎng)管配置，網(wǎng)管配置是否存儲(chǔ)到其他主機(jī)上，避免網(wǎng)管服務(wù)器硬件損壞導(dǎo)致網(wǎng)管配置丟失無(wú)法及時(shí)恢復(fù)現(xiàn)網(wǎng)環(huán)境；2、到網(wǎng)管配置存儲(chǔ)的ftp路徑檢查網(wǎng)管配置文件是否每天都正常生成；linux環(huán)境unm2000運(yùn)行巡檢（5）網(wǎng)管后臺(tái)服務(wù)運(yùn)行檢查巡檢方法：到/tmp/corefile目錄檢查是否存在core文件。巡檢內(nèi)容：1、檢查/tmp/corefile目錄是否存在core文件生成，如果有，反饋給總部分析服務(wù)異常掛死原因；linux環(huán)境unm2000運(yùn)行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢方法：使用icegrid工具檢查服務(wù)運(yùn)行狀態(tài)，通過(guò)任務(wù)管理器查看服務(wù)內(nèi)存增長(zhǎng)情況，進(jìn)入/tmp/corefile目錄檢查是否有生成core文件，通過(guò)網(wǎng)管界面tl1日志查詢(xún)統(tǒng)計(jì)tl1指令失敗原因和耗時(shí)時(shí)間。linux環(huán)境unm2000運(yùn)行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢內(nèi)容：1、檢查tl1相關(guān)服務(wù)是否正常運(yùn)行，是否存在異常終止的core文件生成，是否存在內(nèi)存泄漏，內(nèi)存超過(guò)3G需分析確認(rèn)內(nèi)存增長(zhǎng)原因；2、檢查tl1日志，確認(rèn)是否存在大批量工單執(zhí)行失敗的記錄，且失敗原因是否在合理范圍之內(nèi)；3、檢查tl1日志，確認(rèn)業(yè)務(wù)開(kāi)通相關(guān)的指令是否存在大量耗時(shí)時(shí)間超過(guò)15秒的記錄，確認(rèn)lst查詢(xún)類(lèi)指令是否存在大量耗時(shí)時(shí)間超過(guò)30秒的記錄。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶(hù)端檢查集群運(yùn)行是否正常。Windows和linux環(huán)境集群巡檢方法相同，都通過(guò)登錄vcs客戶(hù)端查看集群服務(wù)運(yùn)行狀態(tài)，linux環(huán)境下安裝vcs客戶(hù)端之后，使用hagui訪(fǎng)問(wèn)vcs。Windows環(huán)境下打開(kāi)veritasclustermanager訪(fǎng)問(wèn)vcs，用戶(hù)名密碼默認(rèn)為admin/passwordUNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶(hù)端檢查集群運(yùn)行是否正常。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶(hù)端檢查集群運(yùn)行是否正常。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶(hù)端檢查集群運(yùn)行是否正常。查看各個(gè)服務(wù)的critical開(kāi)關(guān)是否勾選，勾選后才能自動(dòng)切換。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶(hù)端檢查集群運(yùn)行是否正常。巡檢內(nèi)