某客戶系統(tǒng)健康檢查報(bào)告

1、xxxx客戶系統(tǒng)健康檢查報(bào)告、綜述3二、系統(tǒng)環(huán)境3核心業(yè)務(wù)系統(tǒng)3三、工作日志4四、系統(tǒng)健康檢查詳細(xì)列表4L 核心業(yè)務(wù)系統(tǒng)4五、日常維護(hù)建議10六、故障出現(xiàn)時(shí)，系統(tǒng)處理的步驟11七、命令介紹11綜述應(yīng)XXXX客戶要求，倚博公司中間件技術(shù)專家針對客戶的核心業(yè)務(wù)系統(tǒng)做 了一次完整的系統(tǒng)健康檢查。整體上講，公司的核心系統(tǒng)運(yùn)行比較穩(wěn)定，故障率和客戶業(yè)務(wù)系統(tǒng)的MTEF (Mean Time Between Failure)都比較小。但從系統(tǒng)維護(hù)的管理工作的規(guī)和完善角度講，還未建立完善中間件的維護(hù)， 監(jiān)控的方案。現(xiàn)階段，主要是利用維護(hù)人員的現(xiàn)場應(yīng)急處理經(jīng)驗(yàn)保證系統(tǒng)的運(yùn)行 正常，未合理的規(guī)劃維護(hù)流程，未確認(rèn)中

2、間件的監(jiān)控指標(biāo)，未建立完善的監(jiān)控， 預(yù)警和應(yīng)急處理方案。本文檔總結(jié)了這次現(xiàn)場工作的各項(xiàng)情況，并根據(jù)現(xiàn)場維護(hù)人員的要求，増加 了系統(tǒng)維護(hù)方法的扼要說明。二、系統(tǒng)環(huán)境核心業(yè)務(wù)系統(tǒng)客戶系統(tǒng)名稱：核心業(yè)務(wù)系統(tǒng)OS CPU: 8OS Memory: 16 GBOS: Red Hat AS 4JDK:Java(TM) 2 Runtime Environment， Standard Echtion (build 1.50_17-b04)三、工作日志2008年6月5日上午9： 30系統(tǒng)健康檢査系統(tǒng)健康檢査詳細(xì)列表1.核心業(yè)務(wù)系統(tǒng)操作系統(tǒng)配檢查 系統(tǒng)配置:名稱建議值實(shí)際值是否符合要求操作系統(tǒng)版本Limix/Hp

3、Red Hat AS4Y主機(jī)名N/AApplYCPU> 1GHZ8*1.9G,Y存> 2G16GY磁盤空間>20G360GY系統(tǒng)核參數(shù):名稱建議值實(shí)際值是否符合 要求說明文件句柄數(shù)4096或更大8192Y進(jìn)程的最大文件句柄數(shù)JAVA虛擬機(jī)配It檢査虛擬機(jī)安裝路徑：/名稱建議值實(shí)際值是否符 合要求說明JVM版本1.5JDK 1.5.0_17YJVM HEAP初始值 -Xms514M1024MYJVM HEAP最大值-Xmx512M-1536M153GMYPermsize64M25GMJBOSS配檢査安裝路徑：值建議值說明線程數(shù)400一個(gè)CPU對 應(yīng)50個(gè)線程 左右線程的個(gè)數(shù)應(yīng)與

4、CPU的處理 能力匹配。JSP編譯的調(diào)試信息標(biāo) 志falsefalse生產(chǎn)環(huán)境中建議將JSP編譯調(diào) 試功能關(guān)閉，減少因編譯占用 丟統(tǒng)資源對條統(tǒng)的影響C開發(fā)模式的設(shè)直falsefalse應(yīng)用使用的連接池?cái)?shù)量400400生產(chǎn)環(huán)培中建議將連接的數(shù)重 與線程總數(shù)保持統(tǒng)一。應(yīng)用使用的連接池初始 值100400最小值和最大值保持一致，避 免運(yùn)行狀態(tài)在創(chuàng)建連接時(shí)消耗 紊統(tǒng)資源。連接池 PreparedStatement Cache無10缺省JEOSS服務(wù)器是不會(huì) Cache Prepared Statement 對象的，為了提髙性能我們可 以設(shè)定每個(gè)連接Cache的 Prepared Statement 對

5、象的 個(gè)數(shù)運(yùn)行期系統(tǒng)狀態(tài)檢査名稱平均值峰值是否異常CPU35%以下60%未出現(xiàn)長時(shí)間CPU使用率超 過 100%存使用3.5G以下無頁交換的情況磁盤空間20%滿足應(yīng)用日志或者J BOSS日 志所用磁盤空間要求網(wǎng)絡(luò)流量200K/S800K/S無網(wǎng)絡(luò)阻塞和網(wǎng)絡(luò)風(fēng)暴運(yùn)行期虛擬機(jī)狀態(tài)檢査名稱實(shí)際情況是否符合 要求說明JVM HEAP最小值280NIYJVM HEAP最大值1100MY為今天的觀察結(jié)果運(yùn)行期JBOSS組件狀態(tài)檢査名稱正常值實(shí)際值是否符合 要求說明線程使用情況使用率50%<70%Y啟動(dòng)目錄core文件的檢查 在JBOSS啟動(dòng)目錄中發(fā)現(xiàn)“core”文件和“hs_eir_pid*.log

6、”的錯(cuò)誤日志文 件，說明系統(tǒng)出現(xiàn)過JVM core dump和異常退出故障，故障出現(xiàn)在一個(gè)虛擬 機(jī)的解壓縮操作，希望能通過進(jìn)一步與開發(fā)商，維護(hù)人員溝通找出具體的故障原 因，并提出解決方案。日志檢査名稱建議值實(shí)際值是否符合 要求說明日志中Error信息檢查Review AllLogsReviewAll LogsN對日志中Error消息進(jìn)行 檢查，參考下面例子。日志文件中發(fā)現(xiàn)錯(cuò)誤信息如下：1) 啟動(dòng)JBoss時(shí)報(bào)如下錯(cuò)誤：出現(xiàn)過一次22:53:52,907 ERROR MainDcployer Could not create deployment: file:/D:/新建文件夾 ricc.xin

7、lor g. jboss. deplo janent. D eplo jmicntExccption:nestedthrowable:riccConfigLirator.install(ScrriccConfigiirator.java: 196)at $Proxy4. install(Unknown Source)atinterceptor.java: 142)at $Proxy5dcploy(Unknown Source)rcrImpl.java:482)rcr.SenrImpl.start(SenerImpl.java:362)Caused by: java. lang, reflect

8、. UndcclaredThrowableExccptionriccCrcator.install(ServiceCreator.java:236)riccConfigLcrnalInstall(ScndceConfigLirator.java:451)riccConfigiirator.java: 171)36 moreatrriceCrcator.install(ServiceCreator.java: 157)38 morejboss-semce.x配直錯(cuò)誤，通過修改具體錯(cuò)誤配直，并解決了這個(gè)問題。2) NoClassDefFoundError錯(cuò)誤，當(dāng)前的類裝載器不能

9、找到這個(gè)類文件，頻率:出現(xiàn)一次atatatat $Proxy 147.gctlnitConfigAsIntegcr(Unknown Source)at431)cess(ActionScrv4ct.java: 1196)at javax.scrvrlet.rice(HttpServlet.java:690)at javax.scrxrrice(HttpServlet.java:803)atatatatatatatatatator 呂.npnehc. coyott. httpl 1.Httpl lProtocol$Httpl 1 ConncctionHcessf

10、Http 11 Protocol. java: 583)NoClassDefFoundError錯(cuò)誤，通過找到類所在的文件，并通過正確配置或使其 在正確的類路徑中來解決此問題。故陣匯總1）在JBOSS啟動(dòng)目錄中發(fā)現(xiàn)“core”文件和“hs_eir_pid*.log”的錯(cuò)誤 日志文件，說明系統(tǒng)出現(xiàn)過JVM core dump和異常退出故障，故障出 現(xiàn)在一個(gè)虛擬機(jī)的解壓縮操作，希望能通過進(jìn)一步與開發(fā)商，維護(hù)人員 溝通找出具體的故障原因，并提出解決方案。2）部署問題，部署描述符配置錯(cuò)誤，需仔細(xì)檢查部署描述符號(hào)。3）NoClassDefFoundError,原因?yàn)樵诋?dāng)前的類裝載器路徑中，不能找到相關(guān)的

11、類文件，需檢查類裝載路徑里面是否存在這個(gè)類文件4）監(jiān)聽端口配置問題。在分配服務(wù)器的監(jiān)聽端口時(shí)，需檢查操作系統(tǒng)中這個(gè)端口是否被占用。Netstat - an | grep port另外，也需要咨詢系統(tǒng)管理員對主機(jī)端口的分配。五、日常維護(hù)建議管理上，建議安排專人負(fù)責(zé)中間件的管理和維護(hù)，負(fù)責(zé)應(yīng)用的部署，保證中 間件的穩(wěn)定運(yùn)行。對于日常維護(hù)工作可以從以下幾個(gè)方面入手：1）系統(tǒng)運(yùn)行的監(jiān)控和調(diào)優(yōu)監(jiān)控操作系統(tǒng)的存和CPU使用狀況虛擬機(jī)存和線程的使用情況各個(gè)主要應(yīng)用的并發(fā)訪問情況2）日志文件的管理日志文件合理規(guī)劃空間，不同類型日志使用不同的文件路徑過期的日志文件定時(shí)存檔清理3）應(yīng)用程序的更新和部署4）系統(tǒng)出現(xiàn)

12、故障時(shí)的應(yīng)急處理倚博可以為客戶提供完整的系統(tǒng)監(jiān)控方案，系統(tǒng)維護(hù)手冊和系統(tǒng)應(yīng)急處理方案，滿足客戶對系統(tǒng)高可用性，規(guī)維護(hù)和預(yù)防性維護(hù)的需求。六、故障出現(xiàn)時(shí)，系統(tǒng)處理的步驟1）觀察硬件的CPU和存使用情況并記錄Vmstat, top 等命令。2）通過"ps -ef”命令中觀察JBOSS對應(yīng)的gg進(jìn)程是否存在 3）使用“kill-3pid”來生成系統(tǒng)的線程堆棧，查看是否所有線程的運(yùn) 行狀態(tài)都正常，跟蹤并解決長時(shí)間運(yùn)行的任務(wù)。4) 查看日志并收集日志。收集的日志包括(nohup.out, jboss server.log)七、命令介紹Linux操作系統(tǒng)查看系統(tǒng)核版本命令：unamea査看 CPU 配