weblogic中間件周報(bào)

1、中國(guó)移動(dòng)江蘇公司W(wǎng)eblogic健康優(yōu)化建議報(bào)告報(bào)告人：趙偉杰報(bào)告日期：2013年08月27日審核人：審核日期： 中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司上周對(duì)應(yīng)用系統(tǒng)進(jìn)行巡檢，問題主要存在于決策管理與局長(zhǎng)平臺(tái)兩個(gè)系統(tǒng)中。主要工作說明存在問題與優(yōu)化：管理決策應(yīng)用啟動(dòng)時(shí)存在servlet加載過程出錯(cuò)，影響啟動(dòng)速度；決策管理JDK版本差異可能導(dǎo)致受管服務(wù)經(jīng)常自動(dòng)斷開與主控的連接; 局長(zhǎng)平臺(tái)JVM進(jìn)行GC優(yōu)化。故障解決：管理決策應(yīng)用首頁(yè)報(bào)表無(wú)法顯示的問題。詳細(xì)的巡檢報(bào)告如下決策管理系統(tǒng)一、存在問題1. 管理決策應(yīng)用啟動(dòng)時(shí)存在Servlet加載過程中出錯(cuò)應(yīng)用日志 - Job execution threads w

2、ill use class loader of thread: main- Quartz Scheduler v.1.5.1 created.- RAMJobStore initialized.- Quartz scheduler DefaultQuartzScheduler initialized from default resource file in Quartz package: perties- Quartz scheduler version: 1.5.1問題定位根據(jù)錯(cuò)誤的信息判斷是由于應(yīng)用啟動(dòng)的時(shí)候加載QuartzInitializer這個(gè)servlet，這

3、個(gè)servlet有初始化quartz定時(shí)任務(wù)的作用，在perties中定義了使用的數(shù)據(jù)源：myDS ,但是WebLogic中是沒有配置這個(gè)數(shù)據(jù)源的，因此報(bào)了相關(guān)的錯(cuò)誤，請(qǐng)開發(fā)公司核對(duì)一下這些錯(cuò)誤信息，既然這個(gè)數(shù)據(jù)源不起作用，請(qǐng)?jiān)谂渲梦募蛘叱绦蛑腥サ魧?duì)這個(gè)數(shù)據(jù)源的加載，以免影響應(yīng)用的啟動(dòng)速度。2. 決策管理JDK版本差異可能導(dǎo)致受管服務(wù)經(jīng)常自動(dòng)斷開與主控連接決策管理系統(tǒng)分別安裝在6與6兩臺(tái)AIX操作系統(tǒng)的機(jī)器上，通過監(jiān)控發(fā)現(xiàn)經(jīng)常會(huì)出現(xiàn)受管的服務(wù)與主控?cái)嚅_連接，導(dǎo)致主控?zé)o法對(duì)受管的服務(wù)進(jìn)行連接檢測(cè)、監(jiān)控、發(fā)布等操作。應(yīng)用日志# 問題

4、定位經(jīng)過系統(tǒng)的檢查，發(fā)現(xiàn)WebLogic集群中使用了不同版本的JDK，由于不同的JDK的存在不一樣的BUG，提升與改善了一些特定的性能，因此估計(jì)是由于兩臺(tái)機(jī)器所使用不同JDK造成的受管服務(wù)經(jīng)常與主控?cái)嚅_連接，現(xiàn)兩臺(tái)機(jī)器使用JDK情況如下IP地址JDK版本6java version 1.4.2Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2)Classic VM (build 1.4.2, J2RE 1.4.2 IBM AIX build ca142-20080923 (SR12) (JIT enab

5、led: jitc)6java version 1.4.2Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2)Classic VM (build 1.4.2, J2RE 1.4.2 IBM AIX build ca142-20070317 (SR8) (JIT enabled: jitc)建議升級(jí)6操作系統(tǒng)的JDK，使其版本與6的JDK所使用的版本一致。二、故障1.決策管理首頁(yè)報(bào)表無(wú)法顯示訪問決策系統(tǒng)，首頁(yè)的報(bào)表無(wú)法顯示，查看應(yīng)用日志得到WARNING: .

6、ConnectException: Connection refusedjava.sql.SQLException: .ConnectException: Connection refused at oracle.bi.jdbc.AnaJdbcDriver.connectToNQSNode(AnaJdbcDriver.java:413) at oracle.bi.jdbc.AnaJdbcDriver.connect(AnaJdbcDriver.java:439) at java.sql.DriverManager.getConnection(DriverManager.java:559) at

7、 java.sql.DriverManager.getConnection(DriverManager.java:189) at oracle.apps.xdo.security.SasValidator.validate(SasValidator.java:129) at oracle.apps.xdo.security.SasValidator.validate(SasValidator.java:116) at oracle.apps.xdo.security.SasValidator.validate(SasValidator.java:111) at oracle.apps.xdo.

8、servlet.security.SecurityManagerImpl.getBIServerPrincipal(SecurityManagerImpl.java:1172) at oracle.apps.xdo.servlet.security.SecurityManagerImpl.getPrincipal(SecurityManagerImpl.java:327) at jsp_servlet._login._jspService(_login.java:398) at weblogic.servlet.jsp.JspBase.service(JspBase.java:33) at w

9、ernal.ServletStubImpl$ServletInvocationAction.run(ServletStubImpl.java:1006) at ernal.ServletStubImpl.invokeServlet(ServletStubImpl.java:419) at ernal.TailFilter.doFilter(TailFilter.java:28) at ernal.FilterChainImpl.doFil

10、ter(FilterChainImpl.java:27) at oracle.apps.xdo.servlet.security.SecurityFilter.doFilter(SecurityFilter.java:160) at ernal.FilterChainImpl.doFilter(FilterChainImpl.java:27) at ernal.RequestDispatcherImpl.forward(RequestDispatcherImpl.java:326) at oracle.apps.x

11、do.servlet.security.SecurityFilter.doFilter(SecurityFilter.java:176) at ernal.FilterChainImpl.doFilter(FilterChainImpl.java:27) at ernal.WebAppServletContext$ServletInvocationAction.run(WebAppServletContext.java:6724) at ernal.Authenti

12、catedSubject.doAs(AuthenticatedSubject.java(Compiled Code) at weblogic.security.service.SecurityManager.runAs(SecurityManager.java(Compiled Code) at ernal.WebAppServletContext.invokeServlet(WebAppServletContext.java:3764) at ernal.ServletRequestImpl.execute(Se

13、rvletRequestImpl.java:2644) at weblogic.kernel.ExecuteThread.execute(ExecuteThread.java(Compiled Code) at weblogic.kernel.ExecuteThread.run(ExecuteThread.java:178)Aug 22, 2013 10:50:57 AM oracle.bi.jdbc.AnaJdbcDriver connect問題定位分析原因可能是由于應(yīng)用需要連接某一特定的服務(wù)被拒絕導(dǎo)致，去查看部署應(yīng)用的web.xml文件，得到以下內(nèi)容SAWBridgecom.siebel.

14、analytics.web.SAWBridgeoracle.bi.presentation.sawserver.Host6oracle.bi.presentation.sawserver.Port9710 確定本應(yīng)用需要連接本機(jī)的9710端口，但查看之后發(fā)現(xiàn)本機(jī)的9710端口并沒有被使用，和開發(fā)公司溝通得知，此為BIEE的服務(wù)。解決通過重啟BIEE的服務(wù)系統(tǒng)已經(jīng)恢復(fù)正常。分析BIEE服務(wù)停止的原因： 使用uptime 看到操作系統(tǒng)運(yùn)行時(shí)間為8天， 想到這是由于上周調(diào)整數(shù)據(jù)庫(kù)資源時(shí)重啟這個(gè)操作系統(tǒng)導(dǎo)致的，建議維護(hù)BIEE服務(wù)的工作人員，定時(shí)檢查BIEE服務(wù)的運(yùn)行狀態(tài)。局長(zhǎng)平

15、臺(tái)一.對(duì)局長(zhǎng)平臺(tái)JVM進(jìn)行GC優(yōu)化GC日志17.537: GC 17.537: ParNew: 393215K-39216K(458752K), 0.1084250 secs 393215K-39216K(1470464K), 0.1085510 secs20.876: GC 20.876: ParNew: 432432K-21071K(458752K), 0.1903290 secs 432432K-40862K(1470464K), 0.1904330 secs23.465: GC 23.465: ParNew: 414287K-13255K(458752K), 0.0792040 sec

16、s 434077K-33046K(1470464K), 0.0793040 secs24.391: GC 24.391: ParNew: 406471K-13771K(458752K), 0.0310160 secs 426262K-33561K(1470464K), 0.0311460 secs29.740: GC 29.740: ParNew: 406987K-18716K(458752K), 0.0693540 secs 426777K-38506K(1470464K), 0.0694530 secs30.161: Full GC 30.161: ParNew: 56852K-13635

17、K(458752K), 0.0438380 secs30.205: CMS: 19790K-33354K(1011712K), 0.4998790 secs 76643K-33354K(1470464K), CMS Perm : 34070K-34000K(262144K), 0.5439120 secs90.732: Full GC 90.733: ParNew: 391640K-12418K(458752K), 0.0844650 secs90.817: CMS: 33354K-45142K(1011712K), 0.5793540 secs 424995K-45142K(1470464K

18、), CMS Perm : 38480K-38452K(262144K), 0.6640360 secs151.415: Full GC 151.415: ParNew: 5805K-110K(458752K), 0.0047490 secs151.420: CMS: 45142K-41259K(1011712K), 0.5500330 secs 50948K-41259K(1470464K), CMS Perm : 38465K-38462K(262144K), 0.5549870 secs內(nèi)存使用狀況問題定位系統(tǒng)運(yùn)行的過程中不斷的進(jìn)行FGC，而且過于頻繁，查看GC日志是由于permgen區(qū)

19、導(dǎo)致的FGC進(jìn)行。查看內(nèi)存的使用狀況，permgen區(qū)的使用量并不大，不是由于permgen區(qū)不足導(dǎo)致的FGC。 和開發(fā)人員溝通得知系統(tǒng)底層框架有用到spring、hibernate。由于spring和hibernate大量的采用了cglib，導(dǎo)致生成的proxy會(huì)比較多，而這些存放在permgen區(qū)域的，Sun JDK默認(rèn)的情況下并不會(huì)去回收，因此出現(xiàn)了較為頻繁的FGC。頻繁的進(jìn)行FGC反映到前臺(tái)的具體表現(xiàn)為：打開頁(yè)面會(huì)頻繁的出現(xiàn)卡頓的現(xiàn)象。優(yōu)化增加對(duì)permgen區(qū)域的gc回收的參數(shù): -XX:+CMSPermGenSweepingEnabled -XX:+CMSClassUnloadingEnabled，優(yōu)化后的效果如下2296.620: GC 2296.620: ParNew: 26468K-250K(29504K), 0.0040210 secs 97819K-71603K(1532736K), 0.0041100 secs2299.196: GC 2299.196: ParNew: 26490K-278K(29504K), 0.0038650 secs 97843K-71632K(1532736K), 0.0039520 secs2301