weblogic中間件通用應(yīng)急預(yù)案

Weblogic〔含業(yè)務(wù)應(yīng)用〕通用應(yīng)急預(yù)案一、應(yīng)急處置原則與工作流程weblogic集群方式部署，通過中間件把握臺對各應(yīng)用節(jié)點進(jìn)展統(tǒng)一治理和監(jiān)控，本次中間件應(yīng)急預(yù)案以“先搶通、后搶修”為處理原則，首先恢復(fù)業(yè)務(wù)應(yīng)用，保存相關(guān)日志，后期再依據(jù)日志進(jìn)展具體分析和故障定位。weblogic中間件是應(yīng)用程序的公布平臺，相比照較穩(wěn)定。weblogicweblogic中間JDBC此不管是程序代碼問題、硬件問題、數(shù)據(jù)庫問題均有可能表達(dá)weblogic中間件節(jié)點特別；并且由于程序代碼效率低下、參weblogicweblogic節(jié)點，釋放資源，是最快的恢復(fù)業(yè)務(wù)的應(yīng)急手段。具體緣由可以通過備份日志，事后進(jìn)展分析排查。本應(yīng)急預(yù)案中涉及到的程序包路徑，均是依據(jù)信通公司weblogic中間件安裝標(biāo)準(zhǔn)中指定的路徑。假設(shè)未依據(jù)標(biāo)準(zhǔn)安裝的中間件，請詢問對應(yīng)系統(tǒng)專責(zé)幫助處理。二、weblogic6步：1IE掃瞄器訪問節(jié)點應(yīng)用確認(rèn)節(jié)點可用性。2weblogic把握臺確認(rèn)節(jié)點狀態(tài)。3、收集故障點日志，備份節(jié)點日志。4、查看節(jié)點日志，依據(jù)報錯信息確定故障緣由。5、依據(jù)故障緣由，執(zhí)行應(yīng)急操作。6、組織人員進(jìn)展具體緣由分析并整改。三、故障場景Weblogic中間件日志文件中常見錯誤如下：序號錯誤信息序號錯誤信息緣由消滅時機(jī)執(zhí)行步驟1java.lang.OutOfMemoryErrorjava.lang.OutOfMemoryError內(nèi)存溢出節(jié)點運行過程中內(nèi)存溢出節(jié)點啟動過程中2more than the configured time 線程堵塞節(jié)點運行過程中1,2,3,4,59,121,2,3,4,53(StuckThreadMaxTime)of“600“secondserroroccured:weblogic.jdbc.extensions.PoolLimitSQLException:weblogicmon.resourcepool.ResourceLimitException:NoresourcescurrentlyavailableinpooldgNonPooltoallocatetoapplications,pleaseincreasethesizeofthepoolandretry..BEA-000627Reachedmaximumcapacitypool“JDB-HQGL”make0newresourceinstances<BEA-000628><Created“1“resourcesforpool“JDBCDataSource-0“,outofwhich“0“areavailableand“1“areunavailable.ToomanyopenfilesJDBC連接池滿節(jié)點啟動過程中6,124JDBC連接池滿節(jié)點運行過程中1,2,3,4,5,65翻開文件超節(jié)點運行過程中1,2,3,4,5,7,11,12過系統(tǒng)限制6<BEA-000386> <Server subsystemfailed. Reason:weblogic 密碼錯誤節(jié)點啟動過程中8,127weblogic.security.SecurityInitializationException:Authenticationforuserweblogicdeniedweblogic.security.SecurityInitializationException:Authenticationforuserweblogicdenied/home/weblogic/Oracle/Middleware/user 人為停頓節(jié) 節(jié)點運行過程中1,2,3,4,12_projects/domains/test_domain/bin/start 點WebLogic.sh:line180:64034Killed${JAVA_HOME}/bin/java${JAVA_VM}${MEM_ARGS}-Dweblogic.Name=${SERVER_NAME}-Djava.security.policy=${WL_HOME}/server/lib/weblogic.policy${JAVA_OPTIONS}${PROXY_SETTINGS}${SERVER_CLASS}8 <Aug10,20231:41:37AMCST><Error><EmbeddedLDAP><BEA-000000><權(quán)限問題節(jié)點啟動過程中10,11,12ErroropeningtheTransactionLog:/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/servers/server1/data/ldap/ldapfiles/EmbeddedLDAP.tran(Permissiondenied)>9 <Aug10,20233:15:07AMCST><Error><JDBC><BEA-001112><Test“SELE數(shù)據(jù)庫單節(jié)節(jié)點運行過程中13,11,12CT1FROMDUAL“setupforpool“JDBC無法全部正DataSource-0“failedwithexception:“j常對外供給ava.sql.SQLRecoverableException:Nom效勞oredatatoreadfromsocket“.><Aug10,20233:15:07AMCST><Warning><JDBC><BEA-001129><Receivedexceptionwhilecreatingconnectionforpool“JDBCDataSource-0“:IOError:TheNetworkAdaptercouldnotestablishtheconnection.>10 TheJREwasnotfoundindirectory/usr/java/k1.6.0_38.(JAVA_HOME)Java環(huán)境變量配置不正節(jié)點啟動過程中14,12Pleaseedityourenvironmentandsetth確eJAVA_HOMEvariabletopointtotherootdirectoryofyourJavainstallation.11 <BEA-002621><Connection rejected,theserverlicenseallowsconnections版license未節(jié)點運行過程中1,2,3,4,5,15,11,12fromonly5uniqueIPaddresses.>授權(quán)12 VM Version 1.5.0_12-b04 from MicrosystemsInc.><2023-8-11下午0450分58CST><Critical> <WebLogicServer><BEA-000362><Serverfailed.Reason:Thereare1nestederrors:weblogic.management.ManagementExce

節(jié)點未正常停頓

節(jié)點啟動過程中 5，11，12ption: Unable to obtain lock on13ption: Unable to obtain lock on13/home/weblogic/bea/user_projects/domains/bzcb_domain/servers/AdminServer/tmp/AdminServer.lok.Servermayalreadyberunning因硬件或者系統(tǒng)故障，應(yīng)用效勞器全部無16法啟動四、應(yīng)急處理步驟IE登陸訪問對應(yīng)故障節(jié)點應(yīng)用地址，驗證故障現(xiàn)象，防止誤告警消滅。weblogic把握臺，確認(rèn)故障節(jié)點名稱。IEweblogic://IP:端口，依據(jù)特別端口號確認(rèn)特別節(jié)點名稱，如以以以以下圖。weblogic用戶登陸操作系統(tǒng)。備份對應(yīng)節(jié)點日志。$$cd/app/logs/hqgl/server1.log ---進(jìn)入對應(yīng)日志名目$cprserver1.log20230808server1.log 依據(jù)日期備份節(jié)點日志查看節(jié)點進(jìn)程狀態(tài)。$$ps–ef|grepserver1(server1為節(jié)點名稱)12：weblogic590862803022:12pts/100:00:00grepserver111：JDBC連接池上限weilogicJDBCJDBC整initialcapacitymaximumcapacityinitialcapacity大MaximumCapacity參數(shù)，再原有根底上增加20〔具體要依據(jù)對應(yīng)數(shù)據(jù)庫的process上限，要求weblogic節(jié)點數(shù)*MaximumCapacity值<數(shù)據(jù)庫process80%〕如以以以以下圖所示：JDBC放數(shù)據(jù)庫連接資源，到達(dá)搶通業(yè)務(wù)的目標(biāo)。調(diào)整操作系統(tǒng)用戶翻開文件數(shù)量上限使用使用root#vi/etc/security/limits.Confweblogic- nofile10240 增該內(nèi)容，或者調(diào)整該值上限。#suweblogic weblogic$ulimit–Hn 10240修改weblogicweblogic文件。$cd/app/weblogic/Oracle/Middleware/user_projects/domain名稱/servers/節(jié)點名稱/security/$vipertiesUsername=weblogic 登錄把握臺使用的用戶名Password=12345qwertPassword=12345qwert------登錄把握臺使用的密碼，在啟動節(jié)點后會自動進(jìn)展加密。調(diào)整JVM使用使用weblogic$cd/home/weblogic/startsh/ 進(jìn)入啟動腳本名目$viserver1.sh JVMjava進(jìn)程內(nèi)存總和80%。exportUSER_MEM_ARGS=“-Xms2048m-Xmx2048m-XX:PermSize=512m-XX:MaxPermSize=512m“WL_LOG=/app/logs/hqgl/server1.lognohup/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startManagedWebLogic.shserver1 ://:7001>$WL_LOG&tailf$WL_LOG修改文件權(quán)限使用使用root#chown–Rweblogic:bea/app/source_program/hqgl/----修改程序包的權(quán)限#chown–R/app/weblogic/Oracle/Middleware/user_projects/domains/domain稱 修改weblogic相關(guān)文件權(quán)限#chown–R/app/logs/hqgl/ 修改啟動日志文件權(quán)限停頓特別節(jié)點進(jìn)程weblogic@testweblogic@teststartsh]$kill-961658----停頓特別節(jié)點進(jìn)程啟動特別節(jié)點weblogic@testweblogic@teststartsh]$cd/home/weblogic/startsh/[weblogic@teststartsh]$ls--進(jìn)入啟動腳本路徑admin.shserver1.sh[weblogic@teststartsh]$./server1.sh ---啟動節(jié)點修改JDBC假設(shè)在數(shù)據(jù)庫單節(jié)點或者假設(shè)在數(shù)據(jù)庫單節(jié)點或者VIPRAC效勞時，修改JDBCweilogicJDBCJDBC連接串地址為jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=41)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=test)(INSTANCE_NAME=test)))Weblogic$java –version --------查詢 weblogic 用戶下 jdk 信息javaversion“1.6.0_37“Java(TM)SERuntimeEnvironment(build1.6.0_37-b06)JavaHotSpot(TM)64-BitServerVM(build20.12-b01,mixedmode)$whichjava --- 查 詢 jdk 安 裝 路 徑/usr/java/jdk1.6.0_37/bin/java$cd/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin$visetDomainEnv.sh weblogic腳本中的JDKSUN_JAVA_HOME=“/usr/java/jdk1.6.0_37“exportSUN_JAVA_HOMEif[“${JAVA_VENDOR}“=“Oracle“];thenJAVA_HOME=“${BEA_JAVA_HOME}“exportJAVA_HOMEelse

if[“${JAVA_VENDOR}“