收單通系統(tǒng)-系統(tǒng)應(yīng)急方案及處理流程手冊(cè)

收單通系統(tǒng)系統(tǒng)應(yīng)急方案及處理流程手冊(cè)

目錄TOC\o"1-7"\h\z1 引言 31.1 編寫(xiě)目的 31.2 故障級(jí)別 32 系統(tǒng)結(jié)構(gòu)和特點(diǎn) 52.1 收單通系統(tǒng)的特點(diǎn) 5 實(shí)時(shí)性 5 并發(fā)性 5 7x24運(yùn)行 52.2 系統(tǒng)體系結(jié)構(gòu) 6 體系結(jié)構(gòu)和信息架構(gòu) 6 系統(tǒng)HA配置 62.3 系統(tǒng)應(yīng)用結(jié)構(gòu) 73 應(yīng)用故障應(yīng)急處理流程 83.1 聯(lián)機(jī)交易異常 83.2 管理效勞異常 83.3 二次清算交易異常 93.4 根底效勞異常 104 硬件故障應(yīng)用處理流程 114.1 硬件故障范圍 115 數(shù)據(jù)庫(kù)和日志處理 125.1 數(shù)據(jù)庫(kù)異常處理流程 126 JDK和WEBLOGIC處理 137 備機(jī)啟動(dòng)流程 14引言編寫(xiě)目的本文根據(jù)收單通系統(tǒng)的特點(diǎn)，綜合考慮軟件和硬件二大方面，闡述了大集中收單通系統(tǒng)的應(yīng)急方案，供相關(guān)開(kāi)發(fā)人員和系統(tǒng)運(yùn)行維護(hù)人員參考。故障級(jí)別故障類型故障說(shuō)明級(jí)別備注硬件故障硬盤(pán)物理?yè)p壞1網(wǎng)絡(luò)故障1系統(tǒng)軟件故障NAC故障2DB2故障2JDK故障應(yīng)用支持軟件故障WEBLOGIC故障2應(yīng)用軟件故障聯(lián)機(jī)系統(tǒng)故障2二次清算系統(tǒng)2根底效勞故障2管理效勞故障3說(shuō)明：1、硬件故障和系統(tǒng)軟件故障，由系統(tǒng)運(yùn)行部門(mén)進(jìn)行硬件和系統(tǒng)軟件維護(hù)和調(diào)試，應(yīng)用系統(tǒng)進(jìn)行重新安裝和相關(guān)的系統(tǒng)恢復(fù)工作；2、應(yīng)用軟件和應(yīng)用支持軟件故障，由應(yīng)用系統(tǒng)進(jìn)行故障恢復(fù)工作。系統(tǒng)結(jié)構(gòu)和特點(diǎn)收單通系統(tǒng)的特點(diǎn)實(shí)時(shí)性收單通系統(tǒng)是重要的收單業(yè)務(wù)系統(tǒng)，對(duì)系統(tǒng)的實(shí)時(shí)性或者說(shuō)是反響時(shí)間有較高要求。并發(fā)性由于刷卡消費(fèi)習(xí)慣，造成收單業(yè)務(wù)在局部時(shí)間段具有較高的交易峰值。系統(tǒng)需要考慮并發(fā)交易對(duì)網(wǎng)絡(luò)和應(yīng)用系統(tǒng)的資源要求。7x24運(yùn)行收單通系統(tǒng)必須支持7x24不間斷運(yùn)行。系統(tǒng)體系結(jié)構(gòu)體系結(jié)構(gòu)和信息架構(gòu)從體系結(jié)構(gòu)來(lái)看，收單通系統(tǒng)主要涉及行內(nèi)系統(tǒng)，與其直接相關(guān)的重要系統(tǒng)包括：SSB系統(tǒng)、網(wǎng)控器、ICS系統(tǒng)等。系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)比擬復(fù)雜，對(duì)于網(wǎng)絡(luò)的要求相比照擬高；在系統(tǒng)應(yīng)急方案中，系統(tǒng)互聯(lián)性的保障至關(guān)重要。系統(tǒng)HA配置為了保證系統(tǒng)在突發(fā)情況下可以迅速恢復(fù)，在生產(chǎn)環(huán)境中，相關(guān)系統(tǒng)都進(jìn)行了HA配置。本系統(tǒng)采用冷備機(jī)制。在系統(tǒng)故障時(shí)，啟用冷備機(jī)即可。系統(tǒng)應(yīng)用結(jié)構(gòu)根據(jù)業(yè)務(wù)邏輯，本系統(tǒng)可以分為以下四個(gè)效勞組：根底效勞組管理效勞組聯(lián)機(jī)交易效勞組二次清算效勞組應(yīng)用故障應(yīng)急處理流程聯(lián)機(jī)交易異?，F(xiàn)象：交易監(jiān)控中發(fā)現(xiàn)聯(lián)機(jī)交易有較多的不成功情況。影響：聯(lián)機(jī)交易異常：業(yè)務(wù)中斷，造成交易終止，局部情況下會(huì)出現(xiàn)錯(cuò)帳處理流程：分行運(yùn)行人員：1、確定網(wǎng)絡(luò)無(wú)異常；2、確認(rèn)與本系統(tǒng)相關(guān)其他系統(tǒng)是否異常；3、在確認(rèn)本系統(tǒng)異常情況下，重啟聯(lián)機(jī)交易效勞組：執(zhí)行命令Hishutdown–gpay;Hiboot–gpay并確認(rèn)系統(tǒng)正常啟動(dòng)。管理效勞異常現(xiàn)象：分行或支行業(yè)務(wù)人員登陸收單通管理臺(tái)不能正常進(jìn)行業(yè)務(wù)處理或者無(wú)法登入。影響：業(yè)務(wù)人員無(wú)法正常進(jìn)行業(yè)務(wù)處理處理流程：分行運(yùn)行人員：1、檢查系統(tǒng)網(wǎng)絡(luò)，確認(rèn)網(wǎng)絡(luò)無(wú)故障；2、查看系統(tǒng)日志，確認(rèn)是否為管理效勞問(wèn)題；3、如果為管理效勞問(wèn)題，那么重啟管理效勞組，執(zhí)行命令：Hishutdown–gmngHiboot–gmng確認(rèn)重啟成功。4、重啟成功后，通知業(yè)務(wù)人員進(jìn)行業(yè)務(wù)處理。二次清算交易異?，F(xiàn)象：由本系統(tǒng)發(fā)起的二次清算交易局部或完全不成功。影響：商戶不能正常入賬處理流程：分行運(yùn)行人員：確定交易異常原因，并通過(guò)業(yè)務(wù)人員進(jìn)行調(diào)賬。根底效勞異常現(xiàn)象：由于根底效勞原因，如數(shù)據(jù)庫(kù)，異步消息效勞器等，造成大局部交易不成功。在進(jìn)行系統(tǒng)檢查后發(fā)現(xiàn)根底效勞異常。影響：交易異常處理流程：分行運(yùn)行人員：重新啟動(dòng)根底效勞組，執(zhí)行hishutdown–gbase,hiboot–gbase。確認(rèn)效勞組重啟成功，并且交易正常。硬件故障應(yīng)用處理流程硬件故障范圍硬件故障包括存儲(chǔ)系統(tǒng)、網(wǎng)卡等物理系統(tǒng)故障。在發(fā)生物理故障，并短期內(nèi)無(wú)法處理時(shí)，應(yīng)切換到備機(jī)。在備機(jī)正常進(jìn)行業(yè)務(wù)處理后，再來(lái)處理原主機(jī)系統(tǒng)的硬件故障。數(shù)據(jù)庫(kù)和日志處理數(shù)據(jù)庫(kù)異常處理流程數(shù)據(jù)庫(kù)的處理流程主要包括：檢查數(shù)據(jù)庫(kù)dbm進(jìn)程是否正常，service端口是否翻開(kāi)；如異常，用dbm用戶重新啟動(dòng)，dbadminstop/dbadminstart。檢查相應(yīng)數(shù)據(jù)庫(kù)的db2agent進(jìn)程是否正常，如異常，采用dbinstance用戶重新啟動(dòng)，dbstop/dbstart。采用DB2工具檢查表空間和日志的磁盤(pán)空間，如空間缺乏，請(qǐng)擴(kuò)大空間或備份，數(shù)據(jù)庫(kù)的備份策略和操作詳見(jiàn)《系統(tǒng)備份恢復(fù)方案》。采用快照，檢查數(shù)據(jù)庫(kù)是否存在DeadLock，如存在查明原因，dbagent重新啟動(dòng)。在數(shù)據(jù)庫(kù)出現(xiàn)異常時(shí)，造成應(yīng)用無(wú)法訪問(wèn)，并短期沒(méi)得到解決情況下，應(yīng)切換到備機(jī)系統(tǒng)。JDK和WEBLOGIC處理在JDK和WEBLOGIC出現(xiàn)異常時(shí)，造成應(yīng)用無(wú)法正常啟動(dòng)，并短期沒(méi)得到解決情況下，應(yīng)切換到備機(jī)系統(tǒng)。備