信息系統(tǒng)不停運(yùn)檢修典型場(chǎng)景介紹-河北新營(yíng)公司

信息系統(tǒng)不停運(yùn)檢修典型場(chǎng)景介紹一、不停運(yùn)檢修的內(nèi)涵與定義信息系統(tǒng)不停運(yùn)檢修是指信息系統(tǒng)檢修期間系統(tǒng)功能無離線、無閃斷、用戶無感知，業(yè)務(wù)流轉(zhuǎn)無缺失、數(shù)據(jù)無丟失，具備檢修短（開發(fā)、測(cè)試周期短）、平（檢修期間業(yè)務(wù)系統(tǒng)平穩(wěn)）、快（檢修發(fā)布完結(jié)快）等特點(diǎn)。二、適用的架構(gòu)模式通常采用負(fù)載均衡、應(yīng)用級(jí)容災(zāi)和雙活等部署架構(gòu)模式的信息系統(tǒng)，具備采用不停運(yùn)檢修的基本條件。（一）負(fù)載均衡模式.F5負(fù)載均衡模式F5負(fù)載均衡是用以擴(kuò)展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量、加強(qiáng)網(wǎng)絡(luò)處理數(shù)據(jù)能力的設(shè)備。F5負(fù)載均衡周期性通過TCMP包對(duì)每個(gè)負(fù)載均衡Pool池中的信息系統(tǒng)服務(wù)器（Node節(jié)點(diǎn)）的服務(wù)端口進(jìn)行活性檢測(cè)，具備12種算法通過VIP（虛擬服務(wù)地址）截獲用戶流量并按照規(guī)則進(jìn)行負(fù)載平衡。Pool池中的任一Node節(jié)點(diǎn)暫離檢修不影響對(duì)外VIP（虛擬服務(wù)地址）地址的服務(wù)可用性。207.17.117.202H,34,94J7：80BIG-IPtranslatesD?stAddresstoNodeba207.17.117.202H,34,94J7：80BIG-IPtranslatesD?stAddresstoNodeba號(hào)edonBalancingSrc-207.17.117.20:4003-216.34.94.17:80庭耘以為熱附$-甌庭耘以為熱附$-甌fMTUMH.阿里云平臺(tái)SLB負(fù)載均衡SLB（ServerLoadBalance服務(wù)本身以集群方式部署（可以無限擴(kuò)容），通過設(shè)置虛擬服務(wù)地址（邛），將位于同一地域^一且歷口）的多臺(tái)云服務(wù)器（ElasticComputeService，簡(jiǎn)稱ECS）資源虛擬成一個(gè)高性能、高可用的應(yīng)用服務(wù)池；再根據(jù)應(yīng)用指定的方式，將來自客戶端的網(wǎng)絡(luò)請(qǐng)求分發(fā)到云服務(wù)器池中。SLB負(fù)載服務(wù)具有功能強(qiáng)大、無限擴(kuò)容、動(dòng)態(tài)擴(kuò)容、Session保持、健康檢查、RS權(quán)重六大特點(diǎn)；SLB服務(wù)會(huì)檢查云服務(wù)器池中ECS的健康狀態(tài)，自動(dòng)隔離異常狀態(tài)的ECS,從而解決了單臺(tái)ECS的單點(diǎn)問題，同時(shí)提高了應(yīng)用的整體服務(wù)能力。單臺(tái)服務(wù)或者服務(wù)器離線檢修完全不影響前端用戶的任何功能體驗(yàn)。

ServerLoadBalanceAPILoadBalancerListener1 「Listener2BackendServer3（二）應(yīng)用級(jí)部署容災(zāi)模式TCPProtocolSLBCLusterjMaster)ReaServerSLBCluster(Backup)又空-RealServer- fi 一BackendServer3（二）應(yīng)用級(jí)部署容災(zāi)模式TCPProtocolSLBCLusterjMaster)ReaServerSLBCluster(Backup)又空-RealServer容災(zāi)模式具備冗余的網(wǎng)絡(luò)、存儲(chǔ)、數(shù)據(jù)庫及應(yīng)用部署，當(dāng)一套鏈路出現(xiàn)異常通過網(wǎng)絡(luò)切換用戶能夠訪問災(zāi)備中心的一套鏈路。容災(zāi)模式最大的特性在于一套在線一套災(zāi)備。應(yīng)用級(jí)災(zāi)備包括兩個(gè)方面：數(shù)據(jù)同步和應(yīng)用接管。數(shù)據(jù)同步是應(yīng)用接管的前提。應(yīng)用級(jí)災(zāi)備要求提供冗余的網(wǎng)絡(luò)線路和設(shè)備。正常情況下，用戶通過生產(chǎn)中心的業(yè)務(wù)網(wǎng)絡(luò)訪問生產(chǎn)中心的應(yīng)用服務(wù)器；在發(fā)生災(zāi)難時(shí)，通過網(wǎng)絡(luò)切換，客戶端能夠訪問到災(zāi)備中心的備用服務(wù)器。通過手動(dòng)的訪問目標(biāo)端切換可以實(shí)現(xiàn)不停運(yùn)檢修的操作。??????服弱器蜓群 服務(wù)器集群（三）部署鏈路雙活模式雙活模式，又被成為Active-Active工作模式，即兩套工作鏈路都處于激活狀態(tài)，可并行處理來自用戶的服務(wù)請(qǐng)求，一旦某套鏈路出現(xiàn)故障、離線或檢修，另一套鏈路將及時(shí)接管其工作，且不影響自己現(xiàn)有的任務(wù)。該工作模式在通過互為冗余備份來確保系統(tǒng)高可靠性的同時(shí)，還具有均衡業(yè)務(wù)量、充分利用資源和提升系統(tǒng)性能等諸多優(yōu)點(diǎn)。雙活包括：網(wǎng)絡(luò)雙活、存儲(chǔ)雙活、數(shù)據(jù)庫雙活和應(yīng)用雙活；雙活模式處理層面上實(shí)現(xiàn)了完全冗余，區(qū)別于容災(zāi)模式，最大特點(diǎn)是兩套網(wǎng)絡(luò)、存儲(chǔ)、數(shù)據(jù)庫及應(yīng)用都是在線運(yùn)

行的，如果離線了一套鏈路任一環(huán)節(jié)，另外一套鏈路還是在正常運(yùn)行，對(duì)用戶來說是不可感知的，業(yè)務(wù)幾乎不受影響。因此一套網(wǎng)絡(luò)、存儲(chǔ)、數(shù)據(jù)庫和應(yīng)用完成鏈路中的任一環(huán)節(jié)檢修，信息系統(tǒng)對(duì)外輸出功能可用率依然保通00%。ActiY*^Actiw底吊雄帶端棍…Actrva/ActivoWobJSActiY*^Actiw底吊雄帶端棍…Actrva/ActivoWobJSActlvt.'SR&ndb^教捌蕊科*?t or wAc^tlv?JA￡tfvaFo?rClfferehtA^pMati4En（四）DevOps平臺(tái)模式DevOps平臺(tái)實(shí)現(xiàn)了持續(xù)集成與部署，所有服務(wù)都必須通過代碼靜態(tài)檢查、代碼構(gòu)建、集成測(cè)試、部署等一系列自動(dòng)化檢測(cè)過程，確保了服務(wù)的可靠性。DevOps提供灰度發(fā)布功能，確保新舊服務(wù)平滑過渡的發(fā)布。檢修人員可以根據(jù)灰度用戶反饋，決定是否回滾，期間用戶不會(huì)有所感知。另外，服務(wù)本身以集群方式部署，保證了服務(wù)的高可用性，當(dāng)集群中的一個(gè)系統(tǒng)發(fā)生故障時(shí)，集群會(huì)迅速做出反應(yīng)，將該系統(tǒng)的任務(wù)分配到集群中其它正在工作的系統(tǒng)上執(zhí)行。（五）其他參考模式除以上模式可進(jìn)行不停運(yùn)檢修外，滿足以下信息系統(tǒng)部署模式均可參考進(jìn)行：分布式應(yīng)用多節(jié)點(diǎn)集群部署、應(yīng)用服務(wù)模塊化拆分冗余部署、數(shù)據(jù)庫RAC模式部署、SAP三架構(gòu)標(biāo)準(zhǔn)部署、檢修發(fā)布采用直接推送方式及阿里^DAS分布式服務(wù)。三、不停運(yùn)檢修典型場(chǎng)景（一）硬件/網(wǎng)絡(luò)故障類硬件/網(wǎng)絡(luò)類不停運(yùn)檢修包括：服務(wù)器硬件故障、網(wǎng)絡(luò)故障，此類不停運(yùn)檢修多為不可預(yù)見性檢修，突發(fā)性較強(qiáng)。檢修作業(yè)步驟：.結(jié)合已有管理系統(tǒng)，詳細(xì)記述故障情況；.下發(fā)操作權(quán)限，配置操作人員；.手動(dòng)離線故障對(duì)象，監(jiān)控存活服務(wù)器性能；.手動(dòng)導(dǎo)流分壓，避免故障沖擊最大化；.檢修完成后手動(dòng)上線對(duì)象，回收操作權(quán)限，記錄處理結(jié)果及遺留問題。（二）產(chǎn)品補(bǔ)丁升級(jí)產(chǎn)品補(bǔ)丁升級(jí)包括：中間件、數(shù)據(jù)庫、操作系統(tǒng)等產(chǎn)品補(bǔ)丁升級(jí)，產(chǎn)品補(bǔ)丁升級(jí)在多數(shù)情況分為補(bǔ)丁上傳覆蓋、配置文件更新和服務(wù)、服務(wù)器重啟兩個(gè)步驟，數(shù)據(jù)庫產(chǎn)品還可能涉及多次重啟。檢修作業(yè)步驟:.制定不停運(yùn)檢修方案、評(píng)估沖擊范圍、配置責(zé)任人員；.發(fā)起方案審核，結(jié)合已有管理系統(tǒng)詳細(xì)記錄檢修內(nèi)容，保留檢修痕跡；.下發(fā)操作權(quán)限，監(jiān)控操作過程；.手動(dòng)離線產(chǎn)品補(bǔ)丁升級(jí)對(duì)象服務(wù)器，監(jiān)控存活服務(wù)器性能；.人工升級(jí)產(chǎn)品補(bǔ)丁，重啟服務(wù)器；.手動(dòng)上線檢修完成對(duì)象，輪詢下一個(gè)檢修；.測(cè)試驗(yàn)證補(bǔ)丁升級(jí)結(jié)果，回收操作權(quán)限；.結(jié)合已有管理系統(tǒng)反饋補(bǔ)丁升級(jí)結(jié)果及遺留問題。（三）應(yīng)用變更發(fā)布類--程序包小版本升級(jí)發(fā)布應(yīng)用變更發(fā)布類主要涉及程序jar包、數(shù)據(jù)庫腳本、jsp/xml等配置文件更新調(diào)整，檢修可能涉及三類操作，或只涉及其中任一類或者任一兩類操作，因此檢修以服務(wù)是否啟停劃分。檢修作業(yè)步驟：.針對(duì)服務(wù)無啟停類應(yīng)用變更發(fā)布服務(wù)無啟停多數(shù)情況下為數(shù)據(jù)庫腳本類和jsp配置文件更新檢修，此類發(fā)布即時(shí)生效。（1）記錄不停運(yùn)檢修詳細(xì)內(nèi)容存檔，發(fā)起不停運(yùn)檢修審核；（2）配置不停運(yùn)檢修專員，下發(fā)操作權(quán)限；（3）手動(dòng)執(zhí)行數(shù)據(jù)庫腳本或依靠數(shù)據(jù)庫腳本批量執(zhí)行工作完成腳本升級(jí)，使用配置文件自動(dòng)更新工具配合人工審核完成配置文件更新調(diào)整；（4）測(cè)試驗(yàn)證升級(jí)發(fā)布結(jié)果，回收操作權(quán)限；（5）反饋升級(jí)結(jié)果，歸檔檢修流程。2.針對(duì)服務(wù)啟停類應(yīng)用變更發(fā)布服務(wù)啟停多數(shù)情況下涉及jar包更新與XML類文件調(diào)整。（1）記錄不停運(yùn)檢修詳細(xì)內(nèi)容，發(fā)起不停運(yùn)檢修審核，評(píng)估沖擊可能性；（2）配置不停運(yùn)檢修實(shí)施專員，下發(fā)操作權(quán)限；（3）手動(dòng)離線服務(wù)單個(gè)節(jié)點(diǎn)，阻斷負(fù)載均衡請(qǐng)求分配；（4）使用自動(dòng)化工具完成批量腳本升級(jí)、jar覆蓋和配置文件調(diào)整，更新至所有節(jié)點(diǎn)；（5）人工重啟離線服務(wù)節(jié)點(diǎn)，測(cè)試升級(jí)結(jié)果；（6）手動(dòng)上線檢修完成后的服務(wù)節(jié)點(diǎn)，輪詢下一節(jié)點(diǎn)；（7）測(cè)試驗(yàn)證升級(jí)發(fā)布結(jié)果，回收操作權(quán)限；（8）反饋檢修結(jié)果及遺留問題，歸檔不停運(yùn)檢修流程。（四）中間件服務(wù)配置調(diào)整中間件服務(wù)配置調(diào)整多為中間件控制臺(tái)服務(wù)參數(shù)配置，中間件參數(shù)調(diào)整又細(xì)分為重啟生效和即時(shí)生效兩類。檢修作業(yè)步驟：.針對(duì)即時(shí)生效類（1）利用已有管理系統(tǒng)記錄參數(shù)調(diào)整詳細(xì)內(nèi)容；（2）配置不停運(yùn)檢修實(shí)施人員，下發(fā)操作權(quán)限；（3）即時(shí)操作調(diào)整，監(jiān)控調(diào)整效果；（4）測(cè)試驗(yàn)證調(diào)整結(jié)果，回收操作權(quán)限；（5）反饋記錄調(diào)整結(jié)果及遺留問題。.針對(duì)重啟生效類（1）記錄參數(shù)調(diào)配詳細(xì)內(nèi)容附件說明參數(shù)功能；（2）審核配置調(diào)整方案，配置不停運(yùn)檢修實(shí)施專員，下發(fā)操作權(quán)限；（3）手動(dòng)離線調(diào)整服務(wù)對(duì)象，阻斷前端用戶服務(wù)請(qǐng)求分配；（4）人工調(diào)整參數(shù)，記錄操作過程；（5）上線操作對(duì)象恢復(fù)服務(wù)請(qǐng)求，輪詢下一對(duì)象；（6）測(cè)試驗(yàn)證調(diào)整結(jié)果，回收操作權(quán)限；（7）歸檔不停運(yùn)檢修流程。（五）資源池檢修.針對(duì)系統(tǒng)中需要調(diào)整的部分，編寫檢修方案；.審核檢修調(diào)整方案，配置不停運(yùn)檢修實(shí)施專員；.做好備份，人工調(diào)整系統(tǒng)參數(shù)，記錄操作過程，監(jiān)控服務(wù)器性能；9.檢查操作結(jié)果，保持系統(tǒng)能順利登陸使用，保證系統(tǒng)內(nèi)業(yè)務(wù)主機(jī)正常；.測(cè)試驗(yàn)證檢修結(jié)果，回收操作權(quán)限；.反饋檢修結(jié)果及遺留問題并歸檔檢修流程。(六)端口整改.針對(duì)需整改的端口編寫檢修方案；.審核檢修調(diào)整方案，配置不停運(yùn)檢修實(shí)施專員；.待修改的節(jié)點(diǎn)在F5上離線，更換端口測(cè)試正常后再在F5上啟用該節(jié)點(diǎn)；.檢查操作結(jié)果，確保端口整改成功；.測(cè)試驗(yàn)證檢修結(jié)果，回收操作權(quán)限；.反饋檢修結(jié)果及遺留問題并歸檔檢修流程。(七)DevOps模式下檢修.新服務(wù)上線(1)租戶管理員/普通成員，在工作區(qū)下新建流水線，配置持續(xù)集成與持續(xù)部署；(2)持續(xù)集成成功運(yùn)行后，若選擇推送至鏡像倉庫，可在鏡像倉庫中找到成功推送的鏡像；(3)持續(xù)部署成功運(yùn)行后，服務(wù)將被部署到對(duì)應(yīng)測(cè)試環(huán)境中；(4)測(cè)試人員對(duì)測(cè)試環(huán)境的服務(wù)進(jìn)行測(cè)試；(5)測(cè)試通過后，檢修人員可以一鍵將服務(wù)部署到生產(chǎn)10環(huán)境。.產(chǎn)品補(bǔ)丁升級(jí)（1）產(chǎn)品補(bǔ)丁加入后，觸發(fā)持續(xù)集成持續(xù)部署，部署到測(cè)試環(huán)境；（2）測(cè)試通過后，檢修人員可以選擇，灰度發(fā)布到生產(chǎn)環(huán)境；（3）檢修人員根據(jù)灰度發(fā)布情況，選擇是否回滾服務(wù)。四、技術(shù)要求（一）信息系統(tǒng)應(yīng)用部署程序包要有效“瘦身”為發(fā)揮不停運(yùn)檢修發(fā)布實(shí)施“快”的特點(diǎn)