銀行DevOps歷程與展望

1、銀行DevOps歷程與展望技術(shù)創(chuàng)新 變革未來目錄背景1建設(shè)歷程2DevOps體系3效果4展望51系統(tǒng)緊耦合23問題遺留多發(fā)布效率低u多個(gè)子系統(tǒng)無法做到 并行交付uBUG互相影響，蔓延u單個(gè)系統(tǒng)問題，影響 整體版本發(fā)布u開發(fā)階段測試不充分， 缺陷滯留到集成階段u自動(dòng)化能力缺失，大 量依賴人工處理u環(huán)境多復(fù)雜，開發(fā)/測 試/生產(chǎn)環(huán)節(jié)不一致u環(huán)境管理成本高u發(fā)布過程手工、低效我們面臨的問題-整個(gè)產(chǎn)品交付速度不滿足需求的增長速度產(chǎn)品特點(diǎn)自助 渠道柜員 前端網(wǎng)銀 渠道渠 道 接 入 總 線數(shù) 據(jù) 服 務(wù)總 線總 賬總行 MIS風(fēng)險(xiǎn) 管理外圍產(chǎn)品全球支付全球資金清算全球額度結(jié)算衍生業(yè)務(wù)全球現(xiàn)金集中授權(quán)對賬

2、管理投資理財(cái)核心銀行系統(tǒng)參數(shù)客戶存款貸款支付借記 卡反洗錢卡交換分行特色系統(tǒng)產(chǎn)品交易總線銀行作為大型傳統(tǒng)銀行企業(yè)，業(yè)務(wù)多，產(chǎn)品架構(gòu)復(fù)雜，業(yè)務(wù)類型分為傳統(tǒng)銀行類 和互聯(lián)網(wǎng)金融類，主要的技術(shù)架構(gòu)為傳統(tǒng)集中式和新興分布式。需要建立適合自身特點(diǎn)的 既支持分布式架構(gòu)又支持集中式架構(gòu)的銀行特色DevOps體系。目錄背景1建設(shè)歷程2DevOps體系3效果4展望5四個(gè)階段u 全生命周期配置管理u 持續(xù)集成u 持續(xù)交付u DevOps發(fā)展歷程目錄背景1建設(shè)歷程2DevOps體系3效果4展望5DevOps體系體系化實(shí)施方法價(jià)值交付持續(xù)交付、快速反饋、降低風(fēng)險(xiǎn)、質(zhì)量內(nèi)建任務(wù)流程組織核心 原則標(biāo)準(zhǔn)化自動(dòng)化可視化關(guān)鍵

3、實(shí)踐配置管理 構(gòu)建管 理 持續(xù) 集成測試管理環(huán)境管理部署管理技術(shù)基礎(chǔ)架構(gòu)應(yīng)用架構(gòu)容器技術(shù)基礎(chǔ)環(huán)境自動(dòng)化工具鏈微服務(wù)架構(gòu)配置化架構(gòu)精益用戶故事看板團(tuán)隊(duì)協(xié)作度量改進(jìn)成熟度開發(fā)編譯編譯構(gòu)建單元測試測試驗(yàn)證系統(tǒng)測試集成測試部署運(yùn)維發(fā)布部署運(yùn)維監(jiān)控可靠、可重復(fù)流水線任務(wù)生產(chǎn)任務(wù)看板的實(shí)踐實(shí)時(shí)記錄任務(wù)進(jìn)度和問題，實(shí)現(xiàn) 信息共享流程以標(biāo)準(zhǔn)化、自動(dòng)化和可視化為準(zhǔn)則，形 成相應(yīng)的體系和規(guī)范。開展相應(yīng)實(shí)踐活動(dòng)：配置管理、持續(xù)集 成等。組織通過流程建設(shè)，實(shí)現(xiàn)組織進(jìn)一步的協(xié)作融合建立成熟度評價(jià)模型，持續(xù)改進(jìn)流水線建立基于AIX、X86、ZOS系統(tǒng)的交 付流水線利用容器技術(shù)縮短部署周期分布式系統(tǒng)運(yùn)維研究基礎(chǔ)架構(gòu)在開發(fā)環(huán)

4、節(jié)，研究實(shí)現(xiàn)虛擬資源的 自動(dòng)申請、注銷容器技術(shù)研究，并形成中行的Docker技術(shù)使用規(guī)范應(yīng)用架構(gòu) 技術(shù)解耦體系化實(shí)施方法流程體系建立統(tǒng)一協(xié)作流程，實(shí)現(xiàn)合理 分工、密切合作的實(shí)施組織。 原則是以交付為核心，打通交 付流程；建立產(chǎn)品開發(fā)、測試、 運(yùn)維端到端統(tǒng)一協(xié)作流程。模型規(guī)范建立應(yīng)用模型和相關(guān)規(guī)范。完 善持續(xù)集成應(yīng)用平臺(tái)，考慮運(yùn) 維需求，在原有規(guī)范和模型基 礎(chǔ)上，進(jìn)一步優(yōu)化完善。交付流水線打造適合銀行特點(diǎn)的交付流水線。在持續(xù)集成開發(fā)流水線的基礎(chǔ)上，生產(chǎn)環(huán)節(jié)復(fù)用、優(yōu)化自動(dòng)部署和自動(dòng)化測試資產(chǎn)；把質(zhì)量和安全軟規(guī)范內(nèi)建到產(chǎn)品的生產(chǎn)過程中，實(shí)現(xiàn)軟規(guī)范硬約束。度量評價(jià)建立多維度度量、評價(jià)體系。 通過度量和

5、評價(jià)，建立反饋， 持續(xù)改進(jìn)。文化環(huán)境推進(jìn)Devops文化建設(shè)。將DevOps理念滲透至工程領(lǐng)域各 相關(guān)人員，促進(jìn)團(tuán)隊(duì)間協(xié)作關(guān) 系的改善。銀行DevOps建設(shè)內(nèi)容“五個(gè)”方面目錄背景1建設(shè)歷程2DevOps體系3效果4展望5建立統(tǒng)一協(xié)作流程，促進(jìn)融合協(xié)作質(zhì)量管理部pDevOps整體設(shè)計(jì)和管理；p協(xié)調(diào)、組織開發(fā)、測試、維護(hù)群組，在生產(chǎn)環(huán)節(jié) 實(shí)施自動(dòng)化部署、穩(wěn)定性測試；p完善持續(xù)集成應(yīng)用平臺(tái)；p優(yōu)化持續(xù)集成應(yīng)用模型；開發(fā)群組p擴(kuò)大持續(xù)集成應(yīng)用的深度和廣度 ；p優(yōu)化自動(dòng)化部署流程，提升部署效率；p提供穩(wěn)定性測試案例腳本；版本安裝團(tuán)隊(duì)p 自動(dòng)化部署需求和改進(jìn)建議；p 實(shí)施功能測試環(huán)境應(yīng)用產(chǎn)品版本自動(dòng)化部

6、署；p 應(yīng)用自動(dòng)化部署功能，提供自動(dòng)化部署驗(yàn)證報(bào)告；p自動(dòng)化部署需求和改進(jìn)建議；p實(shí)施生產(chǎn)環(huán)節(jié)應(yīng)用產(chǎn)品版本自動(dòng)化部署；p協(xié)助提供生產(chǎn)環(huán)境下自動(dòng)部署平臺(tái)所需軟、 硬件和網(wǎng)絡(luò)環(huán)境；“一個(gè)”工作小組，“兩個(gè)”實(shí)施方針（管理上強(qiáng)調(diào)融合協(xié)作機(jī)制 ，技術(shù)上強(qiáng)調(diào)標(biāo)準(zhǔn)化統(tǒng)一手段）軟 件 中 心數(shù) 據(jù) 中心維護(hù)群組建立DevOps框架和技術(shù)規(guī)范，形成 相應(yīng)的開發(fā)規(guī)范和應(yīng)用模型，為中國 銀行應(yīng)用產(chǎn)品快速實(shí)現(xiàn)DevOps應(yīng)用 提供技術(shù)指導(dǎo)。建立DevOps應(yīng)用模型和相關(guān)規(guī)范建立DevOps應(yīng)用模型支撐能力建設(shè)應(yīng)用產(chǎn)品生命周期管理依賴于工具系統(tǒng)支 撐能力，創(chuàng)建強(qiáng)大工具集，支撐DevOps 生產(chǎn)線。涉及代碼管理、變更管

7、理、構(gòu)建、 部署、測試、代碼復(fù)查等工具96個(gè)；相關(guān)系統(tǒng)3個(gè)。打造適合銀行特點(diǎn)的產(chǎn)品交付流水線“三條”交付流水線。為了實(shí)現(xiàn)應(yīng)用產(chǎn)品快速交付、提高運(yùn)維的效率和質(zhì)量，根據(jù)銀行應(yīng)用產(chǎn)品現(xiàn)狀， 建立“開發(fā)測試運(yùn)維一體化平臺(tái)系統(tǒng)”產(chǎn)品，三個(gè)子產(chǎn)品，形成相應(yīng)交付流水線。AIX建立基于Power架構(gòu)下的AIX系統(tǒng)應(yīng)用產(chǎn)品交付流水線ZOS基于Power架構(gòu)下的主機(jī)系統(tǒng)應(yīng)用產(chǎn)品交付流水線X86基于X86架構(gòu)交付流水線應(yīng)用產(chǎn)品交付流水線以交付為核心，根據(jù)應(yīng)用產(chǎn)品現(xiàn)狀，建立以配置管理為基礎(chǔ)，AIX、X86、ZOS三條交付流水線。提升交 付流水線上各工程活動(dòng)自動(dòng)化能力；促進(jìn)部門間協(xié)作融合，實(shí)現(xiàn)應(yīng)用產(chǎn)品端到端到交付。交付

8、流水線版本推送角色現(xiàn)流程實(shí)施 DevOps流程研發(fā)中心 產(chǎn)品庫運(yùn)維中心 生產(chǎn)調(diào)度發(fā)送郵件到 生產(chǎn)調(diào)度發(fā)送郵件到 生產(chǎn)調(diào)度取出版本檢查版本合規(guī)性檢查合規(guī)將版本放于調(diào)度版本服務(wù)器某網(wǎng)段 FTPYN檢查合規(guī)Y版本出庫放于 產(chǎn)品庫某網(wǎng)段FTP將版本自動(dòng)放于調(diào)度版本服務(wù)器某網(wǎng)段FTP/推 送至部署平臺(tái)演練/生產(chǎn)版本庫產(chǎn)品 出 入 庫檢查合規(guī)Y版本出庫放于 產(chǎn)品庫某網(wǎng)段FTP運(yùn)維調(diào)度檢查點(diǎn)合并至版本出庫序號(hào)工作流程1依據(jù)版本標(biāo)識(shí)，將版本自動(dòng)推送至連接22和21網(wǎng)段之間的中轉(zhuǎn)服務(wù)器上依據(jù)版本標(biāo)識(shí)，將版本自動(dòng)化推送至自動(dòng)化部署平臺(tái)演練環(huán)境相關(guān)服務(wù)器指定位置2依據(jù)版本標(biāo)識(shí)，從中轉(zhuǎn)服務(wù)器將版本自動(dòng)化推送至自動(dòng)化部

9、署平臺(tái)在生產(chǎn)環(huán)境相關(guān) 服務(wù)器指定位置3部署平臺(tái)自動(dòng)獲取版本至部署服務(wù)器版本推送WAS部署SADP-AIX部署系統(tǒng).因權(quán)限原因，目前WAS部署架構(gòu)為，搭建WAS服務(wù)器，通過該WAS服務(wù)器實(shí)現(xiàn)目標(biāo)系統(tǒng) WAS服務(wù)器間版本推送和部署工作。經(jīng)過應(yīng)用驗(yàn)證，WAS堡壘機(jī)的版本號(hào)須與目標(biāo)環(huán)境WAS 版本保持一致，至少大版本號(hào)相同。.WAS堡壘機(jī)WAS堡壘機(jī)WAS堡壘機(jī)目標(biāo)環(huán)境演練環(huán)境、生產(chǎn)環(huán)境、準(zhǔn)生產(chǎn)環(huán)境部署架構(gòu)圖.目. 標(biāo)環(huán)境.目. 標(biāo)環(huán)境WAS部署涉及工作流程：序號(hào)工作項(xiàng)1按照目標(biāo)環(huán)境版本情況，搭建WAS堡壘機(jī)（演練、生產(chǎn)、準(zhǔn)生產(chǎn)）2各應(yīng)用產(chǎn)品實(shí)施自動(dòng)化部署前，申請目標(biāo)環(huán)境與堡壘機(jī)之間網(wǎng)絡(luò)端口開通（88

10、798884， 90609065，90439048，22）（演練、生產(chǎn)、準(zhǔn)生產(chǎn)）3因WAS8版本自身原因，在涉及該WAS版本的應(yīng)用產(chǎn)品版本部署前，需要系統(tǒng)管理員協(xié)助刪除 一個(gè)JAR包。流水線-自動(dòng)化測試系統(tǒng) 測試組織級資產(chǎn)組裝測試支撐功能測試支撐模塊 測試單測穩(wěn)定性功能測試測試聯(lián)通 測試投產(chǎn)演練支撐自動(dòng)化測試平臺(tái)穩(wěn)定性驗(yàn)證測試測試聯(lián)通 測試規(guī)劃 布局標(biāo)準(zhǔn) 工藝UNIT、Admitester、DPJ、擋板、代碼復(fù)查等AIX交付線VS、ZOT、IIT、ZOT、代 碼復(fù)查等ZOS交付線JUNIT、JASMINE、RF、TestNG、Sonar等X86交付線測試基礎(chǔ)平臺(tái)建設(shè)運(yùn)用專業(yè)自動(dòng)化工具集，開 展

11、以組裝（接口）測試為主，并 兼具代碼復(fù)查、代碼覆蓋、UI測 試、性能測試等多種測試能力， 建立分級測試體系，從多層次和 多個(gè)驗(yàn)證角度形成質(zhì)量防護(hù)網(wǎng)。打造統(tǒng)一的自動(dòng)化測試管理 平臺(tái)（ATP），集成中心主要測 試工具，實(shí)現(xiàn)跨階段、跨產(chǎn)品的 資產(chǎn)復(fù)用，以提升各交付流水線 上自動(dòng)化測試能力。流水線-自動(dòng)化測試目標(biāo)： 在自動(dòng)化部署后的驗(yàn)證階段，借助自動(dòng)化測試平臺(tái)（ATP）的管理功能，充分利用積累的自動(dòng)化 腳本資產(chǎn)，通過自動(dòng)化的手段對部署系統(tǒng)進(jìn)行系統(tǒng)級及業(yè)務(wù)級的聯(lián)通驗(yàn)證，以提升自動(dòng)化資產(chǎn)價(jià)值，保證產(chǎn)品 投產(chǎn)質(zhì)量。（系統(tǒng)級聯(lián)通驗(yàn)證是指通過自動(dòng)化手段訪問登錄地址以驗(yàn)證產(chǎn)品本身部署的正確性，在自動(dòng)部署后 可自動(dòng)

12、調(diào)起執(zhí)行；業(yè)務(wù)級聯(lián)通驗(yàn)證包括單一產(chǎn)品的業(yè)務(wù)級聯(lián)通驗(yàn)證及多產(chǎn)品的業(yè)務(wù)級聯(lián)通驗(yàn)證，通過自動(dòng)化腳 本執(zhí)行產(chǎn)品的業(yè)務(wù)交易驗(yàn)證產(chǎn)品及關(guān)聯(lián)產(chǎn)品間的業(yè)務(wù)功能）。方案策略： 配合自動(dòng)化部署的推廣計(jì)劃，在計(jì)劃推廣的產(chǎn)品中，復(fù)用已積累的交易驗(yàn)證腳本。投產(chǎn)演練 階段，發(fā)起自動(dòng)化測試腳本到自動(dòng)化測試平臺(tái)（ATP）調(diào)度執(zhí)行。執(zhí)行結(jié)束后，將測試腳本的執(zhí)行狀態(tài)和日志 結(jié)果信息展現(xiàn)到平臺(tái)上。自動(dòng)化測試1、搭建自動(dòng)化平臺(tái)及配套系統(tǒng)2、準(zhǔn)備自動(dòng)化腳本5、自動(dòng)部署后調(diào)起腳本執(zhí)行測試6、問題報(bào)送7、問題解決后驗(yàn)證測試3、自動(dòng)化腳本數(shù)據(jù)維護(hù)工作流程：序號(hào)工作內(nèi)容1搭建一套獨(dú)立的自動(dòng)化測試平臺(tái)應(yīng)用與相應(yīng)的數(shù)據(jù)庫、文件存儲(chǔ) 系統(tǒng)等配套環(huán)境

13、2準(zhǔn)備自動(dòng)化測試案例、自動(dòng)化測試腳本（可復(fù)用功能測試自動(dòng)化 腳本，隨產(chǎn)品版本下發(fā)），系統(tǒng)級聯(lián)通需要在ATP平臺(tái)（自動(dòng)化 測試平臺(tái)）維護(hù)各產(chǎn)品登錄地址3根據(jù)腳本具體交易，將測試數(shù)據(jù)維護(hù)到自動(dòng)化測試腳本中（需維 護(hù)固定的業(yè)務(wù)數(shù)據(jù)如柜員、賬戶等）4恢復(fù)生產(chǎn)數(shù)據(jù)5發(fā)起自動(dòng)化測試腳本到自動(dòng)化測試平臺(tái)（ATP）調(diào)度執(zhí)行6執(zhí)行結(jié)束后，測試案例的執(zhí)行狀態(tài)和日志結(jié)果信息展現(xiàn)到平臺(tái)上， 若有問題則進(jìn)行報(bào)送7失敗問題解決后通過自動(dòng)化測試平臺(tái)重新執(zhí)行驗(yàn)證4、生產(chǎn)數(shù)據(jù)恢復(fù)隨著主機(jī)、小機(jī)系統(tǒng)技術(shù)架構(gòu)轉(zhuǎn)型，越來越多的產(chǎn)品將會(huì)使用X86平臺(tái)Linux系統(tǒng)，對虛擬化資源的需求 也會(huì)逐漸增加，X86平臺(tái)虛擬化資源服務(wù)優(yōu)化目標(biāo)：1

14、、有效精簡申請審批流程，推動(dòng)虛擬資源精細(xì)管理和服務(wù)方式轉(zhuǎn)變，進(jìn)一步降本增效。2、優(yōu)化與開發(fā)團(tuán)隊(duì)的協(xié)作，使開發(fā)團(tuán)隊(duì)能夠按需自助獲取資源，發(fā)揮快速部署優(yōu)勢，提升整體效率、減 少資源管控壓力。3、及時(shí)掌握虛擬資源使用情況，進(jìn)行統(tǒng)計(jì)分析、預(yù)測和報(bào)告，幫助審計(jì)和決策?？?速 交 付 的 虛 擬 化 服 務(wù)靈 活 的 資 源 配 置 方 式隨 需 應(yīng) 變 的 自 助 式 申 請輕 量 級 的 開 發(fā) 云 資 源 管 理基礎(chǔ)架構(gòu)-X86平臺(tái)虛擬化資源服務(wù)優(yōu)化后續(xù)改進(jìn)：因此部署前協(xié)調(diào)系統(tǒng)管理員刪除文件的操作是部署的前 置任務(wù)。應(yīng)用實(shí)例自動(dòng)化部署平臺(tái)生產(chǎn)環(huán) 境搭建實(shí)施A、B、C產(chǎn)品自動(dòng) 化部署D-3至D-2日D

15、日晚9：30自動(dòng)化部署結(jié)果確認(rèn)D日晚10：00業(yè)務(wù)驗(yàn)證D+1日自動(dòng)化部署應(yīng)用投產(chǎn)過程問題和應(yīng)對（1）當(dāng)對was應(yīng)用程序進(jìn)行安裝時(shí)，was系統(tǒng)會(huì)自動(dòng)生成一個(gè) XML文件在相應(yīng)的jar包中；我們目前采用的備份策略是從was系 統(tǒng)導(dǎo)出全量版本進(jìn)行備份；而was系統(tǒng)導(dǎo)出時(shí)當(dāng)jar文件里包含該 xml文件時(shí)，was導(dǎo)出會(huì)失敗，此為was8.0和was8.5版本的bug， 只能將此xml文件刪除，才可以正常從was系統(tǒng)中導(dǎo)出全量版本。 此文件的刪除需要系統(tǒng)管理員權(quán)限才可以操作。版本推送與運(yùn)維中心生產(chǎn)調(diào)度 和相關(guān)研發(fā)團(tuán)隊(duì)協(xié)商， 實(shí)現(xiàn)版本無縫對接。用戶安全與運(yùn)維中心安全團(tuán)隊(duì) 協(xié)商，實(shí)現(xiàn)部署用戶 與生產(chǎn)環(huán)境訪問

16、控制 一體化系統(tǒng)的自動(dòng)化 對接。WAS部署與運(yùn)維中心系統(tǒng)管理 團(tuán)隊(duì)協(xié)商，實(shí)現(xiàn)針對 was應(yīng)用系統(tǒng)部署架 構(gòu)的最優(yōu)化。自動(dòng)化測試與運(yùn)維中心相關(guān)團(tuán)隊(duì) 協(xié)商，實(shí)現(xiàn)部署后應(yīng) 用系統(tǒng)的自動(dòng)化驗(yàn)證 測試。協(xié)作重點(diǎn)建立多維度度量和評價(jià)體系通過建立DevOps成熟度模 型，形成銀行信息科技體 系DevOps評價(jià)體系。成熟度 模型涵蓋重要開發(fā)過程中的工 程活動(dòng)：構(gòu)建、組包、部署、 代碼復(fù)查和測試等，通過分析 報(bào)告反饋在開發(fā)、測試、運(yùn)維 各階段的應(yīng)用情況；為開發(fā)工 藝水平的提升提供改進(jìn)機(jī)會(huì)。構(gòu)建部署n衡量提交到配置庫的源碼是否及時(shí)構(gòu)建n衡量開發(fā)人員提交的源碼質(zhì)量n衡量產(chǎn)品自動(dòng)化構(gòu)建程度范圍n衡量構(gòu)建的執(zhí)行碼是否及時(shí)部署到組裝 測試環(huán)境，有效管理組裝測試環(huán)境基線n衡量自動(dòng)化部署覆蓋的階段范圍自動(dòng)化代碼復(fù)查n鼓勵(lì)應(yīng)用自動(dòng)化代碼復(fù)查工具自動(dòng)化測試 n鼓勵(lì)通過自動(dòng)化測試識(shí)別 n鼓勵(lì)提高自動(dòng)化測試腳本本身的質(zhì)量，提高投入產(chǎn)出比n鼓勵(lì)擴(kuò)大自動(dòng)化測試范圍建立DevOps文化通過大力推廣和文化建設(shè)，將DevOps理念 滲透至工程領(lǐng)域各相關(guān)人員，將其內(nèi)化為從 業(yè)人員的一種行為習(xí)慣和責(zé)任意識(shí)，促進(jìn)團(tuán) 隊(duì)間協(xié)作關(guān)系的改善，在整個(gè)組織效率提升 的同時(shí)，可有效降低伴隨頻繁變化而帶來的 生產(chǎn)環(huán)境風(fēng)險(xiǎn)，從