銀行基礎(chǔ)軟件PaaS平臺(tái)建設(shè)實(shí)踐

1、 銀行基礎(chǔ)軟件 PaaS 平臺(tái)建設(shè)實(shí)踐 【摘要】基于人工或者腳本半自動(dòng)化的交付方式及運(yùn)維方式，部署維護(hù)時(shí)間成本高，交付效率低下、業(yè)務(wù)等待時(shí)間長(zhǎng)、運(yùn)維誤操作風(fēng)險(xiǎn)高，明顯不能滿足業(yè)務(wù)快速增長(zhǎng)和穩(wěn)定運(yùn)行的要求?？焖俳桓逗妥詣?dòng)化運(yùn)維的重要性越發(fā)突出。基礎(chǔ)軟件PaaS建設(shè)的指導(dǎo)思想是一切皆服務(wù)，利用PaaS理念將基礎(chǔ)軟件產(chǎn)品和技術(shù)能力服務(wù)化，提供完整的數(shù)據(jù)中心基礎(chǔ)軟件服務(wù)能力，最終實(shí)現(xiàn)基礎(chǔ)軟件運(yùn)維模式從人工模式向智能模式的轉(zhuǎn)型。本文詳述了民生銀行對(duì)基礎(chǔ)軟件PaaS的探索與實(shí)踐，對(duì)相關(guān)行業(yè)具有參考意義。1、項(xiàng)目背景基礎(chǔ)軟件運(yùn)維的挑戰(zhàn)隨著民生銀行業(yè)務(wù)的不斷發(fā)展，目前我行數(shù)據(jù)中心運(yùn)行著幾百套生產(chǎn)系統(tǒng)，并且持續(xù)

2、的有新系統(tǒng)上線以滿足日益增長(zhǎng)的業(yè)務(wù)需求。不同業(yè)務(wù)系統(tǒng)使用的基礎(chǔ)軟件如操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件等也有所不同，即使采用了較為嚴(yán)格的品牌收斂和軟件準(zhǔn)入策略，目前需要管理和維護(hù)的基礎(chǔ)軟件仍然種類眾多。同時(shí)，基礎(chǔ)軟件的運(yùn)行環(huán)境也正在從物理主機(jī)逐漸轉(zhuǎn)變?yōu)樘摂M化主機(jī)、容器，使得基礎(chǔ)軟件部署場(chǎng)景更加復(fù)雜多樣。另外，每套應(yīng)用系統(tǒng)還有相應(yīng)的開發(fā)、單元、集成、性能、版本等多套測(cè)試環(huán)境，數(shù)量上是生產(chǎn)環(huán)境的若干倍。原有的基于人工或者腳本半自動(dòng)化的交付方式及運(yùn)維方式，部署維護(hù)時(shí)間成本高，交付效率低下、業(yè)務(wù)等待時(shí)間長(zhǎng)、運(yùn)維誤操作風(fēng)險(xiǎn)高，明顯不能滿足業(yè)務(wù)快速增長(zhǎng)和穩(wěn)定運(yùn)行的要求?？焖俳桓逗妥詣?dòng)化運(yùn)維的重要性越發(fā)突出。云計(jì)算概

3、念的興起云計(jì)算是與信息技術(shù)、軟件、網(wǎng)絡(luò)相關(guān)的一種服務(wù)，這種計(jì)算資源共享池叫做“云”。云計(jì)算把許多計(jì)算資源集合起來，通過軟件實(shí)現(xiàn)自動(dòng)化管理，這些資源能夠像商品一樣被快速提供。云計(jì)算按服務(wù)類型分為：IaaS（基礎(chǔ)設(shè)施即服務(wù)），PaaS（平臺(tái)即服務(wù)），SaaS（軟件即服務(wù)）。PaaS通俗地說就是底層平臺(tái)的云化。在云計(jì)算時(shí)代，計(jì)算能力在云端而不是本地，將底層平臺(tái)的能力以服務(wù)的方式提供在云端，這就是PaaS?；A(chǔ)軟件PaaS的建設(shè)目標(biāo)我行于2018年啟動(dòng)基礎(chǔ)軟件PaaS建設(shè)項(xiàng)目?；A(chǔ)軟件PaaS建設(shè)的指導(dǎo)思想是一切皆服務(wù)，利用PaaS理念將基礎(chǔ)軟件產(chǎn)品和技術(shù)能力服務(wù)化，提供完整的數(shù)據(jù)中心基礎(chǔ)軟件服務(wù)能力

4、。基礎(chǔ)軟件PaaS建設(shè)的整體目標(biāo)是與現(xiàn)有業(yè)務(wù)系統(tǒng)及現(xiàn)有工具類平臺(tái)有效整合，實(shí)現(xiàn)基礎(chǔ)軟件在生產(chǎn)環(huán)境及測(cè)試環(huán)境的部署上線、彈性擴(kuò)縮容、變更、巡檢、回收下線等工作的自動(dòng)化；實(shí)現(xiàn)基礎(chǔ)軟件資源展示、容量管理、性能管理、基礎(chǔ)運(yùn)維、問題管理等管理功能的集中化、可視化；減少運(yùn)維人員直接登錄目標(biāo)服務(wù)器操作的比例，降低人力實(shí)施成本，提高資源交付效率；實(shí)現(xiàn)有效的性能管理和容量管理，提高資源利用率；提前發(fā)現(xiàn)基礎(chǔ)軟件潛在的問題、風(fēng)險(xiǎn)，提高由基礎(chǔ)軟件故障引起的生產(chǎn)問題的解決效率；實(shí)現(xiàn)基礎(chǔ)軟件運(yùn)維模式從人工模式向智能模式的轉(zhuǎn)型。2、技術(shù)架構(gòu)基礎(chǔ)軟件PaaS建設(shè)方向從面向的用戶來講，主要面向行內(nèi)基礎(chǔ)軟件資源申請(qǐng)人員、科技開發(fā)

5、人員、應(yīng)用運(yùn)維人員、系統(tǒng)管理中心基礎(chǔ)軟件管理員。從支持的基礎(chǔ)軟件運(yùn)行環(huán)境來講，優(yōu)先支持容器化運(yùn)行環(huán)境，同時(shí)也支持物理機(jī)、虛擬機(jī)等多種運(yùn)行環(huán)境。從平臺(tái)自主可控維度來講，采用的技術(shù)框架首選開源和行內(nèi)自主可控的框架，前、后端分離，平臺(tái)可擴(kuò)展性要強(qiáng)，采用微服務(wù)思想將不同的功能模塊構(gòu)建成獨(dú)立的服務(wù)，應(yīng)用容器化，對(duì)外提供標(biāo)準(zhǔn)化的基礎(chǔ)軟件PaaS服務(wù)能力。從與我行現(xiàn)有工具平臺(tái)集成的維度來講，與我行數(shù)據(jù)中心現(xiàn)有工具和平臺(tái)集成，持續(xù)提升數(shù)據(jù)中心統(tǒng)一運(yùn)維能力，同時(shí)因地制宜，有效利用現(xiàn)有工具平臺(tái)，避免重復(fù)造輪子。從支持的產(chǎn)品維度來講，覆蓋我行數(shù)據(jù)中心支持的主要基礎(chǔ)軟件，包括不限于操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、容器、Re

6、dis、Kafka、訪問代理、分布式存儲(chǔ)、NoSQL、大數(shù)據(jù)、分布式日志平臺(tái)等?；A(chǔ)軟件PaaS邏輯架構(gòu)基礎(chǔ)軟件PaaS邏輯架構(gòu)如下圖所示，包括公共模塊層、執(zhí)行層、產(chǎn)品層、統(tǒng)一運(yùn)維集成層、數(shù)據(jù)層、門戶層等。公共模塊層：對(duì)接行內(nèi)統(tǒng)一身份認(rèn)證平臺(tái)實(shí)現(xiàn)行內(nèi)用戶的同步、管理；通過基于角色的訪問控制實(shí)現(xiàn)用戶的權(quán)限管理；通過對(duì)執(zhí)行層的自動(dòng)化執(zhí)行引擎模塊、容器執(zhí)行管理模塊、Kafka執(zhí)行管理模塊等進(jìn)行封裝對(duì)外提供流程執(zhí)行服務(wù)接口；另外還包括批量處理、CMDB服務(wù)、資源管理、配置管理、操作審計(jì)、密碼管理等基礎(chǔ)功能模塊。執(zhí)行層：基于Ansible（一個(gè)能實(shí)現(xiàn)批量部署的開源自動(dòng)化運(yùn)維工具）實(shí)現(xiàn)了自動(dòng)化執(zhí)行引擎模塊

7、，能夠?qū)崿F(xiàn)批量遠(yuǎn)程命令執(zhí)行，由此實(shí)現(xiàn)對(duì)依托于物理機(jī)、虛擬機(jī)運(yùn)行環(huán)境的資源的自動(dòng)化部署及管理；基于Kubernetes（簡(jiǎn)稱K8S，一個(gè)開源的、用于管理云平臺(tái)中多個(gè)主機(jī)上的容器化的應(yīng)用）實(shí)現(xiàn)容器執(zhí)行管理模塊，能夠?qū)θ萜骰Y源進(jìn)行管理；針對(duì)Kafka、大數(shù)據(jù)等專有集群，實(shí)現(xiàn)大數(shù)據(jù)執(zhí)行管理模塊、Kafka執(zhí)行管理模塊，能夠?qū)Υ髷?shù)據(jù)集群、Kafka集群進(jìn)行管理。產(chǎn)品層：以產(chǎn)品為導(dǎo)向，遵循基礎(chǔ)軟件PaaS統(tǒng)一規(guī)劃，實(shí)現(xiàn)特定基礎(chǔ)軟件產(chǎn)品端到端的全生命周期管理。統(tǒng)一運(yùn)維集成層：對(duì)接行內(nèi)統(tǒng)一身份認(rèn)證平臺(tái)，實(shí)現(xiàn)用戶登錄驗(yàn)證及用戶信息獲??；對(duì)接CMDB實(shí)現(xiàn)應(yīng)用系統(tǒng)、服務(wù)器信息獲取，及基礎(chǔ)軟件信息的準(zhǔn)實(shí)時(shí)推送；對(duì)接

8、數(shù)據(jù)中心服務(wù)平臺(tái)，實(shí)現(xiàn)測(cè)試環(huán)境基礎(chǔ)軟件標(biāo)準(zhǔn)化資源的自服務(wù)申請(qǐng)及生產(chǎn)環(huán)境部分基礎(chǔ)軟件產(chǎn)品的自動(dòng)化部署實(shí)施；對(duì)接審計(jì)平臺(tái)實(shí)現(xiàn)資源自動(dòng)化審計(jì)納管等。數(shù)據(jù)層：采用關(guān)系型數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、Elasticsearch等作為數(shù)據(jù)層存儲(chǔ)介質(zhì)。門戶層：實(shí)現(xiàn)對(duì)各種基礎(chǔ)軟件的統(tǒng)一運(yùn)維管理門戶。3、項(xiàng)目一期主要功能概覽測(cè)試環(huán)境資源自服務(wù)基礎(chǔ)軟件PaaS依托數(shù)據(jù)中心服務(wù)平臺(tái)提供測(cè)試環(huán)境基礎(chǔ)軟件自服務(wù)申請(qǐng)。目前基礎(chǔ)軟件PaaS支持的標(biāo)準(zhǔn)化產(chǎn)品服務(wù)列表如下:上述標(biāo)準(zhǔn)化產(chǎn)品在測(cè)試環(huán)境滿足特定的申請(qǐng)場(chǎng)景（如項(xiàng)目組申請(qǐng)的資源數(shù)小于等于限定值等，具體可參見內(nèi)網(wǎng)confluence申請(qǐng)指南），可以不需要經(jīng)過評(píng)估、審批環(huán)節(jié)，實(shí)

9、現(xiàn)自服務(wù)申請(qǐng)。同時(shí)申請(qǐng)參數(shù)大大簡(jiǎn)化，提升了項(xiàng)目組資源申請(qǐng)效率。為避免資源浪費(fèi)，提升資源利用率，測(cè)試環(huán)境自服務(wù)申請(qǐng)應(yīng)按需申請(qǐng)，已申請(qǐng)的資源平臺(tái)會(huì)定期統(tǒng)計(jì)資源使用情況，針對(duì)使用率低的資源，基礎(chǔ)軟件PaaS會(huì)啟動(dòng)資源回收流程。非標(biāo)準(zhǔn)產(chǎn)品或不滿足免審批條件的標(biāo)準(zhǔn)產(chǎn)品需要經(jīng)過資源評(píng)估、架構(gòu)評(píng)估、系統(tǒng)管理中心領(lǐng)導(dǎo)審批后分配資源。交付效率無法保證，建議申請(qǐng)標(biāo)準(zhǔn)基礎(chǔ)軟件產(chǎn)品。生產(chǎn)環(huán)境資源交付自動(dòng)化實(shí)施相較于測(cè)試環(huán)境基礎(chǔ)軟件資源自服務(wù)申請(qǐng)流程，生產(chǎn)環(huán)境資源分配策略更加謹(jǐn)慎，流程要求更加嚴(yán)格，需要申請(qǐng)流程各個(gè)環(huán)節(jié)審批人的評(píng)估和審批。生產(chǎn)環(huán)境基礎(chǔ)軟件資源申請(qǐng)同樣依托于數(shù)據(jù)中心服務(wù)平臺(tái)，當(dāng)流程流轉(zhuǎn)到資源實(shí)施環(huán)節(jié)后，實(shí)

10、施人員通過點(diǎn)擊執(zhí)行按鈕，由數(shù)據(jù)中心服務(wù)平臺(tái)調(diào)用基礎(chǔ)軟件PaaS提供的流程執(zhí)行接口，自動(dòng)化實(shí)施，分配資源。工單每個(gè)實(shí)施步驟可以由原來的幾天縮短到小時(shí)級(jí)乃至分鐘級(jí)，整個(gè)基礎(chǔ)軟件資源交付時(shí)間可以從一個(gè)變更周期有效縮短到3天以內(nèi)。數(shù)據(jù)庫(kù)PaaS基礎(chǔ)軟件PaaS產(chǎn)品層之?dāng)?shù)據(jù)庫(kù)PaaS：支持DB2、Oracle、MySQL等多種不同類型數(shù)據(jù)庫(kù)，且具有分庫(kù)分表架構(gòu)下的邏輯庫(kù)管理能力。納管了我行上千套測(cè)試和生產(chǎn)環(huán)境數(shù)據(jù)庫(kù)，為運(yùn)維人員提供了統(tǒng)一的數(shù)據(jù)庫(kù)運(yùn)維管理功能。其中資源申請(qǐng)模塊，提供了標(biāo)準(zhǔn)化數(shù)據(jù)庫(kù)資源的自助申請(qǐng)，資源管理模塊展示了數(shù)據(jù)庫(kù)信息、狀態(tài)、負(fù)載、容量等基本信息，性能管理模塊從性能評(píng)分、工作負(fù)載、SQ

11、L、內(nèi)存、緩沖區(qū)、IO、鎖、日志、排序等多維度對(duì)數(shù)據(jù)庫(kù)性能進(jìn)行分析，容量管理模塊可以查看數(shù)據(jù)庫(kù)、表空間、大表的容量使用及增長(zhǎng)情況，基礎(chǔ)運(yùn)維模塊集合了常用的數(shù)據(jù)庫(kù)運(yùn)維操作，SQL審核模塊在測(cè)試環(huán)境按照數(shù)據(jù)庫(kù)開發(fā)規(guī)范對(duì)SQL進(jìn)行審核，及時(shí)發(fā)現(xiàn)問題SQL，避免問題SQL上生產(chǎn)，元數(shù)據(jù)管理模塊可查詢數(shù)據(jù)庫(kù)的元數(shù)據(jù)信息。容器PaaS基礎(chǔ)軟件PaaS產(chǎn)品層之容器PaaS：納管了我行不同網(wǎng)絡(luò)分區(qū)的多個(gè)K8S集群和鏡像庫(kù)。其中資源申請(qǐng)模塊是租戶申請(qǐng)容器資源的入口，包含帳號(hào)申請(qǐng)、K8S和鏡像庫(kù)資源申請(qǐng)、日志接入申請(qǐng)等。集群管理模塊為容器管理員和租戶提供集群范圍資源的管理，鏡像管理模塊提供鏡像庫(kù)和鏡像的管理，應(yīng)用

12、管理模塊主要為租戶提供K8S namespace內(nèi)資源的管理，帳號(hào)授權(quán)管理模塊為容器管理員提供租戶授權(quán)管理。容器組歷史模塊提供容器遷移過程歷史查詢。Redis PaaS基礎(chǔ)軟件PaaS產(chǎn)品層之Redis PaaS：提供了基于K8S的容器化Redis的自服務(wù)及管理能力。區(qū)別于之前基于物理機(jī)和虛擬機(jī)的運(yùn)行環(huán)境，通過Redis PaaS申請(qǐng)的Redis實(shí)例均運(yùn)行于容器環(huán)境。Redis PaaS支持單實(shí)例、多副本、集群三種架構(gòu)的Redis。資源管理模塊展示了Redis實(shí)例基礎(chǔ)信息，實(shí)例詳情中的命令曲線可以查看命令執(zhí)行情況，實(shí)例拓?fù)淇梢圆榭碦edis實(shí)例拓?fù)浣Y(jié)構(gòu)及主從關(guān)系，慢查詢展示慢查詢數(shù)量及詳情。配

13、置管理模塊為管理員提供了配置Redis模板的功能，物理節(jié)點(diǎn)模塊展示了Redis專屬K8S集群物理節(jié)點(diǎn)信息。Kafka PaaS基礎(chǔ)軟件PaaS產(chǎn)品層之Kafka PaaS：支持Kafka 0.10.X和1.1.X兩個(gè)版本，納管了行內(nèi)兩套測(cè)試環(huán)境Kafka集群和主備兩套生產(chǎn)環(huán)境Kafka集群。其中，資源申請(qǐng)模塊提供了Kafka接入的自服務(wù)申請(qǐng)功能，多集群管理模塊為管理員提供了Kafka多集群維護(hù)管理功能，Broker管理模塊提供了Broker信息列表查詢，批量重啟、輪轉(zhuǎn)重啟等功能，Topic管理模塊提供了Topic增、刪、改、查及消息查詢等功能，消費(fèi)組管理提供了消費(fèi)者信息查詢，重置消費(fèi)者offs

14、et等功能，Zookeeper管理模塊提供了Kafka集群所依賴的Zookeeper的管理功能。訪問代理PaaS基礎(chǔ)軟件PaaS產(chǎn)品層之訪問代理PaaS：提供了基于Tesla gateway（我行自主研發(fā)的高性能輕量級(jí)代理網(wǎng)關(guān)）的訪問代理自服務(wù)申請(qǐng)和管理能力。訪問代理PaaS提供的訪問代理基于容器化實(shí)現(xiàn)，主要用于代理轉(zhuǎn)發(fā)，代替原來Apache的部分功能。代理訪問類型分為入訪和出訪，支持的協(xié)議類型包括http和https。資源管理模塊提供了訪問代理基本信息展示，及訪問代理實(shí)例的停止、下線、探活等基礎(chǔ)操作。資源監(jiān)控模塊為管理員提供了K8S節(jié)點(diǎn)資源、訪問代理端口資源使用情況的監(jiān)控功能，端口配置為管理

15、員提供了訪問代理端口查詢及分配等功能。4、總結(jié)與規(guī)劃目前基礎(chǔ)軟件PaaS項(xiàng)目一期建設(shè)已經(jīng)開發(fā)完成并上線，達(dá)成了預(yù)期的目標(biāo)：實(shí)現(xiàn)了基礎(chǔ)軟件部署安裝流程的標(biāo)準(zhǔn)化，簡(jiǎn)化了部署參數(shù)，提升了基礎(chǔ)軟件申請(qǐng)效率；實(shí)現(xiàn)了部分基礎(chǔ)軟件部署實(shí)施的自動(dòng)化，基礎(chǔ)軟件部署實(shí)施自動(dòng)化覆蓋率達(dá)到80%，部署平均時(shí)間降低到小時(shí)級(jí)，部署效率大幅提升，測(cè)試環(huán)境交付時(shí)間達(dá)到小時(shí)級(jí)，生產(chǎn)環(huán)境新系統(tǒng)上線平均交付時(shí)間由1個(gè)變更周期降低到3個(gè)工作日；基礎(chǔ)軟件管理員、應(yīng)用運(yùn)維人員需要直接登錄服務(wù)器比例大幅降低?；A(chǔ)軟件PaaS一期的上線運(yùn)行，使我們向著智能化運(yùn)維邁出了重要的一步。在此基礎(chǔ)上，我們計(jì)劃繼續(xù)進(jìn)行基礎(chǔ)軟件PaaS建設(shè)和探索，優(yōu)化平臺(tái)架構(gòu)，實(shí)現(xiàn)應(yīng)用容器化部署；完善公共模塊層功能，增強(qiáng)配置信息更新模塊，實(shí)現(xiàn)基礎(chǔ)軟件CMDB信息的準(zhǔn)實(shí)時(shí)同步，完善自動(dòng)化巡檢模塊、報(bào)表模塊，實(shí)現(xiàn)所有產(chǎn)品的深度巡檢報(bào)表、問題報(bào)表、資源統(tǒng)計(jì)報(bào)表等報(bào)表功能，節(jié)省人工生成報(bào)表成本；執(zhí)行層優(yōu)化自動(dòng)化執(zhí)行模塊，進(jìn)行參數(shù)標(biāo)準(zhǔn)化改造，執(zhí)行引擎分布式改造