分布式核心DevOps平臺建設服務方案

目錄

第一部分項目建議書1

1.項目介紹1

1.1項目背景.1

1.2項目目標.2

2.系統(tǒng)需求分析3

2.1系統(tǒng)目標.3

2.2系統(tǒng)特點.4

2.3功能需求5

2.5技術指標.11

2.6建設任務.11

3.系統(tǒng)總體設計12

3.11年帛臺功能模塊13

3.2.2應用發(fā)布平臺功能模塊14

3.2.3一體化監(jiān)控平臺功能模塊14

3.3.1I'm15

3.3.2/|J*?—?15

3.3.3llil.J1_116

3.4技術要求.16

4.DEVOPS平臺設計17

A1基仙設施平A/7

?1?1才^^^^^^???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????1

?1?2［玄］???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????1

4.1.3名且萬戈木口坡J肓8........18

4.1.4基礎軟件的安裝25

416主金軟硬4諄臺支持27

Flj彳V/-I—］???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

4.2.1概述28

422架構29

423技術調(diào)研29

牛為7^????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????36

425鏡像管理39

^^?2?6(a^牛:矛II^2**婁攵百

427發(fā)布管理40

4.2.8統(tǒng)計報表42

429運堆操作43

4210權限管理44

A?—，依什照妗

43［概述48

432型構SO

4.3.4技術調(diào)研57

435容器監(jiān)控62

436容器內(nèi)組件監(jiān)控63

437中間件監(jiān)櫛64

‘^?3?81巾1)I%!1f匚i匚j???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

4.3.9統(tǒng)計報表66

)I)J口/5，彳^??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????7

1

51編碼規(guī)范67

.??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

521文檔驗收與交付67

5■2■2車夕、彳一1?3^^U夕I'j彳寸*68

5?彳~^*I-][???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

5?3?1為《―卜'^^8

532監(jiān)控管理平臺70

54旬謳芹和70

l-I力11T1

1彳:??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????1

7*I

f口口^^!^???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????^7]

64集中測試交付72

11ii于Jm-

7?i9??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

711管理職責73

7i2項目的‘實現(xiàn)73

7?1?3、夕》由‘〒；^口己攵76

17?2?2：1：??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????8^)

7.2.3人員構成和任務劃分80

7.3保障措施80

7售后服務8]

8.1技術支持及售后服務體系81

8.2技術支持及售后服務方式82

.03萬刃：??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????^^3

bf寸U11(j3d????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????1

'I*【二1|Trf??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

ONCE平臺關鍵技術7

ONCE平臺歷中27

2

第一部分項目建議書

1.項目介紹

1.1項目背景

互聯(lián)網(wǎng)的商業(yè)化應用對傳統(tǒng)金融機構的業(yè)務產(chǎn)生了巨大影響，促使了互聯(lián)網(wǎng)思維向金

融市場發(fā)展，它體現(xiàn)出商業(yè)銀行的三大轉型趨勢：（1）高度重視互聯(lián)網(wǎng)“長尾效應”，提升

客戶活期存款價值；（2）挖掘互聯(lián)網(wǎng)渠道的潛力，提高基金代銷和理財產(chǎn)品的服務效益；

（3）制定大數(shù)據(jù)經(jīng)營戰(zhàn)略，打造聯(lián)盟電商平臺。

銀行作為金融的重要組成部分之一，是我國經(jīng)濟運籌的協(xié)調(diào)中樞，也是我國戰(zhàn)略的核

心。傳統(tǒng)銀行業(yè)務系統(tǒng)具有封閉性，用戶訪問峰值可預測，應用版本迭代慢，創(chuàng)新性不足,

通常采用IOE架構和人工運維手段滿足用戶需求。隨著銀行互聯(lián)化化發(fā)展趨勢，業(yè)務系統(tǒng)

呈現(xiàn)出開放性，用戶量不可預測，應用新功能更新頻繁的新特點。為進一步完善金融互聯(lián)

化基礎平臺的產(chǎn)品體系，分布式系統(tǒng)DevOps平臺主要解決應用自動化部署、運行和維護

管理的問題，用以彌補基礎資源與應用系統(tǒng)間的技術鴻溝，提升具備大并發(fā)、高可用特性

的應用的研制效率與質量。DevOps平臺核心用途是金融互聯(lián)網(wǎng)創(chuàng)新應用提供創(chuàng)建、部署、

運行、監(jiān)控管理等運行時環(huán)境，提供協(xié)議接入與解析、負載均衡、生命周期管理、錯誤容

忍與失效恢復等基礎服務，使之具備高可靠性、高伸縮性、高可用性、易定制性等特點，

主要分為基礎設施、應用發(fā)布和監(jiān)控管理三部分，分別為銀行業(yè)務系統(tǒng)互聯(lián)網(wǎng)化提供技術

基礎、自動和可視化管理、可靠性保障

在基礎設施方面，越來越多的公司正在采用輕量級虛擬化技術，通過復用底層OS實

例而非實例化OS實例的手段（輕量級），使得銀行業(yè)務系統(tǒng)具有秒級啟動的能力，可較

好滿足銀行業(yè)務系統(tǒng)的部署時效性需求。當前，輕量級虛擬化方案主要包括LXC和Docker

兩類。其中，后者具有隔離和應用環(huán)境固化的新特性，能很好滿足銀行業(yè)務系統(tǒng)部署的安

全和自動化需求，是技術發(fā)展的主流。

在應用發(fā)布方面，為了滿足基于Docker的應用部署、運行和維護的易操作需求，應用

發(fā)右平臺具有可視化應用部署、負載均衡等能力，可一鍵化構建出應用及其運行環(huán)境與

Docker基礎設施的映射關系；并具有與監(jiān)控平臺協(xié)同工作的能力，及時發(fā)現(xiàn)基礎設施、應

用的失效，并采用補償?shù)葯C制進行修復，保障銀行業(yè)務系統(tǒng)的高可靠運行。

在監(jiān)控管理方面，為了應對數(shù)據(jù)延時和IT資源分散狀況，越來越多的公司正將服務和

1

應用程序從遠程分支機構遷移到數(shù)據(jù)中心集中管理，這就使得數(shù)據(jù)中心的IT資源越來越多，

數(shù)據(jù)中心越來越趨于大型化，管理對象包括小型機、服務器、虛擬機、數(shù)據(jù)庫和各種應用，

傳統(tǒng)的網(wǎng)絡管理和監(jiān)控面臨巨大挑戰(zhàn)。在這種情形下，監(jiān)控管理和可靠性保障是保證服務

質量的關鍵。

1.2項目目標

針對網(wǎng)絡計算環(huán)境開放、動態(tài)、多變的特性，面向大型網(wǎng)絡應用高效運行的服務質量

需求，研發(fā)DevOps平臺。該平臺為應用提供創(chuàng)建、部署、運行、監(jiān)控等全生命周期管理，

并提供協(xié)議接入與解析、負載均衡、失效恢復，以及異構數(shù)據(jù)庫透明訪問等服務，使其具

備高可靠性、高伸縮性、高可用性、易定制性等特點。可以根據(jù)用戶實際需求和特點，提

供靈活配置，真正實現(xiàn)按需服務。應用發(fā)布平臺既遵循國際規(guī)范，更注重技術上的不斷創(chuàng)

新，不僅在功能上與國際主流產(chǎn)品保持同步，而且在系統(tǒng)的可伸縮性、可靠性、安全性以

及穩(wěn)定性等方面也具有較強的優(yōu)勢。其中，DevOps平臺主要包含三個方面：

在基礎設施平臺方面，采用輕量級虛擬化實現(xiàn)技術——Docker,用于物理資源分時復

用、應用實例隔離和應用環(huán)境固化。重點實現(xiàn)私有局域網(wǎng)環(huán)境下Docker集群管理、Docker

可用性和可靠性評估、Docker鏡像存儲方案等關鍵技術，對不滿足中國民生銀行需求的

Docker實現(xiàn)進行改造和完善。

在應用發(fā)布平臺方面，基于自主研發(fā)、可視化交付、向導式操作原則，以應用部署、

運行和維護為核心，采用補償機制同步應用發(fā)布平臺和基礎設施平臺的狀態(tài)一致性，采用

事件機制實現(xiàn)應用發(fā)布平臺和監(jiān)控平臺的互操作。使得應用的異?？稍诒O(jiān)控平臺中及時的

發(fā)現(xiàn)，應用的管理可在發(fā)布平臺中容易執(zhí)行。

監(jiān)控管理工具從性能監(jiān)控和故障監(jiān)控兩個方面實現(xiàn)對大并發(fā)服務引擎的全面監(jiān)控。性

能監(jiān)控模塊利用監(jiān)控代理程序獲取性能數(shù)據(jù)，服務器端收集性能數(shù)據(jù)，并利用持久化存儲

工具將數(shù)據(jù)存入數(shù)據(jù)庫，利用這些數(shù)據(jù)實現(xiàn)物理機和虛擬機性能的監(jiān)控。故障監(jiān)控模塊配

置監(jiān)控主機與服務，并利用監(jiān)控插件實現(xiàn)檢測，將結果信息上傳給服務器，服務器端實時

監(jiān)控并產(chǎn)生告警信息。性能監(jiān)控、故障監(jiān)控、告警和統(tǒng)計報表共同構成DevOps平臺的監(jiān)

控體系，使系統(tǒng)管理人員可以實時了解大并發(fā)服務引擎的運行狀況，及時處理異常狀況，

提高DevOps平臺的服務質量。

2

2.系統(tǒng)需求分析

2.1系統(tǒng)目標

中國大陸第一家由民間資本設立的全國性商業(yè)銀行，是我國金融行業(yè)的重要組成部分,

也是我國銀行界金融互聯(lián)化化的先驅，其直銷銀行業(yè)務突破了傳統(tǒng)實體網(wǎng)點經(jīng)營模式，主

要通過互聯(lián)網(wǎng)渠道拓展客戶，具有客群清晰、產(chǎn)品簡單、渠道便捷等特點，其充分尊重互

聯(lián)網(wǎng)用戶習慣，提供操作便捷的網(wǎng)站、手機銀行和微信銀行等多渠道互聯(lián)網(wǎng)金融服務。

為了進一步適應直銷銀行互聯(lián)化需求，（1）用戶訪問難以預計，應用需要根據(jù)訪問量

調(diào)整自身的規(guī)模，比如類似淘寶“雙十一”凌晨瞬時并發(fā)量超過1000萬。未來，隨著直銷銀

行業(yè)務的不斷推進，系統(tǒng)應能承擔大規(guī)模批量開戶、促銷活動等高并發(fā)交易量的場景。（2）

版本迭代頻率高。直銷銀行通過互聯(lián)網(wǎng)直接為客戶提供服務，應參考業(yè)界的互聯(lián)網(wǎng)公司產(chǎn)

品的推出速度，預計最少1-2周更新一次。

為滿足以直銷銀行為代表的銀行業(yè)務互聯(lián)網(wǎng)化需求，分布式核心系統(tǒng)主要包含兩個部

分，一是將直銷銀行等應用由傳統(tǒng)的IOE架構改造成分布式系統(tǒng)架構，解決應用本身的容

量瓶頸；而是優(yōu)化直銷銀行等應用的基礎架構，使得這些應用具有更好的擴展性，更便捷

的交付能力，為按需可靠資源提供奠定基礎，整體需求如圖1所示。

直銷銀行等應用

可視化?口可監(jiān)測

百的部署可預警

分布式系統(tǒng)軟件

基礎設施，資源易管理

圖1分布式核心系統(tǒng)總覽

本項目主要關注基礎設施（資源易管理）、可視化和自動部署、可監(jiān)測可預警，以應

用為核心，關注其部署、配置、運行和運維，簡化應用開發(fā)和運維的交付復雜度，即DevOps

平臺應，其具備以下功能：

?開發(fā)者進行新版本的應用開發(fā)后，應具有應用模板自動制作和發(fā)版，按需生成可運

行的應用集群的功能。

?運維人員通過可視化界面，選擇合適的部署策略，即可完成應用新版本的發(fā)布、審

計和維護；

?在新版本發(fā)布后，系統(tǒng)具有應用監(jiān)測的能力，并可根據(jù)預先設置的策略，完成應用

3

的伸縮管理和容錯管理。

為解決以上問題，云平臺的構建引入業(yè)界先進的DevOps（英文Development和

Operations的組合）思想。DevOps是一組過程、方法與系統(tǒng)的統(tǒng)稱，用于促進開發(fā)（應用

程序/軟件工程）、技術運營和質量保障（QA）部門之間的溝通、協(xié)作與整合。云平臺能

夠解決應用部署繁瑣，開發(fā)和運維部門溝通耗時，人工部署復雜易錯的問題，有效提升應

用部署管理效率。具體而言，研發(fā)基于Docker的云平臺實現(xiàn)應用的快速發(fā)布、部署，運行

與維護管理平臺（簡稱DevOps平臺）。分布式核心系統(tǒng)的應用程序將運行在Docker云平

臺上。該平臺包含Docker集群管理、應用發(fā)布管理和一體化監(jiān)控。項目將使用最新的DevOps

思想實現(xiàn)應用的快速開發(fā)投產(chǎn)，提升版本發(fā)布、維護的自動化水平，降低生產(chǎn)維護人員的

工作成本和投產(chǎn)風險。

如圖2所示，DevOps平臺主要由三大子平臺組成：

?基礎設施平臺：采用Docker集群復用底層物理資源，其目的是實現(xiàn)物理資源的可

編程，提高資源利用率；利用Docker可固化應用運行環(huán)境的特點，簡化應用部署

的復雜度。

?應用發(fā)布平臺：應用發(fā)布平臺用戶構建應用和物理資源的映射關系，它采用可視化

手段，在幫助運維人員在維護直銷銀行等應用時，屏蔽底層物理資源分配的復雜性。

?一體化監(jiān)控：一體化監(jiān)控的作用是監(jiān)測應用（運行在Docker容器上）的可用性，

并采用預警機制，預先對可能出現(xiàn)問題的應用進行報警，幫助運維人員快速發(fā)現(xiàn)、

定位問題，并將應用從失效狀態(tài)進行恢復。

一

體

化

監(jiān)

控

圖2DevOps平臺組成

2.2系統(tǒng)特點

a.基礎運行平臺

為應用提供運行基礎環(huán)境，具有分時復用物理資源，提高資源利用率能力；具有固化

4

應用及其運行環(huán)境，簡化應用部署的能力；具備高可靠性、高伸縮性、高可用性特點，并

提供Restful管理接口。

b.應用發(fā)布平臺

提供協(xié)議接入與解析、負載均衡、生命周期管理、失效恢復與容錯等基礎服務，可視

化整個應用部署流程、部署策略和維護管理。

c.監(jiān)控管理平臺

能夠以分布式的方式對數(shù)據(jù)中心主機、操作系統(tǒng)、數(shù)據(jù)庫、應用服務器和應用的性能

數(shù)據(jù)進行自定義監(jiān)控和展示。通過定義復雜的報警邏輯，并采用基于郵件、SMS的報警機

制來通知管理員，能夠第一時間對問題采取應對措施。

2.3功能需求

a.基礎運行平臺

(1)運行環(huán)境

組件版本備注

操作系統(tǒng)CentOS/Redhat7.1對比7.0和7.1版本

Docker1.9.1對比1.3.2,1.6.1和1.8.3版本

Swarm1.0.0對比0.3、0.4和1.0.0版本

Docker-registry0.9.1對比0.9.1和2.x版本

(2)兼容性

Swarm集群支持所有Docker指令。

b.應用發(fā)布平臺

圖3列出了應用發(fā)布平臺的6個子模塊和17個功能模塊:

5

應用發(fā)布平臺

系統(tǒng)資源管理應用發(fā)布管理統(tǒng)計報表管理運維操作管理權限管理Ui

倉

主

集

監(jiān)

報

預

服

異

庫

機

群■I

冽

表

警

務

常

管

管

管

管

管

管

管

管

理

理

理

理

理

理

控

控

參

造

容

負

應■

日

角

權

用

數(shù)

像

器

我

用

志

色

限

戶

管

管

管

管

管

管

管

管

管

理

理

理

理

理

理

理

控

控

圖3應用發(fā)布平臺功能需求

主機管理：主機管理提供對物理服務器的管理，包括查看主機列表，連