分布式DevOps平臺立項需求報告

1、PAGE 30 分布式DevOps平臺立項需求報告 目 錄 TOC o 1-4 h z u HYPERLINK l _Toc500169914 第一部分 項目背景 PAGEREF _Toc500169914 h 1 HYPERLINK l _Toc500169915 1.項目介紹 PAGEREF _Toc500169915 h 1 HYPERLINK l _Toc500169916 1.1 項目背景 PAGEREF _Toc500169916 h 1 HYPERLINK l _Toc500169917 1.2 項目目標 PAGEREF _Toc500169917 h 2 HYPERLINK l

2、 _Toc500169918 第二部分 項目需求分析 PAGEREF _Toc500169918 h 3 HYPERLINK l _Toc500169919 2.系統(tǒng)需求分析 PAGEREF _Toc500169919 h 3 HYPERLINK l _Toc500169920 2.1 系統(tǒng)目標 PAGEREF _Toc500169920 h 3 HYPERLINK l _Toc500169921 2.2 系統(tǒng)特點 PAGEREF _Toc500169921 h 5 HYPERLINK l _Toc500169922 2.3 功能需求 PAGEREF _Toc500169922 h 5 HYP

3、ERLINK l _Toc500169923 2.4 非功能需求 PAGEREF _Toc500169923 h 10 HYPERLINK l _Toc500169924 2.5 技術指標 PAGEREF _Toc500169924 h 11 HYPERLINK l _Toc500169925 2.6 建設任務 PAGEREF _Toc500169925 h 11第一部分 項目背景項目介紹1.1 項目背景互聯(lián)網的商業(yè)化應用對傳統(tǒng)金融機構的業(yè)務產生了巨大影響，促使了互聯(lián)網思維向金融市場發(fā)展，它體現(xiàn)出商業(yè)銀行的三大轉型趨勢：（1）高度重視互聯(lián)網“長尾效應”，提升客戶活期存款價值；（2）挖掘互聯(lián)網渠

4、道的潛力，提高基金代銷和理財產品的服務效益；（3）制定大數(shù)據經營戰(zhàn)略，打造聯(lián)盟電商平臺。銀行作為金融的重要組成部分之一，是我國經濟運籌的協(xié)調中樞，也是我國戰(zhàn)略的核心。傳統(tǒng)銀行業(yè)務系統(tǒng)具有封閉性，用戶訪問峰值可預測，應用版本迭代慢，創(chuàng)新性不足，通常采用IOE架構和人工運維手段滿足用戶需求。隨著銀行互聯(lián)化化發(fā)展趨勢，業(yè)務系統(tǒng)呈現(xiàn)出開放性，用戶量不可預測，應用新功能更新頻繁的新特點。為進一步完善金融互聯(lián)化基礎平臺的產品體系，分布式系統(tǒng)DevOps平臺主要解決應用自動化部署、運行和維護管理的問題，用以彌補基礎資源與應用系統(tǒng)間的技術鴻溝，提升具備大并發(fā)、高可用特性的應用的研制效率與質量。DevOps平臺

5、核心用途是金融互聯(lián)網創(chuàng)新應用提供創(chuàng)建、部署、運行、監(jiān)控管理等運行時環(huán)境，提供協(xié)議接入與解析、負載均衡、生命周期管理、錯誤容忍與失效恢復等基礎服務，使之具備高可靠性、高伸縮性、高可用性、易定制性等特點，主要分為基礎設施、應用發(fā)布和監(jiān)控管理三部分，分別為銀行業(yè)務系統(tǒng)互聯(lián)網化提供技術基礎、自動和可視化管理、可靠性保障在基礎設施方面，越來越多的公司正在采用輕量級虛擬化技術，通過復用底層OS實例而非實例化OS實例的手段（輕量級），使得銀行業(yè)務系統(tǒng)具有秒級啟動的能力，可較好滿足銀行業(yè)務系統(tǒng)的部署時效性需求。當前，輕量級虛擬化方案主要包括LXC和Docker兩類。其中，后者具有隔離和應用環(huán)境固化的新特性，能

6、很好滿足銀行業(yè)務系統(tǒng)部署的安全和自動化需求，是技術發(fā)展的主流。在應用發(fā)布方面，為了滿足基于Docker的應用部署、運行和維護的易操作需求，應用發(fā)布平臺具有可視化應用部署、負載均衡等能力，可一鍵化構建出應用及其運行環(huán)境與Docker基礎設施的映射關系；并具有與監(jiān)控平臺協(xié)同工作的能力，及時發(fā)現(xiàn)基礎設施、應用的失效，并采用補償?shù)葯C制進行修復，保障銀行業(yè)務系統(tǒng)的高可靠運行。在監(jiān)控管理方面，為了應對數(shù)據延時和IT資源分散狀況，越來越多的公司正將服務和應用程序從遠程分支機構遷移到數(shù)據中心集中管理，這就使得數(shù)據中心的IT資源越來越多，數(shù)據中心越來越趨于大型化，管理對象包括小型機、服務器、虛擬機、數(shù)據庫和各種

7、應用，傳統(tǒng)的網絡管理和監(jiān)控面臨巨大挑戰(zhàn)。在這種情形下，監(jiān)控管理和可靠性保障是保證服務質量的關鍵。1.2 項目目標針對網絡計算環(huán)境開放、動態(tài)、多變的特性，面向大型網絡應用高效運行的服務質量需求，研發(fā)DevOps平臺。該平臺為應用提供創(chuàng)建、部署、運行、監(jiān)控等全生命周期管理，并提供協(xié)議接入與解析、負載均衡、失效恢復，以及異構數(shù)據庫透明訪問等服務，使其具備高可靠性、高伸縮性、高可用性、易定制性等特點。可以根據用戶實際需求和特點，提供靈活配置，真正實現(xiàn)按需服務。應用發(fā)布平臺既遵循國際規(guī)范，更注重技術上的不斷創(chuàng)新，不僅在功能上與國際主流產品保持同步，而且在系統(tǒng)的可伸縮性、可靠性、安全性以及穩(wěn)定性等方面也具

8、有較強的優(yōu)勢。其中，DevOps平臺主要包含三個方面：在基礎設施平臺方面，采用輕量級虛擬化實現(xiàn)技術Docker，用于物理資源分時復用、應用實例隔離和應用環(huán)境固化。重點實現(xiàn)私有局域網環(huán)境下Docker集群管理、Docker可用性和可靠性評估、Docker鏡像存儲方案等關鍵技術，對不滿足公司需求的Docker實現(xiàn)進行改造和完善。在應用發(fā)布平臺方面，基于自主研發(fā)、可視化交付、向導式操作原則，以應用部署、運行和維護為核心，采用補償機制同步應用發(fā)布平臺和基礎設施平臺的狀態(tài)一致性，采用事件機制實現(xiàn)應用發(fā)布平臺和監(jiān)控平臺的互操作。使得應用的異?？稍诒O(jiān)控平臺中及時的發(fā)現(xiàn)，應用的管理可在發(fā)布平臺中容易執(zhí)行。監(jiān)控

9、管理工具從性能監(jiān)控和故障監(jiān)控兩個方面實現(xiàn)對大并發(fā)服務引擎的全面監(jiān)控。性能監(jiān)控模塊利用監(jiān)控代理程序獲取性能數(shù)據，服務器端收集性能數(shù)據，并利用持久化存儲工具將數(shù)據存入數(shù)據庫，利用這些數(shù)據實現(xiàn)物理機和虛擬機性能的監(jiān)控。故障監(jiān)控模塊配置監(jiān)控主機與服務，并利用監(jiān)控插件實現(xiàn)檢測，將結果信息上傳給服務器，服務器端實時監(jiān)控并產生告警信息。性能監(jiān)控、故障監(jiān)控、告警和統(tǒng)計報表共同構成DevOps平臺的監(jiān)控體系，使系統(tǒng)管理人員可以實時了解大并發(fā)服務引擎的運行狀況，及時處理異常狀況，提高DevOps平臺的服務質量。第二部分 項目需求分析系統(tǒng)需求分析2.1 系統(tǒng)目標公司股份公司是中國大陸第一家由民間資本設立的全國性商業(yè)

10、銀行，是我國金融行業(yè)的重要組成部分，也是我國銀行界金融互聯(lián)化化的先驅，其直銷銀行業(yè)務突破了傳統(tǒng)實體網點經營模式，主要通過互聯(lián)網渠道拓展客戶，具有客群清晰、產品簡單、渠道便捷等特點，其充分尊重互聯(lián)網用戶習慣，提供操作便捷的網站、手機銀行和微信銀行等多渠道互聯(lián)網金融服務。為了進一步適應直銷銀行互聯(lián)化需求，（1）用戶訪問難以預計，應用需要根據訪問量調整自身的規(guī)模，比如類似淘寶“雙十一”凌晨瞬時并發(fā)量超過1000萬。未來，隨著直銷銀行業(yè)務的不斷推進，系統(tǒng)應能承擔大規(guī)模批量開戶、促銷活動等高并發(fā)交易量的場景。（2）版本迭代頻率高。直銷銀行通過互聯(lián)網直接為客戶提供服務，應參考業(yè)界的互聯(lián)網公司產品的推出速度

11、，預計最少1-2周更新一次。為滿足以直銷銀行為代表的銀行業(yè)務互聯(lián)網化需求，分布式核心系統(tǒng)主要包含兩個部分，一是將直銷銀行等應用由傳統(tǒng)的IOE架構改造成分布式系統(tǒng)架構，解決應用本身的容量瓶頸；而是優(yōu)化直銷銀行等應用的基礎架構，使得這些應用具有更好的擴展性，更便捷的交付能力，為按需可靠資源提供奠定基礎，整體需求如圖1所示。圖1 分布式核心系統(tǒng)總覽本項目主要關注基礎設施（資源易管理）、可視化和自動部署、可監(jiān)測可預警，以應用為核心，關注其部署、配置、運行和運維，簡化應用開發(fā)和運維的交付復雜度，即 DevOps平臺應，其具備以下功能：開發(fā)者進行新版本的應用開發(fā)后，應具有應用模板自動制作和發(fā)版，按需生成可

12、運行的應用集群的功能。運維人員通過可視化界面，選擇合適的部署策略，即可完成應用新版本的發(fā)布、審計和維護；在新版本發(fā)布后，系統(tǒng)具有應用監(jiān)測的能力，并可根據預先設置的策略，完成應用的伸縮管理和容錯管理。為解決以上問題，云平臺的構建引入業(yè)界先進的DevOps（英文Development和Operations的組合）思想。DevOps是一組過程、方法與系統(tǒng)的統(tǒng)稱，用于促進開發(fā)（應用程序/軟件工程）、技術運營和質量保障（QA）部門之間的溝通、協(xié)作與整合。云平臺能夠解決應用部署繁瑣，開發(fā)和運維部門溝通耗時，人工部署復雜易錯的問題，有效提升應用部署管理效率。具體而言，研發(fā)基于Docker的云平臺實現(xiàn)應用的快

13、速發(fā)布、部署，運行與維護管理平臺（簡稱DevOps平臺）。分布式核心系統(tǒng)的應用程序將運行在Docker云平臺上。該平臺包含Docker集群管理、應用發(fā)布管理和一體化監(jiān)控。項目將使用最新的DevOps思想實現(xiàn)應用的快速開發(fā)投產，提升版本發(fā)布、維護的自動化水平，降低生產維護人員的工作成本和投產風險。如圖2所示， DevOps平臺主要由三大子平臺組成：基礎設施平臺：采用Docker集群復用底層物理資源，其目的是實現(xiàn)物理資源的可編程，提高資源利用率；利用Docker可固化應用運行環(huán)境的特點，簡化應用部署的復雜度。應用發(fā)布平臺：應用發(fā)布平臺用戶構建應用和物理資源的映射關系，它采用可視化手段，在幫助運維人

14、員在維護直銷銀行等應用時，屏蔽底層物理資源分配的復雜性。一體化監(jiān)控：一體化監(jiān)控的作用是監(jiān)測應用（運行在Docker容器上）的可用性，并采用預警機制，預先對可能出現(xiàn)問題的應用進行報警，幫助運維人員快速發(fā)現(xiàn)、定位問題，并將應用從失效狀態(tài)進行恢復。圖2 DevOps平臺組成2.2 系統(tǒng)特點基礎運行平臺為應用提供運行基礎環(huán)境，具有分時復用物理資源，提高資源利用率能力；具有固化應用及其運行環(huán)境，簡化應用部署的能力；具備高可靠性、高伸縮性、高可用性特點，并提供Restful管理接口。應用發(fā)布平臺提供協(xié)議接入與解析、負載均衡、生命周期管理、失效恢復與容錯等基礎服務，可視化整個應用部署流程、部署策略和維護管理

15、。監(jiān)控管理平臺能夠以分布式的方式對數(shù)據中心主機、操作系統(tǒng)、數(shù)據庫、應用服務器和應用的性能數(shù)據進行自定義監(jiān)控和展示。通過定義復雜的報警邏輯，并采用基于郵件、SMS的報警機制來通知管理員，能夠第一時間對問題采取應對措施。2.3 功能需求基礎運行平臺（1）運行環(huán)境組件版本備注操作系統(tǒng)CentOS/Redhat 7.1對比7.0和7.1版本Docker1.9.1對比1.3.2，1.6.1和1.8.3版本Swarm1.0.0對比0.3、0.4和1.0.0版本Docker-registry0.9.1對比0.9.1和2.x版本（2）兼容性Swarm集群支持所有Docker指令。應用發(fā)布平臺圖3列出了應用發(fā)布

16、平臺的6個子模塊和17個功能模塊：圖 3應用發(fā)布平臺功能需求主機管理：主機管理提供對物理服務器的管理，包括查看主機列表，連接主機，主機加入集群，主機移出集群，修改主機，刪除主機功能；集群管理：集群管理是對服務器的統(tǒng)一規(guī)劃和管理，包括查看集群列表，創(chuàng)建集群，修改集群，應用約束，添加主機，解綁主機，健康檢查，恢復集群，刪除集群功能；鏡像管理：鏡像管理是對鏡像的統(tǒng)一管理，包括查看鏡像列表，創(chuàng)建鏡像，發(fā)布鏡像，刪除鏡像，修正鏡像功能；容器管理：容器管理是對容器的統(tǒng)一管理，容器中包含的是應用的具體實例。包括查看容器列表，創(chuàng)建容器，啟動容器，停止容器，刪除容器，同步容器功能；負載管理：負載管理是負載服務器

17、的邏輯實現(xiàn)，直接和負載服務器對接，目前采用nginx做負載均衡。包括查看負載列表，添加負載，添加應用，移除應用，修改負載，刪除負載功能；倉庫管理：倉庫管理是倉庫服務器的邏輯實現(xiàn)，直接和倉庫服務器對接。包括創(chuàng)建倉庫，修改倉庫，刪除倉庫，同步鏡像，查看鏡像，查看倉庫列表功能；應用管理：應用管理是對同一種類型應用的邏輯實現(xiàn)，應用和負載以及集群相關聯(lián)。包括查看應用列表，創(chuàng)建應用，修改應用，刪除應用；參數(shù)管理：參數(shù)管理是根據不同的類型，在和服務器交互時需要傳遞的參數(shù)的集合。包括查看參數(shù)列表，添加參數(shù)，修改參數(shù)，刪除參數(shù)；模板管理：模板管理是對于容器提供時統(tǒng)一參數(shù)的管理，目前模板是對啟動參數(shù)的集合，在容器

18、啟動時指定模板，即可按照模板指定的參數(shù)進行。包括查看模板列表，添加模板，修改模板，刪除模板；日志管理：日志管理是對用戶操作行為以及用戶操作請求的記錄。包括查詢日志，日志展示；用戶管理：用戶管理是對平臺用戶的統(tǒng)一管理。包括查看用戶列表，創(chuàng)建用戶，修改用戶，刪除用戶，用戶授權功能；角色管理：角色管理定義了平臺中的角色，并且針對不同的角色賦予不同的權限，包括查看角色列表，角色授權，角色編輯功能；權限管理：權限管理定義了平臺中可以操作的行為，并且限定了不同用戶對同一個權限的可操作性，事項用戶行為的隔離。包括查看權限列表，編輯權限名稱功能；數(shù)據總覽：數(shù)據總覽是對運行在發(fā)布平臺中所有的資源匯總，包括主機數(shù)

19、量，集群數(shù)量，負載數(shù)據量，倉庫數(shù)量，鏡像數(shù)量，容器數(shù)量等。監(jiān)控管理：與監(jiān)控平臺互操作，將監(jiān)控對象按需添加到監(jiān)控平臺中；報表管理：可查看周、月、季、年的資源監(jiān)控信息，并可以按照一個格式導出，形成報表，比如PDF和excel格式；預警管理：為監(jiān)控對象添加預警規(guī)則，防止應用因違反某條規(guī)則導致失效；服務管控：與中間件平臺互操作，具有中間件服務升級和降級的能力；異常處理：具有流水的補償和沖正操作客戶信息查詢、賬戶信息查詢等能力。一體化監(jiān)控平臺一、容器內監(jiān)控狀態(tài)監(jiān)控：狀態(tài)監(jiān)控功能需要監(jiān)控的容器和中間件的狀態(tài)包括：運行狀態(tài)關閉狀態(tài)性能監(jiān)控：（1）Container監(jiān)控數(shù)據主要包括：CPU利用率內存占用率網絡

20、讀速度網絡寫速度（2）DeviceMapper監(jiān)控數(shù)據主要包括：DeviceMapper數(shù)據總大小DeviceMapper數(shù)據已使用量DeviceMapper元數(shù)據總大小DeviceMapper元數(shù)據使用量（3）Dubbo監(jiān)控（中間件提供接口）（4）Zdal監(jiān)控數(shù)據（中間件提供接口）（5）Sequence監(jiān)控（中間件提供接口）（6）其它監(jiān)控二、中間件監(jiān)控（7）Zookeeper監(jiān)控數(shù)據主要包括：平均延遲最大延遲最小延遲接收包數(shù)量發(fā)送包數(shù)量服務器角色Znode數(shù)量Watch數(shù)量Ephemerals數(shù)量數(shù)據大小Follower數(shù)量連接數(shù)已打開文件數(shù)最大文件數(shù)（8）Redis監(jiān)控數(shù)據主要包括：cli

21、ent連接數(shù)client阻塞數(shù)內存使用量Human內存使用量Rss內存使用量Peak內存使用量Peak_human內存使用量Lua內存使用量數(shù)據加載量Rdb數(shù)據改變量Rdb數(shù)據保存量Rdb數(shù)據正在寫入量集群有效性狀態(tài)客戶端最大輸入緩存客戶端最長輸出緩存客戶端連接數(shù)key命中次數(shù)key未命中次數(shù)內存碎片率cpu使用率（9）Nginx監(jiān)控數(shù)據主要包括：接收的請求數(shù)活躍連接數(shù)讀取客戶端的連接數(shù)相應數(shù)據到客戶端的數(shù)量處理的請求數(shù)（10）ActiveMQ監(jiān)控數(shù)據主要包括：主體數(shù)隊列數(shù)最大隊列長度訂閱節(jié)點數(shù)量（11）Tomcat監(jiān)控數(shù)據主要包括連接數(shù)最大連接數(shù)并發(fā)線程數(shù)內存使用類加載個數(shù)（12）Mysql

22、監(jiān)控數(shù)據主要包括Key_writes 將一個鍵值塊物理寫入磁盤的次數(shù)Max_used_connections 同時使用的連接的最大數(shù)目Open_tables 打開表的數(shù)量Opened_tables 已經打開的表的數(shù)量Questions 發(fā)往服務器的查詢的數(shù)量Slow_queries 要花超過long_query_time時間的查詢數(shù)量Threads_connected 當前打開的連接的數(shù)量Threads_running 不在睡眠的線程數(shù)量三、監(jiān)控報警支持郵件和短信報警。2.4 非功能需求基礎運行平臺支持大規(guī)模應用場景：單個Docker集群可管理不小于100臺物理機，且易于擴展；性能需求：能夠快速響應系統(tǒng)的狀態(tài)同步、查詢等請求，同步間隔不超過30秒，查詢響應延遲小于2秒；安裝與配置簡單，學習成本低：基礎運行平臺可以通過一鍵安裝腳本進行安裝。應用發(fā)布平臺支持多種客戶端、跨異構平臺：支持多種客戶端，如Web瀏覽器、Java客戶端等；可運行在多種操作系統(tǒng)上，如Linux、Unix和Windows等；可定制和可擴展的安全機制：提供可配置和可擴展的，滿足公司需求安全實現(xiàn)；靈活的應用部署機制：支持本地、FTP和War上傳等多種機制。一體化監(jiān)控平臺支持大規(guī)模應用場景：滿足多租戶部署應用的大規(guī)模使用場景，單個Docker集群實例的監(jiān)控規(guī)模不小于10