Devops概念和平臺架構(gòu)設(shè)計

Devops概念和平臺架構(gòu)設(shè)計技術(shù)創(chuàng)新，變革未來議程Agenda2D

e

v

O

p

s

-

理念分享D

e

v

O

p

s

-

運維自動化D

e

v

O

p

s

-

實施方案D

e

v

O

p

s

-

項目案例E

a

s

y

O

p

s

-

產(chǎn)品介紹3AutoNUC基于云計算架構(gòu)下的互聯(lián)網(wǎng)應(yīng)用運維的DevOps整體解決方案，利用自動化技術(shù)全面提升互聯(lián)網(wǎng)應(yīng)用發(fā)布和運營管理效能。DevOps下的IT自動化DevOps整體體系框架DevOps是一連串的工程實踐的有機組合，其中包括敏捷管理、持續(xù)交付、IT服務(wù)管理等等。DevOps是關(guān)注整個業(yè)務(wù)/應(yīng)用/服務(wù)生命周期的管理，把業(yè)務(wù)和IT的戰(zhàn)略進行了對齊。DevOps以精益思想為基礎(chǔ)，強調(diào)自動化、拉動式、“拒絕浪費、創(chuàng)造價值”等DevOps與ITIL的對比融合統(tǒng)一門戶：數(shù)據(jù)化信息需求、自動化任務(wù)需求ITIL以“離線任務(wù)”管理為主要特征以“在線服務(wù)”管理為主要特征HelpDesk變更事件問題連續(xù)性管理作用力SaaSPaaSIaaS應(yīng)用運維業(yè)務(wù)運維中間件運維平臺運維網(wǎng)絡(luò)運維服務(wù)器運維基礎(chǔ)設(shè)施運維開發(fā)測試運維開發(fā)測試運維開發(fā)測試運維規(guī)范優(yōu)先、效率低、成本高質(zhì)量、效率、成本、規(guī)范之間平衡面向管理過程（ITIL流程）面向IT運營過程（執(zhí)行)--DevOps從軟件研發(fā)模式看DevOps集成團隊!共享面向客戶的價值共享集成目標共享質(zhì)量責(zé)任TestDevQA、生產(chǎn)預(yù)發(fā)布DevOps研發(fā)敏捷迭代

0質(zhì)量保證1 234Dev

+Test預(yù)發(fā)布、生產(chǎn)Ops非DevOps模式DevOps模式DevOpsTestDevOps更是一種軟件研發(fā)模式的變化，讓IT的產(chǎn)出變得更高。DevOps讓IT部門之間、IT與業(yè)務(wù)部門之間的變得更加協(xié)同。DevOps運維自動化的本質(zhì)資源自動化A面向資源層的自動化能力，包括IaaS和PaaS層自動化應(yīng)用自動化B面向應(yīng)用的自動化能力，包括持續(xù)交付的自動化和運營維護過程自動化DevOps之持續(xù)交付（面向Dev/Test/Ops角色）持續(xù)交付是DevOps的最佳工程實踐。持續(xù)交付以部署流水線為基礎(chǔ)，以快速交付為目標。價值交付版本控制、自動化、內(nèi)建質(zhì)量、持續(xù)改進部署流水線構(gòu)建實踐自動化構(gòu)建；構(gòu)建腳本從IDE分離；集中放置源碼；針對所有環(huán)境構(gòu)建；每日構(gòu)建；快速構(gòu)建；分階段構(gòu)建持續(xù)審查代碼復(fù)雜度持續(xù)代碼升級；減少重復(fù)代碼；判斷代碼覆蓋率；代碼復(fù)用率持續(xù)測試自動化單元/組件/系統(tǒng)/功能測試；讓測試過程可重復(fù)；執(zhí)行較快的測試；將測試快慢分離持續(xù)部署 持續(xù)反饋一次構(gòu)建，四處運行；構(gòu)建結(jié) 反饋軟件的服務(wù)狀態(tài)；持續(xù)的果打上標簽；執(zhí)行所有的測試； 反饋機制?；貪L部署的能力；灰度部署的能力能力管理配置管理環(huán)境管理集成管理數(shù)據(jù)管理架構(gòu)管理部署管理測試管理流程管理管理過程持續(xù)交付文化平臺管理持續(xù)交付平臺可視化平臺立體化監(jiān)控平臺數(shù)據(jù)度量文化灰度實施持續(xù)改進打造可重復(fù)的持續(xù)交付流水線通過流水線階段晉級，平衡測試反饋速度與覆蓋度通過流水線分析瓶頸、識別自動化改造點和協(xié)作點DevOps下的運維自動化全棧的運維平臺，是要考慮各種角色／場景／能力下的交付需求，面向能力域的交付能力是一種專業(yè)化的服務(wù)能力交付價值流分析法是基于場景的分析，端到端的交付實現(xiàn)DevOps

典型組織（模式一）服務(wù)主管。對IT服務(wù)及時性相應(yīng)負責(zé)，類似Scrum的PO。DevOps工程師。有義務(wù)提高和維護自動化流程，構(gòu)建完整的自動化過程和工具，提升效率。把關(guān)人。負責(zé)監(jiān)控IT服務(wù)的運行狀態(tài)和下一步發(fā)布的進展。可靠性工程師（可選）。監(jiān)控部署過程中的服務(wù)并處理正在服務(wù)執(zhí)行中產(chǎn)生的問題流程主管。領(lǐng)導(dǎo)并促進團隊，這個角色類似于在Scrum中

的ScrumMaster運維團隊開發(fā)/測試團隊業(yè)務(wù)線服務(wù)主管-1

ServiceOwner-1服務(wù)主管-3

Service

Owner-3服務(wù)主管-2

Service

Owner-2流程主管DevOps工程師把關(guān)人可靠性工程師服務(wù)管理辦公室DevOps

典型組織（模式二）運維交付團隊業(yè)務(wù)線服務(wù)主管、流程主管、應(yīng)用交付運維服務(wù)主管、流程主管、應(yīng)用交付運維服務(wù)主管、流程主管、應(yīng)用交付運維運維交付團隊。分資源交付團隊、應(yīng)用交付團隊、運維研發(fā)團隊。運維研發(fā)負責(zé)運維交付能力自動化。開發(fā)測試團隊。設(shè)立測試研發(fā)團隊，負責(zé)測試能力自動化。DevOps研發(fā)團隊。負責(zé)從持續(xù)交付的角度端到端的能力集成。服務(wù)主管、流程主管角色不變。資源交付團隊?wèi)?yīng)用交付團隊Devops研發(fā)團隊或者叫持續(xù)交付平臺團隊運維研發(fā)團隊開發(fā)/測試團隊測試研發(fā)團隊IT運營管理導(dǎo)入實施方案運維平臺在運維體系中的位置價值體系質(zhì)量／成本／效率／安全服務(wù)體系性能優(yōu)化／體驗優(yōu)化安全／成本優(yōu)化。。。過程體系持續(xù)交付平臺自動化平臺數(shù)據(jù)平臺安全平臺平臺體系標準化體系規(guī)范體系方法論體系DevOps運維平臺的能力設(shè)計環(huán)運維平臺概念模型運維全平臺系統(tǒng)概覽(二級)IT運營平臺之CMDB邏輯架構(gòu)基礎(chǔ)資源層應(yīng)用層人工維護人工維護自動發(fā)現(xiàn)自動發(fā)現(xiàn)數(shù)據(jù)入庫數(shù)據(jù)入庫數(shù)據(jù)入庫數(shù)據(jù)入庫核心模型CMDB分核心模型和擴展模型。核心模型是業(yè)務(wù)、應(yīng)用、主機和程序包；擴展模型是基于這個實例的關(guān)聯(lián)對象。建立以應(yīng)用為中心的資源管理模型IT運營平臺之CMDB功能架構(gòu)面向DevTestOps過程的全流程自動化開發(fā)集群server列表測試集群server列表預(yù)發(fā)布集群server列表生產(chǎn)集群server列表Data文件copy升級應(yīng)用DevProduction部署編排初始化系統(tǒng)docker或程序包內(nèi)建質(zhì)量、持續(xù)改進、變更看板Data文件copy初始化系統(tǒng)Data文件copy升級應(yīng)用Data文件copy執(zhí)行自動化測試發(fā)送測試報告初始化系統(tǒng)Data文件copy升級應(yīng)用Data文件copy灰度切訪問路由初始化系統(tǒng)Data文件copy升級應(yīng)用Data文件copy灰度切訪問路由負載均衡切換階段環(huán)境動作角色Test docker或程序包 Stagingdocker或程序包持續(xù)交付之藍綠部署和金絲雀發(fā)布金絲雀發(fā)布：同一批用戶可能使用新舊版本有利于回滾逐步添加負載，增加新特性的使用藍綠部署：藍綠環(huán)境在切換的過程中，是通過路由網(wǎng)關(guān)的來控制的藍綠后端的數(shù)據(jù)也是分開兩個環(huán)境的IT運營管理平臺實施步驟第一階段平臺化運維2017.*到2018.*服務(wù)化運營2017.*到2018.*智能化運營2018.*以后第二階段第三階段第四階段運維階段目標覆蓋場景達成收益所需資源人工運維201*年*月人均維護服務(wù)器：20臺人均維護業(yè)務(wù)：1.5個人均維護應(yīng)用：5個人均維護服務(wù)器：100臺人均維護業(yè)務(wù)：5個人均維護應(yīng)用：25個人均維護服務(wù)器：1000臺人均維護業(yè)務(wù)：10個人均維護應(yīng)用：50個人均維護服務(wù)器：6000臺人均維護業(yè)務(wù)：50個人均維護應(yīng)用：100個環(huán)境部署、故障定位、日志拉取、數(shù)據(jù)庫優(yōu)化、業(yè)務(wù)故障定位（人工）環(huán)境管理、持續(xù)集成、持續(xù)交付、

智能監(jiān)控、IT運營分析、故障自愈、容災(zāi)切換基礎(chǔ)設(shè)施、數(shù)據(jù)存儲運維自動化管理、架構(gòu)微服務(wù)化（部分）、Docker容器化、DevOps持續(xù)交付、雙中心（試點）、故障預(yù)防，IT運營分析研發(fā)者PaaS平臺、Docker容器化平臺、架構(gòu)微服務(wù)化、雙中心、機器學(xué)習(xí)、輿情分析、IT運營分析質(zhì)量：85分成本：1效率：1質(zhì)量：90分成本：降低5倍效率：交付提高100倍；故障提高68倍質(zhì)量：95分成本：降低10倍效率：交付提高200倍；故障提高100倍質(zhì)量：核心業(yè)務(wù)99分，非核心95分成本：降低50倍效率：交付提高200倍；故障提高100倍1、無運維組織架構(gòu)調(diào)整：運維研發(fā)10人左右。運維研發(fā)：15人架構(gòu)研發(fā)：10人運維研發(fā)：30人架構(gòu)研發(fā)：20人

數(shù)據(jù)度量

–

全局指標度量 01leadtimefor

changes變更時長02timetorestore

servic服務(wù)恢復(fù)時長03release

frequency發(fā)布頻率04changefail

rate變更失敗率e1 2 3 4 5商業(yè)成功 客戶體驗 應(yīng)用性能管理 速度 質(zhì)量? 利潤率 ? A/B測試結(jié)果 ? 變更失敗率? 留存率 ? 應(yīng)用啟動時間? 市場占有率 ? 客戶滿意度度 ? 變更前置期 ? Crash率? 連續(xù)現(xiàn)金流 ? 核心交易的頻率 ? 運行時長 ? 部署頻率 ? 突發(fā)事件數(shù)? 用戶的傳播率 ? 交易時長? 連續(xù)付費率 ? 業(yè)務(wù)/app

用戶平

? 故障恢復(fù)速度

? 用戶主動投訴? 生產(chǎn)效率 均花費時間 ? 資源利用率 數(shù)? 正常服務(wù)時間案例：德邦物流案例（IT運營）客戶現(xiàn)狀分析救火式系統(tǒng)運維簡單重復(fù)的問題事后處理事倍功半IT運維質(zhì)量低下運維人員被動、效率低業(yè)務(wù)部門滿意度低缺乏高效的IT運維機制明確的角色定義和責(zé)任劃分很難快速、準確地找到故障原因缺乏流程化的故障處理機制欠缺規(guī)范化的解決方案缺乏全面的跟蹤記錄重監(jiān)控，輕處理缺乏高效的IT運維工具系統(tǒng)架構(gòu)復(fù)雜多種軟硬件產(chǎn)品設(shè)備數(shù)量眾多事件眾多，難于應(yīng)付缺乏故障預(yù)警機制故障難以得到主動、快速處理傳統(tǒng)IT運維管理基本仍然處在手工運維輔以少量工具狀態(tài)，在這種狀態(tài)下需要等到IT故障出現(xiàn)后再由運維人員采取相應(yīng)的補救措施。這些傳統(tǒng)式被動、孤立、手工勞作式的IT運維管理模式經(jīng)常令I(lǐng)T運維部門疲憊不堪，也難以讓IT系統(tǒng)使用部門滿意。解決方案自動化運維自動化運維平臺平臺對應(yīng)交付能力CMDB作業(yè)平臺持續(xù)交付調(diào)度平臺智能監(jiān)控事故自愈運營分析自動化運維等級劃分與規(guī)劃2016年平臺實現(xiàn)解決方案規(guī)劃藍圖解決方案落地可行性與風(fēng)險評估方案運維開發(fā)人員培養(yǎng)方案平臺相關(guān)技術(shù)指導(dǎo)方案平臺對應(yīng)規(guī)范化文檔平臺落地范圍：快遞環(huán)境(開發(fā)-測試-生產(chǎn))58套測試環(huán)境（附件測試環(huán)境管理中：日常環(huán)境1—注：除EDI

windows環(huán)境）49套生產(chǎn)環(huán)境（詳細見附件生產(chǎn)環(huán)境清單）FOSS部署模塊規(guī)劃人員技術(shù)項目的組織架構(gòu)項目發(fā)起人何**運維研發(fā)甲方：郭**、吳*華、劉*、陳*、張*芝

、韓*武

、陶*龍乙方：負責(zé)人：羅*強對接人：楊*超、甲：段**

乙：***項目經(jīng)理IT項目管理王*項目指導(dǎo)委員會陳*峰、魏*、李*、顧*、何*敏、倪*、朱*、朱*快遞環(huán)境項目推廣立項決策人楊**架構(gòu)師甲方：何**

乙方：***負責(zé)人：陳*峰對接人：吳*峰網(wǎng)絡(luò)支持：朱*測試環(huán)境項目推廣負責(zé)人：何*敏、顧*對接人：應(yīng)用：楊*

DB：廖*芳

監(jiān)控：吳*杰主機存儲：張*濤網(wǎng)絡(luò)：莊*生產(chǎn)環(huán)境項目推廣項目推廣職責(zé)：負責(zé)人—項目推廣落地負責(zé)，協(xié)調(diào)相應(yīng)資源確保項目順利落地。對接人—對接運維研發(fā)進行項目的落地實施，承接相應(yīng)平臺操作能力。運維研發(fā)職責(zé)：負責(zé)人：項目經(jīng)理負責(zé)，平臺的二次開發(fā)及項目推廣技術(shù)支持。質(zhì)量管理王*實施