混合云下的DevOps的實(shí)踐方案

1、技術(shù)創(chuàng)新 變革未來(lái)混合云下的DevOps的實(shí)踐方案目錄vivo互聯(lián)網(wǎng)架構(gòu)演進(jìn)和DevOps建設(shè)歷程1混合云架構(gòu)下的DevOps實(shí)踐之旅2vivo未來(lái)DevOps之路的探索3 vivo互聯(lián)網(wǎng)業(yè)務(wù)介紹系統(tǒng)App服務(wù) vivo互聯(lián)網(wǎng)業(yè)務(wù)介紹0：數(shù)據(jù)統(tǒng)計(jì)截止2018年8月vivo互聯(lián)網(wǎng)的架構(gòu)一一業(yè)務(wù)架構(gòu)90%以0在線服務(wù)是java9術(shù)棧C+、G+lang、Pyth+n、N+d%js等 多元化異構(gòu)9術(shù)棧持續(xù)C入 vivo互聯(lián)網(wǎng)的架構(gòu)一一基礎(chǔ)設(shè)施App 1App 1Host OS物理機(jī)App 1App 2KVMKVMHost OS物理機(jī)App 1App 2App 3CMP物理機(jī)云主機(jī)1擬機(jī)物理機(jī)虛擬機(jī)混合

2、云 DevOps的建設(shè)一一挑戰(zhàn)和解決思路抽象資源層，屏蔽底層異構(gòu)D性基于Jenkins實(shí)現(xiàn)CI環(huán)J，提升CI效率重C發(fā)力CD，推進(jìn)標(biāo)準(zhǔn)化，I 動(dòng)化挑戰(zhàn)解決思路基礎(chǔ)設(shè)施異D，網(wǎng)絡(luò)連通性， 穩(wěn)定性問(wèn)題較8業(yè)務(wù)規(guī)模增長(zhǎng)O速，迭代速度日益0快業(yè)務(wù)架構(gòu)1一技術(shù)棧向8元技術(shù)棧過(guò)度交付效率交付周期長(zhǎng)，交付不標(biāo)準(zhǔn)人員規(guī)模增長(zhǎng)O速，人員能力2差不齊 DevOps的建設(shè)一一從0起步未使用jenkins，無(wú)流水線，手工操作XXXX問(wèn)題：非持續(xù)集成各環(huán)節(jié)純手工操作，效率和質(zhì)量無(wú)法保障編碼構(gòu)建0試打包發(fā)布8置2控DevOps的建設(shè)一一流水線1.0ac：JO務(wù) J的開(kāi)發(fā)人員加入時(shí)，Jenkins配置復(fù)雜不友好CI未與線上

3、CD打通，發(fā)C上線成為短板基于SaltStack的手動(dòng)發(fā)C，容易造成發(fā)C變更事I基于jenkinsD立最簡(jiǎn)單的流水線，未打通線上環(huán)節(jié)，ChatOps階S編碼構(gòu)建測(cè)試打包發(fā)布配置監(jiān)控IDEGit/GerritJUnitGradleMavenNexusLoadRunnerJMeterD動(dòng)化 8口測(cè)試Jenkins手2JenkinsFTP/SSH虛擬主機(jī)云主機(jī)參數(shù)化0ProfileZKZabbixDevOps的建設(shè)一一流水線2.0基于Jenkins自研CI平臺(tái)，基于Spinnaker自研CD平臺(tái)，打通CI到線上CD 全流程環(huán)節(jié)編碼構(gòu)建測(cè)試打包發(fā)布O置D控IDEGit/GerritJUnitGradl

4、eMavenNexusLoadRunnerJMeter自動(dòng)化 接口測(cè)試SonarQubeJenkinsDocker ImageCI平臺(tái)JenkinsFTP/SSH虛擬主機(jī)混0云主機(jī)CAASCD平臺(tái)參數(shù)化2ProfileZKO置中心ZabbixPrometheusGrafana KibanaD控系統(tǒng)調(diào)用鏈日8中心目錄vivo互聯(lián)網(wǎng)架構(gòu)演進(jìn)和DevOps建設(shè)歷程1混合云架構(gòu)下的DevOps實(shí)踐之旅2vivo未來(lái)DevOps之路的探索3 混合云是企業(yè)IT發(fā)展的主流 混合云架構(gòu)的優(yōu)勢(shì)和挑戰(zhàn)優(yōu)勢(shì)靈活性按O分配 0擴(kuò)展 更低TCO可靠性2云容災(zāi)豐富性2云特8互補(bǔ)挑戰(zhàn)統(tǒng)一D控異構(gòu)特8交付效率計(jì)量計(jì)費(fèi)安全0控

5、網(wǎng)絡(luò)互通研發(fā)和運(yùn)維的需求和平臺(tái)目標(biāo)標(biāo)準(zhǔn)化自動(dòng)化自助化多樣性環(huán)2需求標(biāo)準(zhǔn)化 業(yè)務(wù)部署標(biāo)準(zhǔn)化快速 D動(dòng)化 可重復(fù) 的運(yùn)行環(huán)2資源D助申請(qǐng)和創(chuàng)建覆蓋多種18的資源需求DevOps功能全景圖 DevOps全鏈路CMDB元數(shù)據(jù)管理基礎(chǔ) CMDB架構(gòu)圖功能特性Agent采集資源 自動(dòng)錄入變更信息實(shí)時(shí)上 報(bào)全網(wǎng)覆蓋采集信息資產(chǎn)數(shù)據(jù)資源利用率數(shù)據(jù) CMDB服務(wù)樹(shù)模型作用橫向：平臺(tái)串聯(lián)，監(jiān)控平臺(tái)、CICD、配置中心、日 志中心縱向：利用樹(shù)形結(jié)構(gòu)的繼承樹(shù)形，高效組織監(jiān)控策略、 權(quán)限配置服務(wù)樹(shù)資產(chǎn)管 0服務(wù)管 0權(quán)限管 0流1管 0DevOps之CMP統(tǒng)一資源訪問(wèn)和管理開(kāi)放API混合云支持安全可控流程整合費(fèi)用管控

6、線下云服務(wù)架構(gòu)圖 作用和目標(biāo)提高線下開(kāi)發(fā) 測(cè)試環(huán)境A建效率線下開(kāi)發(fā) 測(cè)試資源統(tǒng)一管控功能特性基于ContivC建docker容器云自研容器調(diào)度算法基于Activity實(shí)現(xiàn)申請(qǐng)流程基于telegraf prometheus和 grafana實(shí)現(xiàn)監(jiān)控告警Spinnake 淮件簡(jiǎn)介Deck:面向用EUI界面組件API: 面向調(diào)用API組件Gate:APIU關(guān)組件Orca:IC流P引F組件Igor:集DCI系統(tǒng)組件Echo:G通O系統(tǒng)組件Front O:存儲(chǔ)管理組件C0o5d driver:適配不同云A臺(tái)的組件Fiat:鑒權(quán)的組件 基于Spinnaker+Jenkins的CI流+線建設(shè) 構(gòu)建編排方式J

7、enkins構(gòu)建多套Jenkins模板參數(shù)化動(dòng)態(tài)生成Jenkins JobSpinnaker建立pipeline定義stage執(zhí)行順序和依賴(lài)關(guān)系 發(fā)布編排方式部署策略機(jī)房間串并行機(jī)房?jī)?nèi)串并行自定義暫停點(diǎn)功能特性一鍵回滾失敗重試重試跳過(guò)快速終止組件包增量發(fā)布 Spinnaker流水線建設(shè)優(yōu)化基于K8S的使用方式原生擴(kuò)展Pi1+li0+，stag+，task查y接口擴(kuò)展Task重試機(jī)G%ys2lO儲(chǔ)引a擴(kuò)展原生Spinnaker產(chǎn)生的性8問(wèn)題DO消v過(guò)多：100+ stag+超過(guò)80%的DO占nCPUFn率間g性打k：過(guò)多Full GCUqstag+上下游l態(tài)s引，取消P整1i1+li0+掃描和T

8、列化消息數(shù)據(jù)te體優(yōu)化，u小消息體事件通p機(jī)G優(yōu)化，C閉非必要事件通p機(jī)G我們的使用方式優(yōu)化方向：全球發(fā)布 作業(yè)平臺(tái) 自動(dòng)化運(yùn)維平臺(tái)的基礎(chǔ) 作業(yè)平臺(tái) 統(tǒng)一Agent通道統(tǒng)一CMDB監(jiān)控發(fā)布統(tǒng)一Agent管控變更和升級(jí)進(jìn)程守護(hù)安全控制審計(jì) 域名變更管理 DNS變更內(nèi)網(wǎng)DNS全網(wǎng)管控，平臺(tái)化變更對(duì)接Dnspod、萬(wàn)網(wǎng)實(shí)現(xiàn)外網(wǎng)DNS變更流量預(yù)案機(jī)房故障預(yù)案VIP故障預(yù)案域名故障預(yù)案Nginx變更管理 Nginx配置標(biāo)準(zhǔn)化格式化常規(guī)變更模板灰度下發(fā)快速回滾Nginx變更管理 熱加載方案ConsuI+upsync動(dòng)態(tài)更新路由表定+巡檢高可用 配置中心SDKvivoCfg-AgentvivoCfg-Api

9、OPSStorageCacheCacheCacheFRKHUHQFH/FRQVLVWHQFSXVKpollSUBPUBRest-API 使用場(chǎng)景代B、環(huán)境、配置分離云控實(shí)現(xiàn)/能開(kāi)關(guān)業(yè)務(wù)運(yùn)營(yíng)配置動(dòng)態(tài)下發(fā)線上A/B test功能特性配置共享配置檢索配置決照配置項(xiàng)批量導(dǎo)入、導(dǎo)出版本管A批量diff監(jiān)控系統(tǒng) 構(gòu)建立體化監(jiān)控業(yè)務(wù)MB鏈VMB組件MB 基礎(chǔ)MB D志MB，SR埋點(diǎn)MB，撥測(cè)自研javaagent服務(wù)謂求數(shù)、響應(yīng)時(shí)間、L態(tài)碼基于zabbix、nagios構(gòu)建LVS、Mysql、Redis、MongoDB基于zabbix、solarwinds構(gòu)建主機(jī)MB、SRMB監(jiān)控系統(tǒng) 主機(jī)與基礎(chǔ)組件監(jiān)控基

10、于Zabbix搭建主機(jī)監(jiān)控D群B過(guò)Zabbix插件實(shí)現(xiàn)組件的部分監(jiān)控,LVS,Mysql, redis,MongoDB境外云主機(jī)zabbix agentzabbix proxyzabbix serverzabbix web告警中心主機(jī)數(shù)據(jù)公網(wǎng)國(guó)內(nèi)云主機(jī)zabbix agentzabbix proxyzabbix serverzabbix web告警中心主機(jī)數(shù)據(jù)專(zhuān)線國(guó)內(nèi)物理機(jī)（非大數(shù)據(jù)）zabbix agentzabbix proxyzabbix serverzabbix web告警中心主機(jī)數(shù)據(jù)內(nèi)網(wǎng)國(guó)內(nèi)物理機(jī)（大數(shù)據(jù)）zabbix agentzabbix proxyzabbix serverza

11、bbix web告警中心主機(jī)數(shù)據(jù)內(nèi)網(wǎng)開(kāi)吊開(kāi)吊開(kāi)吊開(kāi)吊 監(jiān)控系統(tǒng) 撥測(cè)探O機(jī)：云主機(jī)、體專(zhuān)BT手機(jī)上部署探針基于Spa+k St+eaming做實(shí)時(shí)匯聚計(jì)算基于OpenTSDB + Redis實(shí)現(xiàn)指標(biāo)存儲(chǔ)基于自R異常檢O模塊對(duì)時(shí)序指標(biāo)實(shí)現(xiàn)D定閭值、 同環(huán)比、S升S降檢O 監(jiān)控系統(tǒng) 調(diào)用鏈監(jiān)控指標(biāo)請(qǐng)L數(shù)QPS、高0峰、趨勢(shì)、同P比響應(yīng)時(shí)間平均1、趨勢(shì)、毛刺O(píng)態(tài)O態(tài)碼、業(yè)務(wù)返8碼、錯(cuò)誤2布、異常調(diào)用鏈作用服務(wù)分析：量級(jí)、時(shí)延、質(zhì)量鏈路分析：服務(wù)、組件間請(qǐng)L鏈路問(wèn)題定位：異常、響應(yīng)D、DSQL、 錯(cuò)誤日志容量規(guī)劃：服務(wù)量級(jí)、P比數(shù)據(jù)、 上下游Q頸、高0峰 監(jiān)控系統(tǒng) 調(diào)用鏈監(jiān)控系統(tǒng)日志監(jiān)控H千f081e

12、,f研age2t(Bees),Te0egraf實(shí)現(xiàn)SO實(shí)Tm 集H千ESL語(yǔ)法實(shí)現(xiàn)多機(jī)SO搜索sl濾與LaH千ES實(shí)現(xiàn)查詢(xún)SO短期B存,HDFSCn期存D支持Ga8ge與Co82ter匯e與FgH千i2f08xDB與Grafa2a實(shí)現(xiàn)Ngi2xioSO的E用N統(tǒng)計(jì)與 Fgtomcat loginfluxDBGrafanalogcenter portalHDFSElasticsearchJava ETLSparkKafkatomcat logNginx logDE機(jī)FlumeBees AgentTelegrafBA機(jī)FlumeBees AgentTelegraf目錄vivo互聯(lián)網(wǎng)架構(gòu)演進(jìn)和DevOps建設(shè)歷程1