vivo多云管理平臺建設(shè)實踐（對外版）

區(qū)塊鏈架構(gòu)云原生架構(gòu)lT^UBcc2踮?2023年06月30-07月01日|切北京維景國際大酒店C2014第16屆中國系統(tǒng)架構(gòu)師大會[SYSTEM-architectconferencechina坤、數(shù)字轉(zhuǎn)型架構(gòu)演進、、志.w空:*..終..??數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023vivo多云管理平臺建設(shè)實踐viv。高級研發(fā)經(jīng)理陳琛SACC數(shù)字轉(zhuǎn)型架構(gòu)演進168^

ChinaUni。pUBaa2023數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023陳琛vivo高級研發(fā)經(jīng)理2018年加入vivo,經(jīng)歷多個平臺從0到1的建設(shè),目前負責(zé)viv。云平臺、數(shù)據(jù)庫存儲管理平臺等項目和研發(fā)團隊數(shù)字轉(zhuǎn)型架構(gòu)演進L"：：

f168^'ChinallmxpUBaa2023O目錄/CONTENT___________________________________數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023vivo多云管理平臺建設(shè)背景vivo多云管理平臺最佳實踐未來展望),.：■168^nChinaUni。aaOMkzU2023SACC數(shù)字轉(zhuǎn)型架構(gòu)演進01.PARTONE?viv?；ヂ?lián)網(wǎng)業(yè)務(wù)規(guī)模?viv?；ヂ?lián)網(wǎng)資源規(guī)模?業(yè)務(wù)高速發(fā)展帶來的挑戰(zhàn)數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023vivo多云管理平臺建設(shè)i數(shù)字轉(zhuǎn)型aaoAvkx2023-.*?3，'?f168^ChinaUnix:RBvivo多云管理平臺建設(shè)背景vivo互聯(lián)網(wǎng)業(yè)務(wù)規(guī)模（公開數(shù)據(jù)，歷史最高）數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023應(yīng)用商店累積分發(fā)1.5萬億月活用戶2.5億日活用戶8210萬月活用戶2.5億游戲中心日活用戶1082萬月活用戶9818萬網(wǎng)SACC數(shù)字轉(zhuǎn)型架構(gòu)演進在網(wǎng)總用戶（不含外銷）3億項目數(shù)量1800+服務(wù)數(shù)量10000+aa2023?**.*.....L"：：

f168^n

'ChinallmxpUBvivo多云管理平臺建設(shè)背景vivo互聯(lián)網(wǎng)資源規(guī)模數(shù)字轉(zhuǎn)型架構(gòu)演進第+六屆中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023?服務(wù)器規(guī)模物理服務(wù)器服務(wù)器規(guī)模增長40+倍2017-2023數(shù)據(jù)庫運營數(shù)據(jù)數(shù)據(jù)庫實例7年56倍2017年2018年2019年2020年2021年2022年2023年?實例數(shù)量?服務(wù)器數(shù)量?DBAA均運維實例數(shù)量?數(shù)據(jù)庫服務(wù)實例密度數(shù)據(jù)庫數(shù)據(jù)庫實例規(guī)模增長56倍數(shù)據(jù)庫實例部署密度增加7.6倍數(shù)據(jù)庫服務(wù)器規(guī)模增長7.4倍人均運維數(shù)據(jù)庫實例規(guī)模增加25倍f16B^

包ChinaUni艾pUBSACC數(shù)字轉(zhuǎn)型架構(gòu)演進GACC2023vivo多云管理平臺建設(shè)背景業(yè)務(wù)高速發(fā)展帶來的挑戰(zhàn)數(shù)字轉(zhuǎn)型架構(gòu)演進中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023資源管理與成本管控交付與變更效率?平臺資源覆蓋范圍有限?云上云下沒有統(tǒng)一納管?資產(chǎn)數(shù)據(jù)準(zhǔn)確性不高?生命周期管理流程不閉環(huán)?資源缺乏考核和度量?預(yù)算缺乏有效控制?共享資源缺乏分攤規(guī)則?資源采購和交付周期長?自動化率不高?變更缺少管控?缺少場景化支撐能力可用性與質(zhì)量感知?缺少有效度量?故障感知方法單一?問題定位時間長?故障自愈能力缺失SACC數(shù)字轉(zhuǎn)型架構(gòu)演進aAjTX2023t168^

?^^ChinaUnbc02.PARTTWO-業(yè)務(wù)架構(gòu)-系統(tǒng)架構(gòu)-平臺實踐數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023vivo多云管理平臺最佳實踐數(shù)字轉(zhuǎn)型aaoAvkx2023-.*?3，'?f168^ChinaUnix:RB故障演練資源卡控安全審計故障分析資源優(yōu)化計價瓣網(wǎng)絡(luò)安全故障自愈資源報表故障il預(yù)算/采購安全阻斷元服務(wù)樹管理工單管理權(quán)限WS故障管理資源運營賬單系統(tǒng)..安全公共服務(wù)資源預(yù)測計算1網(wǎng)絡(luò)1數(shù)據(jù)庫1削諸大數(shù)據(jù)1CICD1微服務(wù)和中間件監(jiān)控1日志中心1故障管理1資癱營安全1運廄更1公共服務(wù)vivo多云管理平臺最佳實踐業(yè)務(wù)架構(gòu)數(shù)字轉(zhuǎn)型架構(gòu)演進第十六屆中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCE.CHINA2023laaS計算存儲網(wǎng)絡(luò)：＞UBmACC數(shù)字轉(zhuǎn)型架構(gòu)演進,I168^

?ChinaUnixGACC2023平臺層資和務(wù)云源服_____vivo多云管理平臺最佳實踐系統(tǒng)架構(gòu)數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023云平臺portal命令下發(fā)<■___示］|網(wǎng)絡(luò)|!計算自建iDC公有云公共服務(wù)賬單系統(tǒng)運維變更資源管理CMDB監(jiān)控和日志中心資源信息業(yè)務(wù)信息消息隊列HF六皿丁工日志'________利用率數(shù)據(jù)通道命令通道分析處理大數(shù)據(jù)計I算集群!統(tǒng)一入口統(tǒng)一平臺資源管理資源運營工具計算資源預(yù)算CICD數(shù)據(jù)庫采購作業(yè)變更存儲交付監(jiān)控賬單系統(tǒng)中間件__SACC數(shù)字轉(zhuǎn)型架構(gòu)演進168^

ChinaUni。pUBaa___2023vivo多云官理平臺最佳頭踐資源云化和運營管理策略管理礎(chǔ)8資源簽收資源使用資源回收資源申請業(yè)務(wù)側(cè)支撐側(cè)資源交付資源定義資源池化資源水切庫存資源評估資源水位運營業(yè)務(wù)需求預(yù)測資源統(tǒng)一運營窒癲寸接資源納管pUB^^ChinaUnix(業(yè)矗皿)資源需求處理H資源交付食資源云化資源云化瓷源云化登氣CC數(shù)字轉(zhuǎn)型架構(gòu)演進數(shù)字轉(zhuǎn)型架枸演進第十六屆中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2022自建IDCtaxa計算網(wǎng)絡(luò)■公有云物理機管理(CMDB-計算資源)虛擬機管理(OpenStack/CMP)云主機管理(CMP)容器集群管理(CaaS)

1數(shù)據(jù)庫管理(DaaS)

1存儲集群管理(太初)物理機虛擬機_______J云主機容器數(shù)據(jù)庫1LJ

1軒轅存儲…多云管理vivo多云管理平臺最佳實踐CICD核心流程推送制品數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023拉取代碼QJenkins①認領(lǐng)需求觸發(fā)執(zhí)行②提交代碼③執(zhí)行構(gòu)建⑤執(zhí)彳丁部署持續(xù)集成CI,\需求管理項目管理平臺GitLab拉取制品拉取制品持續(xù)部署CD運維中心監(jiān)控中心日志中心配置中心\_______丿云基礎(chǔ)服務(wù)SACC數(shù)字轉(zhuǎn)型架構(gòu)演進aa2023@ChinaUmxpUBvivo多云管理平臺最佳實踐全球化部署生產(chǎn)機房測試1機房vivoops-civivoops-cdgitlabgerrit測試2機房spinnaker-echospinnaker-orcaJenkins混合云主機vivoops-uploadArtifactoryArtifactory2G專線公有云-香港某國1某國2某國3其它vivoops-uploadvivoops-uploadvivoops-uploadvivoops-uploadvivoops-cdvivoops-cdvivoops-cdvivoops-cdArtifactoryArtifactoryArtifactoryArtifactory虛擬主機云主機混合云主機云主機2023國外國內(nèi)數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023全球代理Proxy+CDN加速@ChinaUmx數(shù)字轉(zhuǎn)型架構(gòu)演進spinnaker-■spinnaker-gateJEfront50Redisvivo多云管理平臺最佳實踐CICD系統(tǒng)架構(gòu)數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023gitfetchnotifyeventdockerpushwgetpipelinedockerpullCIServerdeveloperSpinnakercmd口openstackvcsagentCDServerVGitLab爾kubernetessonarqube?HARBORSendFileJenkins----月均構(gòu)建10W+基于Jenkins和Spinnaker自研SACC數(shù)字轉(zhuǎn)型架構(gòu)演進■'-1T685'

ChinaUnixpUBoACC2023vivo多云管理平臺最佳實踐數(shù)字轉(zhuǎn)型架構(gòu)演進第+六,中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023Spinnaker■流水線優(yōu)化—優(yōu)化后使用方式---------------、等待10s機器6.,一亠.-??-.升級&改造Spinnaker源碼?升級Pipeline、Stage、Task查詢接口?增加Task重試機制-擴展存儲引擎丿FindimageDeployFromTestCanaryCutoverManualapproval原生使用方式DeployPRODTearDownDestroy(red/black)CANARYoldPROD原生性能問題?內(nèi)存消耗過大，100以上Stage內(nèi)存占用超過80%以上-FullGC頻繁，CPU經(jīng)常被打滿^SACC數(shù)字轉(zhuǎn)型架構(gòu)演進aa___2023@ChinaUmxpUBvivo多云管理平臺最佳實踐運維自動化提升運維自動化率上線10+平臺和子系統(tǒng)作業(yè)平臺公共服務(wù)數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023持續(xù)交付監(jiān)控服務(wù)變更管理@CICD旦統(tǒng)一監(jiān)控*E事件變更工作臺告變更事f枷表Dashboard變更事件統(tǒng)計代碼煎主機監(jiān)控Snginx變更管理代碼評宙新監(jiān)控upstream配置管理制品管理DB監(jiān)控domain配置管理B管理解険其他文件管理資源梟目證書文件管理研發(fā)蛙域名峰vip管理平臺運營VGWIS^nginx集群管理幫助中心歷史記錄空作業(yè)平臺模板管理吉弱理作業(yè)成元跡管理流量灰度策略文件管理domainSdM校驗E域名可用性權(quán)限管理執(zhí)行歷史Nginx域名校驗機管理操作歷史A6域名E流星調(diào)度平臺^^5計域名總覽廊域名管理Crontab配置管理網(wǎng)絡(luò)監(jiān)控大屏根域名管理曰R志中心緯於曽建SACC數(shù)字轉(zhuǎn)型架構(gòu)演進.11.8丄ChinaUnix：）UBaa2023vivo多云管理平臺最佳實踐成本分攤分攤比12%共享成本分攤比x%分攤比y%分攤比25%獨占資源分攤比63%獨享成本數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023云平臺*分攤比Z%備注:X、y、z的值由服務(wù)提供方給出大數(shù)據(jù)平臺搜索平臺算法中臺-總成本云平臺資源成本合理分攤業(yè),成本中臺價值云化資源總費用：￥***使用資源數(shù)量:**個資源消耗:-計算：**核-存儲：***GB云化資源總費用：￥***使用資源數(shù)量:**個資源消耗:-計算：**核-存儲：***GB1物理機自有資源1云主機1容器（資源池）1數(shù)據(jù)庫算法:12%搜索：14%云平臺:15%大數(shù)據(jù)：27%瀏覽器|自有資源算法：25%搜索：27%云平臺:15%視頻|自有資源算法:63%搜索：21%云平臺:60%游戲|自有資源云化資源總費用：￥***使用資源數(shù)量:**個資源消耗:-計算：**核-存儲：***GBB定價體系中臺成本成本分攤SACC數(shù)字轉(zhuǎn)型架構(gòu)演進oACCOMVzVr1a.：-18168^

(^Chinallmx?)UB03.PARTTHREE-當(dāng)前存在的問題和痛點?vivocloud2.0介紹數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023未來展望數(shù)字轉(zhuǎn)型aaoAvkx2023-.*?3，'?f168^ChinaUnix:RB未來展望當(dāng)前存在的問題和痛點數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023技術(shù)產(chǎn)品化程度較低平臺的規(guī)劃缺乏頂層設(shè)計，大多數(shù)平臺都是自下而上的構(gòu)建，平臺的定位更多的著眼于解決團隊當(dāng)前的問題；產(chǎn)品化能力低、平臺之間協(xié)同困難或者無法協(xié)同持續(xù)提升研發(fā)效率困難現(xiàn)有平臺經(jīng)過3-4年的持續(xù)迭代，積累了一些技術(shù)債務(wù)，平臺架構(gòu)可持續(xù)建設(shè)難度增大，用戶需求投入產(chǎn)出比持續(xù)下降持續(xù)提升運維效率困難缺乏業(yè)務(wù)和用戶視角的場景化、全鏈路解決方案和能力，變更和故障排查要在多個模塊間物辟轉(zhuǎn)，效率較低，沒有實現(xiàn)功能串聯(lián)持續(xù)提升資源效率困難資源運營仍然是線上線下結(jié)合的方式，無法進一步提升資源使用和運營效率SACC數(shù)字轉(zhuǎn)型架構(gòu)演進aa__2023B.；

；

f168^ChinaUni戈pUB未來展望vivocloud2.0產(chǎn)品架構(gòu)數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023監(jiān)控采集監(jiān)控檢則監(jiān)控告警監(jiān)控配置監(jiān)控看板公有云安全平臺數(shù)居分析中間件平臺能力服務(wù)大數(shù)據(jù)平臺巡檢服務(wù)項目管理平臺測試相關(guān)平臺財務(wù)平臺監(jiān)控系統(tǒng)三方系統(tǒng)SACC數(shù)字轉(zhuǎn)型架構(gòu)演進aaOMkzLr2023@ChinaUmx未來展望基于FinOps理念構(gòu)建資源運營解決方案?關(guān)鍵指標(biāo)-治理晾曬?持續(xù)迭代SACC數(shù)字轉(zhuǎn)型架構(gòu)演進數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023預(yù)算訂單成本4資源運營收支運營明細賬單/培養(yǎng)成本意識?引入訂單，按天計費?費用中心下沉項目空間，成本可視化?推送賬單，關(guān)注成本持續(xù)優(yōu)化?營收視角搭建產(chǎn)品線維度成本分析，多視角觀測成本信息?數(shù)據(jù)分析，決策優(yōu)化--?fI685'ChinaUmxpUB未來展望資源效能數(shù)字轉(zhuǎn)型架構(gòu)演進第十六斥中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023資源利用效率單位業(yè)務(wù)IT成本云產(chǎn)品單價（成本）SACC數(shù)字轉(zhuǎn)型架構(gòu)演進--?fI685'ChinaUmxpUBaa___2023未來展望監(jiān)控能力建設(shè)可觀測能力建設(shè)<指\:可腕;一=■=■=w=.一=■=■=■=.I,‘3請求范血、/’以證"、/阜件?嗥&/、、、，、—W'、■■前聚合的事件L—:請求｝<范圍內(nèi)，.追蹤k的事時日志；\請求范\/事件記/、、、圍>t錄'ACC數(shù)字轉(zhuǎn)型架構(gòu)演進數(shù)字轉(zhuǎn)型架構(gòu)演進中國系統(tǒng)架構(gòu)師大會SYSTEMARCHITECTCONFERENCECHINA2023I?可觀測能力建設(shè)-鏈路/指標(biāo)/日志信息關(guān)聯(lián)轉(zhuǎn)化-多場景信息關(guān)聯(lián)排查（如多維告警〉日志/指標(biāo)等）I?檢測告警能力強化III