騰訊DevOps自動(dòng)化運(yùn)維平臺(tái)-織云

騰訊DevOps自動(dòng)化運(yùn)維平臺(tái)_織云10w機(jī)器100人30億/年devops拯救世界為什么要自動(dòng)化為什么要DevOpsDevOps是一種文化DevOps是合伙人制DevOps依托于系統(tǒng)實(shí)現(xiàn)DevOps

iseverywhereDevOps使運(yùn)維和開(kāi)發(fā)共同以實(shí)現(xiàn)業(yè)務(wù)價(jià)值為目的，打破傳統(tǒng)流程與角色分工，協(xié)作實(shí)現(xiàn)對(duì)用戶(hù)價(jià)值最大化的輸出。ITILDevOps織云平臺(tái)簡(jiǎn)介傳承：運(yùn)維經(jīng)驗(yàn)平臺(tái)標(biāo)準(zhǔn)：通用流程和工具集協(xié)作：開(kāi)發(fā)、測(cè)試、運(yùn)維共同參與掌控：一致性，變更體檢靈活：擴(kuò)展性強(qiáng)，用戶(hù)參與成本：實(shí)體機(jī)+虛擬化智能：數(shù)據(jù)決策標(biāo)準(zhǔn)化CMDB流程系統(tǒng)織云織云運(yùn)營(yíng)現(xiàn)狀織云架構(gòu)實(shí)踐織云門(mén)戶(hù)流程系統(tǒng)命令通道生產(chǎn)環(huán)境一致性監(jiān)控CMDB權(quán)限系統(tǒng)文件中心包系統(tǒng)測(cè)試工具設(shè)備調(diào)度路由系統(tǒng)變更通知中心決策系統(tǒng)包配置腳本工具庫(kù)標(biāo)準(zhǔn)化實(shí)踐CMDB設(shè)計(jì)流程系統(tǒng)決策系統(tǒng)測(cè)試灰度實(shí)戰(zhàn)分享模塊權(quán)限一致性標(biāo)準(zhǔn)化與自動(dòng)化標(biāo)準(zhǔn)化自動(dòng)化分層標(biāo)準(zhǔn)化對(duì)象網(wǎng)絡(luò)資源層設(shè)備資源層系統(tǒng)資源層接入層業(yè)務(wù)層邏輯層數(shù)據(jù)層機(jī)型命名運(yùn)營(yíng)狀態(tài)重要級(jí)別監(jiān)控Buff池機(jī)房機(jī)柜網(wǎng)段規(guī)劃容災(zāi)波分監(jiān)控……OS/內(nèi)核初始化用戶(hù)/密碼管理基礎(chǔ)agent組件選型監(jiān)控容量包管理配置管理測(cè)試工具架構(gòu)分布容災(zāi)監(jiān)控可運(yùn)維規(guī)范統(tǒng)一基礎(chǔ)網(wǎng)絡(luò)統(tǒng)一域名解析統(tǒng)一機(jī)房標(biāo)準(zhǔn)統(tǒng)一內(nèi)核/OS統(tǒng)一機(jī)型標(biāo)準(zhǔn)狀態(tài)流轉(zhuǎn)機(jī)制集群化管理主備責(zé)任人標(biāo)準(zhǔn)包管理進(jìn)程端口管理標(biāo)準(zhǔn)化架構(gòu)層統(tǒng)一服務(wù)響應(yīng)級(jí)別標(biāo)準(zhǔn)組件服務(wù)標(biāo)準(zhǔn)配置文件管理標(biāo)準(zhǔn)log級(jí)別標(biāo)準(zhǔn)初始化設(shè)置單服務(wù)集群管理無(wú)腳本發(fā)布無(wú)單點(diǎn)服務(wù)新架構(gòu)評(píng)估變更周知灰度原則平臺(tái)服務(wù)SET化名字服務(wù)覆蓋度自動(dòng)化測(cè)試模塊間調(diào)用組件監(jiān)控容量監(jiān)控基礎(chǔ)監(jiān)控質(zhì)量運(yùn)營(yíng)統(tǒng)計(jì)可用性統(tǒng)計(jì)事件單管理故障定級(jí)標(biāo)準(zhǔn)值班經(jīng)理制度大范圍事件管理運(yùn)營(yíng)商故障升級(jí)流程重大事故處理流程CMDB：標(biāo)準(zhǔn)化的落地網(wǎng)絡(luò)資源層設(shè)備資源層系統(tǒng)資源層接入層業(yè)務(wù)層邏輯層數(shù)據(jù)層業(yè)務(wù)運(yùn)維組件運(yùn)維系統(tǒng)運(yùn)維網(wǎng)絡(luò)運(yùn)維硬件OS/內(nèi)核應(yīng)用/程序組件/配置外部接口系統(tǒng)初始化業(yè)務(wù)模塊信息包系統(tǒng)配置發(fā)布中心文件源權(quán)限中心名字服務(wù)CMDB業(yè)務(wù)視圖架構(gòu)/分布業(yè)務(wù)指標(biāo)容災(zāi)調(diào)度訪問(wèn)關(guān)系工具執(zhí)行流程系統(tǒng)灰度系統(tǒng)角色分層對(duì)象系統(tǒng)存儲(chǔ)統(tǒng)一管理節(jié)點(diǎn)應(yīng)用基礎(chǔ)多角色協(xié)作平臺(tái)模塊部署依賴(lài)資源運(yùn)維/開(kāi)發(fā)維護(hù)開(kāi)發(fā)/測(cè)試維護(hù)流程配置數(shù)據(jù)類(lèi)型工具配置流程步驟rabbitMQ織云APIworkerworkerworkermonitormysqllog工具庫(kù)流程系統(tǒng)架構(gòu)一鍵擴(kuò)容案例申請(qǐng)?jiān)O(shè)備獲取資源發(fā)布部署業(yè)務(wù)測(cè)試發(fā)布自檢灰度上線自動(dòng)執(zhí)行流程1.獲取參數(shù)列表2.屏蔽負(fù)載事件通知3.查詢(xún)?cè)O(shè)備調(diào)度接口4.根據(jù)模塊ID查域名5.獲取資源配置6.申請(qǐng)權(quán)限接口7.獲取設(shè)備IP地址8.屏蔽告警9.安裝程序包10.同步文件11.獲取CC參數(shù)12.發(fā)配置13.執(zhí)行腳本14.主調(diào)擴(kuò)容15.啟動(dòng)軟件包16.進(jìn)程端口掃描17.上報(bào)變更日志18.查詢(xún)授權(quán)結(jié)果19.自動(dòng)化測(cè)試20.VIP添加RS21.L5被調(diào)擴(kuò)容22.告警屏蔽解除23.開(kāi)啟負(fù)載事件通知一鍵擴(kuò)容數(shù)據(jù)對(duì)比觸發(fā)流程自動(dòng)修正動(dòng)態(tài)拓?fù)湟恢滦陨蠄?bào)現(xiàn)網(wǎng)數(shù)據(jù)配置數(shù)據(jù)UserApplicationKernelSystemCallUniqAgentinotifysososo動(dòng)態(tài)拓?fù)涿爰?jí)監(jiān)控自動(dòng)修復(fù)一致性掌控決策系統(tǒng)決策API容量系統(tǒng)需求突發(fā)高負(fù)載預(yù)測(cè)高負(fù)載低負(fù)載>30天策略樹(shù)流程系統(tǒng)白名單通知中心請(qǐng)求調(diào)平?jīng)Q策樹(shù)（高負(fù)載）平均負(fù)載設(shè)備總數(shù)高負(fù)載設(shè)備數(shù)最高負(fù)載高負(fù)載閥值路由一致上線時(shí)間決策樹(shù)（低負(fù)載）平均負(fù)載設(shè)備總數(shù)持續(xù)天數(shù)路由一致最低負(fù)載workerworkerworkerrabbitMQL5cmlbtgw申請(qǐng)?jiān)O(shè)備獲取資源發(fā)布部署業(yè)務(wù)測(cè)試發(fā)布自檢灰度上線自動(dòng)擴(kuò)容流程調(diào)度策略調(diào)度決策通知中心容量監(jiān)控資源初始化擴(kuò)容演習(xí)無(wú)人守值自動(dòng)部署測(cè)試與灰度申請(qǐng)?jiān)O(shè)備獲取資源發(fā)布部署業(yè)務(wù)測(cè)試發(fā)布自檢灰度上線自動(dòng)擴(kuò)容流程與運(yùn)營(yíng)中設(shè)備的一致性對(duì)比進(jìn)程端口自檢質(zhì)量部ATTQTA協(xié)議級(jí)自動(dòng)化測(cè)試連通性的工具測(cè)試負(fù)載均衡組件灰度系統(tǒng)成功率上報(bào)權(quán)重調(diào)節(jié)擴(kuò)容設(shè)備10%10%成功率判斷策略大于平均成功率-5%擴(kuò)容核數(shù)/最小核數(shù)*最小請(qǐng)求