王曉征 - 浙江移動云運維體系建設(shè)與實踐

曉征部副總經(jīng)理兼云計算中心主任現(xiàn)狀與挑戰(zhàn)維體系轉(zhuǎn)型建設(shè)望未來一 煙囪式 IT架構(gòu)煙囪式云數(shù)據(jù)中心集中資源池的共享如何進行資源池的云數(shù)據(jù)中心集中資源池的共享如何進行資源池的如何有效保障租如何提升人均維護網(wǎng)元，進行標準低成本、標準化硬件隨著IT架構(gòu)朝著虛擬化、云化演進，運維環(huán)境帶來了新的變化，呈現(xiàn)出網(wǎng)元海量化、組件多樣化、調(diào)度動態(tài)化等特點，也給我們傳統(tǒng)運維人員帶來新的挑戰(zhàn)。如何提升開源且多樣化組如何在單點穩(wěn)定性下降情況下有效保障連如何在單點穩(wěn)定性下降情況下有效保障連調(diào)配、彈性伸縮帶來的管理虛虛擬化、分時共享動動態(tài)調(diào)配、彈性伸縮自動化自動化、自服務(wù)的特定挑戰(zhàn)均元均元界和恢復作化素構(gòu)急分析浙江移動云計算中心深入分析思考私有云運維下的新環(huán)境和新挑戰(zhàn)，采取運維管理體系建設(shè)和運維平臺能力建設(shè)的方式來應(yīng)對，兩手抓，兩手都要硬。具體措施如下：念陣級報制二道道器“法器運維之法法以立策運維之器器以成事道法器之道道以明向之道道以明向法法以立策之器器以成事 ?IT運維的宗旨是保持系統(tǒng)高效的業(yè)務(wù)價值輸出。IT戶的體驗、業(yè)務(wù)效率、企業(yè)效益。，運維管理應(yīng)該運維à運營技術(shù)運營運維障服務(wù)總線(OSB/ESB/VSB)流程引擎緩存服務(wù)消息服務(wù)動云計算中心引入動云計算中心引入SRE云運維的最佳實踐，維的角度分解為三層臺化的自動運維向平臺、面向應(yīng)業(yè)務(wù)的三層進行對內(nèi)對外的運維標?自動調(diào)度統(tǒng)一監(jiān)控面向平臺?自動部署彈性伸縮資源管理情況下，超過99%的場景業(yè)務(wù)是連續(xù)的。云計算中心在連續(xù) (全局)可視化，實現(xiàn)準實時性故障提高效率，通過智能化能力提供智能分析/決策。之道道以明向之道道以明向法法以立策之器器以成事 SRE理理制系施統(tǒng)構(gòu)SRE理理制系施統(tǒng)構(gòu)IT網(wǎng)絡(luò)二線一線二線一線主機二線一線租戶3租戶8網(wǎng)絡(luò)二線一線二線一線主機二線一線租戶3租戶8租戶5租戶1租戶2租戶4租戶6租戶7租戶9租戶經(jīng)理應(yīng)云平臺總控／一線應(yīng)急值班經(jīng)理SRE調(diào)度二線技術(shù)支持團隊資深專家團隊”這種組織形式，已不再是新鮮事物，但仍不失為一種理想化的支撐模式。眾多的互聯(lián)網(wǎng)公司都在二二線一線主機存主機存儲網(wǎng)絡(luò)安全移動云計算中心總控是云計算中心運維的觸點，技術(shù)運營的接口。依托于運維自動化平臺在可視化告警和自動化處營用延伸職權(quán)：策管理用延伸職權(quán)：策管理理平臺性能優(yōu)化平臺工具演進運維思路：以應(yīng)用架構(gòu)角度向業(yè)務(wù)延伸職權(quán)：用應(yīng)急與決策用上線發(fā)布管理可用管理用容量管理用性能優(yōu)化用工具演進SRE是指SiteReliabilityEngineer(網(wǎng)站可靠性工程師)，起源于Google，具備較強的編程能力和系統(tǒng)全棧能力的維護工程師。云計算中心在總結(jié)出云運維的三層保障體系的基礎(chǔ)上，并借鑒國內(nèi)外優(yōu)秀的互聯(lián)網(wǎng)運維經(jīng)驗，我們對SRE進行了重新的解讀和定位：SRE是以連續(xù)性保障為最終使命，對部署架構(gòu)、容量管理、運維工具演進負責的全棧型運維人員，分為兩種角色：平臺SRE、應(yīng)用SRE。戶經(jīng)理是云租戶和云計算中心之間更為通暢的溝通渠道，可以更快調(diào)度更為充分的資源響應(yīng)客戶需求，建立良動云計算中心總控統(tǒng)一接口事件管理快速先恢復，后修復動云計算中心總控統(tǒng)一接口事件管理快速先恢復，后修復監(jiān)控告警(無業(yè)務(wù)影響)：云總控>專業(yè)組否是控會告、記錄歸檔理理控解決行總結(jié)后歸檔；自下而上、逐層升級，并對租戶負責的態(tài)度，云計算中心對四級以及以上事件會向租戶提供故障分析報告。云計算中作告知案作告知案變更評審變更通告變更實施后續(xù)保障險把控之道道以明向之道道以明向法法以立策之器器以成事 p應(yīng)用和平臺秤動態(tài)調(diào)整pp應(yīng)用和平臺秤動態(tài)調(diào)整p平臺組件之間的依賴云化部署之后，應(yīng)用和平臺的關(guān)系呈現(xiàn)動態(tài)調(diào)整的趨勢，且在多網(wǎng)元、多組件的情況下，通過傳統(tǒng)的豎井化工具點問題來故障定界捉襟見肘，通過優(yōu)化管理體系，設(shè)立SRE來加強全局分析能力，但是人的因素也成了瓶頸，故是不知道問題在哪里？！是不知道問題在哪里？！看！題就在這里！這次我也沒轍！?APP網(wǎng)絡(luò)署圖P理員、大一線?APP網(wǎng)絡(luò)署圖P理員、大一線l實時問題發(fā)現(xiàn)、快速介入避免問題擴大l可視化故障全景，快速修復故障根源源在基礎(chǔ)采集能力、配置能力支撐下，布局云平臺場景化運維建設(shè)，逐步實現(xiàn)可視化、自動化、智慧化的云平臺場景化運維能力，大大降低了運維門檻，實現(xiàn)租戶自助式、無障礙故障定位與根因排查、恢復，同時實現(xiàn)運維人員價值轉(zhuǎn)型。定界恢復能力統(tǒng)一標準計量用部署圖存儲ll線、三線l數(shù)據(jù)開放，實時數(shù)據(jù)化展示平臺運行全貌l秒級、自動故障根源定位能力l可視化評估故障影響面l統(tǒng)一標準計量算法，客觀評判云平臺狀態(tài)業(yè)管理災(zāi)自動切換審計編排分發(fā)理列戶權(quán)限進行自服務(wù)管理控制采集策平臺估器自動處理業(yè)管理災(zāi)自動切換審計編排分發(fā)理列戶權(quán)限進行自服務(wù)管理控制采集策平臺估器自動處理平臺分析分析分析監(jiān)控統(tǒng)監(jiān)控 存儲監(jiān)控用據(jù)庫擬機康評估分析控他 應(yīng)用監(jiān)控據(jù)作權(quán)限管理管理用庫儲據(jù)理共享中心資源作伙伴聯(lián)合研能運維平臺實現(xiàn)了業(yè)界IT件健康度模型，直經(jīng)實現(xiàn)了數(shù)據(jù)庫、操作網(wǎng)絡(luò)設(shè)備等多個組件的換三命令文檔腳本用戶lll維大量自決策少量