張煒：高質(zhì)效創(chuàng)新組織數(shù)字化時代下科技運(yùn)營轉(zhuǎn)型探索實踐

馬上消費(fèi)金融-科技運(yùn)營部負(fù)責(zé)人擁有超過16年的技術(shù)運(yùn)營管理經(jīng)驗，目前擔(dān)任馬上消費(fèi)金融股份有在公司成功實施了多項DevOps實踐，提升軟件交付的速度和質(zhì)量，同時確保了生產(chǎn)環(huán)境的高可用性和穩(wěn)定性，基本形成需求到生產(chǎn)端到端GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站o1數(shù)字化技術(shù)加速融合02創(chuàng)新與風(fēng)險兼顧的研發(fā)管理體系03高效穩(wěn)定的IT服務(wù)與運(yùn)營體系04數(shù)字化IT投資管理GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站技術(shù)運(yùn)營管理變革從傳統(tǒng)工具到新代智能技術(shù)運(yùn)營管理變革從傳統(tǒng)工具到新代智能工具決策革命 —/決策工具革命?學(xué)習(xí)能力?推理能力?語言理解?自適應(yīng)性??學(xué)習(xí)能力?推理能力?語言理解?自適應(yīng)性?體量大?速度快?多樣性?可視化?小型化?去中心化?可擴(kuò)展?松耦合技術(shù)廣泛應(yīng)用?資源池化?快速彈性?服務(wù)化、標(biāo)準(zhǔn)化?災(zāi)難恢復(fù)、數(shù)據(jù)備份容器化和微服務(wù)架構(gòu)數(shù)據(jù)驅(qū)動的決策容器化和微服務(wù)架構(gòu)數(shù)據(jù)驅(qū)動的決策多云和混合云策略多云和混合云策略DevOpsDevOps實踐的普及正在改變IT運(yùn)營，通過持續(xù)集成和持續(xù)部署流程，實現(xiàn)更快的軟件交付和更緊密的開發(fā)與運(yùn)營團(tuán)隊協(xié)作。容器化技術(shù)（如Docker）和微服務(wù)架構(gòu)正在改變應(yīng)用程序的部署和管理方式，要求IT運(yùn)營適應(yīng)這些新方法。企業(yè)越來越多地采用多云和混合云策略，這要求IT運(yùn)營能夠管理多個云平臺和本地業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)隨著遠(yuǎn)程工作和分布式系統(tǒng)的普及，確保業(yè)務(wù)連續(xù)性和有效的災(zāi)難恢復(fù)計劃變得更加重要。技術(shù)運(yùn)營通過數(shù)據(jù)驅(qū)動持續(xù)改進(jìn)隨著大數(shù)據(jù)的深度和廣泛應(yīng)用，企業(yè)正在利用數(shù)據(jù)分析來優(yōu)化運(yùn)營流程、提高客戶滿意度，并做出更加明智的業(yè)務(wù)決策。技術(shù)運(yùn)營通過數(shù)據(jù)驅(qū)動持續(xù)改進(jìn)。在市場快速變化和技術(shù)加速融合過程中，IT運(yùn)營要確保變革順利進(jìn)行，同時為企業(yè)帶來持續(xù)的價值增長業(yè)務(wù)發(fā)展對IT快速響應(yīng)與靈活交付的挑戰(zhàn)技術(shù)融合加速對IT穩(wěn)定運(yùn)營管理的挑戰(zhàn)商業(yè)價值的不確定性對IT科學(xué)投資決策的挑戰(zhàn)GOPGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站DevOps目標(biāo)是讓研發(fā)更快，讓業(yè)務(wù)更穩(wěn)，讓決策更準(zhǔn)快快穩(wěn)穩(wěn)準(zhǔn)準(zhǔn)GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站實現(xiàn)IT運(yùn)營價值創(chuàng)造需要完成的模式轉(zhuǎn)變架構(gòu)輕量化架構(gòu)輕量化單塊架構(gòu)瀑布式開發(fā)開發(fā)運(yùn)維分離豎井式物理資源基礎(chǔ)設(shè)施UU松耦合APIs合作伙伴微服務(wù)敏捷交付一體化GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站實現(xiàn)IT運(yùn)營價值目標(biāo)需要具備的六項能力GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站集中式集中式權(quán)責(zé)明確的高效的科技運(yùn)營組織模式與運(yùn)行機(jī)制分散式分散式?企業(yè)規(guī)模較小，業(yè)務(wù)單一?快速決策和統(tǒng)一行動?組織結(jié)構(gòu)：金字塔形?需要提高對市場變化的適應(yīng)性和靈活性時?決策分散、快速響應(yīng)市場變化和客戶需求?部門墻、高協(xié)調(diào)溝通成本、資源分散聯(lián)?各業(yè)務(wù)領(lǐng)域快速適應(yīng)新技術(shù)和創(chuàng)新時式性結(jié)合；激發(fā)各技術(shù)條線的創(chuàng)新和市場適應(yīng)性?依賴性高層管理者、市場響應(yīng)慢?需要較高的管理能力和協(xié)調(diào)機(jī)制?健康的科技運(yùn)營系統(tǒng)能夠應(yīng)對環(huán)境變化、應(yīng)對意外，并自我成長??組織模式：集中與分散的平衡運(yùn)行機(jī)制：資源共享與協(xié)同工作?GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站需求管理：承載DevOps開發(fā)模式的PPR/PER/PIR管理22?需求來源歸屬PPR（項目）、PER（項目關(guān)聯(lián)/系統(tǒng)功能完善）、PIR（問題）項目角度11?PPR遵循項目管理方式，有生命周期和?PER/PIR遵循需求管理方式，完成上線GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站三種開發(fā)模式：支持不同場景的需求實現(xiàn)，在高頻發(fā)布場景下保證生產(chǎn)發(fā)布的質(zhì)量需求階段研發(fā)模式關(guān)鍵活動需求階段研發(fā)模式關(guān)鍵活動需求提出需求分析需求評審需求設(shè)計需求提出需求分析需求評審需求設(shè)計需求實現(xiàn)需求驗收》架構(gòu)評審系統(tǒng)設(shè)計編碼實現(xiàn)代碼評審架構(gòu)評審系統(tǒng)設(shè)計編碼實現(xiàn)代碼評審架構(gòu)設(shè)計》聯(lián)調(diào)測試測試活動聯(lián)調(diào)測試測試活動測試準(zhǔn)備》平臺工具GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站(1).需求管理：場景驅(qū)動，形成高效流動的“價值漏斗”價值創(chuàng)造以需求的形式承載，需求管理的目標(biāo)是有效識別并驅(qū)動價值流的快速流轉(zhuǎn)。傳統(tǒng)IT的需求管理多是單向接收業(yè)務(wù)部門訴求，然后按研發(fā)流程進(jìn)行需求分析、計劃、開發(fā)測試和發(fā)布交付，在IT內(nèi)部資源、時間等諸多因素的不對稱，并且相互?需求交付的效果與用戶預(yù)期偏差大，用戶滿意度低?以場景驅(qū)動，建立價值流漏斗，形成從輸入到輸出的全價值鏈交付。?從需求提出、評估分析、排期開發(fā)、測試驗收、上線交付等各個環(huán)節(jié)進(jìn)行全覆蓋，對研發(fā)過程、數(shù)據(jù)、資源實現(xiàn)透明化。?業(yè)務(wù)部門可以快速得到反饋，研發(fā)部門能夠理解需求GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站度量的目標(biāo)是讓效能可量化、可分析、可改進(jìn)，通過數(shù)據(jù)驅(qū)動的方式更理性的評估和改善效能技術(shù)目標(biāo)是持續(xù)提升研發(fā)流程的效率、保證規(guī)范的執(zhí)行、提升質(zhì)量和效率，持續(xù)提升是精益的更高追求，尋找提升空間需要思考的問題是：我們的流程是高效的嗎？阻礙在哪里？我們的規(guī)范落地執(zhí)行情況如何？流程控制是否存在漏洞？我們的研發(fā)質(zhì)量和效率如何？短板在哪里？度量指標(biāo)能夠客觀反映現(xiàn)狀，幫助我們看到現(xiàn)狀與目標(biāo)之間的差距然而，這只是技術(shù)視野，我們還要了解業(yè)務(wù)方的期望，才能知道我們的視野是否足夠開闊，才能決定改進(jìn)的方向，不能閉門造車能夠提供更全面的IT產(chǎn)品和更高效的IT服務(wù)能夠更快地響應(yīng)需求及完成交付能夠為業(yè)務(wù)應(yīng)用更穩(wěn)定地提供更高質(zhì)量的交付我們的最高目標(biāo)始終是為了更好地支撐業(yè)務(wù)，要了解業(yè)務(wù)方最迫切所需，及時調(diào)整技術(shù)改進(jìn)方向，使技術(shù)目標(biāo)與業(yè)務(wù)目標(biāo)保持協(xié)調(diào)GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站完整的價值度量體系，量化產(chǎn)研關(guān)鍵活動，指標(biāo)驅(qū)動效率和質(zhì)量持續(xù)改進(jìn)要的錯誤和返工，驅(qū)動內(nèi)部、外部質(zhì)量改GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站SRE穩(wěn)定性時空：四個維度支撐整個穩(wěn)定性保障作業(yè)俗俗技術(shù)管理和運(yùn)維活動穩(wěn)定性保障對象技術(shù)管理和運(yùn)維活動穩(wěn)定性保障對象平臺能力建設(shè)故障和穩(wěn)定性生命周期平臺能力建設(shè)故障和穩(wěn)定性生命周期GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站科技運(yùn)營研發(fā)團(tuán)隊A研發(fā)團(tuán)隊B聯(lián)邦制SRE模式：倡導(dǎo)SRE文化，推行聯(lián)邦制SRE運(yùn)維模式，促進(jìn)研發(fā)、運(yùn)維高效協(xié)作科技運(yùn)營研發(fā)團(tuán)隊A研發(fā)團(tuán)隊B運(yùn)行機(jī)制?各團(tuán)隊SRE為“邦”，分別開展監(jiān)控巡檢、變ONCALL應(yīng)急（含演練）、問題復(fù)盤跟進(jìn)等6項核心工作?科技運(yùn)營團(tuán)隊統(tǒng)籌共性的體系、流程、工具平臺，建立溝通協(xié)作機(jī)制，聯(lián)系各團(tuán)隊SRE總結(jié)分享和推廣最佳實踐優(yōu)勢SRESRE優(yōu)勢SRESRE?“聯(lián)”的優(yōu)勢：形成統(tǒng)一的規(guī)范、流程、工具?“邦”的優(yōu)勢：各SRE團(tuán)隊職責(zé)邊界清晰，能夠更高效、更便捷地服務(wù)于本團(tuán)隊的研發(fā)生產(chǎn)GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站 服務(wù)容量和業(yè)務(wù)容量：建立服務(wù)SLO穩(wěn)定性標(biāo)準(zhǔn)效果3：建立服務(wù)穩(wěn)定性可視化度量效果3：建立服務(wù)穩(wěn)定性可視化度量可視化生產(chǎn)所有服務(wù)的的穩(wěn)定性運(yùn)行情況(錯誤消耗、SLA可視化生產(chǎn)所有服務(wù)的的穩(wěn)定性運(yùn)行情況(錯誤消耗、SLA建立業(yè)務(wù)、應(yīng)用、組件等的服務(wù)穩(wěn)定性量化標(biāo)準(zhǔn)，基于標(biāo)準(zhǔn)觀測服務(wù)狀態(tài)。優(yōu)化改進(jìn)：建立服務(wù)治理閉環(huán)處理流程優(yōu)化改進(jìn)：分層梳理優(yōu)化改進(jìn)：建立服務(wù)治理閉環(huán)處理流程優(yōu)化改進(jìn)：分層梳理SLI、SLO、SLA③治理服務(wù)質(zhì)量②管理服務(wù)③治理服務(wù)質(zhì)量②管理服務(wù)SLI/SLO/SLA①分層梳理服務(wù)目錄和服務(wù)級別①分層梳理服務(wù)目錄和服務(wù)級別GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站v1v1v1v1v1v1 負(fù)載均衡v2v2v2v2v2v2v2v2v2v2v1v1v1v1v2v2v1v1負(fù)載均衡負(fù)載均衡負(fù)載均衡v1v1v1v1v1v1負(fù)載均衡v2v2v2v2v2v2負(fù)載均衡發(fā)布管理：靈活多樣的部署流水線，自動觸發(fā)代碼檢查和自動測試，提升發(fā)布速度和質(zhì)量v1v1v1v1v1v1 負(fù)載均衡v2v2v2v2v2v2v2v2v2v2v1v1v1v1v2v2v1v1負(fù)載均衡負(fù)載均衡負(fù)載均衡v1v1v1v1v1v1負(fù)載均衡v2v2v2v2v2v2負(fù)載均衡負(fù)載均衡負(fù)載均衡v1v1v1v1v1v1v2v2v2v2v2v2v1v1v1負(fù)載均衡v1v1v1負(fù)載均衡v2v2v2v2v2v2v1v1v1負(fù)載均衡v1v1v1負(fù)載均衡v2v2v2v2v2v21.藍(lán)綠部署，是指不停老版本，部署新版本然后進(jìn)行測試，確認(rèn)OK，將流量切到新版本，然后老版本同時也升級到新版本。2.金絲雀部署，也叫灰度發(fā)布，是指在黑與白之間，能夠平滑過渡的一種發(fā)布方式。ABtest就是一種灰度發(fā)布方式，讓一部分用戶繼續(xù)用A，一部分用戶開始用B大范圍，把所有用戶都遷移到B上面來?；叶劝l(fā)布可以保證整體系統(tǒng)的穩(wěn)定，在初始灰度的時候就可以發(fā)現(xiàn)、調(diào)整問題，以保證其影響度，而我們平常所說的金絲雀部署也就是灰度發(fā)布的一GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站CMDB配置管理：明確數(shù)據(jù)owner職責(zé)要求，cmdb數(shù)據(jù)消費(fèi)唯一數(shù)據(jù)源和數(shù)據(jù)生產(chǎn)的閉環(huán)機(jī)制提升的準(zhǔn)確性數(shù)據(jù)權(quán)威，面向業(yè)務(wù)，支撐業(yè)務(wù)發(fā)展11基于應(yīng)用從上層往下建設(shè)cmdb，下層基礎(chǔ)架構(gòu)設(shè)施往上全覆蓋-其次建設(shè)基礎(chǔ)公共資源，然后從數(shù)據(jù)中心設(shè)施到邏輯資源全覆蓋-基于分層模型、第三范式最小冗余、面向?qū)ο笏枷虢?2消費(fèi)驅(qū)動數(shù)據(jù)準(zhǔn)確性-數(shù)據(jù)校驗規(guī)則：完整性、準(zhǔn)確性、關(guān)聯(lián)性不準(zhǔn)C不信C不用落地方案準(zhǔn)確落地方案準(zhǔn)確信任消費(fèi)GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站提升運(yùn)維效率 監(jiān)控告警：構(gòu)建以業(yè)務(wù)為導(dǎo)向的監(jiān)控體系，快速明確業(yè)務(wù)影響，縮小故障域位置，提升運(yùn)維效率在業(yè)務(wù)影響判斷階段：首先利用駕駛艙首層定位受影響的業(yè)務(wù)域，通過結(jié)果指標(biāo)快速識別問題區(qū)域。通過二層看板進(jìn)一步縮小故障范圍，具體查看異常業(yè)務(wù)節(jié)點(diǎn)。利用全息監(jiān)控，將業(yè)務(wù)節(jié)點(diǎn)與服務(wù)異常關(guān)聯(lián)起來，涵蓋指標(biāo)、日志和鏈路，實現(xiàn)故障的全面診斷。最后，通過風(fēng)險預(yù)警大屏，追溯服務(wù)至對應(yīng)的組件和基礎(chǔ)設(shè)施，進(jìn)行異常檢測和風(fēng)險預(yù)警，確保及時響應(yīng)和業(yè)務(wù)穩(wěn)定性。這一流程通過分層診斷，從業(yè)務(wù)域到具體節(jié)點(diǎn)，再到服務(wù)和基礎(chǔ)設(shè)施，構(gòu)建了一個系統(tǒng)化的故障分析和預(yù)警機(jī)制，有效提升了故障定位的準(zhǔn)確性和業(yè)務(wù)運(yùn)維的效率。GOGOPS全球運(yùn)維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站問題管理：明確整改方案，有效追蹤改進(jìn)過程和效果問題管理的最終目標(biāo)是消除引起事件的深層次根源以防止事件再次發(fā)生，包括主動性類活動。被動性問題管理的目標(biāo)是找到事件根因并糾正；主動性問題管理的目標(biāo)是通過消滅基礎(chǔ)設(shè)施的薄弱環(huán)節(jié)來問題控制負(fù)責(zé)找出問題并調(diào)查根因，采取措施將問題轉(zhuǎn)化為已知錯誤1.發(fā)現(xiàn)、記錄問題2.問題歸類3.調(diào)查和分為問題4.臨時修復(fù)錯誤控制管理，控制并成功糾正已知錯誤的過程，通過變更申請實施變更，確保已知錯誤消除，避免事件發(fā)生1.發(fā)現(xiàn)、記錄錯誤2.評價錯誤3.記錄錯誤解決過程4.終止錯誤5.跟蹤、監(jiān)督問題和錯誤的解決過程主動性問題管理在事件發(fā)生前發(fā)現(xiàn)和解決有關(guān)問題和已知錯誤，以盡量減少問題和已知錯誤對業(yè)務(wù)的影響問題報告定期或不定期提供