螞蟻金服數(shù)據(jù)成本治理實踐

效率難看清效率難看清務(wù)使用資源效率率看不清增增速難衡量單靠引擎和硬件的紅利已經(jīng)難以滿足業(yè)務(wù)的需求且達(dá)成目標(biāo)螞蟻全域架構(gòu)組各業(yè)務(wù)CTOs建設(shè)p對客定價設(shè)計和測算p螞蟻全域架構(gòu)組各業(yè)務(wù)CTOs建設(shè)p對客定價設(shè)計和測算p資源成本體系監(jiān)控p持續(xù)優(yōu)化單價設(shè)p資源用量賬單建設(shè)p治理策略挖掘和方案設(shè)計p提升業(yè)務(wù)治理和管理的效率螞蟻技術(shù)戰(zhàn)略數(shù)數(shù)據(jù)智能架構(gòu)委員會螞蟻數(shù)據(jù)工作組數(shù)據(jù)成本治理小組務(wù)務(wù)務(wù)......標(biāo)準(zhǔn)和制度建設(shè)利用統(tǒng)一調(diào)度和容器技術(shù)來實現(xiàn)池化資源利用統(tǒng)一調(diào)度和容器技術(shù)來實現(xiàn)池化資源SRE++售賣售賣+平我們在螞蟻的成本治理實踐組織保障定價和用量健康分規(guī)范成本運(yùn)營最佳實踐務(wù)業(yè)務(wù)用量管治業(yè)務(wù)用量管治務(wù).......財務(wù)財務(wù)成本賬單人賬單事前事中資源管事前事中資源管理大任務(wù)自動查殺運(yùn)維補(bǔ)數(shù)據(jù)管控成本發(fā)布管控平臺用量管治健康分和治理策略挖健康分和治理策略挖掘提升治理資產(chǎn)覆蓋率和治理效率將策略覆蓋到事前事中鏈路下線鏈路下線表級別自動歸檔......單價治理其他資源優(yōu)化系其他資源優(yōu)化系統(tǒng)賬號治理非法傳參治理治理......系統(tǒng)錯誤治理削峰優(yōu)化跨集群緩存通過盡可能的數(shù)據(jù)本地化存算以及一定程度的網(wǎng)絡(luò)限流來降低網(wǎng)絡(luò)成本架構(gòu)分拆和遷移計算資源錯峰調(diào)度CPU任務(wù)延遲起調(diào)基礎(chǔ)設(shè)施和引擎優(yōu)化降本算力混部自建網(wǎng)絡(luò)硬件選型熱冷分級存儲SSD緩存提升I/O短查詢加速...... 站存儲建立P&L管理率指標(biāo)；度量方儲峰值利用率%峰值利用率%CPU峰值利用率% I/O吞吐能力能力(峰值排隊率，日均排隊率)利用率%理策略reduce傾斜無效標(biāo)簽下線事前任務(wù)運(yùn)行成本預(yù)估MapJoin低性能函數(shù)不合理數(shù)據(jù)裁剪事中大任務(wù)自動查殺中成本發(fā)布管控存儲生命周期縮短任務(wù)和表下線下線成本管控下線改造現(xiàn)7*24業(yè)務(wù)可用整合調(diào)度頻率的廢棄表和無效任務(wù)識別整合調(diào)度頻率和訪問跨度的生命周期推薦現(xiàn)7*24業(yè)務(wù)可用整合調(diào)度頻率的廢棄表和無效任務(wù)識別整合調(diào)度頻率和訪問跨度的生命周期推薦可以集成更多特色的處置能力部分策略實現(xiàn)實時健康分刷新全面性全天候健壯性及時性多計算健康分存儲健康分問任務(wù)無tt統(tǒng)計當(dāng)天f(治理項每日實際浪費(fèi))發(fā)現(xiàn)日期統(tǒng)計當(dāng)天f(max(治理項上游每日實際發(fā)現(xiàn)日期個人健康分= 【基于成本目標(biāo)，設(shè)定健康分85分及格線(即每人最多允許累計浪費(fèi)存儲XTB(x元)或計算xCU(x元))】特殊任務(wù)實時資源巡檢平臺治理提效(事中和事前的成本管理能力)特殊任務(wù)實時資源巡檢事事中大任務(wù)查殺(避免隨意大任務(wù)提交)任務(wù)運(yùn)行超配任