面向業(yè)務(wù)的IT系統(tǒng)容量規(guī)劃和資源分配體系的創(chuàng)新與實(shí)施

中國移動(dòng)四川公司 2011科技成果材料 面向業(yè)務(wù)的 IT系統(tǒng)容量規(guī)劃和資源分配體系 四川省公司音樂運(yùn)營中心 如何判斷 IT系統(tǒng)能否跟上業(yè)務(wù)的發(fā)展，做到適時(shí)擴(kuò)容 如何保障現(xiàn)有服務(wù)水平的條件下，降低系統(tǒng)運(yùn)維成本 未來虛擬化、云計(jì)算的浪潮中，如何 科學(xué) 的分配虛擬資源 面 臨 的 挑 戰(zhàn) 亟待解決 1. IT系統(tǒng)提供的服務(wù)和應(yīng)用與資源消耗量是關(guān)系是什么 2. 如何根據(jù)業(yè)務(wù)的需要 ， 科學(xué)的進(jìn)行 系統(tǒng)資源調(diào)度和系統(tǒng) 容量規(guī)劃 解決方案： 為 IT系統(tǒng)進(jìn)行面向業(yè)務(wù)的容量規(guī)劃 什么是面向業(yè)務(wù)的容量規(guī)劃 1、面向業(yè)務(wù)的容量規(guī)劃方法不同于原始的依靠經(jīng)驗(yàn)來估算系統(tǒng)規(guī)模，通過模型的計(jì)算更為準(zhǔn)確； 2、性能建模自動(dòng)化，速度更加快捷； 3、將有力的解決未來虛擬化、云計(jì)算資源分配問題。 通過運(yùn)用多種數(shù)學(xué)理論和工具，建立業(yè)務(wù)量與系統(tǒng)資源消耗量的數(shù)學(xué)模型；并根據(jù)業(yè)務(wù)發(fā)展的要求，對系統(tǒng)處理能力和規(guī)模進(jìn)行科學(xué)的分配和 規(guī)劃。 實(shí)施 案例 無線音樂音樂基地的下載平臺，承載了全國范圍內(nèi)的振鈴、全曲下載，日均下載量為百萬次以上。 下載平臺應(yīng)用服務(wù)器負(fù)責(zé)音樂文件的實(shí)體下發(fā)任務(wù) 振鈴、全曲單次下載的平均時(shí)長分別為 5 20s 和 30 60s 用戶的每次下載請求均要對應(yīng)用服務(wù)器資源產(chǎn)生一定消耗 因此，要確定平臺資源是否能夠滿足下載業(yè)務(wù)的快速發(fā)展，我們需要了解下載量與資源消耗的相互關(guān)系。 故建立下載量與 CPU資源使用率的性能模型。 實(shí)際建模主要內(nèi)容 建立并檢驗(yàn)性能模型 數(shù)據(jù) 預(yù)處理 性能數(shù)據(jù)收集 設(shè)定監(jiān)控采集粒度： 10分鐘 收集歷史數(shù)據(jù) 有效性檢驗(yàn) 重復(fù)值、空值處理、 噪點(diǎn)濾除 性能模型求解算法設(shè)計(jì)及編程 性能模型： CPU = 0.0245 業(yè)務(wù) + 92 預(yù)測下載平臺應(yīng)用服務(wù)器擴(kuò)容后資源使用情況 模型驗(yàn)證及準(zhǔn)確度計(jì)算 歷史數(shù)據(jù)驗(yàn)證；模型精確度： 87% 經(jīng)濟(jì)收益 原有方案 本成果 收益 咨詢項(xiàng)目費(fèi)用 30 50 （萬） 0 30 50（萬） 硬件投資 13臺 ATAE服務(wù)器 4臺 ATAE服務(wù)器 58 9 = 522（萬） 運(yùn)維成本 降低運(yùn)維成本： 10（萬）以上 環(huán)境運(yùn)行費(fèi)用 減少設(shè)備耗電成本： 0.2 9 0.75 24 365 = 1.18（萬） 合計(jì) 可減少資本投入及運(yùn)維成本 ： 563.18 萬以上 本成果應(yīng)用到下載平臺后經(jīng)濟(jì)收益估算表 社會(huì)收益 節(jié)能減排， 彰 顯央企的社會(huì)責(zé)任感 本成果在下載平臺的應(yīng)用，經(jīng)測算僅 設(shè)備耗電量一項(xiàng)上就可以 降低1.6萬度以上 為集團(tuán)虛擬化技術(shù)的推廣提供有利條件 本成果提出了虛擬資源預(yù)分配方案，可以避免資源頻繁漂移問題，為集團(tuán)虛擬化技術(shù)的推廣提供了有利條件。 音樂基地在完全依靠自身的條件下，運(yùn)用多元線性回歸理論和時(shí)間序列分析等理論，推導(dǎo)和總結(jié)了一套面向業(yè)務(wù)的、適用于多種 IT架構(gòu)的系統(tǒng)容量規(guī)劃和資源分配體系； 與傳統(tǒng)依靠經(jīng)驗(yàn)的容量規(guī)劃相比，新方法更準(zhǔn)確、更快捷 總 結(jié) 性能建模 經(jīng)驗(yàn) IT系統(tǒng)的容量規(guī)劃 將該方法運(yùn)用到音樂基地的下載平臺，建立了振鈴、全曲下載量與應(yīng)用服務(wù)器資源利用率的數(shù)學(xué)模型。 通過與實(shí)際結(jié)果的對比，檢驗(yàn)了模型的準(zhǔn)確性，同時(shí)也驗(yàn)證了性能建模方法的可靠性。 建立的性能模型準(zhǔn)確的預(yù)測了下載平臺擴(kuò)容后資源的使用情況。 使用面向業(yè)務(wù)的容量規(guī)劃方法后，預(yù)計(jì)可為基地帶來 500萬元以上的收益。 總 結(jié) 了解業(yè)務(wù)量與資源使用率的真實(shí)關(guān)系 根據(jù)業(yè)務(wù)需要進(jìn)行系統(tǒng)資源分配 快速適應(yīng)業(yè)務(wù)的發(fā)展 避免過度投資，降低成本 提升系統(tǒng)穩(wěn)定性和服務(wù)水平 更精確的 IT資源預(yù)算 虛擬化資源分配的好幫手 資源、業(yè)務(wù)的選取沒有限制 降低維護(hù)人員的工作量和運(yùn)維成本 普適度高 有利于整合業(yè)務(wù)發(fā)展與 IT規(guī)劃目標(biāo) IT容量規(guī)劃更加便捷 面向業(yè)務(wù)的 容量規(guī)劃的優(yōu)勢： 根據(jù) 多元線性回歸理論 ，通過數(shù)學(xué)的方法構(gòu)建系統(tǒng)中承載的業(yè)務(wù)量與資源消耗量間的關(guān)系： 等式左邊描述了不同業(yè)務(wù)對系統(tǒng)資源的消耗情況 對應(yīng)業(yè)務(wù) 1到 j 的消耗因子； 表示非業(yè)務(wù)應(yīng)用對資源的消耗量，例如操作系統(tǒng)、監(jiān)控等 R 表示系統(tǒng)中采集到總的一種資源使用量。 詳 細(xì) 原 理 介 紹 0 1 1 2 2 jja a N a N a N R K0a12, ja a aL 等式中資源 R 由監(jiān)控軟件采集得到 根據(jù)建模的目標(biāo)，設(shè)定監(jiān)控采集的粒度 建立每天業(yè)務(wù)量均值與資源使用量的模型，粒度： 1小時(shí) 建立每小時(shí)業(yè)務(wù)量與與資源使用量的模型，粒度： 5 10分鐘 根據(jù)需要，選擇建模資源 R，資源的選取沒有限制 CPU、內(nèi)存 磁盤、表空間 I/O、網(wǎng)絡(luò)，等等 原 理 快速、準(zhǔn)確的性能建模 可以調(diào)整業(yè)務(wù)間不同的占比， 進(jìn)行測試 或通過收集充足的、大量的歷史信息 12,i i i jN N NK0 1 1 1 2 1 2 1 10 1 2 1 2 2 2 2 20 1 1 2 2jjjji i j i j ia a N a N a N Ra a N a N a N Ra a N a N a N R KKMOMK T T1 1 1 2 1 12 1 2 2 2 20 1 21 + 112 1+111=1jjjji i i j i iijN N N RN N N Ra a a aN N N R LLLM O M ML矩陣變換 建立多組業(yè)務(wù)量與資源消耗等式 1 1 1 2 12 1 2 2 212111jji i i jN N NN N NHN N NLLM O ML根據(jù)矩陣?yán)碚?，在求?a0， a1 ， aj 時(shí)， 只有當(dāng)矩陣 H秩， R（ H） j 時(shí)等式才有最優(yōu)的近似解。 T1210 1 21 + 11=jji iRRa a a a HR LM 業(yè)務(wù) 1， 2.， j 相互獨(dú)立，之間不存在相互調(diào)用關(guān)系 若業(yè)務(wù) m、 n存在相互調(diào)用，則需排除相互調(diào)用發(fā)生的業(yè)務(wù)量 容量規(guī)劃和資源分配流程 Step1 數(shù)據(jù)收集 明確性能建模目標(biāo)。 獲取系統(tǒng)應(yīng)用和負(fù)載列表。 根據(jù)模型精度需要，設(shè)置監(jiān)控的采集信息的粒度。一般而言，粒度越小，所建立的模型精度越高。 通過性能測試，或收集 5至 6周系統(tǒng)的業(yè)務(wù)和系統(tǒng)負(fù)載數(shù)據(jù) 對原始數(shù)據(jù)按時(shí)間先后順序排序，確定數(shù)據(jù)有效性 刪除重復(fù)數(shù)據(jù) 對空值 使用插值法 處理 將業(yè)務(wù)和資源消耗的采集值轉(zhuǎn)化為小時(shí)均值，并將業(yè)務(wù)量數(shù)據(jù)與資源負(fù)荷相對應(yīng)。 相關(guān)性分析 噪點(diǎn)濾除 數(shù)據(jù)收集 Step2 數(shù)據(jù)預(yù)處理 代入預(yù)處理后的數(shù)據(jù)，計(jì)算得出業(yè)務(wù) j與資源消耗因子 aj 的數(shù)學(xué)模型 模型建立與驗(yàn)證 Step3 建立模型 Step4 模型驗(yàn)證 將業(yè)務(wù)數(shù)據(jù)代入數(shù)學(xué)模型，得出相應(yīng)的資源消耗情況 計(jì)算模型精確度 將模型計(jì)算值與實(shí)際值進(jìn)行對比，判定模型是否有效 Step5 業(yè)務(wù)分析 將業(yè)務(wù)分為月初、月末，節(jié)假日及日常三種類型 計(jì)算三種類型時(shí)段的業(yè)務(wù)中位數(shù)，找出系統(tǒng)忙時(shí) 運(yùn)用時(shí)間序列分析法和指數(shù)平滑法得出未來 6至 12個(gè)月業(yè)務(wù)發(fā)展數(shù)據(jù)。 業(yè)