生產(chǎn)數(shù)據(jù)庫架構(gòu)改造方案

1、生產(chǎn)數(shù)據(jù)庫性能優(yōu)化方案（初稿）1 .背景生產(chǎn)數(shù)據(jù)庫上線一段時間后由于數(shù)據(jù)量遠(yuǎn)大于預(yù)期，導(dǎo)致數(shù)據(jù)庫性能低卜而影響正常業(yè)務(wù)，故需要對數(shù)據(jù)庫進(jìn)行性能優(yōu)化。2 .現(xiàn)狀當(dāng)前數(shù)據(jù)庫結(jié)構(gòu)如下圖所示：圖2-1系統(tǒng)結(jié)構(gòu)示意圖上游三個數(shù)據(jù)源通過DI工具以定時任務(wù)的方式將上游數(shù)據(jù)抽取到基礎(chǔ)數(shù)據(jù)庫中（紅色部分），從基礎(chǔ)庫到下游目標(biāo)庫則是通過用戶操作應(yīng)用程序?qū)⒒A(chǔ)數(shù)據(jù)庫中的數(shù)據(jù)調(diào)度到目標(biāo)數(shù)據(jù)庫中。根據(jù)目前對數(shù)據(jù)量的統(tǒng)計(jì)基礎(chǔ)庫約為400GB+的數(shù)據(jù)總量。目前基礎(chǔ)數(shù)據(jù)庫的性能低下，主要表現(xiàn)于定時抽取任務(wù)執(zhí)行時間過長，任務(wù)間的時間間隔變短；應(yīng)用執(zhí)行數(shù)據(jù)調(diào)度時間過長，導(dǎo)致應(yīng)用長時間處于無響應(yīng)狀態(tài)。3 .分析基礎(chǔ)數(shù)據(jù)庫獲取上游數(shù)

2、據(jù)時，數(shù)據(jù)傳輸量較大，數(shù)據(jù)庫寫操作頻繁，操作系統(tǒng)層表現(xiàn)于數(shù)據(jù)文件所在磁盤寫io高，并持續(xù)時間長。由于基礎(chǔ)庫放數(shù)據(jù)到下游數(shù)據(jù)庫是人為操作，數(shù)據(jù)庫讀操作頻繁，操作系統(tǒng)層表現(xiàn)于數(shù)據(jù)文件所在磁盤讀IO高，且經(jīng)常會與DI定時任務(wù)同時執(zhí)行，Svrii4鵬ivhib#,CibkMuriWiF-ia&a圖3-1磁盤IO狀態(tài)Tn*|r4事4WITnm鼻號II*Tnv1NAai-UfeKKtTilMijU4!1.trtj亭EgE-IsrvsWMarE:IHVF-E一-w;*-uis_3-L.y3口IMI一廣一:工rpFB-EER-zts一-七事丁1母爭E1538?qgwalNVT-1VHiaER-3-4*z-e-

3、工藝豆&-IFk-x-I1模R-mrarB-c-gHwms-HM*S二rlm-3*3-soisa丁一Z3Ts-x-A-taL4-事一JLtw孑*E由于基礎(chǔ)庫保存原始數(shù)據(jù)并不對數(shù)據(jù)進(jìn)行處理，所以CPU消耗很低，從監(jiān)控看CPU不視為性能瓶頸點(diǎn)。U4lLhJ.11Gaft-EMfgn工-reffEEEWMIWErJiNV工qe9-8*工，e3:kl3a!-K-BE工es-FK&qwxBaEWT39EK.-SEH3K-EF-ff圖3-3CPU使用率從以上分析可以判斷數(shù)據(jù)庫操作性能低下主要在高磁盤IO時造成IO掙用較大導(dǎo)致拖慢整體性能。故本次優(yōu)化將重點(diǎn)放在解決磁盤IO掙用問題和提高磁盤IOPS上。4 .

4、優(yōu)化方案本著應(yīng)用層變動最小的原則，為解決基礎(chǔ)庫磁盤IO性能低下問題，我們將從三個方面著手進(jìn)行，即：優(yōu)化數(shù)據(jù)庫物理架構(gòu)、優(yōu)化DI任務(wù)執(zhí)行時間和優(yōu)化數(shù)據(jù)庫數(shù)據(jù)文件所在Path的磁盤VG結(jié)構(gòu)4.1. 優(yōu)化數(shù)據(jù)庫物理架構(gòu)根據(jù)基礎(chǔ)庫的業(yè)務(wù)特點(diǎn)，這里將對基礎(chǔ)庫的讀寫操作進(jìn)行分離（即：讀、寫分離）。這樣做的好處在于可以最大限度規(guī)避數(shù)據(jù)庫讀、寫同時操作所帶來白磁盤IO掙用問題。調(diào)整后的架構(gòu)如下圖：數(shù)據(jù)庫采用主/從模式，使用binlog復(fù)制方式實(shí)現(xiàn)數(shù)據(jù)同步。由于考慮到大數(shù)據(jù)量復(fù)制可能帶來的同步延遲問題，實(shí)現(xiàn)時需要注意優(yōu)化復(fù)制線程參4.2. 優(yōu)化DI任務(wù)執(zhí)行時間為了避免多任務(wù)同時寫一個數(shù)據(jù)庫產(chǎn)生磁盤寫IO過高的問

5、題，需要對每一個DI任務(wù)的執(zhí)行時間進(jìn)行估算，并根據(jù)磁盤性能合理編排任務(wù)并行度同時還需要考慮數(shù)據(jù)單位時間內(nèi)的數(shù)據(jù)增長量對任務(wù)執(zhí)行時間的影響，避免由于數(shù)據(jù)量的增加延長任務(wù)執(zhí)行時間而導(dǎo)致的任務(wù)并行執(zhí)行。4.3. 優(yōu)化磁盤VG提高磁盤IOPS最有效的方法就是增加通過增加物理磁盤數(shù)量并實(shí)現(xiàn)條帶化來提高整體的IOPS。但隨之帶來的硬件投資成本也會增加。這里我們可以通過將現(xiàn)有磁盤更換成等容量的小磁盤，目的是為了增加磁盤數(shù)量從而提高整體磁盤IOPS性能。如：當(dāng)前一塊磁盤容量為600GB,我們可以將其拆解成6塊100GBRaid5磁盤或者12塊50GBRaid5磁盤進(jìn)行VG條帶化處理。5 .實(shí)現(xiàn)5.1. 資源規(guī)

6、劃硬件資源：服務(wù)器2臺數(shù)據(jù)磁盤12塊50GBRaid5磁盤(每臺服務(wù)器)軟件資源：CentOS7.1x86_64(miniinstalled)MySQL5.7x86_645.2. 磁盤配置分別將兩臺服務(wù)器的各12塊Raid5磁盤初始化并創(chuàng)建VG。在創(chuàng)建LV時特別注意要制定LV所E莒PV的數(shù)量從而實(shí)現(xiàn)VG條帶化。指定磁盤文件系統(tǒng)為xfso5.3. 數(shù)據(jù)庫部署配置安裝MySQL數(shù)據(jù)庫并配置兩臺服務(wù)器的主從模式,將從庫定義為Read_only模式。配置binlog復(fù)制線程數(shù)。優(yōu)化數(shù)據(jù)庫內(nèi)存模型。導(dǎo)入數(shù)據(jù)將用于數(shù)據(jù)調(diào)度的應(yīng)用程序數(shù)據(jù)源從原來的數(shù)據(jù)庫服務(wù)器IP地址改為只讀數(shù)據(jù)庫服務(wù)器IP地址。6 .測試實(shí)施完成后為保證最終優(yōu)化效果，將對系統(tǒng)各個關(guān)鍵環(huán)節(jié)進(jìn)行性能測試測試將分為如下三個階段。6.1. 磁盤性能測試VG創(chuàng)建好后，確保磁盤可寫的前提下使用dd命令對磁盤的讀、寫分別進(jìn)行性能測試。讀、寫測試將各進(jìn)行5次從而選出最合適的磁盤塊大小。使用10GB文件大小，每次創(chuàng)建塊大小分別為4k、8k、16k、32k和64k,并記錄每次測試的時間結(jié)果。6.2. 數(shù)