高可用數(shù)據(jù)庫(kù)平臺(tái)架構(gòu)及日常管理經(jīng)驗(yàn)介紹整理ppt

1、高可用數(shù)據(jù)庫(kù)平臺(tái)架構(gòu) 及日常管理經(jīng)驗(yàn)介紹 研發(fā)中心研發(fā)中心 邵宗文邵宗文 傳統(tǒng)基礎(chǔ)設(shè)施平臺(tái) 無(wú)法解決擁堵問(wèn)題，不適合繁華地區(qū)。 高可用的基礎(chǔ)設(shè)施平臺(tái) 為何需要搭建數(shù)據(jù)庫(kù)平臺(tái)n各大部門(mén)自己申請(qǐng)數(shù)據(jù)庫(kù)服務(wù)器，運(yùn)維成本過(guò)高。n操作系統(tǒng)，數(shù)據(jù)庫(kù)版本不一。n出現(xiàn)突發(fā)熱點(diǎn)，造成數(shù)據(jù)庫(kù)讀寫(xiě)訪問(wèn)巨增，受限于部門(mén)數(shù)據(jù)庫(kù)資源機(jī)器，而錯(cuò)失擴(kuò)大業(yè)務(wù)良機(jī)。n缺乏統(tǒng)一的數(shù)據(jù)庫(kù)服務(wù)器性能監(jiān)控和報(bào)警。n新項(xiàng)目產(chǎn)品上線數(shù)量過(guò)多，單個(gè)部門(mén)的數(shù)據(jù)庫(kù)資源無(wú)法滿(mǎn)足。n無(wú)專(zhuān)門(mén)的人進(jìn)行全局?jǐn)?shù)據(jù)庫(kù)各種讀寫(xiě)操作統(tǒng)計(jì)的分析。n存在磁盤(pán)故障導(dǎo)致不可訪問(wèn)，無(wú)自動(dòng)切換的問(wèn)題。目前新浪數(shù)據(jù)庫(kù)平臺(tái)現(xiàn)狀n多個(gè)idc數(shù)據(jù)中心nmysql5.0n數(shù)據(jù)庫(kù)服務(wù)幾百

2、臺(tái).(不斷增長(zhǎng)中)n約有幾百t的數(shù)據(jù)量.（線上+備份存檔）n約有幾百個(gè)項(xiàng)目產(chǎn)品使用。n平臺(tái)重點(diǎn)產(chǎn)品有：財(cái)經(jīng)，體育，統(tǒng)一通行證，無(wú)線wap，讀書(shū)，音樂(lè)，空間, 通用投票，博客圈，博客雜志，汽車(chē)，科技，發(fā)布系統(tǒng)等。 不可避免的故障高可用數(shù)據(jù)庫(kù)架構(gòu)機(jī)器故障容錯(cuò)idc級(jí)容災(zāi)誤操作之后快速恢復(fù)自動(dòng)化監(jiān)控報(bào)警數(shù)據(jù)庫(kù)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)圖數(shù)據(jù)庫(kù)平臺(tái)的其他好處：n提升全球擴(kuò)展性，包括新浪香港和北美等都能共享到重要數(shù)據(jù)資源，如體育，財(cái)經(jīng)數(shù)據(jù)。n讓用戶(hù)訪問(wèn)就近idc，提升服務(wù)質(zhì)量。n很多剛開(kāi)始的項(xiàng)目可以混用同一個(gè)服務(wù)器資源。關(guān)于一些數(shù)據(jù)庫(kù)日常管理的經(jīng)驗(yàn)介紹n如何去了解應(yīng)用項(xiàng)目的數(shù)據(jù)庫(kù)使用情況？n大項(xiàng)目的有效切分方式？n一個(gè)

3、庫(kù)下多少表比較合適？n長(zhǎng)期運(yùn)行的數(shù)據(jù)庫(kù)，如何避免表性能下降？n減少慢查詢(xún)語(yǔ)句的方法有哪些？n數(shù)據(jù)庫(kù)服務(wù)器負(fù)載急劇上升的主要原因？ 不要超過(guò)自身運(yùn)輸能力數(shù)據(jù)庫(kù)應(yīng)用項(xiàng)目規(guī)劃和優(yōu)化原則1. 了解自己的應(yīng)用n應(yīng)用類(lèi)型讀多寫(xiě)少（如體育，讀書(shū)），讀寫(xiě)比例差不多（如音樂(lè)），和寫(xiě)多讀少（如投票，統(tǒng)計(jì)）n預(yù)計(jì)數(shù)據(jù)量半年？一年？后續(xù)擴(kuò)展？ 決定單表還是多表，擴(kuò)展的方法(hash分表) n預(yù)計(jì)訪問(wèn)量多少讀？多少寫(xiě)？峰值？ com_select,com_update(insert,delete)n實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)哪些必須實(shí)時(shí)查詢(xún)？哪些可以預(yù)先準(zhǔn)備或可以cache？哪些用于統(tǒng)計(jì)匯總？n時(shí)間的要求實(shí)時(shí)性高的項(xiàng)目，如財(cái)

4、經(jīng)，體育，實(shí)時(shí)性低的項(xiàng)目如博客圈等。 合理分配調(diào)度，實(shí)現(xiàn)全球快速到達(dá)。2.如何對(duì)大應(yīng)用項(xiàng)目切分n保證數(shù)據(jù)庫(kù)單個(gè)實(shí)例盡量不要超過(guò)150g。n切分盡量多的小實(shí)例，一個(gè)機(jī)器跑7-8個(gè)實(shí)例，平常load avg不超過(guò)1-2，峰值不超過(guò)6-7為合理。n分表原則的選擇按時(shí)間(財(cái)經(jīng))按id號(hào)hash分(統(tǒng)一通行證)按業(yè)務(wù)項(xiàng)目(通用投票)3. 單庫(kù)表數(shù)量的限制- 為什么？ - 受文件系統(tǒng)操作限制，文件數(shù)過(guò)大需要更多文件句柄，且大目錄操作造成復(fù)制、壓縮、備份效率低。 - 打開(kāi)表占用數(shù)據(jù)庫(kù)資源（table_cache） 建議一個(gè)庫(kù)不應(yīng)超過(guò)300-400個(gè)表 建議一般帶char字段的表不應(yīng)超過(guò)500萬(wàn)rows.基于

5、數(shù)字的字段為主的表不要超過(guò)1000萬(wàn)rows. 4.表的優(yōu)化n正確使用索引，避免全表搜索n使用定長(zhǎng)表,且定期做optimize table命令（注意這個(gè)命令會(huì)鎖表，請(qǐng)?jiān)跀?shù)據(jù)庫(kù)訪問(wèn)小的時(shí)候做）n在對(duì)大表進(jìn)行添加索引，一定要選擇訪問(wèn)小的時(shí)間段做，否則會(huì)導(dǎo)致嚴(yán)重問(wèn)題。注:一般臨晨2-3點(diǎn)時(shí)候是大部分項(xiàng)目訪問(wèn)的低谷。5.索引優(yōu)化、選擇和試驗(yàn)n穩(wěn)妥地改進(jìn)將需要優(yōu)化的相關(guān)表復(fù)制到測(cè)試環(huán)境在測(cè)試環(huán)境啟動(dòng)一個(gè)測(cè)試daemon，關(guān)閉query cache或是使用select sql_no_cache 方式。未優(yōu)化時(shí)測(cè)試若干次查詢(xún)時(shí)間，以及explain檢查掃描集。選擇合適的索引試驗(yàn)建立?？梢酝ㄟ^(guò)use index(xx)來(lái)強(qiáng)制使用。檢查是否有效。測(cè)試查詢(xún)時(shí)間變化，反復(fù)試驗(yàn)得到最優(yōu)結(jié)果n保持關(guān)注，根據(jù)情況隨時(shí)改變索引設(shè)置6.關(guān)于排序的問(wèn)題n盡量使用帶主鍵的字段做order by 的排序n盡量不要多提供頁(yè)面的查找（最好只提供100頁(yè)內(nèi)），避免機(jī)器爬蟲(chóng)抓取數(shù)據(jù)，導(dǎo)致數(shù)據(jù)庫(kù)壓力負(fù)載過(guò)高