億級流量下數(shù)據(jù)庫技術(shù)保障

1、億級流量下數(shù)據(jù)庫技術(shù)保障實踐技術(shù)創(chuàng)新，變革未來目 錄CONTENTS一、架構(gòu)和負(fù)載二、大促之前-未雨綢繆三、大促期間-嚴(yán)陣以待四、大促之后-繼往開來基礎(chǔ)架構(gòu)網(wǎng)絡(luò) CDN應(yīng) 用 集 群消 息 集 群緩 存 集 群JMQJMQJMQJIMDBJIMDB數(shù) 據(jù) 庫 集 群數(shù)據(jù)庫架構(gòu)負(fù)載對比目 錄CONTENTS一、架構(gòu)和負(fù)載二、大促之前-未雨綢繆三、大促期間-嚴(yán)陣以待四、大促之后-繼往開來大促之前-未雨綢繆溝通交流擴(kuò)容升級架構(gòu)優(yōu)化壓測演練數(shù)據(jù)結(jié)轉(zhuǎn)SQL優(yōu)化大促之前-溝通交流確認(rèn)今年重點保障的項目和系統(tǒng)，明確薄弱環(huán) 節(jié)，然后進(jìn)行專項優(yōu)化改造協(xié)商應(yīng)急方案和降級方案，無論多么縝密的備戰(zhàn)， 也要按照一定會出

2、問題進(jìn)行準(zhǔn)備，因此對于故障 的應(yīng)急處理和降級方案，都需要在之前進(jìn)行充分 的溝通大促之前-溝通交流故障現(xiàn)象表層原因深層原因某次大促期間，某系統(tǒng)服 務(wù)不是很穩(wěn)定，導(dǎo)致線上 交易收到影響。系統(tǒng)CPU接近100%，前 端業(yè)務(wù)操作超時，數(shù)據(jù)庫 訪問慢u 大量高并發(fā)的慢SQL 進(jìn)行讀取導(dǎo)致u 沒有進(jìn)行讀寫分離u DBA對系統(tǒng)熟悉度不夠， 重視程度不夠，對出現(xiàn) 的慢SQL沒有足夠重視u 研發(fā)人員編碼不規(guī)范， 架構(gòu)設(shè)計不合理大促之前-SQL優(yōu)化消滅所有的慢SQL是DBA永遠(yuǎn)的目標(biāo)！差的SQL語句對數(shù)據(jù)庫的影響是最致命的優(yōu)化起來最具成效能最快解決系統(tǒng)性能問題大促之前-SQL優(yōu)化郵件推送慢SQL平臺新優(yōu)化平臺大促

3、之前-SQL優(yōu)化郵件推送慢SQL平臺新優(yōu)化平臺大促之前-擴(kuò)容升級設(shè)備預(yù)算拆分升級快速部署1.兵馬未動糧草先行2.溝通需求3.做好硬件資源規(guī)劃4.提前安裝備用1.垂直拆分2.水平拆分3.硬件升級1.自動化平臺2.快速部署3.彈性擴(kuò)容大促之前-數(shù)據(jù)結(jié)轉(zhuǎn)在線階段生產(chǎn)庫在線數(shù)據(jù)歸檔階段歷史庫近線數(shù)據(jù)歸檔庫離線數(shù)據(jù)銷毀階段結(jié)轉(zhuǎn)磁帶庫清理刻錄清理大促之前-壓測演練驗證主從性能定制切換策略發(fā)現(xiàn)潛在問題MHA驗證應(yīng)急預(yù)案按照預(yù)案操作模擬預(yù)案場景確認(rèn)預(yù)案可行性MHA的bug用戶和權(quán)限集群架構(gòu)問題域名生效問題JDBC緩存問題從庫直接切域名宿主機(jī)宕機(jī)自動切換按集群按項目按機(jī)房備庫是否可以承擔(dān)業(yè)務(wù)主從數(shù)據(jù)一致性獨立系

4、統(tǒng)壓測全鏈路壓測切換演練大促之前-壓測演練獨立系統(tǒng)壓測全鏈路壓測切換演練故障表現(xiàn)系統(tǒng)壓測期間，某系統(tǒng)服務(wù)異常，數(shù)據(jù)訪問出錯，導(dǎo)致線上交易受到影響表層原因主庫有大量高并發(fā)的寫入操作，導(dǎo)致從庫延遲加大，影響到從庫的讀業(yè)務(wù)，進(jìn)而影響到 整個系統(tǒng)的可用性。深層原因系統(tǒng)架構(gòu)設(shè)計不合理，對讀一致性要求很高的業(yè)務(wù)，不應(yīng)該在數(shù)據(jù)庫從庫上進(jìn)行讀取整改方案應(yīng)用架構(gòu):修改程序里面的超時時間，關(guān)閉非核心日志表的寫入，降低非核心應(yīng)用的連接數(shù)，并 做好限流和降級開關(guān)，必要時切換到主庫進(jìn)行讀取。數(shù)據(jù)庫:u擴(kuò)容一臺高性能的從庫，用于支撐讀一致性較高的業(yè)務(wù)，同時對核心表進(jìn)行碎片整 理，刪除低效和無用的索引。u修改mysql的L

5、og刷盤模式，減少主從復(fù)制的延遲，編寫自動化腳本，在大促開始前， 自動修改MySQL的Log刷盤策略，待大促過后再修改回來，如下：set global sync_binlog = 0;set global innodb_flush_log_at_trx_commit = 2;大促之前-架構(gòu)優(yōu)化前端部署Redis，JIMDB進(jìn)行緩沖高并發(fā)頻繁讀寫的數(shù)據(jù)日志類和大字段數(shù)據(jù)遷移出MySQL采用MongoDB、Cassandra等NoSQL或者JFS（ Jingdong Filesystem ）復(fù)雜的查詢采用Solr、Elasticsearch 、Hadoop等分布式數(shù)據(jù)處理平臺目 錄CONTENTS

6、一、架構(gòu)和負(fù)載二、大促之前-未雨綢繆三、大促期間-嚴(yán)陣以待四、大促之后-繼往開來大促期間-嚴(yán)陣以待060501020304順利平穩(wěn)24小時值班進(jìn)入十一月就開始進(jìn)行通宵值班嚴(yán)格控制上線所有線上操作都需要部門總監(jiān)甚至VP的審批多維度審核操作所有線上執(zhí)行，需要DBA雙人進(jìn)行 審核和操作，并且要研發(fā)確認(rèn)操作 時間集中辦公大促期間，DBA和研發(fā)集中在一起辦公，有問題便 于及時溝通JDBS自動化運維平臺利用JDBS自動化運維平臺，輔助DBA 進(jìn)行支撐和保障應(yīng)急故障處理密切監(jiān)控性能問題和硬件報警，及 時進(jìn)行處理資源管理服務(wù)器+Docker的管理實例和庫的管理集群的管理服務(wù)器上下線管理自動化運維MySQL集群自動搭建MHA自動切換DNS自動切換自動備份恢復(fù)系統(tǒng)故障智能處理自助化上線自動建庫建表SQL審核執(zhí)行自動授權(quán)數(shù)據(jù)自動提取全方位監(jiān)控MDC監(jiān)控平臺數(shù)據(jù)庫監(jiān)控平臺集群架構(gòu)查詢連接數(shù)查詢大促期間-運維自動化