銀行核心應用MySQL治理實踐

1、技術創(chuàng)新，變革未來工商銀行核心應用MySQL治理實踐現(xiàn)狀與挑戰(zhàn)治理思路與方案后續(xù)提升思路目錄快速增長整體規(guī)模核心應用規(guī)?，F(xiàn)狀挑戰(zhàn)及對策處理能力分布式體系建設：分布式服務、軟負載、事務、 消息、批量、緩存、數(shù)據(jù)庫、對象存儲、文件 存儲等九大運行支撐平臺成本控制大規(guī)模云化部署，容器化比例超90%，提升資 源使用效率約4-5倍運維能力一體化運維平臺，覆蓋部署、監(jiān)控、高可用 故障自動化切換運行風險核心應用大量接入，如何保障業(yè)務穩(wěn)定？提升研發(fā)質(zhì)量？提前發(fā)現(xiàn)問題？降低問題影響？提升診斷能力？現(xiàn)狀與挑戰(zhàn)治理思路與方案后續(xù)提升思路目錄事前預防事中應急事后診斷表結構審核監(jiān)控查殺信息采集代碼審核應急恢復健康檢查規(guī)

2、范編制治理思路與方案規(guī)范編制操作每個表必須建立主鍵禁止給庫、表、字段單獨設置字符集/排序規(guī)則。量化掃描命中比（聯(lián)機rows_examined:rows_sent100:1）事務大小（undo show engine innodb statusG.ROW OPERATIONS16 queries inside InnoDB, 60 queries in queueinnodb_thread_concurrency用盡，導致交易堵塞事中 - 監(jiān)控查殺慢SQL自動查殺聯(lián)機超過閾值（例如：10秒）自動執(zhí)行kill監(jiān)控：ps.threads (show processlist)聯(lián)機、批量用戶分離，針對用

3、戶差異性處理+ + + + + + + + +| Id| User| Host| db| Command | Time | State| Info|+ + + + + + + + +|20338|appuser|192.168.1.2:39067|dbname|Query|12|update|Updatet1 set a=3|20339|appuser|127.0.0.1:36455|dbname|Sleep|641|NULL|20340|batchuser|192.168.1.3:36456|testdb|Query|1|update|Insertinto t2 select* from t

4、3 |+ + + + + + + + +事中 - 監(jiān)控查殺大事務的危害binlog寫入、傳輸、回放緩慢交易寫入堵塞主庫故障，切還是不切？。事中 - 監(jiān)控查殺大事務自動查殺監(jiān)控：show engine innodb status超過閾值（例如：10萬）自動執(zhí)行kill-TRANSACTION 3236, ACTIVE 84 sec inserting, thread declared inside InnoDB 4882 mysql tables in use 1, locked 11 lock struct(s), heap size 1136, 0 row lock(s), undo log

5、 entries 3245768MySQL thread id 13535, OS thread handle 139673278408448, query id 40827 localhost root executing load data infile /data/linzx/tmp/20190329_big_trx/test.txt into table tt.t_big_tx_load (a)事中 - 應急恢復數(shù)據(jù)被誤刪除/更新，如何恢復？ 常規(guī)方案 恢復PXB存量備份 + 增量binlog（單線程） 改良方案1 恢復存量備份 + 偽裝slave回放增量binlog（多線程） 改良方案2 DML：基于binlog的反向回放DDL：基于文件系統(tǒng)的恢復事前預防事中應急事后診斷表結構審核監(jiān)控查殺信息采集代碼審核應急恢復健康檢查規(guī)范編制治理思路與方案事后 - 問題診斷數(shù)據(jù)采集 常規(guī)數(shù)據(jù) CPU內(nèi)存IO、網(wǎng)絡QPS連接數(shù)。 高密度采集 ps.threadsshow engine innodb status。 低密度采集 ps.events_s