如何省心、省力、省錢搭建MySQL數(shù)據(jù)庫-中小企業(yè)優(yōu)雅之選

叮咚買菜的上云歷程2023.08.10叮咚買菜的上云歷程2023.08.10千明杰千明杰自動化運維與數(shù)據(jù)庫性能調(diào)優(yōu)方面。致力于食品健康、美味與創(chuàng)新致力于食品健康、美味與創(chuàng)新?怎么選？選型過程中叮咚買菜主要考慮的因素?怎么上？將叮咚買菜現(xiàn)有的數(shù)據(jù)庫遷移至云MySQL？?怎么用？叮咚買菜的云MySQL數(shù)據(jù)庫架構(gòu)部署選型過程?選型過程?即時業(yè)務(wù)需求?非即時業(yè)務(wù)需求?使用需求自建成本高物理資源不足版本引發(fā)的性能問題周邊生態(tài)工具不完善為什么上云？為什么選擇云MySQL？業(yè)務(wù)層MasteraveaveMasteraveaveaveMaster業(yè)務(wù)層MasteraveaveMasteraveaveaveMasterave遷移過程業(yè)務(wù)層A2區(qū)A2區(qū)只讀實例只讀實例主實例只讀實例本地備份鏈路備份中心備實例備實例備實例強(qiáng)同步復(fù)制A1區(qū)強(qiáng)同步復(fù)制架構(gòu)部署客戶端/用戶地域AVIPA2區(qū)A2區(qū)只讀實例只讀實例主實例只讀實例本地備份鏈路備份中心備實例備實例備實例強(qiáng)同步復(fù)制A1區(qū)強(qiáng)同步復(fù)制架構(gòu)部署客戶端/用戶地域AVIP訪問地址?業(yè)務(wù)需求；?熱點/爆款問題：流量、數(shù)據(jù)量無法預(yù)估，業(yè)務(wù)高峰需停服擴(kuò)容，資源彈性擴(kuò)展能力高；?運維難題：運維上百套數(shù)據(jù)庫，DBA人力緊缺；解決方案?讀寫分離：數(shù)據(jù)庫讀寫分離，動態(tài)添加只讀，實現(xiàn)彈性擴(kuò)展；?高性能：通過云數(shù)據(jù)庫MySQL的高性能滿足件支持)；?運維：采用DBbrain進(jìn)行數(shù)據(jù)庫全生命周期管理，降低數(shù)據(jù)庫管理和運維門檻；最新功能理最新功能理過添加只讀就可實現(xiàn)水平擴(kuò)展能力；?事務(wù)拆分：將一個事務(wù)中的讀、寫拆分到不同的實例上去執(zhí)行；?防閃斷：提供無損的應(yīng)用連續(xù)性，運維中的調(diào)整不會導(dǎo)致連接和事務(wù)的中斷；?連接池：有效解決連接數(shù)過多或短連接業(yè)務(wù)頻繁建立新連接導(dǎo)致實例負(fù)載過高的問題；高峰?快速響應(yīng)和變更：基于云環(huán)境通過動態(tài)分配和彈性擴(kuò)展；?彈性控制成本：在高峰期時為用戶提供更加穩(wěn)定的服務(wù)，同時在業(yè)務(wù)需求下降時又可以自動感謝觀看！Thank感謝觀看！Thankyou潘怡飛?云數(shù)據(jù)庫MySQL核心能力?自建遷移上云方案?云數(shù)據(jù)庫運維最佳實踐VIP5#VIP0#讀寫VIP3#只讀(離線)VIP2#(全局讀寫分離)TGW(R)TGW(W/R)TGW(R)proxyMaster災(zāi)備實例masterSlave0#災(zāi)備實例slaveROVIP5#VIP0#讀寫VIP3#只讀(離線)VIP2#(全局讀寫分離)TGW(R)TGW(W/R)TGW(R)proxyMaster災(zāi)備實例masterSlave0#災(zāi)備實例slaveRO0#RO1#RO2#RO3#RO3#上海五區(qū)SlaveRO4#RO5#RO6#RO0#RO1#RO2#云數(shù)據(jù)庫MySQL架構(gòu)VIPVIP1#只讀(在線)TGWTGW(R)異步、半同步、強(qiáng)同步廣州四異步、半同步、強(qiáng)同步廣州四區(qū)異步、半同步、強(qiáng)同步二區(qū)replicationreplicationreplicationreplication基礎(chǔ)能力基礎(chǔ)能力：同步；?跨可用區(qū)透明切換、兩地三中心災(zāi)?1830天任意時間回檔數(shù)據(jù)；增強(qiáng)能力：?proxy自動讀寫分離；?全鏈路審計日志；?參數(shù)自調(diào)優(yōu)；?內(nèi)核能力：instantDDL、異步刪除性能能力說明高性能參數(shù)模版高性能參數(shù)模版優(yōu)化提供了高性能/高穩(wěn)定性兩套模版，以滿足用戶不同業(yè)務(wù)的需求；提供公式設(shè)置參數(shù)，以使得變配后依然能夠提供良好的性能；開放innodb_buffer_pool_size相關(guān)參數(shù)，減少OOM高性能參數(shù)模版能力說明參數(shù)智能調(diào)優(yōu)云數(shù)據(jù)庫MySQL配置參數(shù)多達(dá)幾百個，參數(shù)智能調(diào)優(yōu)范圍從幾十到幾萬，甚至幾十萬不等。對于DBA而言僅能夠通過經(jīng)驗進(jìn)行配置。而通過高效的機(jī)器學(xué)習(xí)手段，負(fù)載進(jìn)行迭代學(xué)習(xí)，TPS提升有15%-55%recyclebin_recyclebin_me安全回回檔恢復(fù)能力數(shù)數(shù)據(jù)庫實例部部分庫表SQLSQL誤操作MMySQLMMySQLMMySQLdroptablerecycletabletime2部分庫表極速回檔?彌補(bǔ)目前采用物理備份之后，部分庫表回檔效率較低的場景回收站?支持表被誤刪后隨時恢復(fù)?Droptable不刪除物理文件，只移入回收站?降低droptable對IO和BP造成沖擊FlashbackDMLFlashback，誤操作回滾效率大幅度提升me安全me能力說明MMySQLtime2數(shù)據(jù)庫使用過程中的誤操作可能會給業(yè)務(wù)帶來嚴(yán)重的影響，常見的恢復(fù)手段如回檔、克隆等方式操作較為繁瑣且耗時較長，而通過備份集恢復(fù)則需要額外的系統(tǒng)資源，在數(shù)據(jù)量較大時恢復(fù)時間不可控。TXSQL在InnoDB引擎上設(shè)計和實現(xiàn)了閃回的功能，無需復(fù)雜的恢復(fù)操作，通過簡單的SQL語句即可查詢或恢復(fù)誤操作前的歷史數(shù)據(jù)，節(jié)省了大量寶貴的時間，保證業(yè)務(wù)平穩(wěn)運行。92.設(shè)置遷移方式和對象1.設(shè)置源和目標(biāo)庫3.數(shù)據(jù)一致性校驗數(shù)2.設(shè)置遷移方式和對象1.設(shè)置源和目標(biāo)庫3.數(shù)據(jù)一致性校驗遷移能力：?廠家支持：支持自建和友商(阿里?源數(shù)據(jù)庫：支持9種(mysql、sqlserver、tdsql以及PG)?數(shù)據(jù)遷移：通常支持結(jié)構(gòu)遷移、全?斷點續(xù)傳：支持?jǐn)帱c續(xù)傳?數(shù)據(jù)一致性檢查束限制：持函數(shù)、觸發(fā)器、存儲過程等對象?相互關(guān)聯(lián)的數(shù)據(jù)對象需要同時遷數(shù)據(jù)庫割接方案常見遷移方案停寫時長數(shù)據(jù)一致性回滾風(fēng)險業(yè)務(wù)情況客戶案例占比讀寫一刀切低低中數(shù)據(jù)庫停寫，業(yè)務(wù)無需改造80%先切讀再切寫低低低數(shù)據(jù)庫停寫，業(yè)務(wù)需讀寫分離20%：S2.業(yè)務(wù)停寫：當(dāng)DTS顯示源目標(biāo)端數(shù)據(jù)差距和延時均為0，業(yè)務(wù)3.數(shù)據(jù)備份：源庫做數(shù)據(jù)備份。4.源目標(biāo)端數(shù)據(jù)一致性檢查。5.業(yè)務(wù)切換：業(yè)務(wù)讀寫流量指向目標(biāo)數(shù)據(jù)庫。6.數(shù)據(jù)同步：建立數(shù)據(jù)同步任務(wù)。7.流量切換及試運行。：全量割接割接方案割接前準(zhǔn)備：1.確認(rèn)增量數(shù)據(jù)同步數(shù)據(jù)量以及延時為02.確認(rèn)目標(biāo)端應(yīng)用環(huán)境版本和源端一致3.目標(biāo)端應(yīng)用功能，業(yè)務(wù)流程和壓測符合4.割接演練停服時間符合預(yù)期5.割接回滾的決策標(biāo)準(zhǔn)割接步驟：1.源端應(yīng)用A停服且可觀測。(各層均沒有應(yīng)用A業(yè)務(wù)流量以及數(shù)據(jù)庫讀寫業(yè)務(wù))3.業(yè)務(wù)功能測試上的新系統(tǒng)MySQL智能化運維平臺感謝觀看！ThankyouSQL程昌明程昌明災(zāi)難恢復(fù)與信息系統(tǒng)整合方面擁有豐富的實踐整體解決方案以及數(shù)據(jù)庫設(shè)計。MYSQLMYSQL產(chǎn)品線負(fù)責(zé)人行"。?根據(jù)業(yè)務(wù)特征識別可用性需求?如何構(gòu)建不同可用性架構(gòu)?如何兼顧可用性及性能根據(jù)業(yè)務(wù)特征識別可用性需求單可用區(qū)故障單可用區(qū)故障主數(shù)據(jù)處理系統(tǒng)與備用數(shù)據(jù)處理系統(tǒng)需要部署在不同可用區(qū)主數(shù)據(jù)處理系統(tǒng)與備用數(shù)據(jù)處理系統(tǒng)使用同一網(wǎng)絡(luò)域主、備用數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)實時同步主、備用數(shù)據(jù)處理系統(tǒng)具備自動資源、網(wǎng)絡(luò)切換能力02數(shù)據(jù)一致性04單機(jī)故障單機(jī)故障需要存在主數(shù)據(jù)處理系統(tǒng)以及備用數(shù)據(jù)處理系統(tǒng)在必要的情況下備用數(shù)據(jù)處理系統(tǒng)可切換為主數(shù)據(jù)處理系統(tǒng)主、備用數(shù)據(jù)處理系統(tǒng)不可部署在同一個物理資源上01地地域級故障?主數(shù)據(jù)處理系統(tǒng)與備用數(shù)據(jù)處理系統(tǒng)部署在不同地域?主、備用數(shù)據(jù)處理系統(tǒng)資源配置獨立的運行管理資源?主、備用數(shù)據(jù)處理系統(tǒng)數(shù)據(jù)實時同步?具備跨地域的備份恢復(fù)能力03如何構(gòu)建不同可用性架構(gòu)1234512345單點故障：通過多節(jié)點架構(gòu)，防止數(shù)據(jù)庫出現(xiàn)淡三節(jié)點架構(gòu)下，還提供RPO=0的強(qiáng)同步模式多AZ部署：依托于騰訊云內(nèi)部穩(wěn)定且高速網(wǎng)絡(luò)環(huán)時能夠自動切換至可用AZ災(zāi)備實例：通過災(zāi)備實例構(gòu)建跨地域的數(shù)據(jù)同步鏈路，在必要時可以將災(zāi)備實例提升為主實例，通過外網(wǎng)、云聯(lián)網(wǎng)等方案進(jìn)行網(wǎng)絡(luò)打通連接數(shù)據(jù)庫代理：數(shù)據(jù)庫代理可以實現(xiàn)就近訪問以及計劃內(nèi)連接保持能力，防止切換后因垮可用區(qū)導(dǎo)致性能出現(xiàn)明顯下降地域容災(zāi)，實現(xiàn)跨地域?qū)嵗謴?fù)等能力9故障影響大客戶流失經(jīng)濟(jì)損失產(chǎn)品口故障影響大客戶流失經(jīng)濟(jì)損失產(chǎn)品口碑穩(wěn)定性建設(shè)業(yè)務(wù)業(yè)務(wù)類型SaaS游戲汽車交通文旅教育金融零售醫(yī)療傳媒電商單單點、AZ級故障數(shù)據(jù)一致性錯誤突發(fā)請求量過大地域級故障單單點、AZ級故障災(zāi)備提升為主功能模塊金牌網(wǎng)絡(luò)鏈路異地恢復(fù)突發(fā)性能請求地域級故障跨地域RO組多AZ只讀組多節(jié)點架構(gòu)數(shù)據(jù)庫代理分布式組件多AZ部署SQL限流熱點更新參數(shù)調(diào)優(yōu)異地備份災(zāi)備實例內(nèi)核優(yōu)化并行查詢CPU彈性強(qiáng)同步??演練基本信息?動作執(zhí)行日志?可視化演練資源分布圖?實時指標(biāo)監(jiān)控?演練數(shù)據(jù)統(tǒng)計?故障問題復(fù)盤混沌演練平臺混混沌演練報告演練模版成演練報告安全護(hù)欄標(biāo)監(jiān)控演練全生命周期管理新建演練過載情況時，業(yè)務(wù)會卡住混沌演練平臺CLB自建服務(wù)、CDB、Redis等服務(wù)對于過載、冗余場景故障時，是否能夠正常提供服務(wù)23452345實驗假設(shè)：分別對業(yè)務(wù)不同層次應(yīng)用進(jìn)行故障注入，能夠?qū)崿F(xiàn)業(yè)務(wù)穩(wěn)態(tài)