NewSQL技術(shù)架構(gòu)演進(jìn)

1、滴滴NewSQL技術(shù)架構(gòu)演進(jìn)技術(shù)創(chuàng)新 變革未來分享大綱上篇：成熟的NoSQL存儲系統(tǒng)Fusion 中篇：基于Fusion的NewSQL探索實(shí)踐 下篇：分布式數(shù)據(jù)庫設(shè)計(jì)大綱概述第一章：成熟的NoSQL存儲系統(tǒng)Fusion背景介紹NoSQL存儲Fusion之架構(gòu)需求1:百億級歷史訂單如何存儲？需求2:數(shù)百TB的司機(jī)行程軌 跡如何落地？NoSQL存儲Fusion之亮點(diǎn)數(shù)據(jù)流動降級容災(zāi)極致效率安全保障智能管控亮點(diǎn)1:數(shù)據(jù)流動一站式DTS平臺Fastload普通1入流程2析核心痛點(diǎn)浪費(fèi)T3資涌d難以保證穩(wěn)定性dS產(chǎn)效率低d需L方：標(biāo)簽平臺特征平臺d 需L點(diǎn)：如.支持每D百億級a速查詢d如.快速F新TB級

2、數(shù)據(jù)dFastload架構(gòu)大圖集群熱遷移單節(jié)點(diǎn)1小時(shí)遷移300GB。亮點(diǎn)2：降級容災(zāi)集群容災(zāi)：底層實(shí)現(xiàn)集群間數(shù)據(jù)同步，提供2種切流用戶可通過切換VIP來實(shí)現(xiàn)切流VIP可用的情況下，我們一鍵切流平臺， 切換VIP指向的RS主庫降級：犧牲一致性，保證可用性集群容災(zāi)亮點(diǎn)3:極致效率亮點(diǎn)4:安全保障升級時(shí)數(shù)據(jù)備份磁盤占用少、備份速度快 無須侵入代碼。100%覆蓋線上集群。用戶快照。 checkpoint數(shù)據(jù)多版本?？汕袚Q數(shù)據(jù)版本及回滾。第二章：基于Fusion的NewSQL探索實(shí)踐背景MySQL核心痛點(diǎn)靈活問題，加字段開銷大。擴(kuò)展問題，分庫分表不透明。成本問題，性能和壓縮比偏低。NewSQL核心能力輕

3、松加字段。存儲不限量。更高性價(jià)比。重大挑戰(zhàn)如何感知Schema。如何兼容MySQL binlog。如何實(shí)現(xiàn)二級索引（索引、數(shù)據(jù)分離）。如何實(shí)現(xiàn)完備事務(wù)及交互。架構(gòu)Schema管理IDnameagenumber1li2011232wang2211243zhang191125keyfieldvaluestudent_1nameliage20number1123binlog兼容二級索引 (唯一和非唯一）消費(fèi)MQ的binlog，拼接索引key并存儲。索引構(gòu)建依據(jù)config3用戶配置而定。同一個(gè)的索引，每行數(shù)據(jù)帶上相同的分區(qū)健， 保證存儲在同一個(gè)節(jié)點(diǎn)，避免scan的時(shí)候跨節(jié)點(diǎn)查詢。IDnameagen

4、umber1li2011232wang2211243zhang191125Index_age(非唯一)valuestudent_age_20_1nullstudent_age_22_2nullstudent_age_19_3nullIndex_number(唯一)valuestudent_number_11231student_number_11242student_number_11253事務(wù)功能事務(wù)交互實(shí)現(xiàn)：Redis開源客戶端自帶lua功能，MySQL 通過comment傳遞。一階段交互：1.Proxy無需維護(hù)事務(wù)狀態(tài)。2.鎖處理更簡單。3.不關(guān)心事務(wù)的多個(gè)請求是否在同一個(gè)節(jié)點(diǎn)。一階段交互事務(wù)總結(jié)第三章：分布式數(shù)據(jù)庫設(shè)計(jì)背景NewSQL方案核心痛點(diǎn) “偽分布式！”只能做單機(jī)事務(wù)。只能做單機(jī)索引(hash分片，節(jié)點(diǎn)間不連續(xù)）。集群數(shù)據(jù)規(guī)模受限于索引存儲。只能做異步索引。不支持Jion。分布式數(shù)據(jù)庫的重大挑戰(zhàn)分布式事務(wù)。數(shù)據(jù)、索引無限擴(kuò)展。實(shí)時(shí)索