PaxosStore分布式數(shù)據(jù)庫的應用實踐

1、PaxosStore分布式數(shù)據(jù)庫在微信支付業(yè)務(wù)的實踐問題與挑戰(zhàn)微信支付業(yè)務(wù)的解決方案遠距離容災的高可靠存儲設(shè)計未來規(guī)劃數(shù)據(jù)業(yè)務(wù)背景與挑戰(zhàn)十億級用戶、百億千億級服務(wù)支撐微信賬號/消息/朋友圈/通訊錄每天數(shù)萬億的讀寫量、峰值1億+/秒開放平臺，支付等業(yè)務(wù)持續(xù)增長2015年，除夕不眠夜，VPN修數(shù)據(jù)PaxosStore簡介PaxosStore是什么？基于Paxos協(xié)議在園區(qū)數(shù)據(jù)中心間同步復制，提供靈活的數(shù)據(jù)模型和訪問接口，支持億 行大表，并具備快速伸縮能力，低延遲低成本，強一致和高可用的分布式數(shù)據(jù)庫系統(tǒng)。PaxosStore特點：無租約多主多寫，可用性高達6個9的水平；針對業(yè)務(wù)和架構(gòu)特點進行優(yōu)化，整

2、體成本降低15+%；同一容災、遷移框架下，支持多種數(shù)據(jù)模型（例如億行大表）；基于反饋的自適應遷移系統(tǒng)，提供快速伸縮的能力。PaxosStore簡介：整體架構(gòu)圖數(shù)據(jù)模型的多樣性業(yè)務(wù)需求：分析、提煉、抽象提供必要的功能接口可用性的級別不斷被抬高微信支付業(yè)務(wù)遠距離跨省容災（華南、華東、華北）實時結(jié)算低延遲的要求PaxosStore取代同城MySQL強一致、高可用、低延遲、快速伸縮問題與挑戰(zhàn)微信支付業(yè)務(wù)的解決方案遠距離容災的高可靠存儲設(shè)計未來規(guī)劃余額需求經(jīng)典案例：商戶余額賬戶操作流水入庫，不重不漏數(shù)據(jù)保證一條不丟業(yè)務(wù)邏輯與存儲平臺解耦限額需求場景：支付限額、支付次數(shù)維度：微信用戶、銀行卡、身份證普通接

3、口：直接加減額度2PC：預加減、成功、撤銷數(shù)據(jù)結(jié)構(gòu)抽象數(shù)據(jù)結(jié)構(gòu)上的操作提供具體的接口基本操作組合提供兩階段（2PC）支持Prepare/Commit/Roll Back數(shù)據(jù)保證一條不丟MySQL主備同步缺陷（異步同步）數(shù)據(jù)保證一條不丟MySQL主備同步缺陷（半同步）題：假設(shè)不存數(shù)據(jù)保證一條不丟Paxos：Indeed, all working protocols for asynchronous consensus we have so far encountered have Paxos at their core. - Chubby世上只有一種一致性協(xié)議，那就是Paxos。Paxos數(shù)據(jù)保

4、證一條不丟Why not NRW（QuorumKV）？Vr + Vw V，Vw V/2保證強一致情況下：可用性低數(shù)據(jù)保證一條不丟數(shù)據(jù)副本之間對齊變更日志實時CRC校驗數(shù)據(jù)副本損壞探測操作流水訂閱需求不重不漏、滿足多訂閱需求（對賬、查詢、分析等）如何獲得操作流水推送到隊列操作流水不重不漏一般可容忍少量重，但不能接受漏Log文件刪除時剝離LSM引擎異步推送，不影響實時任務(wù)每個Paxos Group實例維護同步版本解決方案要點總結(jié)基于樹結(jié)構(gòu)的基本操作組合低耦合、支持業(yè)務(wù)快速開發(fā)數(shù)據(jù)保證一條不丟PaxosStore的強一致同步代替MySQL的主備同步一些額外措施（數(shù)據(jù)對齊、實時校驗、損壞探測）操作流水

5、入庫不重不漏、支持多訂閱需求問題與挑戰(zhàn)微信支付業(yè)務(wù)的解決方案遠距離容災的高可靠存儲設(shè)計未來規(guī)劃什么是遠距離容災存儲？強一致 vs 最終一致數(shù)據(jù)重要性 vs 用戶體驗 vs 對賬修復成本三地 vs 兩地PaxosStore跨園區(qū)容災模式伸縮：按Set隔離、一致性哈希容災：數(shù)據(jù)三園區(qū)分布存儲：單機作為數(shù)據(jù)副本節(jié)點直接升級為跨城容災模式運營系統(tǒng)不成熟單機故障危害放大（園區(qū)間延遲14ms，城市間延遲約30ms）跨園區(qū)容災跨城容災跨城容災存儲架構(gòu)目標數(shù)據(jù)在城市間強一致同步復制擁有成熟穩(wěn)定的運營系統(tǒng)寫請求通常只需要一次跨城RTT延遲讀請求支持本城讀Paxos是最優(yōu)選擇復用跨園區(qū)模式的系統(tǒng)避免單機故障抖動影

6、響常量服務(wù)（終態(tài)直接應答）以單機作為副本節(jié)點的分層結(jié)構(gòu)邏輯層與存儲引擎分離計算存儲分離？PaxosStore集群（StringKV）邏輯層與存儲引擎分離復用跨園區(qū)容災模式下的基礎(chǔ)設(shè)施（遷移、冷備、路由中心）城市數(shù)據(jù)中心內(nèi)自治3個副本 = 9個副本天津IDC采用見證者模式9個副本 = 6個副本邏輯與存儲引擎分離無狀態(tài)邏輯服務(wù)（搶占式操作數(shù)據(jù)）存儲引擎服務(wù)提供CAS接口區(qū)別于基于分布式鎖的架構(gòu)鎖租約時長一般為10s1minBigTable（基于分布式鎖的架構(gòu)）跨城容災存儲整體架構(gòu)StringKV：Key-Value數(shù)據(jù)模型的PaxosStore存儲服務(wù)CityReplSvr：無狀態(tài)服務(wù)群、復用PaxosStore同步復制組件的核心邏輯用戶請求路由Client優(yōu)先訪問本城CityReplSvr服務(wù)本城發(fā)起提議：保證在一個跨城RTT內(nèi)完成協(xié)議交互路由規(guī)則采用一致性哈希算法如何在一個跨城RTT時間內(nèi)完成兩階段？Paxos兩階段協(xié)議Prepare + AcceptMulti-Paxos優(yōu)化不存在穩(wěn)定的提議者如何在一個跨城RTT時間內(nèi)完成兩階段？三數(shù)據(jù)副本特性：本地 + 對機 = 多數(shù)派本地先Promised，攜帶Value廣播Prepare請求遠距離容災設(shè)計要點總結(jié)邏輯與存儲引擎分離邏輯層搶占式操作數(shù)據(jù)，不存在切換等待城市數(shù)據(jù)中心內(nèi)自治