基于HLC的分布式事務(wù)技術(shù)架構(gòu)

1、基于HLC的分布式事務(wù)技術(shù)架構(gòu)技術(shù)創(chuàng)新 變革未來分布式事務(wù)關(guān)鍵技術(shù)點(diǎn)時(shí)鐘方案分布式事務(wù)管理單節(jié)點(diǎn)的優(yōu)化新硬件的使用隔離級(jí)別支持 和演進(jìn)技術(shù)節(jié)點(diǎn)內(nèi)并發(fā)處理數(shù)據(jù)庫為什么需要時(shí)鐘：為事務(wù)排序通過事務(wù)對(duì)外提供數(shù)據(jù)相關(guān)噪作的ACID數(shù)據(jù)庫對(duì)事務(wù)順序的標(biāo)識(shí)決定事務(wù)的原子性和隔離 性(A和I)時(shí)鐘 日志LSN,事務(wù)ID,時(shí)間戳數(shù)據(jù)庫為什么需要時(shí)鐘 支持MVCC許多商業(yè)和開頑數(shù)據(jù)庫產(chǎn)品都支持MVCCMVCC通過支持?jǐn)?shù)據(jù)的多版本I允許讀寫相同數(shù)據(jù)可以并發(fā)I在讀多寫少的場 景下極大提升性能數(shù)據(jù)的多版本需要對(duì)數(shù)據(jù)進(jìn)行時(shí)鐘標(biāo)識(shí)分布式數(shù)據(jù)庫下的時(shí)鐘單機(jī)數(shù)據(jù)庫 日志LSN或服務(wù)器的時(shí)鐘分布式數(shù)據(jù)庫 數(shù)據(jù)庫實(shí)例運(yùn)作在多臺(tái)服

2、務(wù)器上每個(gè)數(shù)據(jù)庫實(shí)例有獨(dú)立的時(shí)鐘或日志(LSN),不能反映全局的順 序,比如服務(wù)器間有時(shí)鐘偏移。解決方案 引入類似單機(jī)系統(tǒng)的中心時(shí)鐘Lamport 時(shí)中 (LC)分布式時(shí)中 每個(gè)實(shí)例本地維護(hù)1單調(diào)遞增counterCounter遞增 本地事件發(fā)生時(shí)， 收到其它實(shí)例的消息時(shí)LC決定事件的happen-before關(guān)系1比如A11B2和C3# event is known time = time + 1;# event happens send(message, time);#receiving a message(message, time_stamp) = receive(); time =

3、max(time_stamp, time) + 1;混合邏輯時(shí)鐘(HLC)Initial l.j := 0; c.j :=0Send or local event l.j := l.j;l.j := max(l.j, pt.j);IF (l.j = l.j) THEN c.j := c.j + 1ELSE c.j := 0;Timestmap with l.j, c.jHLCl.j和j節(jié)點(diǎn)有通訊的所有節(jié)點(diǎn)的時(shí)間戳的最大值Logic Timec.j隨因果事件發(fā)生而遞增物理時(shí)間pt.j機(jī)器wall timeReceive event of message m l.j := l.j;l.j := m

4、ax(l.j, l.m, pt.j);IF (l.j = l.j = l.m) THEN c.j :=max(c.j, c.m) + 1 ELSEIF (l.j = l.j) THEN c.j:= c.j + 1ELSEIF (l.j = l.m) THEN c.j:= c.m + 1 ELSE c.j := 0Timestamp with l.j, c.j當(dāng)物理時(shí)鐘推進(jìn)時(shí)， 邏輯時(shí)鐘部分被置零HLC記錄事件的因果關(guān)系，保證和物理時(shí)鐘的偏差是boundedHLC和中心時(shí)鐘的差別中心時(shí)鐘(TSO) 為所有事務(wù)排序分布式數(shù)據(jù)庫中的HLC 為具備數(shù)據(jù)庫定義的因果關(guān)系的事務(wù)排序因果關(guān)系(happen

5、before) 個(gè)事務(wù)在另外個(gè)事務(wù)開始前已經(jīng)提交！并且它們?cè)L問了或發(fā)生在相同的節(jié)點(diǎn)TSOT1T2T1T3T3T4數(shù)據(jù)庫節(jié)點(diǎn)1數(shù)據(jù)庫節(jié)點(diǎn)2遞增時(shí)間戳T1,T2,T4的提交時(shí)間 t1 t2 t4T1T2T3T3T4數(shù)據(jù)庫節(jié)點(diǎn)1數(shù)據(jù)庫節(jié)點(diǎn)2T1,T2,T3的提交時(shí)間 th1 th2 th1 prepare_timestamp1000T4已獲取候選版本號(hào)102,小于1000,需要等待。 最終提交時(shí),提交版本號(hào)為10001000,不讀取。同一事務(wù)， 保證一致HLC service: 1000T1 Context:(key1, v2)HLC service: 103T2 Context:T3 Contex

6、t:(key2, v2)(key3, v3)T4 Context:(key4, v4)T2 :xid2 commit_ts:101T4:xid4 prepare_ts:102T3:xid3 N/AT3 Context:(key30, v30)T4 Context:(key40, v4)T3:xid2 prepare_ts:998T4:xid4 N/ATable t1 Key30(xid2) v30 Key40(1000) v40update to 1000Read tableread with snapshot 1000Try update No need事務(wù)表事務(wù)表HLC時(shí)鐘偏移的問題HLC

7、和peak TPS的關(guān)系最大TPS=logical counter的最大值/單事務(wù)刷新HLC次數(shù)/物理時(shí)鐘部分的最小單元或時(shí)鐘偏移沒有時(shí)鐘偏移的情況 Peak TPS = 216 / 2 / 0.001 = 3 干萬時(shí)鐘偏移 5ms Peak TPS = 216 / 2 / 0.005 = 6百萬時(shí)鐘偏移將導(dǎo)致peak TPS的大幅下降解決方案設(shè)定最大允許時(shí)鐘偏移如果有節(jié)點(diǎn)的時(shí)鐘偏移大于最大值 強(qiáng)制下線時(shí)鐘偏移大的節(jié)點(diǎn) （或switchover到備機(jī)）不讓數(shù)據(jù)庫實(shí)例在節(jié)點(diǎn)上啟動(dòng)允許logic counter overflow到物理時(shí)鐘部分其他問題超時(shí)異常和故障節(jié)點(diǎn)宕機(jī)，本地恢復(fù)參與者宕機(jī)恢復(fù)協(xié)調(diào)者宕機(jī)恢復(fù)多副本下的協(xié)調(diào)者節(jié)點(diǎn)高可用切換到參與者的新主異