淺談HTAP混合技術(shù)和金融業(yè)應(yīng)用場(chǎng)景

近年來，隨著大數(shù)據(jù)應(yīng)用場(chǎng)景的快速普及與多樣化發(fā)展，傳統(tǒng)的數(shù)據(jù)處理方案已愈發(fā)難以滿足海量數(shù)據(jù)實(shí)時(shí)分析的數(shù)據(jù)處理需求。針對(duì)上述挑戰(zhàn)，混合事務(wù)/分析處理（HybridTransactionandAnalyticalProcess，HTAP）架構(gòu)的出現(xiàn)為打破事務(wù)和分析之間的“隔閡”提供了可行方案，根據(jù)Gartner提出的概念，HTAP架構(gòu)的目的是在單一數(shù)據(jù)上不加區(qū)分地處理事務(wù)和分析任務(wù)。從發(fā)展歷程來看，相比于聯(lián)機(jī)事務(wù)處理（OLTP）型數(shù)據(jù)庫、聯(lián)機(jī)多維分析處理（OLAP）型數(shù)據(jù)庫，HTAP具有明顯的技術(shù)優(yōu)勢(shì)，可以有效避免頻繁的數(shù)據(jù)搬運(yùn)操作，減輕系統(tǒng)額外負(fù)擔(dān)，并降低數(shù)據(jù)的重復(fù)存儲(chǔ)成本。一、HTAP特性及架構(gòu)簡(jiǎn)介在大數(shù)據(jù)業(yè)務(wù)領(lǐng)域，事務(wù)（Transaction）和分析（Analysis）具有強(qiáng)相關(guān)性，人們?yōu)榱诉M(jìn)行海量數(shù)據(jù)的實(shí)時(shí)分析，發(fā)明了TA融合這一技術(shù)，而HTAP則是在存儲(chǔ)、計(jì)算等方面具有極佳的線性擴(kuò)展能力，能夠更好地解決海量數(shù)據(jù)的容量問題。具體而言，HTAP的典型特性如下：一是支持TP與AP混合的事務(wù)處理和分析過程。二是具有水平擴(kuò)展能力，通過簡(jiǎn)單增加新節(jié)點(diǎn)即可按需實(shí)現(xiàn)TIDB的水平擴(kuò)展，進(jìn)而輕松滿足高并發(fā)、海量數(shù)據(jù)場(chǎng)景需要。三是支持SQL請(qǐng)求在不同節(jié)點(diǎn)自由調(diào)度，少量工作節(jié)點(diǎn)宕機(jī)并不影響業(yè)務(wù)連續(xù)性，且在不丟失大多數(shù)副本的前提下，還可以實(shí)現(xiàn)故障自動(dòng)恢復(fù)。四是支持兩地多中心高可用架構(gòu)部署，包括同城兩機(jī)房雙活及異地機(jī)房的實(shí)時(shí)切換。五是支持強(qiáng)一致分布式事務(wù)以及標(biāo)準(zhǔn)的ACID事務(wù)。六是可高度兼容MySQL協(xié)議和常用的功能及語法。七是可對(duì)數(shù)據(jù)庫服務(wù)集群環(huán)境和數(shù)據(jù)庫各進(jìn)程以及運(yùn)行SQL進(jìn)行實(shí)時(shí)監(jiān)控和告警。八是可根據(jù)請(qǐng)求SQL的特性，自動(dòng)決定觸發(fā)TP事務(wù)引擎還是AP分析引擎。九是具有獨(dú)立的TP和AP引擎來支撐存儲(chǔ)和計(jì)算需求。十是支持公有云、私有云和混合云，可實(shí)現(xiàn)自動(dòng)化運(yùn)維，簡(jiǎn)化部署、配置工作。二、HTAP在金融業(yè)的典型應(yīng)用場(chǎng)景案例聚焦金融領(lǐng)域，HTAP可高效支持高并發(fā)交易拼接加工、大批量交易加工、批量文件生成和推送等眾多業(yè)務(wù)場(chǎng)景。舉例來說，聯(lián)機(jī)應(yīng)用程序可實(shí)時(shí)對(duì)接收的交易數(shù)據(jù)進(jìn)行拼接和加工，即通過關(guān)聯(lián)方式對(duì)數(shù)據(jù)進(jìn)行屬性補(bǔ)齊，在夜間將每日批量交易中需要補(bǔ)齊、補(bǔ)漏的數(shù)據(jù)批量轉(zhuǎn)聯(lián)再進(jìn)行加工；同時(shí)，還可每日批量對(duì)大數(shù)據(jù)量的交易進(jìn)行加工，以及對(duì)交易明細(xì)進(jìn)行月度、年度統(tǒng)計(jì)分析（至少可跨越10年）；此外，基于交易明細(xì)的實(shí)時(shí)分析查詢結(jié)果，還可對(duì)交易明細(xì)按照交易類型、時(shí)間等維度進(jìn)行統(tǒng)計(jì)并實(shí)時(shí)返回結(jié)果。TA類型對(duì)應(yīng)的金融業(yè)務(wù)應(yīng)用場(chǎng)景見表1，HTAP混合特性與金融典型場(chǎng)景應(yīng)用的映射關(guān)系見表2。表1TA類型對(duì)應(yīng)的金融業(yè)務(wù)應(yīng)用場(chǎng)景表2HTAP混合特性與金融典型場(chǎng)景應(yīng)用的映射關(guān)系三、HTAP數(shù)據(jù)庫未來展望當(dāng)前，HTAP數(shù)據(jù)庫通常在TP和AP領(lǐng)域各有側(cè)重，還無法做到同時(shí)支持TP、AP場(chǎng)景。對(duì)此，筆者團(tuán)隊(duì)建議在應(yīng)用設(shè)計(jì)上可將非實(shí)時(shí)的海量、復(fù)雜、多維度數(shù)據(jù)加工場(chǎng)景，即重型批量處理操作放到MPP類、AP類或者大數(shù)據(jù)平臺(tái)實(shí)施；而對(duì)聯(lián)機(jī)高并發(fā)、有實(shí)時(shí)聚合分析和輕量批量加工的場(chǎng)景則用HTAP來支撐。此外，在數(shù)據(jù)庫設(shè)計(jì)和使用上盡量應(yīng)用標(biāo)準(zhǔn)SQL，以規(guī)避不完善特性帶來的應(yīng)用風(fēng)險(xiǎn)，并在應(yīng)用側(cè)通過分庫路由策略來應(yīng)對(duì)跨庫數(shù)據(jù)訪問，同時(shí)搭載數(shù)據(jù)同步工具來支撐數(shù)據(jù)庫集群之間的數(shù)據(jù)交換。展望未來，多元化需求場(chǎng)景決定了HTAP數(shù)據(jù)庫不能是OLTP和OLAP的簡(jiǎn)單疊加，如果通過OLTP架構(gòu)外擴(kuò)實(shí)現(xiàn)OLAP，顯然只能算權(quán)宜之計(jì)，而基于當(dāng)前對(duì)分布式數(shù)據(jù)庫與大數(shù)據(jù)技術(shù)相互融合的需求，HTAP或?qū)⒊蔀閿?shù)字化時(shí)代的一種普遍形態(tài)。同時(shí)，結(jié)合開源生態(tài)來看，HTAP數(shù)據(jù)庫未來仍需要在成百上千的業(yè)務(wù)場(chǎng)景中不斷打磨，即將開源作為核心戰(zhàn)略、構(gòu)建高度活躍的開源社區(qū)