淺談HTAP混合技術和金融業(yè)應用場景

近年來，隨著大數(shù)據(jù)應用場景的快速普及與多樣化發(fā)展，傳統(tǒng)的數(shù)據(jù)處理方案已愈發(fā)難以滿足海量數(shù)據(jù)實時分析的數(shù)據(jù)處理需求。針對上述挑戰(zhàn)，混合事務/分析處理（HybridTransactionandAnalyticalProcess，HTAP）架構的出現(xiàn)為打破事務和分析之間的“隔閡”提供了可行方案，根據(jù)Gartner提出的概念，HTAP架構的目的是在單一數(shù)據(jù)上不加區(qū)分地處理事務和分析任務。從發(fā)展歷程來看，相比于聯(lián)機事務處理（OLTP）型數(shù)據(jù)庫、聯(lián)機多維分析處理（OLAP）型數(shù)據(jù)庫，HTAP具有明顯的技術優(yōu)勢，可以有效避免頻繁的數(shù)據(jù)搬運操作，減輕系統(tǒng)額外負擔，并降低數(shù)據(jù)的重復存儲成本。一、HTAP特性及架構簡介在大數(shù)據(jù)業(yè)務領域，事務（Transaction）和分析（Analysis）具有強相關性，人們?yōu)榱诉M行海量數(shù)據(jù)的實時分析，發(fā)明了TA融合這一技術，而HTAP則是在存儲、計算等方面具有極佳的線性擴展能力，能夠更好地解決海量數(shù)據(jù)的容量問題。具體而言，HTAP的典型特性如下：一是支持TP與AP混合的事務處理和分析過程。二是具有水平擴展能力，通過簡單增加新節(jié)點即可按需實現(xiàn)TIDB的水平擴展，進而輕松滿足高并發(fā)、海量數(shù)據(jù)場景需要。三是支持SQL請求在不同節(jié)點自由調(diào)度，少量工作節(jié)點宕機并不影響業(yè)務連續(xù)性，且在不丟失大多數(shù)副本的前提下，還可以實現(xiàn)故障自動恢復。四是支持兩地多中心高可用架構部署，包括同城兩機房雙活及異地機房的實時切換。五是支持強一致分布式事務以及標準的ACID事務。六是可高度兼容MySQL協(xié)議和常用的功能及語法。七是可對數(shù)據(jù)庫服務集群環(huán)境和數(shù)據(jù)庫各進程以及運行SQL進行實時監(jiān)控和告警。八是可根據(jù)請求SQL的特性，自動決定觸發(fā)TP事務引擎還是AP分析引擎。九是具有獨立的TP和AP引擎來支撐存儲和計算需求。十是支持公有云、私有云和混合云，可實現(xiàn)自動化運維，簡化部署、配置工作。二、HTAP在金融業(yè)的典型應用場景案例聚焦金融領域，HTAP可高效支持高并發(fā)交易拼接加工、大批量交易加工、批量文件生成和推送等眾多業(yè)務場景。舉例來說，聯(lián)機應用程序可實時對接收的交易數(shù)據(jù)進行拼接和加工，即通過關聯(lián)方式對數(shù)據(jù)進行屬性補齊，在夜間將每日批量交易中需要補齊、補漏的數(shù)據(jù)批量轉(zhuǎn)聯(lián)再進行加工；同時，還可每日批量對大數(shù)據(jù)量的交易進行加工，以及對交易明細進行月度、年度統(tǒng)計分析（至少可跨越10年）；此外，基于交易明細的實時分析查詢結果，還可對交易明細按照交易類型、時間等維度進行統(tǒng)計并實時返回結果。TA類型對應的金融業(yè)務應用場景見表1，HTAP混合特性與金融典型場景應用的映射關系見表2。表1TA類型對應的金融業(yè)務應用場景表2HTAP混合特性與金融典型場景應用的映射關系三、HTAP數(shù)據(jù)庫未來展望當前，HTAP數(shù)據(jù)庫通常在TP和AP領域各有側(cè)重，還無法做到同時支持TP、AP場景。對此，筆者團隊建議在應用設計上可將非實時的海量、復雜、多維度數(shù)據(jù)加工場景，即重型批量處理操作放到MPP類、AP類或者大數(shù)據(jù)平臺實施；而對聯(lián)機高并發(fā)、有實時聚合分析和輕量批量加工的場景則用HTAP來支撐。此外，在數(shù)據(jù)庫設計和使用上盡量應用標準SQL，以規(guī)避不完善特性帶來的應用風險，并在應用側(cè)通過分庫路由策略來應對跨庫數(shù)據(jù)訪問，同時搭載數(shù)據(jù)同步工具來支撐數(shù)據(jù)庫集群之間的數(shù)據(jù)交換。展望未來，多元化需求場景決定了HTAP數(shù)據(jù)庫不能是OLTP和OLAP的簡單疊加，如果通過OLTP架構外擴實現(xiàn)OLAP，顯然只能算權宜之計，而基于當前對分布式數(shù)據(jù)庫與大數(shù)據(jù)技術相互融合的需求，HTAP或?qū)⒊蔀閿?shù)字化時代的一種普遍形態(tài)。同時，結合開源生態(tài)來看，HTAP數(shù)據(jù)庫未來仍需要在成百上千的業(yè)務場景中不斷打磨，即將開源作為核心戰(zhàn)略、構建高度活躍的開源社區(qū)