2024年實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)-金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐白皮書

<白皮書>實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐HTAP的定義和應(yīng)用場(chǎng)景06TiDB實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)TiDBHTAP架構(gòu)設(shè)計(jì)08金融行業(yè)金融行業(yè)HTAP場(chǎng)景實(shí)踐場(chǎng)景方案場(chǎng)景方案用戶中心場(chǎng)景方案場(chǎng)景方案UseCase6:某金融企業(yè)數(shù)據(jù)服務(wù)中臺(tái)29導(dǎo)讀數(shù)字化進(jìn)入場(chǎng)景大爆發(fā)時(shí)代，開源技術(shù)體系和云原生基礎(chǔ)設(shè)施為數(shù)字化場(chǎng)景提供融合支撐，數(shù)據(jù)服務(wù)事務(wù)和分析處理)架構(gòu)的一棧式數(shù)據(jù)服務(wù)平臺(tái)脫穎為一棧式數(shù)據(jù)服務(wù)平臺(tái)在金融行業(yè)實(shí)時(shí)風(fēng)控、反欺詐、用戶中心以及實(shí)時(shí)數(shù)據(jù)中臺(tái)(實(shí)時(shí)數(shù)倉(cāng))等場(chǎng)景趨勢(shì)洞察趨勢(shì)一：數(shù)字化場(chǎng)景爆發(fā)需要開源技術(shù)體系和云原生基礎(chǔ)設(shè)施的融合支撐在未來十年的發(fā)展過程中，最重要的一個(gè)變化就是數(shù)字化加速。分析機(jī)構(gòu)預(yù)測(cè)到2025年全球的創(chuàng)新數(shù)字化場(chǎng)景應(yīng)用數(shù)量會(huì)是過去40年的總和，數(shù)字化進(jìn)入場(chǎng)景大爆發(fā)時(shí)代，因此會(huì)對(duì)IT底層的通用技術(shù)產(chǎn)生巨大的需求。數(shù)字化創(chuàng)新三角指的是在未來數(shù)字化場(chǎng)景中，數(shù)字化、開源技術(shù)體系和云基礎(chǔ)設(shè)施成為最重要的三大支撐。數(shù)字化數(shù)字化開源技術(shù)體系云基礎(chǔ)設(shè)施數(shù)字化創(chuàng)新三角在數(shù)字化創(chuàng)新三角中，開源成為新技術(shù)的創(chuàng)新引擎，通過源頭創(chuàng)新的方式不斷地把通用技術(shù)以全球社區(qū)的協(xié)作方式生產(chǎn)出來，避免閉門造車、重復(fù)造輪子的現(xiàn)象；對(duì)于企業(yè)級(jí)用戶來說需要一個(gè)相對(duì)穩(wěn)定云原生基礎(chǔ)設(shè)施，包括云原生技術(shù)、多云等，為上層應(yīng)用的多維組合、交付集成、運(yùn)維和即時(shí)服務(wù)提供支撐。開源和云原生的組合成為滿足數(shù)字化場(chǎng)景大爆發(fā)的王牌組合。如何通過開源和云原生基礎(chǔ)設(shè)施，包括多云的模式去服務(wù)于未來數(shù)字化?不少科技公司交出了完美的答卷，開源數(shù)據(jù)庫MongoDB以及大數(shù)據(jù)獨(dú)角獸Databricks充分證明了“云計(jì)算+開源”取得了全球范圍的商業(yè)成功，下一代的數(shù)據(jù)分析和處理一定發(fā)生在云端，并且以開源的模式不斷進(jìn)行迭代和演進(jìn)，這樣才能夠滿足數(shù)字化場(chǎng)景大爆發(fā)的需求。開源和云基礎(chǔ)設(shè)施的結(jié)合可以更好地服務(wù)企業(yè)數(shù)字化，云、數(shù)、端自下而上構(gòu)建形成了企業(yè)數(shù)字化的三層架構(gòu)。實(shí)時(shí)交易、實(shí)時(shí)風(fēng)控、個(gè)性化的營(yíng)銷都在端上完成，是場(chǎng)景，是體驗(yàn)，也是一種服務(wù)。數(shù)字化時(shí)代強(qiáng)調(diào)數(shù)據(jù)驅(qū)動(dòng)和數(shù)據(jù)治理，所有實(shí)時(shí)性的數(shù)字化需求與信息化時(shí)代的最大差異是需要統(tǒng)一的數(shù)據(jù)服務(wù)架構(gòu)，業(yè)界流行的很多名詞，比如HTAP(HybridTransactionandAnalyticalProcessing,混合事務(wù)和分析處理),它實(shí)現(xiàn)了業(yè)務(wù)的在線交易和在線分析一體化，包括“湖倉(cāng)一體”、“流批一體”等這些都代表用戶追求“簡(jiǎn)化、融合”的技術(shù)棧方面的需求。云計(jì)算作為底層的基礎(chǔ)設(shè)施提供多樣化的算力，實(shí)現(xiàn)了資源的全面彈性，越來越多的企業(yè)采用云原生技術(shù)和跨云戰(zhàn)略奠定數(shù)字化的基石。二十DevOps計(jì)算存儲(chǔ)端數(shù)云數(shù)字化三層架構(gòu)云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)的應(yīng)用推動(dòng)著傳統(tǒng)金融行業(yè)的業(yè)務(wù)變革，金融科技對(duì)傳統(tǒng)金融進(jìn)行著全業(yè)務(wù)流程的重塑，為用戶帶來全新的業(yè)務(wù)體驗(yàn)。以銀行為例，以往用戶辦理各項(xiàng)業(yè)務(wù)都需要去銀行網(wǎng)點(diǎn)，各類服務(wù)之間有著清晰的邊界。隨著數(shù)字化轉(zhuǎn)型的推進(jìn)，越來越多的業(yè)務(wù)轉(zhuǎn)為線上化辦理，銀行逐步將金融服務(wù)嵌入到衣、食、住、行等生活場(chǎng)景，在多個(gè)領(lǐng)域滿足客戶多元化場(chǎng)景的需求。電商基于對(duì)相關(guān)業(yè)務(wù)數(shù)據(jù)的分析，金融機(jī)構(gòu)會(huì)進(jìn)一步?jīng)Q策后續(xù)為客戶提供哪些服務(wù)支持。如果把開放銀行多元化的場(chǎng)景比作放風(fēng)箏，金融服務(wù)滲透到生活場(chǎng)景的方方面面，就相當(dāng)于同時(shí)起飛了多個(gè)場(chǎng)景風(fēng)箏，“數(shù)據(jù)因子”就是風(fēng)箏的引線，實(shí)時(shí)的數(shù)據(jù)服務(wù)就成為了多個(gè)風(fēng)箏協(xié)同管控的必備平臺(tái)。電商教育旅游線”的數(shù)據(jù)需求變得更加迫切，企業(yè)中的任意人(AnyOne)在任意時(shí)間(AnyTime)、任意地點(diǎn)(AnyWhere)對(duì)任意形式 金融企業(yè)全場(chǎng)景的數(shù)字化呈現(xiàn)出數(shù)據(jù)服務(wù)變革的兩大方向，一是從需求側(cè)的數(shù)據(jù)服務(wù)消費(fèi)化，數(shù)據(jù)服務(wù)要能夠支持任何地點(diǎn)的任何人，二是供給側(cè)的統(tǒng)一實(shí)時(shí)數(shù)據(jù)平臺(tái)，可以在任意時(shí)間，以任意形式提供數(shù)據(jù)服務(wù)。數(shù)據(jù)服務(wù)消費(fèi)化的趨勢(shì)就是要為增強(qiáng)型消費(fèi)者和企業(yè)內(nèi)部每一個(gè)員工提供一個(gè)訪問數(shù)據(jù)的“任意門”,讓他們可以實(shí)時(shí)獲得個(gè)性化的數(shù)據(jù)服務(wù)。數(shù)字化時(shí)代的剛需將催生統(tǒng)一的實(shí)時(shí)數(shù)據(jù)平臺(tái)，以完成“實(shí)時(shí)匯聚，實(shí)時(shí)反饋，實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐 方向一：數(shù)據(jù)服務(wù)消費(fèi)化分析機(jī)構(gòu)Gartner在《DataandAnalyticsTrends2021》報(bào)告中指出：數(shù)據(jù)和分析已經(jīng)成為企業(yè)的一項(xiàng)核心業(yè)務(wù)資產(chǎn)。數(shù)據(jù)分析的增強(qiáng)型消費(fèi)者開始興起，企業(yè)的業(yè)務(wù)決策從業(yè)務(wù)分析師向數(shù)據(jù)消費(fèi)者聚焦，把先進(jìn)的分析能力轉(zhuǎn)移給企業(yè)中更多的信息消費(fèi)者。預(yù)定義儀表盤將逐漸被自動(dòng)化、對(duì)話式、移動(dòng)式和動(dòng)態(tài)生成的洞見所取代，而且這些洞見均根據(jù)用戶需求定制并可以實(shí)時(shí)交付至用戶需要消費(fèi)這些數(shù)據(jù)的時(shí)候。例如，一個(gè)快消品的調(diào)研員，會(huì)通過手持終端設(shè)備隨時(shí)隨地了解產(chǎn)品銷售情況和預(yù)測(cè)銷售趨勢(shì)，進(jìn)而根據(jù)數(shù)據(jù)做出相應(yīng)決策；一個(gè)基金經(jīng)理往往需要隨時(shí)根據(jù)客戶資產(chǎn)凈值、交易頻次變化、金融產(chǎn)品銷售情況等一系列數(shù)據(jù)服務(wù)，來有針對(duì)性進(jìn)行營(yíng)銷決策，而這些決定常常需要幾分鐘甚至幾秒鐘內(nèi)完成。8Source:Gartner,TopTrendsin數(shù)據(jù)服務(wù)消費(fèi)化的趨勢(shì)就是要為增強(qiáng)型消費(fèi)者和企業(yè)內(nèi)部每一個(gè)員工提供一個(gè)訪問數(shù)據(jù)的“任意門”,讓他們可以實(shí)時(shí)獲得個(gè)性化的數(shù)據(jù)服務(wù)，這個(gè)數(shù)字化時(shí)代的剛需將催生統(tǒng)一實(shí)時(shí)數(shù)據(jù)平臺(tái)。 隨著金融企業(yè)的場(chǎng)景和業(yè)務(wù)創(chuàng)新，越來越多B端和C端上層的應(yīng)用對(duì)數(shù)據(jù)服務(wù)提出新要求。在海量數(shù)據(jù)規(guī)模下，如何提升數(shù)據(jù)的服務(wù)效率，從而不斷提升用戶體驗(yàn)，成為金融企業(yè)在數(shù)字化轉(zhuǎn)型新階段面臨的關(guān)鍵任務(wù)，金融企業(yè)的數(shù)據(jù)服務(wù)形態(tài)正在向統(tǒng)一實(shí)時(shí)數(shù)據(jù)平臺(tái)聚焦。金融企業(yè)借助統(tǒng)一實(shí)時(shí)數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)打通(包括場(chǎng)景信息、業(yè)務(wù)信息、數(shù)據(jù)信息等),使產(chǎn)品服務(wù)更智能、場(chǎng)景結(jié)合更緊密、數(shù)據(jù)價(jià)值變現(xiàn)更快，不斷催生新產(chǎn)品、新業(yè)態(tài)、新模式，為產(chǎn)業(yè)發(fā)展注入創(chuàng)新活力。此外，統(tǒng)一實(shí)時(shí)數(shù)據(jù)平臺(tái)簡(jiǎn)化了金融企業(yè)的數(shù)據(jù)棧，大幅降低IT投資、人力和運(yùn)維成本。統(tǒng)一實(shí)時(shí)數(shù)據(jù)平臺(tái)憑借海量、實(shí)時(shí)、敏捷的能力承擔(dān)企業(yè)級(jí)數(shù)據(jù)中樞的角色。一方面，統(tǒng)一實(shí)時(shí)數(shù)據(jù)平臺(tái)可以整合多個(gè)數(shù)據(jù)棧，實(shí)現(xiàn)多源數(shù)據(jù)的實(shí)時(shí)匯聚，為上層各類業(yè)務(wù)應(yīng)用提供數(shù)據(jù)源和實(shí)時(shí)反饋，便于進(jìn)行業(yè)務(wù)的實(shí)時(shí)決策；另一方面，統(tǒng)一實(shí)時(shí)數(shù)據(jù)平臺(tái)可以提取、處理和分析上層的應(yīng)用數(shù)據(jù)，獲取實(shí)時(shí)洞察。全新架構(gòu)理)最早由Gartner提出，被視為是未來數(shù)據(jù)技術(shù)發(fā)展的重要趨勢(shì)之一。HTAP數(shù)據(jù)庫能夠同時(shí)兼具處理交易以及分析兩種作業(yè)的能力，這使得交易數(shù)據(jù)能夠被實(shí)時(shí)分HTAP作為一種新興技術(shù)架構(gòu)與能力，不僅可以帶來某單一系統(tǒng)的功能與性能提升，更重要的是會(huì)驅(qū)動(dòng)企業(yè)IT架構(gòu)面向現(xiàn)代業(yè)務(wù)目標(biāo)的整體轉(zhuǎn)型升級(jí)。Gartner在(HTAP)將在未來2-5年內(nèi)發(fā)展到技術(shù)成熟期，迎來主流市場(chǎng)的大規(guī)模應(yīng)用。HTAP既然成為一種新的標(biāo)準(zhǔn)與規(guī)范，需有盡量明確技術(shù)上必須有不同于傳統(tǒng)經(jīng)典數(shù)據(jù)庫的能力(不應(yīng)該只是分布式),而且必須對(duì)數(shù)字化進(jìn)程帶來創(chuàng)新與升級(jí)，包括業(yè)務(wù)架構(gòu)、應(yīng)用架構(gòu)、數(shù)據(jù)架構(gòu)HTAP在技術(shù)架構(gòu)與設(shè)計(jì)目標(biāo)上不應(yīng)該等同于經(jīng)典Oracle與MySQL或分布式后的類Oracle與MySQL,這類經(jīng)典的數(shù)據(jù)庫本質(zhì)上無法同時(shí)承載交易與分析SQL?，F(xiàn)代HTAP數(shù)據(jù)庫應(yīng)該是基于分布式架構(gòu)的設(shè)計(jì)，面向海量數(shù)據(jù)的水平擴(kuò)展成為其必須的基礎(chǔ)能力。HTAP數(shù)據(jù)庫的在線交易與分析任務(wù)的執(zhí)行要能做到對(duì)用戶透明，且彼此之間互不影響，不應(yīng)該是OLAP多了大幅影響OLTP,OLTP多了大幅影響OLAP,這是真正的Real-TimeHTAP所必備的重要特點(diǎn)。HTAP不應(yīng)該僅僅面向數(shù)倉(cāng)類純OLAP的需求，HTAP支持的實(shí)時(shí)數(shù)據(jù)平臺(tái)既可以應(yīng)對(duì)OLTP/OLAP的混合負(fù)載，也能夠成為實(shí)時(shí)與Flink等技術(shù)的融合完成流批一體的架構(gòu)支持。HTAP不是簡(jiǎn)單的OLTP+OLAP,數(shù)據(jù)服務(wù)平臺(tái)。 終上所述，HTAP不僅僅局限于對(duì)原有數(shù)據(jù)庫的替換或者是交易和分析處理性能的提升，HTAP應(yīng)該是一個(gè)開放的HTAP的應(yīng)用場(chǎng)景主要集中在兩個(gè)方面：數(shù)據(jù)密集型應(yīng)用有了HTAP能力，未來的數(shù)據(jù)密集型應(yīng)用，都力，并且不影響交易的性能與數(shù)據(jù)的一致性。如風(fēng)控、營(yíng)銷或者其它原來需要在后臺(tái)數(shù)據(jù)平臺(tái)端通過數(shù)據(jù)遷移與同步才能完成的能力，相當(dāng)一部分可以遷移到應(yīng)用側(cè)實(shí)時(shí)完成，成為應(yīng)用內(nèi)生的功能，使其本身就能完成實(shí)時(shí)的業(yè)務(wù)閉環(huán)，這必然是技術(shù)驅(qū)動(dòng)全場(chǎng)景數(shù)字化能力發(fā)展的重要方向。未來的業(yè)務(wù)應(yīng)用都逐漸朝著這個(gè)方向來設(shè)計(jì)，這對(duì)現(xiàn)代交易系統(tǒng)的業(yè)務(wù)能力改造與升級(jí)具備重大的意義。的紅利。絕大多數(shù)的企業(yè)在花大量精力建立了數(shù)據(jù)倉(cāng)庫體系后，業(yè)務(wù)系統(tǒng)人員大多只這種應(yīng)用與數(shù)據(jù)分割的現(xiàn)象是大多數(shù)企業(yè)在過去很長(zhǎng)一段時(shí)間到今天都非常關(guān)注的痛點(diǎn)?；膶?shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)(也稱為實(shí)時(shí)數(shù)據(jù)中臺(tái)),已經(jīng)成為企業(yè)規(guī)劃與實(shí)施的重點(diǎn)創(chuàng)種增強(qiáng)型消費(fèi)者能將數(shù)據(jù)(準(zhǔn)確講是面向業(yè)務(wù)整理后的數(shù)據(jù)資產(chǎn))當(dāng)作超市的商品一面向數(shù)據(jù)消費(fèi)的實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)，即要承載來自全企業(yè)的大量、高并發(fā)的服務(wù)型查詢需求(QPS的OLTP型),也要承載大量探索型的統(tǒng)計(jì)分析需求(OLAP型),這種要求顯然不是純OLAP數(shù)據(jù)庫，也不是純OLTP數(shù)據(jù)庫能滿足的，顯然又必須是彈性分布式的，因此HTAP數(shù)據(jù)庫就是這個(gè)場(chǎng)景的最佳選擇。實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐TiDB實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)構(gòu)設(shè)計(jì)與實(shí)現(xiàn)，是業(yè)界首篇Real-TimeHTAP分布式數(shù)據(jù)庫工業(yè)實(shí)現(xiàn)的論文，被全球數(shù)據(jù)庫領(lǐng)域頂尖的三大學(xué)術(shù)會(huì)議之一)。TiDB作為一款領(lǐng)先的HTAP數(shù)據(jù)庫應(yīng)用于全球1500+頭部企業(yè)的生產(chǎn)環(huán)境，在數(shù)字時(shí)代賦能行業(yè)用戶的業(yè)務(wù)轉(zhuǎn)型和升級(jí)。TiDB有兩種存儲(chǔ)節(jié)點(diǎn)，分別是TiKV和TiFlash。TiKV采用了行式存儲(chǔ)，所謂行式存用列式存儲(chǔ)，列式存儲(chǔ)的含義就是不同行當(dāng)中同一列數(shù)據(jù)會(huì)相鄰存儲(chǔ)在一起，行和列分別會(huì)應(yīng)對(duì)不同的業(yè)務(wù)需求，列存傾向于響應(yīng)OLAP類業(yè)務(wù)。Colunmn-basedstorageforOLAP雖然TiDB有OLTP和OLAP兩種引擎，但是用戶看到的是同一套引擎、同一個(gè)入口，提供統(tǒng)一的權(quán)限和使用體驗(yàn)。TiFlash通過Raft協(xié)議同步數(shù)據(jù)，對(duì)TiDB集群的OLTP交易幾乎沒有影響，提供和TiDB保持強(qiáng)一致的數(shù)據(jù)讀取，是真正的內(nèi)核級(jí)HTAP分布式混合負(fù)載數(shù)據(jù)處理平臺(tái)。2021年4月，TiDBv5.0版本引入了MPP模式，使得整個(gè)TiFlash從單純的存儲(chǔ)節(jié)點(diǎn)升級(jí)成為一個(gè)全功能的分析引擎，保留單一的入口，使用用同樣的權(quán)限控制，OLTP和OLAP仍然是由優(yōu)化器提供自動(dòng)的選擇。MPP模式下，TiDB可以將一個(gè)查詢的計(jì)算下推到TiFlashMPP集群，從而借助分布式并行計(jì)算加速整個(gè)執(zhí)行過程，大幅度縮短分析查詢的執(zhí)行時(shí)間。TiDBMPP模式使用TPC-H基準(zhǔn)測(cè)試來評(píng)估同等硬件資源和數(shù)據(jù)量的情況下執(zhí)行不同Query所需要的時(shí)間，測(cè)試結(jié)果顯示：對(duì)比Greenplum6.15.0和ApacheSpark3.1.1,TiDB5.0MPP展示了更好的性能加速，總體獲得2-3倍的性能優(yōu)勢(shì)，個(gè)別查詢可達(dá)8倍性能提升。個(gè)別查詢可達(dá)8倍實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐利用TiDBHTAP的架構(gòu)優(yōu)勢(shì)，面對(duì)NewSaaS、實(shí)時(shí)營(yíng)銷、實(shí)時(shí)風(fēng)控等新一代云原生應(yīng)用對(duì)數(shù)據(jù)感知能力的要求，TiDB一棧式數(shù)據(jù)服務(wù)平臺(tái)提供彈性擴(kuò)展、隨時(shí)可用的分析能力，同時(shí)具備實(shí)時(shí)的多源匯聚能力，支持多元化分析與查詢需求，支持常態(tài)化的運(yùn)營(yíng)級(jí)分析?；赥iDBHTAP構(gòu)建的未來數(shù)據(jù)架構(gòu)已經(jīng)成為金融企業(yè)應(yīng)對(duì)數(shù)字化場(chǎng)景大爆發(fā)的數(shù)據(jù)服務(wù)新形態(tài)。新SaaS用戶體驗(yàn)實(shí)時(shí)決策售貨點(diǎn)統(tǒng)一視圖監(jiān)控跟蹤即席查詢用戶行為人工智能現(xiàn)有業(yè)務(wù)應(yīng)用數(shù)據(jù)湖/數(shù)倉(cāng)HhadoopsparkOn-PremisesContainersSe 一切技術(shù)來源于不同的需求場(chǎng)景，例如不同類型的金融業(yè)務(wù)有著不同的數(shù)據(jù)需求，與之相對(duì)應(yīng)的數(shù)據(jù)庫不僅需要有海量數(shù)據(jù)存儲(chǔ)能力和高并發(fā)交易支撐能力，還需要針對(duì)不同業(yè)務(wù)有多樣化的功能，如實(shí)時(shí)分析、實(shí)時(shí)匯聚等，于是企業(yè)內(nèi)部逐漸形成了多種數(shù)據(jù)技術(shù)棧并存的局面，如下圖所示，每種技術(shù)棧具備各自擅長(zhǎng)的能力區(qū)間?；旌县?fù)載率混合負(fù)載率數(shù)據(jù)量時(shí)容主流數(shù)據(jù)技術(shù)棧能力象限從延時(shí)容忍度、數(shù)據(jù)量和混合負(fù)載率這三個(gè)維度分析，內(nèi)存和單機(jī)數(shù)據(jù)庫適用于對(duì)延時(shí)要求高、混合負(fù)載率低且數(shù)據(jù)量小的業(yè)務(wù)；分庫分表、MPP數(shù)據(jù)庫適合對(duì)延時(shí)要求沒那么高、混合負(fù)載率低，數(shù)據(jù)處理規(guī)模中等的業(yè)務(wù)；HTAP數(shù)據(jù)庫更擅長(zhǎng)承載混合負(fù)載率高、數(shù)據(jù)量大、且對(duì)延時(shí)要求中等的業(yè)務(wù)；數(shù)據(jù)量超過PB級(jí)別且可以容忍較大延遲的業(yè)務(wù)，更適合用大數(shù)據(jù)技術(shù)棧來承載。內(nèi)存數(shù)據(jù)庫單機(jī)限制低OLAP為主高維保成本高昂(Oracle/MySQL為代表)單機(jī)限制低OLTP為主低高分庫分表，中等規(guī)模且低中低應(yīng)用拆分，MPP數(shù)據(jù)庫中低場(chǎng)景局限，網(wǎng)絡(luò)交互成本高(HBase為代表)高(TiDB為代表)中一套架構(gòu)服務(wù)多個(gè)場(chǎng)景，主流數(shù)據(jù)技術(shù)棧表能力對(duì)比實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐——◆—0TiDBHTAP差異化優(yōu)勢(shì)：四性合一與業(yè)界主流的數(shù)據(jù)庫和大數(shù)據(jù)技術(shù)棧對(duì)比，TiDBHTAP適用于數(shù)據(jù)規(guī)模幾T到幾百TiDBHTAP提供金融級(jí)數(shù)據(jù)強(qiáng)一致性和可用性，數(shù)據(jù)副本通過致性且少數(shù)副本發(fā)生故障時(shí)不影響數(shù)據(jù)的可用性。對(duì)于用戶來說，實(shí)時(shí)性對(duì)等性TiDB直接針對(duì)最新數(shù)據(jù)進(jìn)行分析，提供實(shí)時(shí)的決策支持。實(shí)時(shí)更新列存TiFlash解決了傳統(tǒng)列存系統(tǒng)無法進(jìn)行實(shí)時(shí)更新的問題，無論分析引擎負(fù)載TiDBHTAP提供的OLTP與OLAP能力在架構(gòu)設(shè)計(jì)與發(fā)展?jié)摿ι鲜峭耆珜?duì)等的，各自都可以根據(jù)業(yè)務(wù)的規(guī)模實(shí)現(xiàn)靈活的擴(kuò)展。在實(shí)時(shí)性與一致性前提下OLTP側(cè)和OLAP側(cè)的業(yè)務(wù)是完全隔離TiDB擁有高度開放的技術(shù)生態(tài)體系：TiDB高度兼容MySQL協(xié)議數(shù)據(jù)庫的打通；TiDB實(shí)現(xiàn)了與Hadoop、Spark、Flink、Kafka、Pulsar等大數(shù)據(jù)技術(shù)棧的廣泛融合；TiDB擁抱云計(jì)算和云原生技VMware等廠商建立了廣泛的合作關(guān)系。GoogleCloud 用戶價(jià)值TiDB深度融合數(shù)據(jù)庫與大數(shù)據(jù)應(yīng)用，一個(gè)數(shù)據(jù)平臺(tái)實(shí)現(xiàn)在線事務(wù)處理和實(shí)時(shí)分析的完整閉環(huán)，賦能數(shù)據(jù)的實(shí)時(shí)匯聚、實(shí)時(shí)反饋、實(shí)時(shí)洞察和實(shí)時(shí)變現(xiàn)，帶來極致的用戶體驗(yàn)，大幅提升企業(yè)運(yùn)營(yíng)效率的同時(shí)實(shí)現(xiàn)TCO的降低。TiDB基于云原生分布式架構(gòu)設(shè)計(jì)，無需考慮分庫分表以及分布式事務(wù)的實(shí)現(xiàn)；支持敏態(tài)開發(fā)和在線業(yè)務(wù)變更，降低開發(fā)人員的開發(fā)與學(xué)習(xí)等隱性成本，加速場(chǎng)景迭代和業(yè)務(wù)創(chuàng)新。面向運(yùn)維TiDB簡(jiǎn)化企業(yè)各類數(shù)據(jù)技術(shù)棧，顯著降低技術(shù)復(fù)雜度和運(yùn)維成本；自服務(wù)程度高，提供交互式運(yùn)維界面，使得運(yùn)維人員通過SQL進(jìn)行實(shí)時(shí)分析和實(shí)時(shí)運(yùn)營(yíng)成為可能。TiDB作為新一代行列混合存儲(chǔ)引擎(HTAP)分布式數(shù)據(jù)庫，不但可以執(zhí)行實(shí)時(shí)的數(shù)據(jù)交易和分析類業(yè)務(wù)，還可以與傳統(tǒng)大數(shù)據(jù)生態(tài)技術(shù)棧例如Flink、Kafka等相結(jié)合提供一棧式數(shù)據(jù)服務(wù)。不論作為單獨(dú)的實(shí)時(shí)數(shù)據(jù)分析處理引擎，還是棧結(jié)合，都可以顯著提升數(shù)據(jù)價(jià)值的獲取和快速變現(xiàn)能力，幫助金融分析上移，讓業(yè)務(wù)系統(tǒng)更智能分析上移(AnalyticalOperation)是指賦予數(shù)據(jù)密集型應(yīng)用即時(shí)分析的能力，分析位實(shí)現(xiàn)按需伸縮，實(shí)質(zhì)上是對(duì)“業(yè)務(wù)數(shù)據(jù)化”和“數(shù)據(jù)消費(fèi)化”的本質(zhì)詮釋與驅(qū)動(dòng)。TiDBHTAP在金融企業(yè)分析上移方向的應(yīng)用場(chǎng)景主要有信貸和支付類實(shí)時(shí)風(fēng)控、內(nèi)信貸和支付類實(shí)時(shí)風(fēng)控現(xiàn)有實(shí)時(shí)風(fēng)控(信貸類和支付類)體系解決方案主要通過關(guān)系型數(shù)據(jù)庫+NoSQL數(shù)據(jù)?數(shù)據(jù)分散在不同的數(shù)據(jù)庫當(dāng)中，復(fù)雜的各類數(shù)據(jù)獲取與加工流程，使風(fēng)控喪失實(shí)時(shí)價(jià)值，同時(shí)利用傳統(tǒng)大數(shù)據(jù)技術(shù)體系，難以實(shí)現(xiàn)統(tǒng)一風(fēng)控業(yè)務(wù)視圖等核心功能。失靈活性和擴(kuò)展性；應(yīng)用需要實(shí)現(xiàn)復(fù)雜的數(shù)據(jù)傳輸邏?MySQL等關(guān)系型數(shù)據(jù)庫缺乏水平擴(kuò)展能力，NoSQL無法實(shí)現(xiàn)金融級(jí)別的一致性處理，難以保證金融風(fēng)控業(yè)務(wù)的在線擴(kuò)容和準(zhǔn)確性。?傳統(tǒng)大數(shù)據(jù)和NoSQL數(shù)據(jù)庫廠商的核心代碼都是在國(guó)外進(jìn)行開發(fā)維護(hù)，金融機(jī)構(gòu)在系統(tǒng)出現(xiàn)故障時(shí)，復(fù)雜的技術(shù)處理難以在短時(shí)間內(nèi)定位及解決問題。利用TiDB數(shù)據(jù)庫CDC處理技術(shù)，結(jié)合Kafka和Flink等大數(shù)據(jù)技術(shù)棧，實(shí)現(xiàn)將各業(yè)務(wù)系統(tǒng)最新產(chǎn)生的業(yè)務(wù)數(shù)據(jù)、外部監(jiān)察類數(shù)據(jù)、本行及三方風(fēng)控?cái)?shù)據(jù)實(shí)時(shí)匯聚到統(tǒng)一的TiDB分布式數(shù)據(jù)庫集群存儲(chǔ)管理，提升數(shù)據(jù)實(shí)時(shí)獲取能力?；赥iDB高可用和彈性處理能力，可進(jìn)一步對(duì)實(shí)時(shí)匯聚的風(fēng)控相關(guān)數(shù)據(jù)進(jìn)行聚合、匯總、分類，變量加工等處理，根據(jù)業(yè)務(wù)的訴求，提供實(shí)時(shí)風(fēng)控或?qū)崟r(shí)大屏展現(xiàn)的能力。“保鮮”“提效”“實(shí)時(shí)”“統(tǒng)一”“實(shí)時(shí)”“彈性”實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐利用TiDB數(shù)據(jù)庫海量數(shù)據(jù)存儲(chǔ)能力，可以實(shí)現(xiàn)將風(fēng)控系統(tǒng)智能信審模塊、基礎(chǔ)數(shù)據(jù)服務(wù)模塊沉淀的風(fēng)控業(yè)務(wù)、征信、反欺詐、聯(lián)網(wǎng)核查、反欺詐等風(fēng)控?cái)?shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)?；赥iDBHTAP架構(gòu)行存及列存混合處理引擎能力，可進(jìn)一步對(duì)業(yè)務(wù)沉淀和實(shí)時(shí)匯聚的風(fēng)控相關(guān)數(shù)據(jù)加工分析處理，形成可用于風(fēng)控場(chǎng)景消費(fèi)的價(jià)值數(shù)據(jù)?；赥iDB的高并發(fā)能力，服務(wù)層將業(yè)務(wù)邏輯封裝成標(biāo)準(zhǔn)的統(tǒng)一風(fēng)控服務(wù)API,并提供統(tǒng)一的訪問入口，打造實(shí)時(shí)風(fēng)控彈性架構(gòu)。統(tǒng)統(tǒng)一風(fēng)控服務(wù)智能信審基礎(chǔ)服務(wù)數(shù)據(jù)服務(wù)基于TiDB的實(shí)時(shí)風(fēng)控彈性架構(gòu)在信貸、支付類實(shí)時(shí)風(fēng)控場(chǎng)景下，TiDBHTAP架構(gòu)的優(yōu)勢(shì)主要體現(xiàn)在幾個(gè)方面：滿足大數(shù)據(jù)場(chǎng)景下風(fēng)控?cái)?shù)據(jù)存儲(chǔ)O滿足大數(shù)據(jù)場(chǎng)景下風(fēng)控?cái)?shù)據(jù)存儲(chǔ)提供統(tǒng)一數(shù)據(jù)實(shí)時(shí)服務(wù)降低技術(shù)架構(gòu)實(shí)現(xiàn)的復(fù)雜性通過流式數(shù)據(jù)接入可以實(shí)時(shí)匯總征信、三方、客戶交易、監(jiān)管黑名單、聯(lián)網(wǎng)核查、反欺詐等數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行聚合分析，形成風(fēng)險(xiǎn)數(shù)據(jù)集市；支持將價(jià)值數(shù)據(jù)以統(tǒng)一數(shù)據(jù)服務(wù)API形式開放，提供高并發(fā)訪問查詢能力。CaseCase|某證券公司實(shí)時(shí)風(fēng)控場(chǎng)景實(shí)踐某證券公司是一家領(lǐng)先的科技驅(qū)動(dòng)型綜合金融服務(wù)商，業(yè)務(wù)范圍涵蓋證券、基金、期貨、產(chǎn)業(yè)基金和大宗商品等多個(gè)領(lǐng)域，多年獲評(píng)A級(jí)券商。融資融券業(yè)務(wù)收入是證券公司營(yíng)業(yè)收入的重要來源，但由于其杠桿效應(yīng)，其相比普通交易也蘊(yùn)藏著更大的風(fēng)險(xiǎn)：隨著股價(jià)的波動(dòng)，客戶持有的擔(dān)保物可能無法沖抵融資融券的價(jià)值，導(dǎo)致證券公司無法收回成本所帶來的損失?！熬S持擔(dān)保比”是將風(fēng)險(xiǎn)有效量化的指標(biāo)，證券公司需在交易所開市期間對(duì)該指標(biāo)進(jìn)行監(jiān)控和預(yù)警。該證券公司的實(shí)時(shí)風(fēng)控系統(tǒng)需要對(duì)“維持擔(dān)保該證券公司的實(shí)時(shí)風(fēng)控系統(tǒng)需要對(duì)“維持擔(dān)保比”這項(xiàng)指標(biāo)進(jìn)行跑批計(jì)算和實(shí)時(shí)復(fù)雜查詢，并對(duì)“維持擔(dān)保比”指標(biāo)的計(jì)算結(jié)果進(jìn)行排序，通知平倉(cāng)高危風(fēng)險(xiǎn)的客戶(通常維持擔(dān)保比小于130%)追加擔(dān)保物。傳統(tǒng)Oracle數(shù)據(jù)庫的橫向擴(kuò)展能力不足，大表之間關(guān)聯(lián)分析通常需要花費(fèi)1-2個(gè)小時(shí)，性能表現(xiàn)達(dá)不到近實(shí)時(shí)分析的業(yè)務(wù)要求。該證券公司選擇TiDB構(gòu)建實(shí)時(shí)風(fēng)控系統(tǒng)，從上游融資融券交易系統(tǒng)數(shù)據(jù)庫中獲取原始數(shù)據(jù)，通過CDC工具采集數(shù)據(jù)至Kafka,再寫入至TiDB。風(fēng)控系統(tǒng)跑批并將結(jié)果寫入TiDB并提供實(shí)時(shí)的復(fù)雜查詢服務(wù)。食①①某證券實(shí)時(shí)風(fēng)控邏輯架構(gòu)圖某證券實(shí)時(shí)風(fēng)控邏輯架構(gòu)圖該證券公司使用TiDB主要獲得以下幾方面的收益：實(shí)現(xiàn)了海量風(fēng)控?cái)?shù)據(jù)的存儲(chǔ)和實(shí)時(shí)分析，可根據(jù)業(yè)務(wù)數(shù)據(jù)量自動(dòng)水平伸縮。式的進(jìn)化，便于業(yè)務(wù)作出實(shí)時(shí)的決策，降低交易風(fēng)險(xiǎn)。實(shí)現(xiàn)了數(shù)據(jù)架構(gòu)層的精簡(jiǎn)，大幅提升開發(fā)、維護(hù)和運(yùn)營(yíng)效率。內(nèi)外部監(jiān)管批量(反洗錢)擔(dān)信息收集和前端控制任務(wù)。反洗錢系統(tǒng)需要匯總金融機(jī)構(gòu)中各業(yè)客戶級(jí)別的交易數(shù)據(jù)屬于明細(xì)級(jí)數(shù)據(jù)，且需要分析的數(shù)據(jù)時(shí)間周期最長(zhǎng)存在超過一監(jiān)測(cè)規(guī)則靈活可配反洗錢系統(tǒng)通常使用規(guī)則引擎來配置靈活的指標(biāo)監(jiān)測(cè)模型，對(duì)反洗錢數(shù)據(jù)進(jìn)行篩選、隨著金融機(jī)構(gòu)業(yè)務(wù)的不斷發(fā)展，基于傳統(tǒng)數(shù)據(jù)庫的反洗錢系統(tǒng)已無法滿足日益增長(zhǎng)的數(shù)據(jù)處理壓力，主要存在以下幾方面的局限性：數(shù)據(jù)庫擴(kuò)容困難反洗錢系統(tǒng)需要匯聚更容量擴(kuò)展方面存在一定批處理性能瓶頸顯著單機(jī)數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入以及批處理性能瓶頸突長(zhǎng)對(duì)反洗錢數(shù)據(jù)報(bào)送時(shí)效產(chǎn)生了較大影響。查詢分析延遲嚴(yán)重來數(shù)據(jù)庫訪問性能下降，系統(tǒng)前端交互查詢分析數(shù)據(jù)庫性能提升手段匱乏單機(jī)數(shù)據(jù)庫最主要的性能提升手段為升級(jí)硬件，容易達(dá)到性能天花板。業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，打破傳統(tǒng)數(shù)據(jù)庫單節(jié)點(diǎn)的算力瓶頸，向上為任務(wù)計(jì)算、規(guī)則模型以及工作流程等環(huán)節(jié)的數(shù)據(jù)計(jì)算、分析和流轉(zhuǎn)提供統(tǒng)一和實(shí)時(shí)的數(shù)據(jù)服務(wù)。 信息上報(bào)層信息管理層數(shù)據(jù)處理層關(guān)注模型層數(shù)據(jù)采集層數(shù)據(jù)源層基于TiDB的反洗錢系統(tǒng)架構(gòu)相較于傳統(tǒng)的Oracle數(shù)據(jù)庫，TiDB方案體現(xiàn)出的?分布式計(jì)算引擎，更強(qiáng)的并行導(dǎo)入和并行計(jì)算能力，支持大批量數(shù)據(jù)的復(fù)雜計(jì)算。?在線橫向擴(kuò)展，存儲(chǔ)、計(jì)算能力近線性提升，有效提升數(shù)據(jù)庫處理能力。?無單點(diǎn)故障設(shè)計(jì)，提供數(shù)據(jù)庫持續(xù)服務(wù)能力。行計(jì)算能力，加速數(shù)據(jù)批處理。成本低。?支持實(shí)時(shí)寫入，提供數(shù)據(jù)批量計(jì)算能力的同時(shí)，支持應(yīng)用系統(tǒng)操作型數(shù)據(jù)記錄。?支持事務(wù)，保障數(shù)據(jù)一致性。?架構(gòu)簡(jiǎn)單，無需學(xué)習(xí)、維護(hù)大數(shù)據(jù)平臺(tái)各技術(shù)組件，節(jié)省人力、運(yùn)維成本。實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐一翼支付是中國(guó)電信旗下的運(yùn)營(yíng)支付和互聯(lián)網(wǎng)金融的業(yè)務(wù)品牌，是中國(guó)人民銀行核準(zhǔn)的第三方支付案。2019年翼支付月活用戶5000萬，每月2.3億筆交易，年交易金額超1.75萬億。翼支付反洗錢系統(tǒng)需要保存全國(guó)范圍內(nèi)的全量客戶、賬戶、日常交易信息數(shù)據(jù)。系統(tǒng)每日從上游數(shù)倉(cāng)中接入增量數(shù)反洗錢系統(tǒng)數(shù)據(jù)處理層原先使用的是Oracle數(shù)據(jù)庫，數(shù)據(jù)規(guī)模在30T左右。庫中存量的交易數(shù)據(jù)已超百億，日均增量數(shù)據(jù)約1000-2000萬，客戶賬戶表等存量數(shù)據(jù)達(dá)到10+億級(jí)別。在單節(jié)點(diǎn)架構(gòu)下，Oracle數(shù)據(jù)庫無法滿足數(shù)據(jù)集錢規(guī)則和更多樣的業(yè)務(wù)需求不斷出現(xiàn)，前臺(tái)的查詢分析頁面的延遲已經(jīng)相當(dāng)嚴(yán)重。在使用TiDB替換原有Oracle數(shù)得益于TiDB的高并發(fā)、高吞吐能力，在20個(gè)規(guī)則和指標(biāo)并行計(jì)算的壓力下，TiDB并未出現(xiàn)讀寫延遲或組件故障。顯著提升批處理的計(jì)算效率多種計(jì)算下推使Spark能夠高效的讀取TiKV中的數(shù)據(jù)，可大幅提升批處理業(yè)務(wù)的性能并保證更新事務(wù)的原子性。有效解決了單臺(tái)Oracle容量屢屢告警的批處理時(shí)效性得到5倍左右提升系統(tǒng)每日批處理耗時(shí)逐步從18小時(shí)縮短至3.5-5小時(shí)左右，處理時(shí)效性提升了5金融企業(yè)在觸客、獲客、活客的過程中，始終需要以客戶信息作為支撐。隨著業(yè)務(wù)創(chuàng)新的加快，企業(yè)中出現(xiàn)了越來越多的業(yè)務(wù)系統(tǒng)，每種業(yè)務(wù)都積累了大量客戶，這些客戶的相關(guān)資料分散在各個(gè)業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)缺乏整合、統(tǒng)一和一致性管理，給用戶管理、服務(wù)、營(yíng)銷和快速創(chuàng)新帶來了極大的限制。很多金融企業(yè)希望能夠通過整合、沉淀、復(fù)用的方式，打造能夠在企業(yè)范圍內(nèi)共享的用戶中心系統(tǒng)來解決這些問題。用戶中心系統(tǒng)屬于中臺(tái)系統(tǒng)，在聯(lián)機(jī)部分，提供開戶、維護(hù)、查詢、信息同步等基本服務(wù)以及合約管理、客戶登記維護(hù)等增值服務(wù)，以聯(lián)機(jī)API接口方式提供實(shí)時(shí)的交易處理；在批量部分，為本地業(yè)務(wù)系統(tǒng)提供準(zhǔn)實(shí)時(shí)或批量的客戶信息同步，基于ETL或文件交換的方式為離線數(shù)倉(cāng)提供數(shù)據(jù)交換服務(wù)，用于企業(yè)CRM、風(fēng)險(xiǎn)管理等領(lǐng)域。當(dāng)前，用戶中心系統(tǒng)在數(shù)據(jù)處理上面臨諸多挑戰(zhàn)：用戶中心所承載的數(shù)據(jù)規(guī)模呈指數(shù)級(jí)增長(zhǎng)，傳統(tǒng)單體數(shù)據(jù)庫或分庫分表模式無法做到在線水平擴(kuò)展且對(duì)系統(tǒng)高并發(fā)服務(wù)能力造成制約。數(shù)據(jù)拆分直接導(dǎo)致匯總查詢、多維分析等跨分片場(chǎng)景無所適從，還需引入額外的匯總庫，進(jìn)一步加大了架構(gòu)復(fù)雜度和管理成本，阻礙業(yè)務(wù)的持續(xù)創(chuàng)新。分庫分表架構(gòu)增加了系統(tǒng)的復(fù)雜度和維護(hù)成本，應(yīng)用團(tuán)隊(duì)需要在業(yè)務(wù)功能迭代創(chuàng)新、系統(tǒng)穩(wěn)定易用等方面不斷平衡?；赥iDB的HTAP能力重構(gòu)用戶中心系統(tǒng)的數(shù)據(jù)層，承載對(duì)私、對(duì)公的客戶信息和系統(tǒng)公共信息，為接入層提供實(shí)時(shí)/準(zhǔn)實(shí)時(shí)和批量數(shù)據(jù)服務(wù)。應(yīng)用層通過數(shù)據(jù)訪問組件基于負(fù)載均衡訪問TiDB中的各類數(shù)據(jù)進(jìn)行聯(lián)機(jī)和批量操作，無需考慮分片鍵和反向索引設(shè)計(jì)，可基于標(biāo)準(zhǔn)索引進(jìn)行多維度高效數(shù)據(jù)操作及實(shí)時(shí)匯聚查詢。批量操作可基于調(diào)度框架按業(yè)務(wù)維度分批次并行處理，支持傳統(tǒng)ETL離線入倉(cāng)和TiCDC實(shí)時(shí)增量同步到下游，數(shù)據(jù)下發(fā)方式更加靈活，可基于TiDB構(gòu)建跨中心級(jí)的高可用架構(gòu)。接入層接入層應(yīng)用層數(shù)據(jù)層聯(lián)機(jī)交易服務(wù)聯(lián)機(jī)交易服務(wù)校驗(yàn)簽約管理聯(lián)管理批量數(shù)據(jù)服務(wù)批量數(shù)據(jù)服務(wù)(對(duì)私/對(duì)公客戶+公共信息)用戶中心系統(tǒng)架構(gòu)圖TiDB方案的主要優(yōu)勢(shì)體現(xiàn)在線水平彈性擴(kuò)展能力突破傳統(tǒng)單體數(shù)據(jù)的性能和容量強(qiáng)一致性的水平彈性擴(kuò)展，無論多大的數(shù)據(jù)量，只需輕松增加節(jié)點(diǎn)即可解決。交易和實(shí)時(shí)在線分析，無需再引入額外的數(shù)據(jù)技術(shù)棧來處理匯總查詢、多維查詢等場(chǎng)景，大幅簡(jiǎn)化數(shù)據(jù)管理的復(fù)雜度。應(yīng)用如同使用單體數(shù)據(jù)庫一考慮底層數(shù)據(jù)管理細(xì)節(jié)。應(yīng)用務(wù)本身功能的迭代，以提供更加敏捷和創(chuàng)新的服務(wù)。務(wù)的全流程服務(wù)。該金融科技企業(yè)所在集團(tuán)是國(guó)際領(lǐng)先的科技型個(gè)人金融生活服務(wù)集團(tuán)，為2億+個(gè)人客戶以及5億+互聯(lián)網(wǎng)用戶提供金融生活產(chǎn)品及服務(wù)。銀行壽險(xiǎn)產(chǎn)險(xiǎn)B中心銀行壽險(xiǎn)產(chǎn)險(xiǎn)A中心P用戶中心系統(tǒng)高可用架構(gòu)應(yīng)用TiDB的收益主要體現(xiàn)在以下幾個(gè)方面：響應(yīng)時(shí)間為99線60毫秒，解決了傳統(tǒng)數(shù)據(jù)庫單點(diǎn)的性能與容量瓶頸問題。雙數(shù)據(jù)中心架構(gòu)提供金融級(jí)高可用保在異地?cái)?shù)據(jù)中心構(gòu)建高效率容災(zāi)集實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐數(shù)據(jù)普惠，讓數(shù)據(jù)服務(wù)更實(shí)時(shí)的需求賦予業(yè)務(wù)分析系統(tǒng)實(shí)時(shí)的數(shù)據(jù)服務(wù)能力，位于企業(yè)IT體系的下游分析域，并數(shù)據(jù)普惠方向的應(yīng)用場(chǎng)景主要包括實(shí)時(shí)數(shù)據(jù)中臺(tái)/實(shí)時(shí)數(shù)倉(cāng)。實(shí)時(shí)數(shù)據(jù)中臺(tái)/實(shí)時(shí)數(shù)倉(cāng)在金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型的過程中，各類業(yè)務(wù)對(duì)“實(shí)時(shí)、在線”的數(shù)據(jù)需求變得愈發(fā)迫切，個(gè)性化推薦、實(shí)時(shí)營(yíng)銷、實(shí)時(shí)決策成為數(shù)字化場(chǎng)景的關(guān)鍵能力，敏銳用戶需求，提升用戶體驗(yàn)將為金融企業(yè)帶來持續(xù)的競(jìng)爭(zhēng)優(yōu)勢(shì)。實(shí)時(shí)數(shù)倉(cāng)技術(shù)和數(shù)據(jù)中臺(tái)的出現(xiàn)，為實(shí)時(shí)數(shù)據(jù)處理提供了解決方案。傳統(tǒng)實(shí)時(shí)大數(shù)據(jù)處理方案以Lamada架構(gòu)為代表，同時(shí)承擔(dān)批量與實(shí)時(shí)數(shù)據(jù)處理。在批處理層，Lamada架構(gòu)通常使用Hadoop大數(shù)據(jù)平臺(tái)作為數(shù)據(jù)存儲(chǔ)計(jì)算載體，完成T+1離線數(shù)據(jù)加工。存儲(chǔ)，需要使用多種技術(shù)組件，系統(tǒng)架構(gòu)復(fù)雜且運(yùn)維成本高。其次服務(wù)層響應(yīng)用戶的查詢請(qǐng)求時(shí)，應(yīng)用端需要同時(shí)支持兩套數(shù)據(jù)訪問接口，無法支撐敏捷的商業(yè)決策。近幾年，金融企業(yè)開始建設(shè)數(shù)據(jù)中臺(tái)，數(shù)據(jù)中臺(tái)的建設(shè)目標(biāo)旨在通過數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)，實(shí)現(xiàn)可彈性伸縮擴(kuò)展的分布式基礎(chǔ)架構(gòu)，消除數(shù)據(jù)孤島，最終形成統(tǒng)一的數(shù)據(jù)資產(chǎn)和提供統(tǒng)一的數(shù)據(jù)服務(wù)，快速響應(yīng)各類創(chuàng)新業(yè)務(wù)發(fā)展。傳統(tǒng)數(shù)據(jù)中臺(tái)多選用Hadoop大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)服務(wù)，在多個(gè)方面顯現(xiàn)出短板：架構(gòu)復(fù)雜：?jiǎn)我坏臄?shù)據(jù)架構(gòu)無法滿足歷史離線數(shù)據(jù)和在線準(zhǔn)實(shí)時(shí)數(shù)據(jù)的加工、存儲(chǔ)與分析需求，無法同時(shí)承擔(dān)數(shù)據(jù)計(jì)算與數(shù)據(jù)服務(wù)的要求。服務(wù)能力受限：在數(shù)據(jù)服務(wù)層通常采用HBase數(shù)據(jù)庫或關(guān)系型數(shù)據(jù)庫，服務(wù)能力通常限于簡(jiǎn)單的數(shù)據(jù)查詢，無法敏捷地應(yīng)對(duì)復(fù)雜的、實(shí)時(shí)分析查詢服務(wù)。開發(fā)運(yùn)維成本高：較多的技術(shù)棧在應(yīng)用迭代過程中，帶來較高的開發(fā)成本，同時(shí)對(duì)系統(tǒng)擴(kuò)容、系統(tǒng)運(yùn)維等方面帶來挑戰(zhàn)。“保鮮”“提效”“實(shí)時(shí)”寫入TTiDB“統(tǒng)—”“實(shí)時(shí)”“彈性”基于TiDB的實(shí)時(shí)數(shù)據(jù)中臺(tái)/實(shí)時(shí)數(shù)倉(cāng)架構(gòu)TiDB作為一款HTAP數(shù)據(jù)庫，可以在一份數(shù)據(jù)源上同時(shí)支撐在線事務(wù)處理(OLTP)和在線分析處理(OLAP)場(chǎng)景，不但能良好地支持實(shí)時(shí)數(shù)據(jù)落地存儲(chǔ)，也可以提供一體化的分析能力。結(jié)合Flink出色的流處理能力，可以構(gòu)建實(shí)時(shí)數(shù)倉(cāng)解決方案，滿足用戶實(shí)時(shí)業(yè)務(wù)分析需求。同時(shí)，由于TiDB擁有高度開放的生態(tài)，具備完整的數(shù)據(jù)離線、實(shí)時(shí)同步工具，也可以集成大數(shù)據(jù)工具，與Spark、BI等大數(shù)據(jù)生態(tài)構(gòu)建離線+實(shí)時(shí)的數(shù)倉(cāng)體系。實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐TiDB支持多種數(shù)據(jù)采集方式，包括CDC、消息中間件+流式計(jì)算框架的實(shí)時(shí)方式，及時(shí)、高效獲得“新鮮數(shù)據(jù)”;基于行、列混存的HTAP架構(gòu)，提供實(shí)時(shí)數(shù)據(jù)服務(wù)，具備數(shù)字化轉(zhuǎn)型中數(shù)據(jù)價(jià)值的實(shí)時(shí)變現(xiàn)能力。米TiDB與Flink企業(yè)版(VervericaPlatform)合作，推出實(shí)時(shí)數(shù)倉(cāng)商業(yè)方案。TiDB和Flink都可以通過水平擴(kuò)展節(jié)點(diǎn)來增加算力，數(shù)據(jù)處理速度有保障。用戶可以單獨(dú)使用TiDB構(gòu)建實(shí)時(shí)分析業(yè)務(wù)，也可以與Flink生態(tài)一起構(gòu)建實(shí)時(shí)數(shù)倉(cāng)體系。基于TiDB構(gòu)建實(shí)時(shí)數(shù)據(jù)中臺(tái)/實(shí)時(shí)數(shù)倉(cāng)的核心優(yōu)勢(shì)體現(xiàn)：彈性水平擴(kuò)展彈性水平擴(kuò)展計(jì)算與服務(wù)融合開放生態(tài)簡(jiǎn)化大數(shù)據(jù)棧解決集中式數(shù)據(jù)庫與大一套架構(gòu)既能支持低并適配Binlog、CDC等數(shù)數(shù)據(jù)平臺(tái)架構(gòu)之間的矛發(fā)的批量數(shù)據(jù)計(jì)算，又盾，原生分布式架構(gòu)支能提供高并發(fā)的數(shù)據(jù)服Flink等實(shí)時(shí)數(shù)據(jù)處理持線性水平擴(kuò)展，能夠務(wù)，實(shí)現(xiàn)批量和實(shí)時(shí)視引擎及Spark批處理引給業(yè)務(wù)系統(tǒng)帶來線性的圖的統(tǒng)一，提供綜合查擎，開放的生態(tài)降低大能力提升。詢視圖。數(shù)據(jù)技術(shù)棧復(fù)雜度。隨著數(shù)字化轉(zhuǎn)型的深入，金融銀行機(jī)構(gòu)致力于全面提升數(shù)字化建設(shè)與應(yīng)用水平。某國(guó)有大行引入HTAP數(shù)據(jù)庫解決當(dāng)前的業(yè)務(wù)痛點(diǎn)，提升業(yè)務(wù)運(yùn)營(yíng)效率和用戶服務(wù)體驗(yàn)。對(duì)于銀行核心交易領(lǐng)域服務(wù)屬性最強(qiáng)、服務(wù)類型最綜合的多維度交易信息查詢、實(shí)時(shí)收支分析類業(yè)務(wù)來講，原先的豎井式架構(gòu)極大地制約了業(yè)務(wù)發(fā)展，暴露出查詢周期和跨度偏短、數(shù)據(jù)完整度/準(zhǔn)確度不足、統(tǒng)計(jì)口徑不一、數(shù)據(jù)時(shí)效性不高等短板。經(jīng)過對(duì)比選型和驗(yàn)證，該行選擇了TiDB構(gòu)建一棧式綜合數(shù)據(jù)服務(wù)系統(tǒng)。系統(tǒng)采用典型的實(shí)時(shí)數(shù)倉(cāng)架構(gòu)，通過兩地三中心高可用架構(gòu)確保了高等級(jí)應(yīng)用系統(tǒng)的業(yè)務(wù)連續(xù)性，同時(shí)支持應(yīng)用雙活。新系統(tǒng)架構(gòu)包括數(shù)據(jù)匯聚、數(shù)據(jù)加工、數(shù)據(jù)服務(wù)和存儲(chǔ)四大模塊。新系統(tǒng)共對(duì)接了近百個(gè)上下游業(yè)務(wù)系統(tǒng)，數(shù)新系統(tǒng)共對(duì)接了近百個(gè)上下游業(yè)務(wù)系統(tǒng)，數(shù)據(jù)覆蓋全行近230個(gè)業(yè)務(wù)產(chǎn)品、超3,000個(gè)交易場(chǎng)景；統(tǒng)集群資源約2,700個(gè)應(yīng)用虛擬節(jié)點(diǎn)、300個(gè)數(shù)據(jù)庫物理節(jié)點(diǎn)；遷移了原有多個(gè)系統(tǒng)近500TB的單副本存量數(shù)據(jù)，新系統(tǒng)多副本數(shù)據(jù)規(guī)模近PB級(jí)，最大數(shù)據(jù)表達(dá)上千億行記錄；日均加載上千個(gè)批量文本，最大離線分析規(guī)模為基于40億行原始明細(xì)產(chǎn)生約4億行指標(biāo)結(jié)果數(shù)據(jù)，并為多個(gè)下游系統(tǒng)提供數(shù)據(jù)下傳和推送服務(wù)。數(shù)據(jù)應(yīng)用客戶信息數(shù)據(jù)湖ODS(N)→CDM→ADS(1)支付結(jié)算存款核心外圍系統(tǒng)消息中間件文件交換實(shí)時(shí)匯聚離線加載數(shù)據(jù)匯聚數(shù)據(jù)管道規(guī)模化的企業(yè)級(jí)數(shù)據(jù)應(yīng)用能力高效集約的企業(yè)級(jí)運(yùn)營(yíng)能力實(shí)時(shí)數(shù)據(jù)服務(wù)提升客戶體驗(yàn)更為精細(xì)化的降本增效依托分布式和HTAP實(shí)現(xiàn)整體架構(gòu)躍遷實(shí)現(xiàn)上百個(gè)業(yè)務(wù)系統(tǒng)數(shù)百TB數(shù)據(jù)的整合與供給，支撐靈活多變的數(shù)據(jù)消費(fèi)場(chǎng)景，提升內(nèi)部、外部、生態(tài)伙伴的多元化數(shù)據(jù)服務(wù)效率。支持運(yùn)營(yíng)需求共享，建立線上化、自動(dòng)化、智能化的高效率、集中管控風(fēng)險(xiǎn)等方面實(shí)現(xiàn)飛躍。通過各類服務(wù)和訪問入口的整合高效地支持定制化、差異化服務(wù)和精準(zhǔn)營(yíng)銷，支撐基于同城雙活架構(gòu)，雙機(jī)房同時(shí)具備讀寫能力，在吞吐能力、彈度、資源使用率方面提升顯著,實(shí)現(xiàn)靈活高效的資源調(diào)配和精細(xì)化的降本增效。一套創(chuàng)新的HTAP數(shù)據(jù)庫替換了Oracle、MongoDB、Hive三套數(shù)據(jù)庫體系，驗(yàn)證了MongoDB替換方案的可行性，實(shí)現(xiàn)了整體架構(gòu)的躍遷。實(shí)時(shí)數(shù)據(jù)服務(wù)平臺(tái)—金融行業(yè)實(shí)時(shí)HTAP場(chǎng)景實(shí)踐浙商銀行股份有限公司(簡(jiǎn)稱“浙商銀行”)是12家全國(guó)性股份制商業(yè)銀行之一，致力于打造平臺(tái)化服務(wù)銀行，為客戶提供開放、高效、靈活、共享、極致的綜合金融服務(wù)。2020年，浙商銀行在英國(guó)《銀行家》雜志全球銀行1000強(qiáng)榜單中排名第97位。隨著浙商銀行業(yè)務(wù)的發(fā)展和數(shù)據(jù)量的激增，國(guó)外商業(yè)數(shù)據(jù)庫的數(shù)據(jù)處理和存儲(chǔ)能力短板逐漸暴露，原有的數(shù)據(jù)架構(gòu)體系不能滿足新業(yè)務(wù)場(chǎng)景的需求。浙商銀行在數(shù)據(jù)庫的選型上主要有幾方面的考慮：數(shù)據(jù)庫集群規(guī)模和單表容量無限制，大數(shù)據(jù)量規(guī)模下性能比較優(yōu)異，兼顧交易和實(shí)時(shí)分析場(chǎng)景，具備金融同業(yè)的應(yīng)用案例，同時(shí)擁有活躍的開源生態(tài)、豐富的工具及文檔?；谏鲜隹剂?，浙商銀行選用TiDB來構(gòu)建分布式ODS(OptionalDataStore)平臺(tái)。等)的業(yè)務(wù)數(shù)據(jù)全部同步到TiDB.TiDB分布式架構(gòu)滿足各類上游異構(gòu)交易數(shù)據(jù)庫的持續(xù)接入，沒有容量限制。浙商銀行采