專(zhuān)23-4-DTCC2016演講-管文琦(可公開(kāi)下載版)

管文琦一、華泰證券集團(tuán)簡(jiǎn)介二、面臨的機(jī)遇與挑戰(zhàn)三、技術(shù)方案四、新開(kāi)源技術(shù)解決方案研究與實(shí)踐華泰證券集團(tuán)簡(jiǎn)介一、華泰證一、華泰證券全國(guó)領(lǐng)先的大型綜合性證券集團(tuán)，具有龐大的客戶(hù)基礎(chǔ)、領(lǐng)先的互聯(lián)網(wǎng)平臺(tái)及敏捷協(xié)同的全業(yè)務(wù)鏈體系，股票代碼601688主營(yíng)業(yè)務(wù)：經(jīng)紀(jì)及財(cái)富管理、投資銀行、投資及交易、資產(chǎn)管理、海外業(yè)務(wù)經(jīng)紀(jì)業(yè)務(wù)全市場(chǎng)第一(8.32%)一、華泰證一、華泰證券用戶(hù)數(shù)將近1000萬(wàn)日活用戶(hù)500萬(wàn)，手機(jī)端占比50%以上一、華泰證券—漲樂(lè)財(cái)富通一、華泰證券—漲樂(lè)財(cái)富通一、華泰證券—漲樂(lè)財(cái)富通一、華泰證券—漲樂(lè)財(cái)富通面臨的機(jī)遇和挑戰(zhàn)二二、機(jī)遇與挑戰(zhàn)背景：華泰集團(tuán)原有的數(shù)據(jù)庫(kù)都是基于商用數(shù)據(jù)庫(kù)+存儲(chǔ)的傳統(tǒng)架構(gòu)。要求：集團(tuán)提出使用開(kāi)源數(shù)據(jù)庫(kù)的要求源源數(shù)據(jù)庫(kù)的SQL優(yōu)化器和ORACLE商用數(shù)據(jù)庫(kù)相比，差距明。二、機(jī)遇與挑戰(zhàn)開(kāi)源MySQL數(shù)據(jù)庫(kù)普遍使用的高可用方案是否滿(mǎn)足金融機(jī)構(gòu)的需求。。二、機(jī)遇與挑戰(zhàn)傳統(tǒng)的主從復(fù)制難以滿(mǎn)足金融行業(yè)傳統(tǒng)的主從復(fù)制??共享存儲(chǔ)的挑戰(zhàn)：主流方案基本不適合現(xiàn)有的集團(tuán)需求！增加，近幾年、數(shù)據(jù)量每年都在近10倍左右增長(zhǎng)種每年都在高速1、如果數(shù)據(jù)庫(kù)處理效率(從oracle到mysql)不升反而降低，無(wú)法向業(yè)務(wù)部門(mén)交代。2、僅僅依靠mysql本身，短時(shí)間內(nèi)，難以滿(mǎn)足目前的需求。必須從其他方向找方法。目前開(kāi)源數(shù)據(jù)E二、機(jī)遇與挑戰(zhàn)的考量L處理能力MySQL不很好支持高性能小型機(jī)。處理能力MySQL不很好支持高性能小型機(jī)。二、機(jī)遇與挑戰(zhàn)??服務(wù)器數(shù)量處理能力?服務(wù)器數(shù)量處理能力能否用多臺(tái)服務(wù)器達(dá)到單臺(tái)高性能小型機(jī)的處理。技術(shù)方案簡(jiǎn)介三、技術(shù)方案分布式數(shù)據(jù)庫(kù)中間件的引入(1)通過(guò)分庫(kù)分表，解決MySQL的SQL效率相對(duì)不足(2)利用分布式中間件實(shí)現(xiàn)數(shù)據(jù)庫(kù)水平擴(kuò)展的能力(3)通過(guò)讀寫(xiě)分離：解決負(fù)載問(wèn)題MEMBEID1pavarotti17…MEMBEID1pavarotti17…pavarotti17…分布式MEMBEID3…9……MEMBEID4test1234…5test1234…核心功能：分庫(kù)分表AppAppAppAppAppAppAppApp路由算法IDMEMBE_IDINFO4test34…5test4…pavarotti17…pavarotti… 路由算法IDMEMBE_IDINFO4test34…5test4…pavarotti17…pavarotti… MEMBE_ID3…9……庫(kù)字段為條件MBEID1pavarotti17…3…4test34…5test234…9…pavarotti17……prov=wuhanqlprov=prov=wuhanqlprov=biql1qlselect*fromqlwhereprov=‘wuhan’prov=2三、技術(shù)方案分布式數(shù)據(jù)庫(kù)中間件的引入(1)通過(guò)分庫(kù)分表，解決MySQL的SQL效率相對(duì)不足(2)利用分布式中間件實(shí)現(xiàn)數(shù)據(jù)庫(kù)水平擴(kuò)展的能力(3)通過(guò)讀寫(xiě)分離：解決負(fù)載問(wèn)題DBProxyDBProxy主從復(fù)制或eracluster三、技術(shù)方案GaleraCluster集群技術(shù)的引入原因--高可用方案的幾點(diǎn)考量1金融行業(yè)對(duì)數(shù)據(jù)要求較高，目前難以直接使用類(lèi)似主2?傾向使用數(shù)據(jù)同步的集群，確保沒(méi)有數(shù)據(jù)丟失3構(gòu)構(gòu)。(安全性)擎GaleraCluster特點(diǎn)制noDB.三、技術(shù)方案使用GaleraCluster集群技術(shù)現(xiàn)狀(1)多應(yīng)用上線(xiàn)，使用半年時(shí)間，系統(tǒng)運(yùn)行穩(wěn)定。(2)數(shù)據(jù)量、負(fù)載情況，吞吐情況(3)雙活雙主中心，更加安全(安全的外延)(4)同樣可以實(shí)現(xiàn)讀寫(xiě)分離2DBproxyVIP1DBproxy物理結(jié)構(gòu)示意圖DBproxyVIP1DBproxy仲裁節(jié)點(diǎn)仲裁節(jié)點(diǎn)DBproxyVIP3VIP34SDDBproxyF22134物理結(jié)構(gòu)示意圖DBproxyVIP34VIP34SDDBproxyF112VIP34同步復(fù)制物理結(jié)構(gòu)示意圖仲裁節(jié)點(diǎn)仲裁節(jié)點(diǎn)DBproxyLVSVIPSDDBproxy34112DBproxyVIPVIP123proxy3proxy4新開(kāi)源技術(shù)解決方案研究與實(shí)踐據(jù)相關(guān)要求，四、新開(kāi)源技術(shù)解決方案研究與實(shí)踐據(jù)相關(guān)要求， 包括Galera部分SRP和ISER協(xié)議RDMA等開(kāi)源技術(shù)的引入InfiniBandInfiniBand網(wǎng)絡(luò)iSCSI協(xié)議的命令iSCSI協(xié)議的命令通過(guò)RDMA如Band?RDMA通過(guò)網(wǎng)絡(luò)把是具有高吞吐低延時(shí)的特點(diǎn)借借用這種開(kāi)源技術(shù)，可以很靈活的實(shí)現(xiàn)不同機(jī)器間的磁盤(pán)高速共享，我們稱(chēng)為GLS技術(shù)(GlobalLinkSystem)。(特點(diǎn)：靈活、高性能、低成本.優(yōu)勢(shì)1、首個(gè)基于MySQL數(shù)據(jù)庫(kù)解決方案：能夠在提供高性能的同時(shí)，提供數(shù)據(jù)零丟失的高可用。從容災(zāi)效果上來(lái)說(shuō)非常類(lèi)似ORACLERAC的容災(zāi)功能。2、所有組件為開(kāi)源產(chǎn)品，自己集