恒生極速交易系統(tǒng)技術(shù)架構(gòu)與應用發(fā)展

1、恒生極速交易系統(tǒng)技術(shù)架構(gòu)與應用發(fā)展目錄1.為什么需要極速交易2.恒生極速交易系統(tǒng)發(fā)展的重要時間節(jié)點3.恒生極速交易系統(tǒng)設(shè)計遇到哪些問題？如何解決4.怎樣達到納秒級的速度為什么需要極速交易？l交易所撮合原則：價格優(yōu)先、時間優(yōu)先l高頻策略交易在市場的交易份額逐年提升交易場景：Tick行情報價突發(fā)大量賣單速度快的交易者可以立即521.5賣出開倉并成交速度慢的交易者521.5賣出 開倉，掛在賣一價，后續(xù)沒 有成交機會，錯失交易時機交易場景關(guān)注哪些時間？客戶端響應時間訂單上行時間成交/行情 下行時間策略終端金融機構(gòu) 訂單系統(tǒng)交易所 撮合系統(tǒng)我們是怎么去做的？內(nèi)存交易系統(tǒng)數(shù)據(jù)庫交易系統(tǒng)專業(yè)投資者極速業(yè)務行

2、情、成交主推普通投資者普通業(yè)務行情、成交輪詢客戶分類業(yè)務分類系統(tǒng)分類恒生極速交易：從毫秒、到微秒、再到納秒的飛躍緩存技術(shù)、網(wǎng)絡延遲、業(yè)務邏輯優(yōu)化等NST納秒級極速交易獨立通道、獨立系統(tǒng)委托成交推送期貨VIP交易系統(tǒng)可重演，核心節(jié)點多活第二代內(nèi)存交易UFT2.0內(nèi)存技術(shù)、核心交易，開發(fā)工具、主備第一代內(nèi)存交易UFT1.02008年2011年2013年2017年第一代UFT（Ultra Fast Trading）總體架構(gòu)訂單服務處理耗時從20ms降低到300us以內(nèi)客戶端響應時間5ms第一代UFT遇到了哪些問題開發(fā)：新業(yè)務開發(fā)周期長，開發(fā)難度高？性能：客戶數(shù)量多，交易量增大，查找性能變慢？ 客戶風

3、控風控條目增多，延時就變大？管理：數(shù)據(jù)全在內(nèi)存中，管理不方便？運維：問題排查很麻煩？怎么讓開發(fā)更加快速，程序更加穩(wěn)定u專門針對金融行業(yè)的內(nèi)存數(shù)據(jù)庫，支持統(tǒng)一的訪問API，業(yè) 務與數(shù)據(jù)分離，業(yè)務開發(fā)人員不需要關(guān)心內(nèi)存數(shù)據(jù)的實現(xiàn)u支持專門的開發(fā)工具快速開發(fā)業(yè)務，提高系統(tǒng)穩(wěn)定性，插 件化開發(fā)，業(yè)務功能可任意組合、擴展業(yè)務 流程業(yè)務 流程業(yè)務 流程業(yè)務 流程業(yè)務 流程業(yè)務 流程業(yè)務 流程業(yè)務 流程業(yè)務模型元數(shù)據(jù)對象索引關(guān)系開發(fā)工具統(tǒng)一的開發(fā)API事務管理日志管理數(shù)據(jù)持久化管理應用層擴展開發(fā)套件基礎(chǔ)架構(gòu)開發(fā)工具幫我們做了哪些事情？內(nèi)存表結(jié)構(gòu)設(shè)計接口管理元數(shù)據(jù)管理偽代碼翻譯降低開發(fā)難度提高開發(fā)效率規(guī)范開發(fā)

4、過程l 原數(shù)據(jù)管理：標準字段、標準錯誤號、數(shù)據(jù)字典、內(nèi)存對象等 l 接口管理：服務接口、函數(shù)接口 l 基礎(chǔ)數(shù)據(jù)管理：系統(tǒng)配置參數(shù)l 業(yè)務偽代碼代碼開發(fā)（系統(tǒng)宏：插入記錄、 修改記錄 等）l 禁止關(guān)鍵字：new/malloc、goto等l 集成pclint等靜態(tài)代碼檢查工具l 死鎖分析檢查l 一鍵生成代碼、上傳、編譯、運行、偽代碼調(diào)試l 自動化測試對接，自動分析修改影響到的業(yè)務接口l 業(yè)務邏輯分層（邏輯層、原子層）UFT開發(fā)工具幫我們做了哪些事情？數(shù)據(jù)量大了性能還能否保持穩(wěn)定？交易單元，數(shù)據(jù)預先關(guān)聯(lián)（1：1，1：N，N ：1，N ：N）主體呈樹狀組織，縮小查找范圍風控條目變多了，延時就變大？拆分

5、并行 匯總數(shù)據(jù)全在內(nèi)存，怎么管理？SQLite Virtual Table是一種自定義的擴展，允許用戶通過代碼定制表的數(shù) 據(jù)結(jié)構(gòu)和數(shù)據(jù)內(nèi)容對于數(shù)據(jù)庫引擎，它和普通表一樣，允許進行大多數(shù) 的sql操作運維管理客戶端業(yè)務模塊其他客戶端內(nèi)存數(shù)據(jù)庫訪問API接口數(shù)據(jù)+索引+關(guān)聯(lián)關(guān)系Sqlite VTable接收外部請求標準SQL語句增刪改查業(yè)務請求問題怎么排查？1. 按需記錄2. 旁路記錄客戶端接入前置（旁路）交易節(jié)點正式交易環(huán)境log旁路日志環(huán)境記錄日志請求包/應答包按需記錄關(guān) 鍵信息第一代UFT解決了這些問題通過標準SQL進行管 理，采用靈活的日志 方式排查問題封裝內(nèi)存數(shù)據(jù)庫，支 持事務、索引，業(yè)

6、務 內(nèi)存中處理開發(fā)工具開發(fā)業(yè)務，規(guī) 范業(yè)務代碼，提升開發(fā) 效率和程序穩(wěn)定性高性能易管理易開發(fā)交易核心節(jié)點主備 部署，實時同步， 支持秒級切換高可用新三板、港交所 交易所場景需求核心節(jié)點(撮合)可重放排隊機保證輸入的順序一致n將所有業(yè)務請求按時序、優(yōu)先級進行編排，確保各核心數(shù)據(jù)處理一致 n可以進行業(yè)務反演，用于交易服務器宕機后反演數(shù)據(jù)恢復，升級時也可進行數(shù)據(jù)核對消息消息消息消息3消息2消息1可靠組播保證消息有序可靠傳輸n采用基于組播協(xié)議，增加處理同一消息的組件對性能 無影響n采用可靠、有序的數(shù)據(jù)發(fā)布/訂閱模式，簡化系統(tǒng)間 耦合程度n支持一對多和多對多模式，訂閱收到同一主題多個發(fā) 布者發(fā)布的數(shù)據(jù)后

7、過濾n采用A/B網(wǎng)，發(fā)送者在發(fā)送消息的時候，向A網(wǎng)卡發(fā)送 一次，同時向B網(wǎng)卡發(fā)送一次，在硬件上保證通訊可 靠發(fā)布者B訂閱者B訂閱者A同一主題第二代UFT總體架構(gòu)n主排隊機對業(yè)務處理請求進行排隊n依靠可靠組播，多個撮合核心同時訂閱并且排隊機的消息n提供差異化的實現(xiàn)，查詢請求無需排隊速度是否可以更快一些？選擇方案：復雜的交易所API處理和交易核心采用CPU加速。重復性強的周邊策略、行情、風控采用FPGA加速FPGA加速行情處理； 事前風控；周邊策略平臺；CPU加速交易核心；交易所API調(diào)用；服務器三種體系架構(gòu)SMP對稱多處理器結(jié)構(gòu)MPP海量并行處理NUMA非一致存儲訪問結(jié)構(gòu)CPU n內(nèi)存內(nèi)存控制器

8、I/OCPU n內(nèi)存內(nèi)存控制器I/OCPU n內(nèi)存I/OCPU n內(nèi)存I/ONUMA內(nèi)部 互聯(lián)模塊SMP節(jié)點CPU n內(nèi)存CPU n內(nèi)存I/OCPU n內(nèi)存I/OI/OCPU n內(nèi)存I/OMPP節(jié)點 互聯(lián)網(wǎng)絡SMP節(jié)點N U M A服 務 器M P P服 務 器內(nèi)存控制器本地存儲器內(nèi)存控制器本地存儲器本地存儲器本地存儲器內(nèi)存控制器本地存儲器內(nèi)存控制器本地存儲器內(nèi)存控制器本地存儲器內(nèi)存控制器本地存儲器CPU內(nèi)部緩存結(jié)構(gòu)分析處理器1L3L2核心1L1DL1I核心2L1DL1I處理器2L3L2核心3L1DL1I核心4L1DL1I存儲類型延遲時間 (ns)存儲大小寄存器=1幾字節(jié)L1d1幾十KL210

9、幾百KL340幾M主存100幾G降低訪存延遲考慮物理架構(gòu)充分考慮主機NUMA架構(gòu)AB充分考慮緩存和CPU核心的關(guān)系降低訪存延遲提高緩存命中率連續(xù) vs 離散數(shù)據(jù)結(jié)構(gòu)的定義和業(yè)務訪問順序一致某些數(shù)據(jù)結(jié)構(gòu)按照緩存線對齊原則針對業(yè)務特色組織數(shù)據(jù)結(jié)構(gòu)什么樣的查找算法更快？無需查找的“查找算法”就是最快的查找算法！低延時網(wǎng)卡機制分析低延時網(wǎng)卡優(yōu)化內(nèi)核旁路(Kernelbypass)用硬件替代軟件(offload)1000M網(wǎng)絡10G網(wǎng)絡 低延時網(wǎng)卡網(wǎng)絡延遲時間40 100 us15 us2.0 4.3 usswitchAPPLICATIONSOCKETSUser SpaceAPPLICATIONSOCKETSUser SpaceOpen