Oracle TimesTen Scaleout分布式數(shù)據(jù)庫介紹

1、技術(shù)創(chuàng)新，變革未來Oracle TimesTen Scaleout下代向OLTP的分布式內(nèi)存數(shù)據(jù)庫詳解AgendaTimesTen 簡介為什么要做分布式系統(tǒng)架構(gòu)設(shè)計臨的挑戰(zhàn)性能如何結(jié)12345持久性和可恢復(fù)性 數(shù)據(jù)庫和事務(wù)志件持久化到本地磁盤或速存儲設(shè)備關(guān)系型數(shù)據(jù)庫純粹的內(nèi)存計算遵循 ACID標(biāo)準(zhǔn) SQL數(shù)據(jù)庫全量加載到內(nèi)存極速性能微秒級響應(yīng)超吞吐量可性可和容災(zāi)持Active-Standby 和多主復(fù)制基于并復(fù)制的速復(fù)制Oracle TimesTen In-Memory DatabaseTimesTen Application-Tier Database CacheFor Oracle Dat

2、abaseTelco Services Financial ServicesReal-Time Analytics Dashboard, Scorecard Data MarteCommerce, Personalization利TimesTen 緩存Oracle Database熱數(shù)據(jù)提升響應(yīng)時間Read-write 緩存事務(wù)在TimesTen中執(zhí)并持久化Read-only 緩存事務(wù)在 Oracle Database 執(zhí)應(yīng)層具備可和容災(zāi)能ApplicationApplicationApplication使最泛的關(guān)系型內(nèi)存數(shù)據(jù)庫全球上千家型企業(yè)客戶的選擇Oracle TimesTen 關(guān)系型內(nèi)

3、存數(shù)據(jù)庫版本演進(jìn)20+ 年極致性能體驗1998年全球款商 關(guān)系型內(nèi)存數(shù)據(jù) 庫產(chǎn)品！Oracle ClusterwareIntegrationODP .NET SupporttypesPL/SQL and OCI Support Parallel ReplicationIn-Memory AnalyticsColumnar CompressionCache Grid for Scale Out Index AdvisorOracle R SupportBLOB, CLOB, NCLOB data In-Memory Star JoinOracle Golden Gate IntegrationP

4、arallel data import from Oracle DatabaseParallel database restartHighly concurrent range indexesParallel Replication with commit order optimizationOracle RAC integrationNational Language SupportOracle Data Types supportSQL Developer IntegrationEnterprise Manager integrationTimesTen 6TimesTen 7Pre-Or

5、acle acquisitionTimesTen 11g 11.2.1TimesTen 11g 11.2.2TimesTen 11.2.2.x Enhancements1996|2005TimesTen 18.1.12018年全新的持SQL 的、分布式、關(guān)系型內(nèi)存數(shù)據(jù)庫新版問 世！2006|20082009|20112012|20132014|20172018AgendaTimesTen 簡介為什么要做分布式系統(tǒng)架構(gòu)設(shè)計臨的挑戰(zhàn)性能如何結(jié)12345過去20年來硬件發(fā)展趨勢1996 的服務(wù)器:Sun E4504 cpus4 hardware threads480 MHz4 GB RAM728 G

6、B disk100 Mbit/sec Ethernet2016 的服務(wù)器:Oracle SPARC T7-44 processors 256 倍以上!128 cores (1024 hw threads)9 倍以上!1024 倍以上!13 倍以上!4.13 GHz4 TB RAM9.6 TB disk10 Gbit/sec Ethernet100 倍以上!開發(fā)數(shù)據(jù)庫在單機(jī)的縱向擴(kuò)展能是充分利多核CPU的最有效式相同實(shí)例內(nèi)存訪問比跨實(shí)例訪問數(shù)據(jù)更效要求: 細(xì)粒度的并發(fā)控制機(jī)制、效的進(jìn)程訪問、效的內(nèi)存使、并 IO算法, 某些數(shù)據(jù)庫由于縱向擴(kuò)展的限制，要求必須在相同主機(jī)內(nèi)有多實(shí)例該要求需要數(shù)據(jù)消息共

7、享：效率不理想情況: 臺主機(jī)一個實(shí)例Scale-Up單機(jī)內(nèi)的縱向擴(kuò)展能Single DB Instance per server: EfficientMultiple DB Instances per server: InefficientMemory AccessCross instance messagingSingle InstanceInstance #1Instance #2TimesTen專注于 Scale-Up 架構(gòu)二年過去每個時代的主機(jī)都強(qiáng)調(diào)持更多的CPU核數(shù)、更的內(nèi)存容量 專注于越來越強(qiáng)的多核擴(kuò)展能：優(yōu)化并發(fā)訪問下的并發(fā)索引并發(fā)志成 (多軌 redo)點(diǎn)對點(diǎn)的并發(fā)、并復(fù)制我們

8、專注于 scale-up 的性能表現(xiàn)，像這樣 TimesTen In-Memory Database讀擴(kuò)展 每秒三千兩百萬次查詢TPTBM 100% Read E7-8890 v3 2.50GHz4 sockets, 18 cores/socket,2 threads/coreTimesTen .0 (100M rows, 17GB)32 Million Queries per SecondTimesTen In-Memory DatabaseTPTBM 100% MixedWorkload (80-10-5-5) E7-8890 v3 2.50GHz1 socket, 18

9、cores/socket, 2 threads/coreTimesTen .0 (100M rows, 17GB)80-10-5-5 Workload = 80% select, 10% updates, 5% inserts, 5% deletes每個處理器每秒四百六萬筆事務(wù)4.6 Million Transactions Per SecondMixed Workload Throughput Per Processor來我們客戶的實(shí)際模型TimesTen 擁有常優(yōu)秀的性能，但是數(shù)據(jù)庫容量受限于單機(jī)物理內(nèi)存容量數(shù)據(jù)增速度于物理內(nèi)存容量的增吞吐量受限于單機(jī)盡管物理服務(wù)器變得越來

10、越強(qiáng)勁客戶開始投向九年代規(guī)模的虛擬機(jī)器很難在兩核的虛擬機(jī)中縱向擴(kuò)展 當(dāng)我們忙于縱向擴(kuò)展時，客戶已經(jīng)在探索橫向擴(kuò)展客戶開始構(gòu)建基于獨(dú)數(shù)據(jù)庫的建集群，例如TimesTenCustomers實(shí)時計費(fèi)的超規(guī)模集群Ericsson Sweden全球 50億戶，20是通過愛信收費(fèi)實(shí)時評級（價格計算，促銷和忠 誠度）實(shí)時計費(fèi)（出控制，多賬戶和 單位，歷史使情況）電信級 99.999的可性，快速 和動故障轉(zhuǎn)移挑戰(zhàn)TimesTen 內(nèi)存數(shù)據(jù)庫TimesTen 復(fù)制Shared nothing 集群標(biāo)準(zhǔn) SQL 接口低維護(hù)多平臺持低系統(tǒng)影響解決案TimesTen 價值可預(yù)測的響應(yīng)時間極速 SQL 性能99.999

11、% 的可使時間(最停機(jī)時間每年5分鐘)ApplicationsA1A2AnA1A2AnTimesTenReplicatio nA1A2AnA1A2AnA1A2AnA1A2AnTimesTenReplicatio nShard # 1Shard # 2TimesTenReplicatio nShard # nData partitioned across shards based on MSISDNEach shard handles several million subscribers depending on configuration.Each TimesTen database is

12、10 50 GB in size depending on configuration.Request DirectorMobile NetworkComplex routerDirects requests to applications on specific shard based on MSISDNCombines and recomputes responses for shared data accessEricsson 計費(fèi)案應(yīng)側(cè)的橫向擴(kuò)展挑戰(zhàn):分后的查詢、事務(wù)必須通過應(yīng)處理負(fù)載均衡問題需要良好的預(yù)判能Load balancerMobile NetworkSimple Load

13、balancer Distributes requests across grid elements. Could potentially implement data locality based optimizations.Ericsson 計費(fèi)案簡化： 數(shù)據(jù)庫側(cè)的橫向擴(kuò)展、分布式能好處:數(shù)據(jù)分布透明簡化應(yīng)對分布式下數(shù)據(jù)的處理需求A1AnA1AnA1AnAnA1A1AnA1AnA1AnA1 An如何能成功的將Scale-Up 轉(zhuǎn)換為 Scale-Out ?從需求：第1條：遵循完整的ACID的權(quán)利不容妥協(xié)第2條：保留持完整SQL的權(quán)利不容妥協(xié)第3條：橫向擴(kuò)展架構(gòu)需要既能擴(kuò)展容量也能擴(kuò)展吞吐量

14、 第4條：橫向擴(kuò)展應(yīng)提系統(tǒng)可性不是破壞它第5條：橫向擴(kuò)展架構(gòu)不應(yīng)讓管理難度加第6條：產(chǎn)品的所有功能必須適配到橫向擴(kuò)展架構(gòu)Tada! TimesTen Scaleout In-Memory DatabaseSingle Image In-Memory Database基于TimesTen 內(nèi)核的全新部署模式向超吞吐量需求的 OLTP 應(yīng)IOT、交易、控、移動、計費(fèi)、訂單等前沿設(shè)計:全內(nèi)存、原持 SQL以及 分布式下ACID 事務(wù)容錯擴(kuò)展多副本可多活副本、持讀/寫操作持向報表和批處理的復(fù)雜 SQL 和并SQL鍵安裝、集中管理和維護(hù)邏輯統(tǒng)的 分布式數(shù)據(jù)庫TimesTen分布式模式邏輯統(tǒng)的分布式數(shù)據(jù)庫

15、不是個分?jǐn)?shù)據(jù)庫添加和刪除數(shù)據(jù)庫 elements數(shù)據(jù)動重新分布負(fù)載動使新添加的計算資源內(nèi)置可 - 多活副本副本之間動同步-度兼容 Oracle 數(shù)據(jù)庫 （集）-數(shù)據(jù)類型、API 接口、SQL & PLSQL邏輯統(tǒng)、橫向擴(kuò)展、共享、應(yīng)透明、可AgendaTimesTen 簡介為什么要做分布式系統(tǒng)架構(gòu)設(shè)計臨的挑戰(zhàn)性能如何結(jié)12345設(shè)計針對OLTP優(yōu)化的橫向擴(kuò)展架構(gòu)所臨的挑戰(zhàn)數(shù)據(jù)分布: 如何在集群內(nèi)分布數(shù)據(jù)可: 如何避免單點(diǎn)故障分布式下的 SQL 執(zhí): 完整的、透明的 SQL分布式事務(wù)處理:集群內(nèi)在任意節(jié)點(diǎn)可以修改任意多語句事務(wù)的原性集中化管理:管理個有100個節(jié)點(diǎn)的集群應(yīng)該與管理2個節(jié)點(diǎn)的集群樣

16、簡單采 Scale-Out 的原因: 在個節(jié)點(diǎn)法承載超表應(yīng)對超表的標(biāo):盡可能減少熱點(diǎn)塊盡可能減少重新分布開銷跨節(jié)點(diǎn)間的均勻致的分布算法應(yīng)該允許在線重新配置 (添加、刪除節(jié)點(diǎn))可以哈希分布來統(tǒng)訪問推薦主鍵的集作為哈希鍵范圍或定義分布較難實(shí)現(xiàn)在線變更，臨熱點(diǎn)塊（熱點(diǎn) 區(qū)間）問題從客戶端即可計算哈希值UsersSensor ReadingsIoT Devices. . .超表的分布在關(guān)聯(lián)數(shù)據(jù)間優(yōu)化Join 查詢表關(guān)聯(lián)查詢在OLTP系統(tǒng)很常查詢某customer的所有 order 和 shipmentNoSQL 系統(tǒng)要求結(jié)構(gòu)化看起來很糟糕規(guī)避掉 join 查詢，但是會引發(fā)許多其他問題空間問題、DML

17、開銷過、異常處理 表的分布式標(biāo)：盡可能與表關(guān)聯(lián)分布表數(shù)據(jù)關(guān)聯(lián)分布要能做到多級關(guān)聯(lián)Customer, Order, Line-ItemCustomerOrderLineitemService RequestShipment優(yōu)化訪問熱讀為主數(shù)據(jù)熱讀為主數(shù)據(jù)在OLTP系統(tǒng)中也很常的檢索表: Catalogs, price lists, stock symbols的維度表: Colors, Categories, 等標(biāo): 將熱數(shù)據(jù)本地化Duplicate是解決這種對象的最好法所有查詢檢索都在本地執(zhí)更新必須同時更改多個副本，且通常這種對象的低 頻更新不會帶來問題PricesSymbolsColors哈希

18、分布 基于致性哈希算法分布表基于Cust_ID 的哈希值，將CUSTOMER表中各分布到所有 elements 當(dāng)中協(xié)同分布 表與表相關(guān)聯(lián)的共存于相 同element，優(yōu)化本地事務(wù)將 ORDERS 表中與CUSTOMER相關(guān)聯(lián)的存放 于相同element當(dāng)中DUPLICATE 查詢?yōu)橹鞯谋碓诿總€element存放完整數(shù)據(jù)，優(yōu)化本地事務(wù)將 PRODUCT 表在所有 elements 當(dāng)中都存份全量數(shù)據(jù)數(shù)據(jù)分布法Element 1Element NServersCUSTOMERORDERSPRODUCTSCUSTOMERORDERSPRODUCTSDistribute DuplicateColoc

19、ateColocate分布式系統(tǒng)的其他概念橫向擴(kuò)展架構(gòu)必須提供數(shù)據(jù)位置透明性可以從任意位置訪問和更改任何數(shù)據(jù) 這是多數(shù)應(yīng)需要的位置感知能提升 key-value 應(yīng)的訪問效率“Smart clients” 可以設(shè)計路由請求，但邏輯常復(fù)雜客戶端太復(fù)雜是個問題：需要服務(wù)器端模型、如何升級TimesTen Scaleout 提供個數(shù)據(jù)獨(dú)的路由APIAPI 映射個分布鍵，數(shù)據(jù)存放在個或多個element中基于最佳猜測，如果位置有誤，請求仍舊在內(nèi)部轉(zhuǎn)發(fā)客戶端保持簡單化Location-Sensitve ApplicationRouting APILookup Customer #51Send tobes

20、t Element#51分布式系統(tǒng)的其他概念對向OLTP的橫向擴(kuò)展的難點(diǎn): 在線重分布重分布必須要快速或者作為后臺活動必須有冪等性不能阻塞查詢和DML，DDL 有可能實(shí)現(xiàn)法概述：執(zhí)計劃不能與位置信息硬編碼重新分布時避免查詢重編譯邏輯訪問層與物理訪問層分隔開物理訪問時需要映射新、舊位置#51#51#49#49DMLExecutionApplicationUpdate Customers 49, 51可性措施異常法避免。因此，需要保護(hù)數(shù)據(jù)庫軟件本身問題概率 主機(jī)異常、絡(luò)異常、存儲設(shè)備異常比較常數(shù)據(jù)需要多個副本理想的多活副本可以獲得最好性能超時或斷連時持客戶端故障轉(zhuǎn)移通過仲裁發(fā)現(xiàn)絡(luò)分區(qū)數(shù)據(jù)庫中的 E

21、lements 邏輯上被分到replica sets 進(jìn)分組管理每個副本集（ replica set ）包含K個elements同副本集中的Elements 包含相同 數(shù)據(jù)所有的 elements 都是 “active” 的可以在任意element上執(zhí) DML分布式提交保持強(qiáng)同步并不是復(fù)制SQL 會在兩個（多個）element 中同 時執(zhí)動創(chuàng)建和管理副本集TimesTen Scaleout 中的可技術(shù): Replica SetsReplica Set 2Element 1Element 2Replica Set 1Cust 1,4Orders for cust 1,15Cust 1,4Orde

22、rs for cust 1,15Cust 2,3Orders for cust 2,3Cust 2,3Orders for cust 2,3只要副本集中任意element可，數(shù)據(jù)在該副本集中即可恢復(fù)中的 element 動與其副本同步不同副本集的異常不會導(dǎo)致數(shù)據(jù)丟失副本集和容錯機(jī)制Replica Set 2Element 1Element 2Replica Set 1Cust 1,4Orders for cust 1,15Cust 1,4Orders for cust 1,15Cust 2,3Orders for cust 2,3Cust 2,3Orders for cust 2,3Datab

23、ase still available連接發(fā)失敗或超時后，應(yīng)連接 被動切換到其他element在途事務(wù)被明確提交或回滾副本集和應(yīng)故障轉(zhuǎn)移Element 1Element 2Replica Set 1Cust 1,4Orders for cust 1,15Cust 1,4Orders for cust 1,15Database still availableApplicationSQL 執(zhí)挑戰(zhàn)：必須持透明執(zhí)所有類型的SQL要求：降低OLTP操作的絡(luò)交互次數(shù)最化調(diào)度并批處理或分析查詢操作輔助索引分布式關(guān)聯(lián)查詢?nèi)中蛄袇⒄胀暾院图s束SQL執(zhí)共享架構(gòu)需要分布式SQL執(zhí)計劃邏輯計劃必須對位置中（考慮到

24、重分布）次優(yōu)計劃會降低性能但不會造成錯誤結(jié)果簡單的OLTP訪問需要優(yōu)化計劃減少絡(luò)交互不再有純粹的OLTP應(yīng)！OLTP常伴隨有分析需求：允許較時間運(yùn)的分析查詢并運(yùn)分析應(yīng)該在當(dāng)前陳舊數(shù)據(jù)上運(yùn)算Parallel Server ProcessesParallel Server ProcessesElement 1Element 2Analytic QueryCoordinatorOLTPQuery1 round trip data Access輔助索引分布鍵 / 基于主鍵 (e.g. custid) 訪問最效OLTP中補(bǔ)充分布鍵訪問同樣重要 (e.g. by name)本地索引每個節(jié)點(diǎn)的索引對應(yīng)本地數(shù)

25、據(jù) (hash / range)維護(hù)更快 (本地維護(hù))全局輔助索引：個單獨(dú)的分布式表映射索引鍵到分布鍵快速查找：轉(zhuǎn)到存儲索引鍵的節(jié)點(diǎn)，查找表由于需要分布式事務(wù)，維護(hù)較慢兩種類型的輔助索引都需要全局需要獨(dú)特約束Local Idx:BalanceGlobal idxNameCustomer Table RowsLocal Idx:BalanceCustomer Table RowsGlobal idxNameElement 1Element 2分布式關(guān)聯(lián)查詢PK/FK 關(guān)聯(lián)通過Distribute by Reference 分布 后，實(shí)現(xiàn)本地關(guān)聯(lián)OLTP 同樣需要關(guān)聯(lián)分布鍵字段E.g. 基于訂單找

26、到告及客戶信息分布式關(guān)聯(lián)查詢需要基于成本決策合理選擇關(guān)聯(lián)順序合理選擇索引（全局或本地）合理選擇關(guān)聯(lián)式Customer OrdersAdsJoin on Orders Category橫向擴(kuò)展下的事務(wù)：致性強(qiáng)致性對企業(yè)級OLTP是必要的致性需要兩階段提交阻塞協(xié)議：調(diào)度者異常時，事務(wù)保持在in-doubt 狀態(tài)仲裁協(xié)議：阻塞但是對查詢開銷較(r + w) N 實(shí)現(xiàn)致性參與者和解也常復(fù)雜需要提交協(xié)議避免阻塞避免影響常規(guī)操作性能快速處理掉慢或響應(yīng)參與者事務(wù)：持久性對于低延時系統(tǒng)，磁盤同步寫是噩夢絕多數(shù)應(yīng)能接受數(shù)據(jù)存在多套內(nèi)存中 即便不刷出到磁盤TimesTen Scaleout 同樣承諾內(nèi)存優(yōu)先，磁盤

27、次之同副本集中的 Elements 不應(yīng)該共重要資源（同主機(jī)、同電 源供給）Epoch 事務(wù)確保集群范圍在可配置的間隔內(nèi)持久化集群異常（罕）時，任何事務(wù)丟失僅限于最近次epoch 后提交的事務(wù)集中管理 TimesTen ScaleoutttGridAdmin 全新中控 管理命令SQL Developer 可以通過 調(diào) ttGridAdmin 實(shí)現(xiàn) 圖形化管理所有集群管理通過管理實(shí)例完 成不再需要動登錄其他主機(jī)或拷貝件允許只有個管理實(shí)例產(chǎn)系統(tǒng)不推薦standby 管理實(shí)例可以在異常切 換后成為 active 管理實(shí)例管理實(shí)例Rack 1Switchdata4mgmt3data2data3mgmt1Rack 2Switchdata8repo1data6data7mgmt2Active MgmtStandby Mgmt“Create payroll database”AgendaTimesTen 簡介為什么要做分布式系統(tǒng)架構(gòu)設(shè)計臨的挑戰(zhàn)性能如何結(jié)12345YCSB version 0.15.01KB record(100-byte x 10 Fields)100M records / Repli