內(nèi)存MPP數(shù)據(jù)庫介紹

1、內(nèi)存MPP數(shù)據(jù)庫介紹RapidsDB核心架構(gòu)核心特點(diǎn)全內(nèi)存分布式數(shù)據(jù)庫，高性能，高吞吐量ACID事務(wù)型數(shù)據(jù)庫支持SQL語句高性能存儲(chǔ)過程高可用性動(dòng)態(tài)數(shù)據(jù)導(dǎo)出異地災(zāi)備，動(dòng)態(tài)遷移與傳統(tǒng)數(shù)據(jù)庫和NoSQL對(duì)比傳統(tǒng)數(shù)據(jù)庫NoSQLRapidsDB橫向擴(kuò)展通過分片集群高可用數(shù)據(jù)副本ACID無法跨分片SQL支持關(guān)系型跨分區(qū)多表關(guān)聯(lián)跨分片需在客戶端客戶端服務(wù)器端成本$去鎖無磁盤IO（除持久化功能外）CPU線程綁定無切換多副本保證高可靠高性能命令日志擅長高并發(fā)低延時(shí)應(yīng)用多節(jié)點(diǎn)，線性提升性能可運(yùn)行在任何普通服務(wù)器上單節(jié)點(diǎn)可達(dá)到每秒20萬事務(wù)與傳統(tǒng)數(shù)據(jù)庫對(duì)比與NoSQL系統(tǒng)對(duì)比支持SQL支持復(fù)雜事務(wù)邏輯支持多分區(qū)

2、事務(wù)強(qiáng)一致性在線擴(kuò)容評(píng)測(cè)結(jié)果：TPC-CDell R610, 雙4核2.66Ghz Intel Xeon 5550處理器12條4GB (48GB) DDR3-1333 registered ECC內(nèi)存3塊72GB 15000轉(zhuǎn)企業(yè)級(jí)SAS硬盤節(jié)點(diǎn)數(shù)RapidsDB傳統(tǒng)數(shù)據(jù)庫153,000 TPS1,555 TPS12560,000 TPS無Dell R510, 雙6核2.93Ghz Intel處理器64GB DDR3-1333 ECC內(nèi)存10Gb以太網(wǎng)3個(gè)服務(wù)器節(jié)點(diǎn)，副本數(shù)為1，每臺(tái)服務(wù)器10個(gè)執(zhí)行引擎1臺(tái)壓測(cè)機(jī)，異步調(diào)用事務(wù)測(cè)試應(yīng)用：一個(gè)表存有鍵和值，鍵為32B的字符串，值是1KB的字符串。

3、90%查詢，10%寫操作。評(píng)測(cè)結(jié)果：Key-Value用例低頻事務(wù)高頻事務(wù)數(shù)據(jù)源金融市場(chǎng)記錄并索引股票交易顯示某投資賬戶總體信息通信通話授權(quán)詐騙檢測(cè)HTTP請(qǐng)求訪客記錄、分析和預(yù)警流量分析網(wǎng)游區(qū)域性最高分記錄排名實(shí)時(shí)網(wǎng)絡(luò)廣告投放競(jìng)標(biāo)，根據(jù)要求選擇廣告投放效果報(bào)告移動(dòng)設(shè)備位置更新，QoS報(bào)告RapidsDB用例金融領(lǐng)域記錄當(dāng)天每筆股票交易對(duì)每筆交易進(jìn)行風(fēng)險(xiǎn)評(píng)估和監(jiān)控實(shí)時(shí)反應(yīng)當(dāng)前整體交易情況RapidsDB優(yōu)勢(shì)：高吞吐極短時(shí)間內(nèi)對(duì)交易做出風(fēng)險(xiǎn)評(píng)估判斷低成本RapidsDB用例互聯(lián)網(wǎng)廣告存儲(chǔ)客戶投放需求及賬戶余額每次廣告請(qǐng)求發(fā)生時(shí)：找出所有滿足需求賬戶競(jìng)標(biāo)更新賬戶信息及余額RapidsDB優(yōu)勢(shì)：精確

4、控制廣告投放數(shù)據(jù)總量在10億級(jí)，5臺(tái)服務(wù)器輕松處理高并發(fā)請(qǐng)求，每秒處理4萬6千事務(wù)降低廣告請(qǐng)求延時(shí)到5毫秒內(nèi)低成本RapidsDB用例網(wǎng)游存儲(chǔ)用戶游戲參數(shù)、分?jǐn)?shù)及目前狀態(tài)顯示用戶排名RapidsDB優(yōu)勢(shì)：處理大量在線用戶的高并發(fā)狀況低延時(shí)保證流暢游戲體驗(yàn)低成本社交網(wǎng)絡(luò)游戲平臺(tái)Social Game Universe使用RapidsDB搭建電視選秀投票系統(tǒng)。百萬人投票，峰值20萬人同時(shí)投票。數(shù)據(jù)分區(qū)分區(qū)表數(shù)據(jù)量較大或?qū)戄^多的表每個(gè)分區(qū)綁定到每臺(tái)服務(wù)器的一個(gè)CPU核心客戶端無需擔(dān)心數(shù)據(jù)的位置復(fù)制表通常為較小或讀操作較多的表復(fù)制到每臺(tái)服務(wù)器較少跨節(jié)點(diǎn)操作作為開發(fā)者，只需指定每個(gè)分區(qū)表的分區(qū)鍵，Rap

5、idsDB會(huì)自動(dòng)根據(jù)鍵值將數(shù)據(jù)分區(qū)。RapidsDB擴(kuò)展模型分區(qū)表被自動(dòng)切分到不同分區(qū)每個(gè)分區(qū)綁定一個(gè)CPU核心復(fù)制表在每臺(tái)服務(wù)器有一個(gè)副本分區(qū)內(nèi)部結(jié)構(gòu)每個(gè)分區(qū)存儲(chǔ)不同數(shù)據(jù)，有獨(dú)立的執(zhí)行引擎單線程執(zhí)行該分區(qū)所有事務(wù)事務(wù)執(zhí)行不中斷事務(wù)隊(duì)列執(zhí)行引擎表數(shù)據(jù)索引數(shù)據(jù)數(shù)據(jù)庫事務(wù)事務(wù)可為單一SQL語句或存儲(chǔ)過程執(zhí)行成功自動(dòng)提交所有事務(wù)均保證ACID（強(qiáng)一致性）存儲(chǔ)過程支持Java語言，可嵌入多個(gè)SQL語句將執(zhí)行放到數(shù)據(jù)端，而非客戶端客戶端有Java，C+，Node.js，C#，PHP，Python，Ruby，Erlang客戶端庫JDBC、JSON、HTTP客戶端可聯(lián)接到任何一個(gè)數(shù)據(jù)庫節(jié)點(diǎn)SQL事務(wù)執(zhí)行事務(wù)

6、會(huì)被自動(dòng)傳到數(shù)據(jù)所在分區(qū)執(zhí)行事務(wù)執(zhí)行（續(xù)）單分區(qū)事務(wù)所需數(shù)據(jù)在一個(gè)分區(qū)完全獨(dú)立于其他分區(qū)執(zhí)行多分區(qū)事務(wù)所有分區(qū)需同時(shí)執(zhí)行該事務(wù)集群節(jié)點(diǎn)1分區(qū)1分區(qū)2分區(qū)3節(jié)點(diǎn)2分區(qū)4分區(qū)5分區(qū)6節(jié)點(diǎn)3分區(qū)7分區(qū)8分區(qū)9容錯(cuò)機(jī)制：k-safety通過k-safety實(shí)現(xiàn)，k為副本數(shù)量任何寫操作都在所有副本上同步執(zhí)行，并通過CRC32校驗(yàn)是否一致讀事務(wù)可在任何一個(gè)副本運(yùn)行持續(xù)化也同時(shí)在所有副本進(jìn)行只要數(shù)據(jù)庫至少還有一個(gè)完整副本，集群就可用服務(wù)器宕機(jī)后可以重新加入集群恢復(fù)副本數(shù)量容錯(cuò)機(jī)制網(wǎng)絡(luò)分區(qū)發(fā)生時(shí)，為保證數(shù)據(jù)一致性，RapidsDB根據(jù)以下條件終止一部分分區(qū)節(jié)點(diǎn)數(shù)較少的分區(qū)終止兩個(gè)分區(qū)節(jié)點(diǎn)數(shù)一致時(shí)，其中一個(gè)分區(qū)

7、自動(dòng)終止SQL支持SELECT, INSERT, UPDATE, DELETESQL支持AVG, COUNT, MAX, MIN, SUM等 (SQL函數(shù)列表)SQL LIKE子查詢視圖JSON值SQL支持仍在不斷增加不支持的功能可通過Java存儲(chǔ)過程實(shí)現(xiàn)針對(duì)在線事務(wù)處理優(yōu)化非分析型事務(wù)引擎企業(yè)版功能持續(xù)化數(shù)據(jù)庫集成數(shù)據(jù)庫復(fù)制在線擴(kuò)展管理與監(jiān)控持續(xù)化可調(diào)節(jié)快照頻率可調(diào)節(jié)fsync*頻率1、所有磁盤數(shù)據(jù)均配有CRC32校驗(yàn)碼2、同步日志保證最強(qiáng)的持續(xù)性，但對(duì)硬盤性能要求較高3、異步日志持續(xù)性偏弱，但對(duì)硬盤要求較低4、日志緩存根據(jù)設(shè)置的fsync頻率寫到硬盤持續(xù)化（續(xù)）使用快照從磁盤快速恢復(fù)數(shù)據(jù)快照恢復(fù)在所有節(jié)點(diǎn)并行讀取磁盤數(shù)據(jù)，充分利用磁盤帶寬快照恢復(fù)后，所有節(jié)點(diǎn)并行恢復(fù)日志事務(wù)與分析型數(shù)據(jù)庫或Hadoop集成特點(diǎn)：1、數(shù)據(jù)流實(shí)時(shí)導(dǎo)出。2、 數(shù)據(jù)流輸出格式多樣性。3、數(shù)據(jù)流內(nèi)存溢出保護(hù)。4、自定義數(shù)據(jù)流導(dǎo)出接收器，方便用戶擴(kuò)展5、批量寫HDFS，寫入速度快數(shù)據(jù)庫復(fù)制在線擴(kuò)展增加存儲(chǔ)容量提高