Rapids大數(shù)據(jù)平臺(tái)介紹

1、Rapids大數(shù)據(jù)平臺(tái)介紹傳統(tǒng)大數(shù)據(jù)平臺(tái)數(shù)據(jù)層OLTP&業(yè)務(wù)系統(tǒng)文檔&郵件日志&流量社交網(wǎng)絡(luò)物聯(lián)網(wǎng)手持設(shè)備地理位置應(yīng)用層統(tǒng)計(jì)分析BI報(bào)表&熱點(diǎn)分析企業(yè)應(yīng)用數(shù)據(jù)系統(tǒng)RDBMSEDWMPP數(shù)據(jù)中心數(shù)據(jù)治理數(shù)據(jù)安全數(shù)據(jù)操作數(shù)據(jù)訪問數(shù)據(jù)管理數(shù)據(jù)整合移動(dòng)應(yīng)用Hi,太慢了，能再快點(diǎn)嗎？1、入庫(kù)慢2、遷移慢3、Hadoop處理速度慢Rapids大數(shù)據(jù)平臺(tái) 數(shù)據(jù)層OLTP&業(yè)務(wù)系統(tǒng)文檔&郵件日志&流量社交網(wǎng)絡(luò)物聯(lián)網(wǎng)手持設(shè)備地理位置應(yīng)用層統(tǒng)計(jì)分析BI報(bào)表&熱點(diǎn)分析企業(yè)應(yīng)用數(shù)據(jù)系統(tǒng)RDBMSEDWMPP數(shù)據(jù)中心數(shù)據(jù)治理數(shù)據(jù)安全數(shù)據(jù)操作數(shù)據(jù)訪問數(shù)據(jù)管理數(shù)據(jù)整合移動(dòng)應(yīng)用ODSMGrid(并行分布式內(nèi)存網(wǎng)格)MGrid

2、RapidsDBRapids DataBus（OLTP內(nèi)存數(shù)據(jù)庫(kù)）大數(shù)據(jù)+快數(shù)據(jù) Hadoop2大數(shù)據(jù) 不只是Hadoop內(nèi)存處理無(wú)處不在1、高速分發(fā)2、內(nèi)存數(shù)據(jù)庫(kù)讀寫快3、內(nèi)存抽取速度快4、高速分布式內(nèi)存緩存Rapids家族產(chǎn)品Rapids Hadoop(HDP2.1)RapidsDBPrivateCLOUDRapids ManagerRapids MGrid銳普PPT論壇chinakui分享：Rapids Hadoop 部署選擇LinuxWindows本地部署云部署（Openstack） 數(shù)據(jù)管理 HDFS（Hadoop Distributed File System）數(shù)據(jù)訪問批量MapR

3、educe腳本PigSQLHive&TezHcatlogStingerNoSQLHBaseAccumulo流計(jì)算Storm流計(jì)算Solr內(nèi)存計(jì)算Spark數(shù)據(jù)治理&整合數(shù)據(jù)生命周期&流程&治理FalconSqoopFlumeNFSWebHDFS安全操作KerberosHDFS加/解密流程監(jiān)控&管理LDAPAmbariZookperOOZIECascadingYARN(Hadoop2 計(jì)算框架)Rapids Rest APIR, Mahout, Machine Learning(機(jī)器學(xué)習(xí))YARN(Hadoop2計(jì)算框架)Rapids Manager支持高效Sql查詢(Tez&Stinger)融

4、合內(nèi)存計(jì)算技術(shù)(Spark)支持企業(yè)級(jí)應(yīng)用支持云計(jì)算部署(OpenStack)基于Hortonworks Hadoop2唯一支持Windows部署安全、可靠、速度快、性價(jià)比高提供豐富的API擴(kuò)展接口Rapids Hadoop特點(diǎn)Rapids Mgrid內(nèi)存數(shù)據(jù)網(wǎng)格 部署選擇LinuxWindows本地部署云部署（Openstack） 數(shù)據(jù)處理 分布式內(nèi)存數(shù)據(jù)訪問數(shù)據(jù)治理&整合Rapids 導(dǎo)入導(dǎo)出組件安全操作YARN(Hadoop2 計(jì)算框架)Rapids MGrid Client(JAVA,C,C+,C#)Rapids MGrid MapReduce/分布式計(jì)算MGrid 管理控制臺(tái)數(shù)據(jù)訪問

5、Rapids MGrid Rest APIRapids MGrid CLIRapids MGrid JDBCJAAS 驗(yàn)證和授權(quán)API 支持內(nèi)存MapReduce支持簡(jiǎn)單Sql查詢支持JVM分布式集合對(duì)象簡(jiǎn)單易用，遷移維護(hù)成本低無(wú)單點(diǎn)故障，數(shù)據(jù)安全可靠強(qiáng)大的管理控制臺(tái)支持百萬(wàn)級(jí)/秒的數(shù)據(jù)處理速度支持Hibernate二級(jí)緩存Rapids MGrid特點(diǎn)獨(dú)特的Elastic Memory技術(shù)支持Hadoop等大數(shù)據(jù)平臺(tái)RapidsDB內(nèi)存數(shù)據(jù)庫(kù) 部署選擇LinuxWindows本地部署云部署（Openstack） 數(shù)據(jù)管理 Rapids框架安全RapidsDB APIOLTP，HadoopRap

6、ids Manager內(nèi)存事務(wù)管理SQL引擎分布式ACID事務(wù)型內(nèi)存數(shù)據(jù)庫(kù)無(wú)宕機(jī)橫向擴(kuò)展，動(dòng)態(tài)擴(kuò)容簡(jiǎn)單易用，遷移維護(hù)成本低跨分區(qū)多表關(guān)聯(lián)完善的Sql查詢支持強(qiáng)大的管理控制臺(tái)支持十萬(wàn)級(jí)/秒的事物處理速度支持Hadoop等大數(shù)據(jù)平臺(tái)RapidsDB特點(diǎn)集群高可用，安全性高實(shí)施成本低RapidsDB跨區(qū)、分布式Rapids Hadoop連接器 支持簡(jiǎn)單SQL客戶端實(shí)現(xiàn)Sqoop導(dǎo)入導(dǎo)出NoSql特點(diǎn)vs.RapidsDB競(jìng)品對(duì)比通過分片無(wú)法跨分區(qū)客戶端實(shí)現(xiàn)Sqoop導(dǎo)入導(dǎo)出傳統(tǒng)數(shù)據(jù)庫(kù)vs.橫向擴(kuò)展無(wú)宕機(jī)擴(kuò)容集群高可用數(shù)據(jù)副本ACIDSQL支持關(guān)系型垮分區(qū)多表關(guān)聯(lián)數(shù)據(jù)持久化全內(nèi)存，速度高支持Hadoo

7、p集成Dell R510, 雙6核2.93Ghz Intel處理器64GB DDR3-1333 ECC內(nèi)存10Gb以太網(wǎng)3個(gè)服務(wù)器節(jié)點(diǎn)，副本數(shù)為1，每臺(tái)服務(wù)器10個(gè)執(zhí)行引擎1臺(tái)壓測(cè)機(jī)，異步調(diào)用事務(wù)測(cè)試應(yīng)用：一個(gè)表存有鍵和值，鍵為32B的字符串，值是1KB的字符串。90%查詢，10%寫操作。RapidsDB性能測(cè)試 部署選擇LinuxWindows本地部署云部署（Openstack） HDP2.1 Stack Rapids Manager APIRapids Manager Rapids MGrid RapidsDB集群管理配置管理主機(jī)管理服務(wù)管理數(shù)據(jù)管理任務(wù)管理日志管理自動(dòng)化管理集群管理配置管

8、理主機(jī)管理服務(wù)管理數(shù)據(jù)管理任務(wù)管理日志管理自動(dòng)化管理Rapids Manager Web日志管理服務(wù)器Syslog-ngHDP APIMGrid APIRapidsDB APIRapids API裸機(jī)安裝，快速部署自動(dòng)優(yōu)化Rapids集群服務(wù)集群高可用維護(hù)、數(shù)據(jù)安全Rapids服務(wù)可視化管理強(qiáng)大的監(jiān)控管理控制臺(tái)支持二次開發(fā)Rapids Manager特點(diǎn)裸機(jī)安裝，快速部署Rapids ManagerRapids ManagerRapids ManagerRapids ManagerRapids Manager網(wǎng)絡(luò)連接.主服務(wù)器查詢計(jì)劃和分發(fā)SegmentSevers查詢處理和數(shù)據(jù)存儲(chǔ).SQLM

9、apReduce連續(xù)查詢和發(fā)布訂閱外部數(shù)據(jù)源快速注入 -XTP- Rapids DB.Transaction DataRapids 并行內(nèi)存網(wǎng)格主動(dòng)通知Rapids HadoopRapids 并行內(nèi)存網(wǎng)格RapidsDB(并行內(nèi)存數(shù)據(jù)庫(kù))Rapids=大數(shù)據(jù)+快數(shù)據(jù)應(yīng)用場(chǎng)景產(chǎn)品家族123公司簡(jiǎn)介1大數(shù)據(jù)規(guī)劃的決策樹應(yīng)用場(chǎng)景OLTPRDBMSYes數(shù)據(jù)類型運(yùn)算能力響應(yīng)時(shí)間RDBMS數(shù)據(jù)量響應(yīng)時(shí)間EDW分析種類現(xiàn)有應(yīng)用或平臺(tái)EDW分析種類EDW現(xiàn)有應(yīng)用或平臺(tái)只有結(jié)構(gòu)化數(shù)據(jù)多結(jié)構(gòu)數(shù)據(jù)至少10PetaFLOP10PetaFLOP 以下1分鐘以上1分鐘以下1分鐘以上1分鐘以下100TB以上10 100

10、TB10 TB以下數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)與現(xiàn)有數(shù)據(jù)結(jié)合緊密與現(xiàn)有數(shù)據(jù)結(jié)合緊密并行，復(fù)雜其他（相對(duì)簡(jiǎn)單，生產(chǎn)，結(jié)構(gòu)化）其他決策點(diǎn)數(shù)據(jù)類型數(shù)據(jù)處理能力數(shù)據(jù)量響應(yīng)時(shí)間數(shù)據(jù)集成分析種類電力交通游戲廣告電信金融數(shù)據(jù)分析Rapids行業(yè)場(chǎng)景低頻事務(wù)高頻事務(wù)數(shù)據(jù)源金融市場(chǎng)、電子商務(wù)實(shí)時(shí)支付、交易、余額查詢系統(tǒng)；網(wǎng)上金融即席查詢用戶賬戶信息、交易明細(xì)查詢交易異常告警；消費(fèi)行為分析預(yù)測(cè)；金融市場(chǎng)風(fēng)險(xiǎn)評(píng)估；優(yōu)質(zhì)客戶評(píng)定分析上網(wǎng)流量、通信、短信、日志計(jì)費(fèi)系統(tǒng)、客戶詳單即席查詢、關(guān)鍵詞過濾用戶賬戶信息、歷史詳單查詢、通信設(shè)備異常監(jiān)控、通信質(zhì)量通信經(jīng)營(yíng)分析系統(tǒng)；精準(zhǔn)營(yíng)銷；通信設(shè)備、質(zhì)量異常預(yù)警分析智能電網(wǎng)、電表、用電信息、CRM

11、數(shù)據(jù)智能電表數(shù)據(jù)采集、電量計(jì)費(fèi)系統(tǒng)、運(yùn)營(yíng)監(jiān)控用戶賬戶信息、歷史用電查詢、電力設(shè)備、線路監(jiān)控用電負(fù)荷預(yù)測(cè)；個(gè)性化電網(wǎng)營(yíng)銷；電網(wǎng)優(yōu)化；電網(wǎng)運(yùn)監(jiān)分析網(wǎng)游高頻游戲交易、區(qū)域性最高分記錄、實(shí)時(shí)道具推薦營(yíng)銷排名游戲運(yùn)營(yíng)預(yù)測(cè)分析；道具精準(zhǔn)營(yíng)銷；實(shí)時(shí)網(wǎng)絡(luò)廣告投放競(jìng)標(biāo)，根據(jù)要求選擇廣告；基于地理位置的實(shí)時(shí)廣告投放投放效果報(bào)告廣告精準(zhǔn)營(yíng)銷；廣告商圈分析；廣告效果分析出租車、家用車、交通采集設(shè)備、GPS、地圖、視頻實(shí)時(shí)數(shù)據(jù)采集；實(shí)時(shí)路況；實(shí)時(shí)交通異常監(jiān)控；交通違章監(jiān)控查詢交通流量分析用戶出行分析事故分析Rapids場(chǎng)景一 證券領(lǐng)域記錄當(dāng)天每筆股票交易對(duì)每筆交易進(jìn)行風(fēng)險(xiǎn)評(píng)估和監(jiān)控實(shí)時(shí)反應(yīng)當(dāng)前整體交易情況一站式證券交易

12、數(shù)據(jù)分析服務(wù)平臺(tái)Rapids優(yōu)勢(shì)：高吞吐極短時(shí)間內(nèi)對(duì)交易做出風(fēng)險(xiǎn)評(píng)估判斷低成本基于Sql on Rapids的高速查詢Rapids通過整合并行內(nèi)存網(wǎng)格、并行內(nèi)存數(shù)據(jù)庫(kù)、Hadoop三大主流大數(shù)據(jù)分析平臺(tái)，真正為證券行業(yè)提供集實(shí)時(shí)交易、實(shí)時(shí)數(shù)據(jù)分析、歷史數(shù)據(jù)分析為一體的端到端大數(shù)據(jù)分析服務(wù)平臺(tái)Rapids場(chǎng)景二 信用卡領(lǐng)域記錄信用卡每筆交易信息對(duì)每筆交易進(jìn)行風(fēng)險(xiǎn)評(píng)估和監(jiān)控實(shí)時(shí)反應(yīng)信用卡當(dāng)前整體交易情況持卡用戶消費(fèi)行為分析預(yù)測(cè)持卡用戶信用額度分析評(píng)定客戶信用卡交易記錄明細(xì)即席查詢Rapids優(yōu)勢(shì)：高吞吐、高并發(fā)（單機(jī)20w/s交易并發(fā)）海量交易數(shù)據(jù)高速即席查詢交易實(shí)時(shí)風(fēng)險(xiǎn)評(píng)估準(zhǔn)確有效的持卡用戶消費(fèi)

13、行為分析預(yù)測(cè)低成本、部署簡(jiǎn)單、快捷基于Sql on Rapids的高速查詢Rapids通過整合并行內(nèi)存網(wǎng)格、并行內(nèi)存數(shù)據(jù)庫(kù)、Hadoop三大主流大數(shù)據(jù)分析平臺(tái)，為信用卡管理部門提供交易明細(xì)查詢、交易風(fēng)險(xiǎn)評(píng)估與監(jiān)控、用卡消費(fèi)行為分析等端到端的信用卡大數(shù)據(jù)分析服務(wù)平臺(tái)Rapids場(chǎng)景三 電信計(jì)費(fèi)系統(tǒng)上網(wǎng)費(fèi)用實(shí)時(shí)計(jì)算上網(wǎng)流量費(fèi)用實(shí)時(shí)查詢客戶費(fèi)用異常監(jiān)控Rapids優(yōu)勢(shì)：高吞吐、高并發(fā)費(fèi)用高速實(shí)時(shí)結(jié)算費(fèi)用明細(xì)數(shù)據(jù)高速即席查詢費(fèi)用異常實(shí)時(shí)監(jiān)控和實(shí)時(shí)告警Rapids通過整合并行內(nèi)存網(wǎng)格、并行內(nèi)存數(shù)據(jù)庫(kù)、Hadoop三大主流大數(shù)據(jù)分析平臺(tái)，為電信核心計(jì)費(fèi)系統(tǒng)改造提供強(qiáng)大的技術(shù)平臺(tái)支持，最大限度滿足3G、4G

14、時(shí)代電信計(jì)費(fèi)系統(tǒng)新特點(diǎn)Rapids場(chǎng)景四 智能電網(wǎng)客戶用電費(fèi)用實(shí)時(shí)計(jì)算客戶用電量實(shí)時(shí)查詢客戶用電異常監(jiān)控客戶用電行為分析Rapids優(yōu)勢(shì)：高吞吐、高并發(fā)基于內(nèi)存的費(fèi)用高速實(shí)時(shí)結(jié)算費(fèi)用明細(xì)數(shù)據(jù)高速即席查詢費(fèi)用異常實(shí)時(shí)監(jiān)控和實(shí)時(shí)告警基于Rapids Hadoop的高速用戶用電行為分析基于Sql on Rapids的高速查詢Rapids通過整合并行內(nèi)存網(wǎng)格、并行內(nèi)存數(shù)據(jù)庫(kù)、Hadoop三大主流大數(shù)據(jù)分析平臺(tái)，為智能電網(wǎng)數(shù)據(jù)采集、實(shí)時(shí)電費(fèi)計(jì)算、用電監(jiān)控和行為分析等提供端到端的大數(shù)據(jù)分析服務(wù)Rapids場(chǎng)景五 網(wǎng)游存儲(chǔ)用戶游戲參數(shù)、分?jǐn)?shù)及目前狀態(tài)顯示用戶排名用戶道具實(shí)時(shí)推薦網(wǎng)游運(yùn)營(yíng)分析Rapids優(yōu)勢(shì)：

15、處理大量在線用戶的高并發(fā)狀況低延時(shí)保證流暢游戲體驗(yàn)低成本社交網(wǎng)絡(luò)游戲平臺(tái)使用Rapids搭建電視選秀投票系統(tǒng)。百萬(wàn)人投票，峰值20萬(wàn)人同時(shí)投票。Rapids場(chǎng)景六 互聯(lián)網(wǎng)廣告存儲(chǔ)客戶投放需求及賬戶余額每次廣告請(qǐng)求發(fā)生時(shí)：找出所有滿足需求賬戶競(jìng)標(biāo)更新賬戶信息及余額Rapids優(yōu)勢(shì)：精確控制廣告投放數(shù)據(jù)總量在10億級(jí)，5臺(tái)服務(wù)器輕松處理高并發(fā)請(qǐng)求，每秒處理4萬(wàn)6千事務(wù)降低廣告請(qǐng)求延時(shí)到5毫秒內(nèi)低成本安卓廣告平臺(tái)使用Rapids解決廣告投放競(jìng)標(biāo)難題。Rapids場(chǎng)景七 智能交通實(shí)時(shí)交通信息流分析車輛數(shù)據(jù)實(shí)時(shí)采集與監(jiān)控：車輛電子圍欄預(yù)警車輛運(yùn)行異常監(jiān)控用戶出行行為分析交通違章實(shí)時(shí)執(zhí)法Rapids優(yōu)勢(shì)：交通信息流分析發(fā)布秒級(jí)海量交通信息實(shí)時(shí)采集低成本Rapid