星環(huán)大數(shù)據(jù)產(chǎn)品和技術(shù)介紹

1、星環(huán)大數(shù)據(jù)產(chǎn)品和技術(shù)介紹星環(huán)科技公司簡(jiǎn)介星環(huán)信息科技公司介紹中國(guó)最久Hadoop核心開(kāi)發(fā)團(tuán)隊(duì)研發(fā)，支持和銷(xiāo)售團(tuán)隊(duì)來(lái)自于Intel, Google, IBM，Oracle等跨國(guó)企業(yè)2016年1季度完成1.55億B輪融資No.1中國(guó)落地案例最多國(guó)內(nèi)最多的落地應(yīng)用案例2014年進(jìn)入中央政府采購(gòu)網(wǎng)國(guó)內(nèi)技術(shù)最領(lǐng)先大數(shù)據(jù)/數(shù)據(jù)庫(kù)基礎(chǔ)軟件超越硅谷的企業(yè)級(jí)架構(gòu)及功能模塊大數(shù)據(jù)平臺(tái)市場(chǎng)占有率最高唯一進(jìn)入Gartner魔力象限中國(guó)公司支持復(fù)雜關(guān)鍵應(yīng)用的大數(shù)據(jù)平臺(tái)高度兼容OLAP oracle應(yīng)用和高并發(fā)OLTP查詢(xún)300%年?duì)I業(yè)額和客戶(hù)增長(zhǎng)Magic Quadrant for Data Warehouse and

2、 Data Management Solutiongs for Analytics星環(huán)科技星環(huán)科技是Gartner發(fā)布的2016年數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)管理解決方案魔力象限中唯一一家上榜的中國(guó)公司，也是魔力象限遠(yuǎn)見(jiàn)者（Visionaries）領(lǐng)域中全球最具前瞻性的公司。中國(guó)大數(shù)據(jù)技術(shù)精銳企業(yè)圖譜1數(shù)據(jù)采集提供客戶(hù)將商業(yè)產(chǎn)品或開(kāi)源組件與業(yè)務(wù)知識(shí)和定制開(kāi)發(fā)相結(jié)合，形成大數(shù)據(jù)解決方案，提供給行業(yè)客戶(hù)。相比應(yīng)用程序供應(yīng)商和平臺(tái)供應(yīng)商，解決方案供應(yīng)商是最直接接觸行業(yè)客戶(hù)的企業(yè)?；谧陨順I(yè)務(wù)業(yè)務(wù)及背后的監(jiān)測(cè)、爬蟲(chóng)能力采集互聯(lián)網(wǎng)公開(kāi)數(shù)據(jù)和用戶(hù)行為數(shù)據(jù)，加以清洗、整理，面向市場(chǎng)提供數(shù)據(jù)資源，數(shù)據(jù)資源供給方角色。阿里開(kāi)

3、放平臺(tái)九次方百度數(shù)據(jù)開(kāi)放平臺(tái)聯(lián)袂科技百分點(diǎn)秒針系統(tǒng)海量騰訊大數(shù)據(jù)集奧聚合騰云天下精碩科技億贊普 貴陽(yáng)大數(shù)據(jù)交易所數(shù)?？萍紨?shù)據(jù)堂數(shù)據(jù)商品化搭建數(shù)據(jù)共享、交換、交易平臺(tái)，為數(shù)據(jù)資源供給方和需求方提供交易環(huán)境和服務(wù)。數(shù)據(jù)整合應(yīng)用針對(duì)營(yíng)銷(xiāo)、風(fēng)控、個(gè)性化服務(wù)等需求，整合數(shù)據(jù)資源，面向不同行業(yè)的客戶(hù)提供數(shù)據(jù)應(yīng)用服務(wù)，最靠近數(shù)據(jù)需求方角色。DATA數(shù)據(jù)TECH. 技術(shù)國(guó)政道華道征信華院數(shù)據(jù)螞蟻金服明略數(shù)據(jù)數(shù)字?jǐn)?shù)思同盾科技解決方案供應(yīng)商星環(huán)科技 7G網(wǎng)絡(luò)美林?jǐn)?shù)據(jù) 龍信數(shù)據(jù)東方國(guó)信 明略數(shù)據(jù)國(guó)云數(shù)據(jù) 拓爾思華傲數(shù)據(jù) 星圖數(shù)據(jù)華勝天成 亞信大數(shù)據(jù)華為 以薩數(shù)據(jù)星環(huán)科技 TABLEAU INFORMATICA 秒針

4、系統(tǒng)數(shù)字冰雹 久其軟件百分點(diǎn) 騰云天下博易智軟 永洪科技海云數(shù)據(jù) 用友軟件精碩科技 友盟星環(huán)科技CLOUDERAPIVOTAL華為巨杉軟件阿里應(yīng)用程序供應(yīng)商多是以提供產(chǎn)品的形式服務(wù)于客戶(hù)企業(yè)。這些產(chǎn)品可能是Bi工具，可能是數(shù)據(jù)接入或挖掘領(lǐng)域的細(xì)分產(chǎn)品。應(yīng)用程序除了獨(dú)立銷(xiāo)售，很多時(shí)候也會(huì)作為整體解決方案的一部分出現(xiàn)。基礎(chǔ)架構(gòu)供應(yīng)商提供Hadoop發(fā)行版以及數(shù)據(jù)存儲(chǔ)、并行計(jì)算、數(shù)據(jù)治理等周邊軟件工具和硬件的廠商。很多基礎(chǔ)架構(gòu)供應(yīng)商也提供解決方案。數(shù)據(jù)商品化數(shù)據(jù)整合應(yīng)用解決方案供應(yīng)商應(yīng)用程序供應(yīng)商基礎(chǔ)架構(gòu)供應(yīng)商數(shù)據(jù)采集提供Transwarp Data Hub產(chǎn)品概述Transwarp Data Hu

5、b架構(gòu)圖最完整的SQL支持99%的SQL 2003支持，唯一完整支持PL/SQL的SQL on Hadoop引擎（98%），唯一完整支持ACID分布式事務(wù)的SQL引擎；定位數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市市場(chǎng)，可用于補(bǔ)充或替代Oracle、DB2、MPP等分析用數(shù)據(jù)庫(kù)。高效交互分析-內(nèi)存/SSD計(jì)算第一個(gè)支持SSD的基于Hadoop的高效計(jì)算引擎，可比硬盤(pán)快一個(gè)數(shù)量級(jí)；可用于建立各種數(shù)據(jù)集市，對(duì)接多種主流報(bào)表工具。最完整的分布式機(jī)器學(xué)習(xí)算法庫(kù)支持最全（超過(guò)50余種）的分布式統(tǒng)計(jì)算法和機(jī)器學(xué)習(xí)算法，同時(shí)整合超過(guò)5000個(gè)R語(yǔ)言算法包。適合風(fēng)險(xiǎn)控制、反欺詐、文本分析、精準(zhǔn)營(yíng)銷(xiāo)等應(yīng)用。支持最完整SQL和索引的No

6、SQL數(shù)據(jù)庫(kù)支持SQL2003、索引、全文索引，支持圖數(shù)據(jù)庫(kù)和圖算法，支持非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)支持高并發(fā)查詢(xún)最健壯和功能豐富的流處理框架支持所有組件的高可用(HA)支持流式SQL和流式機(jī)器學(xué)習(xí)Transwarp ProprietaryApache ProjectsTranswarp Manager資源管理 YARN(內(nèi)置Transwarp Extension)優(yōu)化存儲(chǔ) HDFS(內(nèi)置Transwarp Erasure Code)批處理框架MapReduce2協(xié)作服務(wù)Zookeeper全文搜索Optimized Elastic SearchDiscover數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)InceptorPL/SQL

7、引擎交互分析、圖計(jì)算Stream流處理引擎HyperbaseNoSQL數(shù)據(jù)庫(kù)綜合搜索Guardian安全管控實(shí)時(shí)同步Data Alive消息隊(duì)列Kafka日志采集Flume數(shù)據(jù)集成Sqoop數(shù)據(jù)集成Data IntegrationSQL開(kāi)發(fā)輔助Waterdrop可視化挖掘Midas交互工具HUE交互分析Zeppelin工作流Oozie內(nèi)置交互工具Build-in Interactive Tools交互式分析引擎Inceptor - 完整SQL支持Distributed Execution Engine 分布式執(zhí)行引擎Batch & Interactive SQL EngineJDBC 4.0S

8、HELLODBC 3.5SQL 2003 Compiler語(yǔ)法解析器 SQL Parser優(yōu)化器 RBO & CBO代碼生成 CODE GENERATORTransaction Manager分布式增刪改 Distributed CRUD事務(wù)并發(fā)控制器 Concurrency ControllerStarGate數(shù)據(jù)源連接器Source HDFSText, ORC, ORC TransactionSourceOracleSourceHyperbase分布式內(nèi)存/SSD列式存儲(chǔ)HolodeskSourceDB2HDFSDriverHolodeskDriverHyperdrive驅(qū)動(dòng)層實(shí)現(xiàn)數(shù)據(jù)訪問(wèn)

9、計(jì)算算子下推以減少數(shù)據(jù)傳輸執(zhí)行計(jì)劃仍采用分布式計(jì)算Connector中間件管理單元PL/SQL Compiler存儲(chǔ)過(guò)程解析器 Procedure Parser控制流優(yōu)化器 CFG Optimizer并行優(yōu)化器 Parallel Optimizer多租戶(hù)管理Guardian計(jì)算資源配置Resource Management用戶(hù)安全授權(quán)管理Security & Authentication行級(jí)安全控制Row Level SecurityDB2DriverOracleDriverApache Spark基于內(nèi)存的Map/Reduce計(jì)算引擎，即將成為新一代主流計(jì)算框架。處理大數(shù)據(jù)像“光速”一樣快，

10、比Hadoop Map/Reduce快10 x倍。Holodesk跨內(nèi)存/閃存/磁盤(pán)等介質(zhì)的分布式混合列式存儲(chǔ)，常用于緩存數(shù)據(jù)供Spark高速訪問(wèn)。Holodesk內(nèi)建內(nèi)存索引，可提供比開(kāi)源Spark更高的交互式統(tǒng)計(jì)性能；結(jié)合使用低成本的內(nèi)存/SSD混合存儲(chǔ)方案，可接近全內(nèi)存存儲(chǔ)的分析性能。Most complete SQL support兼容95% ANSI SQL 2003, HiveQL和90% PL/SQL語(yǔ)法，支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市等分析系統(tǒng)中常用的復(fù)雜分析型語(yǔ)法，方便應(yīng)用遷移。SQL引擎高度優(yōu)化的高速SQL引擎，可運(yùn)行在Spark或Map/Reduce上，可高速處理緩存在Holod

11、esk上的列式數(shù)據(jù)。豐富的工具支持支持主流可視化和BI/挖掘工具，包括Tableau, IBM Cognos, SAP BO, Oracle BI, SAS等。支持Informatica，Pentaho/Kettle等ETL工具。Data Federation具備對(duì)多種關(guān)系數(shù)據(jù)庫(kù)和Hadoop數(shù)據(jù)源進(jìn)行交叉查詢(xún)，聚合，以及關(guān)聯(lián)操作等能力Inceptor不同版本功能描述標(biāo)準(zhǔn)版SQL2003,分布式事務(wù)專(zhuān)業(yè)版基礎(chǔ)版+內(nèi)存/SSD數(shù)據(jù)庫(kù)功能企業(yè)版專(zhuān)業(yè)版+PL/SQL圖計(jì)算GrapheneGraph SearchingSQL-like syntaxComplex searching patternsM

12、ultiple data sourcesReal-time responseGraph ComputationExtended SQL syntaxAbundant algorithms supportedOLAP analysis on tremendous graphGraph SQL CompilerInceptor Execution EngineCypher CompilerStargateGraph Search EngineJDBC 4.0SHELLODBC 3.5Source HDFSText, ORC, ORC TransactionSourceHyperbase分布式內(nèi)存/

13、SSD列式存儲(chǔ)Holodesk節(jié)點(diǎn)1節(jié)點(diǎn)2屬性屬性個(gè)人/公司/個(gè)人/公司/邊屬性邊屬性個(gè)人/公司/個(gè)人/公司/邊屬性邊屬性圖分析 Schema星環(huán)Discover產(chǎn)品框架圖Distributed Execution Engine 分布式執(zhí)行引擎Association Mining關(guān)聯(lián)/推薦Classification分類(lèi)算法Clustering聚類(lèi)算法Sequential Analysis時(shí)序分析Regression回歸算法Deep Learning深度機(jī)器學(xué)習(xí)DimensionReduction主成分分析Statistics統(tǒng)計(jì)算法R Runtime Library R語(yǔ)言動(dòng)態(tài)運(yùn)行庫(kù)Beli

14、ef Network信念網(wǎng)絡(luò)Graph 圖計(jì)算Sampling采樣算法Discriminate Analysis判別分析Q-Learning增強(qiáng)學(xué)習(xí)Decision Methods決策方法Factor Analysis因子分析Genetic 遺傳算法Language Interfaces 多語(yǔ)言接口Midas圖形界面R StudioIDE開(kāi)發(fā)環(huán)境推薦系統(tǒng)風(fēng)險(xiǎn)分析反欺詐文本分類(lèi)web JS Interface web展示接口擔(dān)保鏈分析Deep Learning Frameworks 深度學(xué)習(xí)框架Transwarp Hubble Programming Interfaces to connect

15、algorithmsCustomized Plugins自定義插件Transwarp Connector SQL Interfaces to connect data sourcesIndustry Templates行業(yè)模板Feature Engineering特征工程HDFSStreamInceptorHyperbaseFile Interface Transwarp Discover Platform數(shù)據(jù)層算法模型層使用層數(shù)據(jù)挖掘產(chǎn)品 Discover & MidasDiscover R語(yǔ)言開(kāi)發(fā) = 算法工程師，數(shù)據(jù)科學(xué)家Midas交互式挖掘 = 業(yè)務(wù)分析師，數(shù)據(jù)科學(xué)家R和Midas中可

16、以連接TDH中數(shù)據(jù)表做數(shù)據(jù)預(yù)覽可以對(duì)列做tag/feature的管理通過(guò)內(nèi)置的分布式統(tǒng)計(jì)算法完成相關(guān)的預(yù)處理與數(shù)據(jù)分析支持標(biāo)準(zhǔn)化，歸一化，正則化，缺失值填充，數(shù)據(jù)分箱等支持通過(guò)Inceptor SQL進(jìn)行數(shù)據(jù)ETL處理用戶(hù)通過(guò)GUI選擇算法開(kāi)發(fā)訓(xùn)練模型模型編譯成為DAG，由Hubble組件來(lái)調(diào)度任務(wù)支持單機(jī)R算法和分布式算法訓(xùn)練模型導(dǎo)出模型為PMMLPMML模型可以轉(zhuǎn)換成生產(chǎn)系統(tǒng)的代碼，部署到實(shí)際業(yè)務(wù)中Inceptor結(jié)合業(yè)務(wù)領(lǐng)域?qū)＜抑R(shí)，以及相關(guān)算法降維，選擇特征指標(biāo)與維度利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法，通過(guò)升維降低特征工程維度選取難度StreamDiscoverDeep Learning深度學(xué)習(xí)

17、模型上生產(chǎn)模型訓(xùn)練特征工程預(yù)處理數(shù)據(jù)預(yù)覽DimensionReduction主成分分析Linear Regression線(xiàn)性回歸分布式機(jī)器學(xué)習(xí)算法More Distributed Machine Learning Algorithms數(shù)據(jù)分析圖形化交互工具R Runtime Library R語(yǔ)言動(dòng)態(tài)運(yùn)行庫(kù)Belief Network信念網(wǎng)絡(luò)Decision Methods決策方法Sampling采樣算法Discriminate Analysis判別分析Q-Learning增強(qiáng)學(xué)習(xí)Graph Inference圖推理Factor Analysis因子分析Genetic Algorithm遺傳算

18、法Transwarp Hadoop 分布式系統(tǒng)Transwarp DiscoverDistributed Algorithm LibraryAssociation Mining關(guān)聯(lián)/推薦Classification分類(lèi)算法Clustering聚類(lèi)算法Sequential Analysis時(shí)序分析Regression回歸算法Deep Learning深度機(jī)器學(xué)習(xí)DimensionReduction主成分分析Statistics統(tǒng)計(jì)算法Data EngineersData ScientistsWorkflow Tools to build pipelinesTranswarp InceptorSQ

19、L EngineData FrameAbstractionData Transformation using PL/SQLFeature Extraction using data frame and native R operationsMachine Learning using more distributed algorithmsData Mining using native R algorithms特征抽取Feature Engineering: Extract value from dark data易用的工具Graphical tools for data scientists

20、, e.g., workbook, notebook; and a workflow tool to build the pipeline 重要組成：Business Analysts實(shí)時(shí)NewSQL數(shù)據(jù)庫(kù)HyperbaseTranswarp HBase Hadoop Database分布式 Big TableTranswarp HyperdriveReal-time OLTP + OLAP + BATCH + Search + Graph Traversal ApplicationMixed Workload 混合負(fù)載業(yè)務(wù)Elastic Search分布式全文索引TransactionSQL

21、 & APITransactionExecution Engine分布式事務(wù)處理引擎IndexSQL & APIGlobal/Local/Full-textIndex全局/局部/全文索引DocumentSQL & APIDocument Storejson/bson文檔存儲(chǔ)ObjectSQL & APIObject Storeimage/files, etc對(duì)象存儲(chǔ)SearchSQL & APIDistributedFull-text Search全文搜索Transwarp InceptorHyperbase不同版本功能描述標(biāo)準(zhǔn)版OLTP支持高并發(fā)毫秒級(jí)數(shù)據(jù)插入/修改/查詢(xún)/刪除(CRUD)。

22、結(jié)合Inceptor SQL引擎，可以支持通過(guò)SQL進(jìn)行高并發(fā)的CRUD。支持分布式事務(wù)處理。支持常見(jiàn)數(shù)據(jù)類(lèi)型，可更高效的存取數(shù)據(jù)OLAP支持多種索引（global/local/high-dimensional index）。結(jié)合Inceptor，可進(jìn)行行列存儲(chǔ)轉(zhuǎn)換，進(jìn)行秒級(jí)高效分析。支持復(fù)雜查詢(xún)條件，自動(dòng)利用索引加速數(shù)據(jù)檢索，無(wú)需指定索引。專(zhuān)業(yè)版基礎(chǔ)版+內(nèi)嵌搜索引擎實(shí)時(shí)同步創(chuàng)建索引實(shí)現(xiàn)秒級(jí)關(guān)鍵字搜索企業(yè)版專(zhuān)業(yè)版+圖數(shù)據(jù)庫(kù)支持高并發(fā)圖遍歷和檢索多類(lèi)型支持結(jié)構(gòu)化記錄半結(jié)構(gòu)化文檔（JSON/BSON）非結(jié)構(gòu)化數(shù)據(jù)（圖片、音頻、二進(jìn)制文檔等）支持混合結(jié)構(gòu)數(shù)據(jù)的存儲(chǔ)、搜索、統(tǒng)計(jì)、分析支持SQL訪問(wèn)關(guān)系

23、表和層次化文檔Transwarp ESDrive實(shí)時(shí)數(shù)據(jù)研判處理Transwarp Stream計(jì)算層Source Manager數(shù)據(jù)源管理Distributed Execution Engine 分布式執(zhí)行引擎Application Manager流式任務(wù)管理服務(wù)Storage Manager存儲(chǔ)管理SinkerManager輸出管理 Transwarp Hyperbase 分布式NoSQL數(shù)據(jù)庫(kù) 高速查詢(xún)或搜索在線(xiàn)數(shù)據(jù)挖掘時(shí)間窗口統(tǒng)計(jì)實(shí)時(shí)比對(duì)告警實(shí)時(shí)判斷告警實(shí)時(shí)數(shù)據(jù)Transwarp Data Mart分布式內(nèi)存/SSD緩存高速數(shù)據(jù)探索分析StreamSQLSQL Compiler 編譯器

24、ODBCJDBCShellData Mining并行算法APIR語(yǔ)言量化模型StreamSQL 99%的ANSI SQL 2003的支持率 強(qiáng)大的優(yōu)化器提升性能 支持按時(shí)間切分滑動(dòng)窗口和滑動(dòng)步長(zhǎng)多數(shù)據(jù)源支持Socket文件Kafka多種輸出方式支持HyperbaseHolodeskHDFS企業(yè)數(shù)據(jù)總線(xiàn)支持從一個(gè)流讀入數(shù)據(jù)，再將其輸入另一個(gè)流，如常見(jiàn)的企業(yè)數(shù)據(jù)總線(xiàn)以Kafka為存儲(chǔ)中間件在線(xiàn)數(shù)據(jù)挖掘支持離線(xiàn)模型，在線(xiàn)預(yù)測(cè)時(shí)間窗口數(shù)據(jù)進(jìn)行實(shí)時(shí)挖掘分析Stream不同版本功能描述標(biāo)準(zhǔn)版基本流處理框架，支持流式聚合專(zhuān)業(yè)版基礎(chǔ)版+SQL企業(yè)版專(zhuān)業(yè)版+機(jī)器學(xué)習(xí)統(tǒng)一權(quán)限管控Transwarp Guardia

25、nBuild-in LDAP HA supportedAccounting 用戶(hù)管理Authentication 用戶(hù)認(rèn)證Audit 審計(jì)分布式文件系統(tǒng)HDFS RBAC支持Dir/File access controlDir/File ACL 用戶(hù)安全授權(quán)管理Grant/Revoke via SQL行/列級(jí)安全控制Row/Column LevelInceptor流處理作業(yè)授權(quán)管理StreamApp/Job Grant/Revoke via SQL主題級(jí)安全控制Kafka Topic Level SecurityStream用戶(hù)安全授權(quán)管理Authentication with Incepto

26、r and HDFSDiscover數(shù)據(jù)交互安全控制Data Transfer & Communication用戶(hù)安全授權(quán)管理Grant/Revoke via SQL(with Inceptor)單元格安全控制Cell LevelHyperbaseData Authorization 數(shù)據(jù)權(quán)限管理Existing AD/LDAP with Kerberos使用既有用戶(hù)管理與認(rèn)證系統(tǒng)Build-in KerberosHA supported公司部門(mén)一部門(mén)N子部門(mén)子部門(mén)子部門(mén)子部門(mén)子部門(mén)子部門(mén)Policy & AlertResource UsageAuditGrant/Revoke AuditAc

27、cess ControlAuditResource Authorization 資源管理控制文件系統(tǒng)Usage Quota Control數(shù)據(jù)庫(kù)/倉(cāng)庫(kù)Static QuotaTemp Quota存儲(chǔ)資源計(jì)算資源計(jì)算資源管理調(diào)度YARNQueue Use/Admin ControlInceptor Pool ControlSLA Control用戶(hù)組管理員用戶(hù)超級(jí)管理員角色用戶(hù)組Transwarp Data Warehouse產(chǎn)品概述Manager 監(jiān)控 管理 審計(jì) 告警Real-time DW實(shí)時(shí)數(shù)據(jù)分析研判Oozie 統(tǒng)一作業(yè)調(diào)度HUEGuardian統(tǒng)一安全權(quán)限管控Data Integra

28、tion數(shù)據(jù)集成與質(zhì)量管理Service RepositoryTranswarp Data Warehouse架構(gòu)CPU/MEMpriority-basedschedulerTranswarp Operating System 數(shù)倉(cāng)版DiskstoragemanagerNetworkVLANmanagerSchedulercoordinationetcdorchestrationloadbalancerSystem Serviceauto-scalingreplicatordiscoveryname serviceContainer PluginsContainers分布式存儲(chǔ) HDFSTra

29、ditional DWPL/SQL批處理分布式事務(wù)Context-IndependentDW數(shù)據(jù)挖掘關(guān)聯(lián)分析Data Mart交互式分析Holodesk分布式內(nèi)存列式存儲(chǔ)完整數(shù)據(jù)倉(cāng)庫(kù)支持實(shí)時(shí)處理數(shù)據(jù)倉(cāng)庫(kù)(Real-time DW)，進(jìn)行實(shí)時(shí)數(shù)據(jù)采集，時(shí)間窗口內(nèi)數(shù)據(jù)進(jìn)行比對(duì)以及統(tǒng)計(jì)挖掘，通過(guò)流技術(shù)來(lái)構(gòu)造實(shí)時(shí)處理倉(cāng)庫(kù)。上下文無(wú)關(guān)聯(lián)數(shù)據(jù)倉(cāng)庫(kù)(Context Independent DW)，在不知道數(shù)據(jù)之間的關(guān)聯(lián)模型的情況下，也可以通過(guò)數(shù)據(jù)挖掘的方式發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，隱藏的聯(lián)系和模式。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)(Traditional DW)，主要是做批處理，做離線(xiàn)加工，加工基礎(chǔ)數(shù)據(jù)，在基礎(chǔ)上做各種主題模型，

30、以及固定報(bào)表。通過(guò)對(duì)于SQL 2003、PL/SQL以及分布式事務(wù)的支持實(shí)現(xiàn) 傳統(tǒng)數(shù)倉(cāng)向大數(shù)據(jù)的平滑遷移。數(shù)據(jù)集市(Data Mart)，把數(shù)據(jù)裝載到基于內(nèi)存或者SSD當(dāng)中的Holodesk做高速的數(shù)據(jù)交互式分析探索，同時(shí)也對(duì)接著報(bào)表工具。企業(yè)客戶(hù)不再需要混合架構(gòu)，不需要孤立的多個(gè)集群，可以伴隨企業(yè)客戶(hù)的數(shù)據(jù)增長(zhǎng)，動(dòng)態(tài)不停機(jī)擴(kuò)容，避免MPP或傳統(tǒng)架構(gòu)數(shù)據(jù)遷移的棘手問(wèn)題。多租戶(hù)管理平臺(tái)自動(dòng)一鍵部署，自我修復(fù)，完善的資源隔離性彈性計(jì)算，自動(dòng)擴(kuò)容/縮容，多部門(mén)之間資源動(dòng)態(tài)共享，靈活支持多部門(mén)多應(yīng)用在統(tǒng)一平臺(tái)上平滑運(yùn)行。全平臺(tái)組件數(shù)據(jù)權(quán)限隔離，支持基于角色的訪問(wèn)權(quán)限控制，支持行級(jí)權(quán)限控制用戶(hù)友好的管理

31、交互界面、提供了集群配置，監(jiān)控及預(yù)警等多方面支持，在可管理性方面優(yōu)勢(shì)顯著。RstudioBIOperational DW搜索 查詢(xún)半/非結(jié)構(gòu)化數(shù)據(jù)支持MidasTranswarp Data Warehouse 離線(xiàn)批處理SQL, PL/SQL, SQL/PLCRUD & TransactionJDBC/ODBC交互式分析加速Cube Designer可以手工和自動(dòng)的配置Cube利用M-OLAP加速交互式分析數(shù)據(jù)挖掘分布式數(shù)據(jù)挖掘平臺(tái)，提供R接口交互式數(shù)據(jù)挖掘與探索支持流上機(jī)器學(xué)習(xí)數(shù)據(jù)聯(lián)邦支持?jǐn)?shù)據(jù)聯(lián)邦，實(shí)現(xiàn)數(shù)據(jù)孤島的連接Meta Manager支持一體化數(shù)據(jù)質(zhì)量管理數(shù)據(jù)檢索搜索高并發(fā)檢索查詢(xún)組合

32、條件綜合搜索關(guān)鍵字搜索實(shí)時(shí)計(jì)算Stream SQL與存儲(chǔ)過(guò)程可以應(yīng)用到流式數(shù)據(jù)支持自定義的消息隊(duì)列，支持HATranswarp Operating System micro-service management system拓?fù)鋱D分析分布式基礎(chǔ)圖分析算法支持高速圖檢索支持Graph SQL應(yīng)用到圖分析檢索Txdata Appliance模型實(shí)驗(yàn)室數(shù)據(jù)集市實(shí)時(shí)決策主題報(bào)表檢索搜索關(guān)系圖譜分析多租戶(hù)管理開(kāi)發(fā)輔助工具集元數(shù)據(jù)&數(shù)據(jù)質(zhì)量Transwarp Data Hub基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)倉(cāng)庫(kù)邏輯架構(gòu)CRM現(xiàn)有業(yè)務(wù)系統(tǒng)ETL調(diào)度Flume宏觀政策/經(jīng)濟(jì)社交網(wǎng)絡(luò)其他信息非/半結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)Kafk

33、a實(shí)時(shí)接收非結(jié)構(gòu)化處理日志處理影像存儲(chǔ)文本分析圖計(jì)算結(jié)構(gòu)化數(shù)據(jù)處理資源管理平臺(tái) (TOS)(Virtualization，Multi-tenant SLA, Audit)實(shí)時(shí)決策平臺(tái)(StreamSQL)流式處理實(shí)時(shí)研判自助分析平臺(tái)(SQL)自助報(bào)表交互探索數(shù)據(jù)探索平臺(tái)(R)統(tǒng)計(jì)預(yù)測(cè)模型發(fā)現(xiàn)離線(xiàn)批處理平臺(tái)(SQL)數(shù)據(jù)加工主題模型Operational DW Traditional DW Data MartContext-independent DWERPHRFinance貼源層輕度匯總層元數(shù)據(jù)管理明細(xì)層數(shù)據(jù)質(zhì)量管理主題模型層作業(yè)調(diào)度管理檢索平臺(tái)(SQL)明細(xì)查詢(xún)綜合搜索T+0 T+1Data

34、 Mart Cluster交互式數(shù)據(jù)探索Hyperbase明細(xì)查詢(xún)、影像檢索、文檔檢索Traditional DW ClusterContext Independent DW數(shù)據(jù)關(guān)聯(lián)挖掘Rstudio圖形化挖掘工具Kafka實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)AgentAgent實(shí)時(shí)數(shù)據(jù)Stream Cluster時(shí)間窗口數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)批量裝載入Holodesk準(zhǔn)實(shí)時(shí)分析Stream ClusterHolodesk 分布式內(nèi)存/SSD列式存儲(chǔ)RDBSqoop實(shí)時(shí)同步CDC(IBM)OGG(Oracle)全量導(dǎo)入,定時(shí)增量,HUE/Zeppelin圖形化數(shù)據(jù)分析查看數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)流轉(zhuǎn)Multi-Index Full-T

35、extIndexObject Store文件/日志/影像FlumeFTP Interface實(shí)時(shí)條件判斷實(shí)時(shí)比對(duì)實(shí)時(shí)時(shí)間窗口數(shù)據(jù)統(tǒng)計(jì)實(shí)時(shí)數(shù)據(jù)挖掘模型預(yù)測(cè)數(shù)據(jù)稽核元數(shù)據(jù)管理數(shù)據(jù)處理工作流調(diào)度分布式統(tǒng)計(jì)算法庫(kù)分布式挖掘算法庫(kù)SpagoBIBI報(bào)表工具ODS 貼源層DWD 基礎(chǔ)明細(xì)層公共主題模型層結(jié)果數(shù)據(jù)寫(xiě)入Hyperbase提供查詢(xún)TDARESTInterface實(shí)時(shí)數(shù)倉(cāng)基于Hyperbase檢索查詢(xún)基于Holodesk交互式分析Sink Manager實(shí)時(shí)事件Kafka集群分布式消息隊(duì)列業(yè)務(wù)核心庫(kù)關(guān)系型數(shù)據(jù)庫(kù)OGG/CDC/ShareplexTranswarp Data Alive流處理物理集群

36、Transwarp StreamSource ManagerDistributed Execution Engine 分布式執(zhí)行引擎Application Manager流式任務(wù)管理服務(wù)StreamSQLData Mining存儲(chǔ)分析檢索集群Transwarp Inceptor & Hyperbase實(shí)時(shí)T+0基于T+0 ODS層準(zhǔn)實(shí)時(shí)報(bào)表&分析統(tǒng)一SQL計(jì)算引擎InceptorStarGate數(shù)據(jù)源連接器場(chǎng)景應(yīng)用實(shí)時(shí)預(yù)警實(shí)時(shí)分析研判實(shí)時(shí)清洗轉(zhuǎn)換實(shí)時(shí)關(guān)聯(lián)比對(duì)T+0準(zhǔn)實(shí)時(shí)報(bào)表實(shí)時(shí)入庫(kù)檢索查詢(xún)準(zhǔn)實(shí)時(shí)交互式分析 業(yè)務(wù)源系統(tǒng) CRM系統(tǒng)ERP系統(tǒng) 績(jī)效系統(tǒng) 財(cái)務(wù)系統(tǒng) 系統(tǒng)系統(tǒng)系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市資源/

37、數(shù)據(jù)權(quán)限控制可視化展示統(tǒng)一數(shù)據(jù)/資源權(quán)限管理 應(yīng)用可視化系統(tǒng)服務(wù) 數(shù)據(jù)權(quán)限審批上海分行營(yíng)銷(xiāo)分析人員北京分行客戶(hù)管理人員各級(jí)分析師自助分析平臺(tái)架構(gòu)存儲(chǔ)資源審批計(jì)算資源審批統(tǒng)一分布式存儲(chǔ)HDFS分布式內(nèi)存/SSD列式存儲(chǔ)共享資源池計(jì)算邏輯集群計(jì)算/存儲(chǔ)資源多租戶(hù)JDBC/ODBC兼容SQL 2003, Oracle PL/SQL, DB2 SQL PLR數(shù)據(jù)批處理邏輯集群StarGate數(shù)據(jù)源連接器Oracle/DB2/專(zhuān)有計(jì)算邏輯集群動(dòng)態(tài)分配/銷(xiāo)毀自助分析平臺(tái)架構(gòu)Inceptor SQL Execution EngineHolodesk 交互式數(shù)據(jù)探索Hyperbase明細(xì)查詢(xún)、影像檢索、文檔檢

38、索 Based on HDFSDiscover數(shù)據(jù)關(guān)聯(lián)挖掘RstudioR語(yǔ)言Web IDE分布式內(nèi)存/SSD列式存儲(chǔ)HUE/Zeppelin圖形化數(shù)據(jù)分析查看智能索引技術(shù)全局索引全文索引數(shù)據(jù)稽核元數(shù)據(jù)管理數(shù)據(jù)處理工作流調(diào)度分布式統(tǒng)計(jì)算法庫(kù)分布式挖掘算法庫(kù)WaterdropSQL開(kāi)發(fā)工具ODS 貼源層 文本文件DWD 基礎(chǔ)明細(xì)層 ORC事務(wù)表 公共主題模型層Stargate主流報(bào)表工具M(jìn)idas圖形化挖掘工具星環(huán)技術(shù)六大核心優(yōu)勢(shì)1.支持最全SQL，唯一支持PL/SQL2.性能超群3.唯一支持分布式事務(wù)處理4.業(yè)界唯一分布式流式SQL5.豐富的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法6.多租戶(hù)管理細(xì)粒度訪問(wèn)控制資

39、源共享和隔離、配額管理全面安全防控細(xì)粒度訪問(wèn)控制降低流應(yīng)用開(kāi)發(fā)門(mén)檻，提高流應(yīng)用開(kāi)發(fā)效率針對(duì)性的優(yōu)化讓StreamSQL比編程開(kāi)發(fā)流應(yīng)用性能更高幫助用戶(hù)零成本將傳統(tǒng)業(yè)務(wù)邏輯變成流應(yīng)用保證事務(wù)處理的ACIDBEGIN TRANSACTION/COMMIT/ROLLBACK語(yǔ)法進(jìn)行事務(wù)處理 兩階段封鎖協(xié)議可保證事務(wù)的完全可序列化多版本(快照)隔離可以保證只讀事務(wù)的高并發(fā)性率先進(jìn)入復(fù)雜數(shù)據(jù)分析的百TB時(shí)代支持99%的SQL 2003語(yǔ)法業(yè)界唯一支持Oracle PL/SQL（支持度98%）業(yè)界唯一支持DB2 SQLPL幫助用戶(hù)零成本遷移傳統(tǒng)應(yīng)用星環(huán)公司在大數(shù)據(jù)領(lǐng)域的定位Analytics as a S

40、erviceAnalytics Service & ApplicationsTransformation, Discovery &Visualization ToolsMachine Learning &Statistics ToolsHadoop Distributions& DatabasesInfrastructure 平安銀行：以Hadoop為基礎(chǔ)的風(fēng)險(xiǎn)分析平臺(tái)FlumeOracleMySQLDB2現(xiàn)有關(guān)系數(shù)據(jù)庫(kù)TDH統(tǒng)一存儲(chǔ)和計(jì)算平臺(tái)系統(tǒng)日志W(wǎng)eb日志SqoopPentaho賬單文件FTP定期ELT每天每小時(shí)每10分鐘Tableau數(shù)據(jù)實(shí)驗(yàn)室內(nèi)存SSD緩存HolodeskRStudioSAS深度挖掘CognosOBIEEOozieWaterlineAzkaban數(shù)據(jù)匯總治理粗加工PL/SQL定制程序PL/SQL深度匯總OracleDB2前臺(tái)展現(xiàn)庫(kù)準(zhǔn)實(shí)