Hadoop與大數(shù)據(jù)的商業(yè)化概述

1、Hadoop與大數(shù)據(jù)的商業(yè)化概述技術(shù)創(chuàng)新，變革未來2Hadoop及其生態(tài)系統(tǒng)將重構(gòu)數(shù)據(jù)處理市場(chǎng)10bn $29bn $2bn$Data Warehouse PlatformDatabase SoftwareExtractionToolsDWGenerationDWManagementETL ToolsOLAP DBMSData AnalyticsBI / Visualizatio n ToolsForecast 2014 (IDC)12bn $“Big Data” Predictive Real-time Vertical Soln“Big Data”HadoopHadoop OLTP DBM

2、S/NoSQLNoSQLNewSQLHadoopwww.transwarp.io3Big Data Software StackHadoop DistributionSQL on HadoopNewSQL DatabaseNoSQL DatabaseData Mining & Intelligent SystemGraph Database & Graph AnalysisStreaming & Real time computingData cleansing, transformationDeployment Choices:On-premiseHadoop as a ServiceAna

3、lytics as a Service大數(shù)據(jù)技術(shù)推動(dòng)各行業(yè)技術(shù)革新4Hadoop應(yīng)用統(tǒng)計(jì)Data Warehouse 60%Interactive BI 25%Light weight OLTP6%NoSQL/Document 4%Streaming 5%US 2015Data Warehouse56%5Interactive BI 8%Light weight OLTP 24%NoSQL/Document 2%Streaming 10%CHINA 2015Source: WikibonSource: TranswarpDiscover大數(shù)據(jù)的4個(gè)V以及星環(huán)產(chǎn)品方向RDBMSTBPBEBbat

4、chinteractivereal-time新技術(shù)在四個(gè)維度上快速增加處理能力數(shù)據(jù)量Volume可處理的數(shù)據(jù)量從TB、PB增加到EB類型Variety記錄、文本、圖片、音頻、視頻速度Velocity從離線處理進(jìn)步到實(shí)時(shí)數(shù)據(jù)處理價(jià)值Value從基于歷史的統(tǒng)計(jì)，發(fā)展到數(shù)據(jù)挖掘和預(yù)測(cè)性分析集中式計(jì)算 - 分布式計(jì)算InceptorTranswarp ProprietaryApache ProjectsStream流處理引擎NoSQL數(shù)據(jù)庫(kù)搜索、圖計(jì)算InceptorPL/SQL批處理交互式分析Data AliveTranswarp ManagerDiscoverHyperbase數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)資源

5、管理 YARN(內(nèi)置Transwarp Extension)批處理Pig批處理框架MapReduce2工作流Oozie交互分析Zeppelin交互工具HUE實(shí) 時(shí) 數(shù) 據(jù) 同 步優(yōu)化存儲(chǔ) HDFS(內(nèi)置Transwarp Erasure Code)全文搜索Elastic Search協(xié)作服務(wù)Zookeeper數(shù)據(jù)集成Sqoop日志采集Flume消息隊(duì)列KafkaGuardian安全管控StreamHyperbase6成為世界領(lǐng)先的大數(shù)據(jù)平臺(tái)軟件供應(yīng)商近日，國(guó)際知名咨詢機(jī)構(gòu)Gartner針對(duì)當(dāng)前數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)管理解決方案市場(chǎng)， 在其魔力象限1.中對(duì)全球21家廠商進(jìn)行了對(duì)比分析，其中，Oracle、Teradata、 Oracle和Microsoft三家公司包攬了前三甲，而全球最具發(fā)展前景的公司卻是來自 中國(guó)的公司星環(huán)科技（Transwarp），這也是該領(lǐng)域的魔力象限中第一次出現(xiàn) 中國(guó)公司。優(yōu)勢(shì)l 星環(huán)科技雖然年輕，但是已經(jīng)在中國(guó)市場(chǎng)中頗具影響力星環(huán)科技在18個(gè)月內(nèi)贏取了200個(gè)客戶。l 星環(huán)科技的產(chǎn)品有其獨(dú)特的功能，例如它的SQL引擎Inceptor，基于Apache Spark， 兼容Oracle SQL和PL/SQL，支持事務(wù)處理的CRUD(CREATE, READ, UPDATE, DELETE)并能保證ACID。Inceptor在被調(diào)查的用戶中受到了非常高的評(píng)價(jià)。l