運(yùn)用Hadoop分布式架構(gòu)補(bǔ)充傳統(tǒng)架構(gòu)IOE迎戰(zhàn)大數(shù)據(jù)

1、提綱Hadoop補(bǔ)充傳統(tǒng)架構(gòu)應(yīng)對(duì)大數(shù)據(jù)Hadoop云計(jì)算架構(gòu)解析Hadoop 應(yīng)用案例和云平臺(tái)EasyHadoop,RedHadoop介紹 Hadoop是什么?RedHadoop海量數(shù)據(jù)處理操作系統(tǒng)海量數(shù)據(jù)處理操作系統(tǒng)存儲(chǔ)+計(jì)算(HDFS+MapReduce)數(shù)據(jù)倉庫(Hive) 數(shù)據(jù)庫(Hbase) 批處理(Pig)搜索(Solr)挖掘算法(Mahout)BSP模型(Hama)分布式鎖(Zoomkeeper)大規(guī)模搜索(Nutch)SqoopFlume處理框架處理框架-分布式分布式OS-生態(tài)系統(tǒng)生態(tài)系統(tǒng)更多Hadoop在云計(jì)算的位置私有云公有云混合云Infrastructure as a S

2、ervice以服務(wù)的形式提供虛擬硬件資源，如虛擬主機(jī)/存儲(chǔ)/網(wǎng)絡(luò)等資源。用戶無需購買服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備，只需通過互聯(lián)網(wǎng)租賃即可搭建自己的應(yīng)用系統(tǒng)典型應(yīng)用：Amazon Web Service (AWS)Platform as a Service提供應(yīng)用服務(wù)引擎，如互聯(lián)網(wǎng)應(yīng)用編程接口/運(yùn)行平臺(tái)等。用戶基于該應(yīng)用服務(wù)引擎，可以構(gòu)建該類應(yīng)用。典型應(yīng)用：Google AppEngine, F, Microsoft Azure服務(wù)平臺(tái)Software as a Service用戶通過Internet (如瀏覽器)來使用軟件。用戶不必購買軟件，只需按需租用軟件典型應(yīng)用：Google Doc, S,

3、 Oracle CRM OnDemand, Office Live Workspace面向外部用戶需求，通過開放網(wǎng)絡(luò)提供云計(jì)算服務(wù)IDC，GoogleApp，Saleforce在線CRM大型企業(yè)按照云計(jì)算的架構(gòu)搭建平臺(tái)，面向企業(yè)內(nèi)部需求提供云計(jì)算服務(wù)企業(yè)內(nèi)部數(shù)據(jù)中心等兼顧以上兩種情況的云計(jì)算服務(wù)Amazon Web Server等既為企業(yè)內(nèi)部又為外部用戶提供云計(jì)算服務(wù)IAASPAASSAASIAAS分布存儲(chǔ)分布計(jì)算云計(jì)算核心技術(shù)有兩極 3200臺(tái)主機(jī) 傳統(tǒng)架構(gòu)(IOE)和云計(jì)算(虛擬化)的主要瓶頸服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器VPSVPSVPSVPSVPSVPS存儲(chǔ)陣列存儲(chǔ)陣列數(shù)據(jù)移動(dòng)數(shù)

4、據(jù)移動(dòng)EMC存儲(chǔ)OracleIBM磁盤IO瓶頸帶寬瓶頸計(jì)算瓶頸 傳統(tǒng)架構(gòu)(IOE)和云計(jì)算(虛擬化)的主要瓶頸服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器VPSVPSVPSVPSVPSVPS存儲(chǔ)陣列存儲(chǔ)陣列數(shù)據(jù)移動(dòng)數(shù)據(jù)移動(dòng)EMC存儲(chǔ)OracleIBM磁盤IO瓶頸帶寬瓶頸計(jì)算瓶頸cpucpucpu基于共享存儲(chǔ)和高性能計(jì)算的架構(gòu)。IO能力和機(jī)器數(shù)量成非正比計(jì)算能力和機(jī)器數(shù)量成正比 傳統(tǒng)架構(gòu)(IOE)和云計(jì)算(虛擬化)的主要瓶頸數(shù)據(jù)移動(dòng)數(shù)據(jù)移動(dòng)磁盤IO瓶頸帶寬瓶頸計(jì)算瓶頸服務(wù)器服務(wù)器存儲(chǔ)存儲(chǔ)cpu移動(dòng)計(jì)算而非移動(dòng)數(shù)據(jù),化整為零(128m),分片處理；本地化計(jì)算,并行IO,降低網(wǎng)絡(luò)通信服務(wù)器服務(wù)器存儲(chǔ)存儲(chǔ)cp

5、u服務(wù)器服務(wù)器存儲(chǔ)存儲(chǔ)cpu服務(wù)器服務(wù)器存儲(chǔ)存儲(chǔ)cpu服務(wù)器服務(wù)器存儲(chǔ)存儲(chǔ)cpu服務(wù)器服務(wù)器存儲(chǔ)存儲(chǔ)cpu交換機(jī)HDFSMAPReduceIO能力和機(jī)器數(shù)量成正比計(jì)算能力和機(jī)器數(shù)量成正比 Hadoop補(bǔ)充IOE存儲(chǔ)架構(gòu)應(yīng)對(duì)大數(shù)據(jù)Hbase使用使用Hadoop補(bǔ)充傳統(tǒng)架構(gòu)補(bǔ)充傳統(tǒng)架構(gòu)(IOE)Hive Hadoop處于群雄逐鹿的春秋戰(zhàn)國時(shí)代Apache,Cloudera,MapR,HotonWorks,Intel - 發(fā)行版本IBM,HP,Dell,浪潮,曙光,云創(chuàng)存儲(chǔ) -一體機(jī)天云系(天云趨勢(shì),天云科技),友友,云創(chuàng)存儲(chǔ) -解決方案亞馬遜,百度云,騰訊云,移動(dòng)打云 -云服務(wù)為何Intel會(huì)大力

6、扶植Hadoop? 服務(wù)硬件體系的混戰(zhàn)(X86-Power)(PC Server - 小型機(jī))提綱Hadoop補(bǔ)充傳統(tǒng)架構(gòu)應(yīng)對(duì)大數(shù)據(jù)Hadoop云計(jì)算架構(gòu)解析Hadoop 應(yīng)用案例和云平臺(tái)EasyHadoop,RedHadoop介紹Google云計(jì)算平臺(tái)體系結(jié)構(gòu)：20032006年在多篇學(xué)術(shù)論文公開后端系統(tǒng)：Google數(shù)據(jù)分析平臺(tái)Google 集群管理系統(tǒng)存儲(chǔ)+計(jì)算(HDFS+MapReduce)數(shù)據(jù)倉庫(Hive) 數(shù)據(jù)庫(Hbase) 批處理(Pig)BSP模型(Hama)分布式鎖(Zoomkeeper)Hadoop 是 Google 三架馬車的基礎(chǔ)Hadoop HDFS Google

7、GFS分布式文件系統(tǒng)HDFS2的模塊NameNode 計(jì)算DataNode 存儲(chǔ)Hadoop MapReduce Google MapReduce面向大規(guī)模數(shù)據(jù)處理的并行編程系統(tǒng)14/32JobTrackerTaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(MapTask)TaskTracker(ReduceTask)TaskTracker(ReduceTask)用戶程序(JobClient)中間結(jié)果中間結(jié)果中間結(jié)果邏輯分片1邏輯分片2邏輯分片3提交作業(yè)任務(wù)調(diào)度任務(wù)調(diào)度狀態(tài)監(jiān)控狀態(tài)監(jiān)控Map任務(wù)從DFS/HugeTable等中讀數(shù)據(jù)分片Ma

8、p任務(wù)在本地寫中間結(jié)果Reduce 任務(wù)讀Map輸出的中間結(jié)果Reduce 任務(wù)在DFS/HugeTable寫輸出數(shù)據(jù)MapReduce的目標(biāo)的目標(biāo) 自動(dòng)并行化：開發(fā)者不必關(guān)心底層并行處理系統(tǒng)的系統(tǒng)：開發(fā)者不必關(guān)心底層并行處理系統(tǒng)的系統(tǒng) 自動(dòng)可靠性處理：開發(fā)者不必關(guān)心設(shè)備、網(wǎng)絡(luò)的臨時(shí)：開發(fā)者不必關(guān)心設(shè)備、網(wǎng)絡(luò)的臨時(shí)/永久的故障永久的故障編程接口編程接口 Java語言編程接口、語言編程接口、C+語言編程接口語言編程接口(Pipes) 其他語言編程接口其他語言編程接口(Streaming)，可以采用，可以采用Python/Ruby/Shell等等p 用戶自定義用戶自定義map函數(shù) 接收一個(gè)輸入對(duì)接

9、收一個(gè)輸入對(duì) ，產(chǎn)生一個(gè)中間對(duì)產(chǎn)生一個(gè)中間對(duì) p 用戶自定義用戶自定義reduce函數(shù) 接收一個(gè)中間接收一個(gè)中間 K 和對(duì)應(yīng)的和對(duì)應(yīng)的 V集集，合并合并 V集集，形成一個(gè)較小的形成一個(gè)較小的 Value集集HBase Google BigTable海量結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)存儲(chǔ)訪問系統(tǒng)基于HDFS的主備Master、多個(gè)RegionSvr通過ZK構(gòu)成集群數(shù)據(jù)按照三級(jí)索引組織，三次訪問可以定位數(shù)據(jù)數(shù)據(jù)寫操作在內(nèi)存完成，但是需要對(duì)文件實(shí)施合并操作提綱Hadoop補(bǔ)充傳統(tǒng)架構(gòu)應(yīng)對(duì)大數(shù)據(jù)Hadoop云計(jì)算架構(gòu)解析Hadoop 應(yīng)用案例和云平臺(tái)EasyHadoop,RedHadoop介紹Hadoop/Hive

10、Cluster aliyunUser-phpHiveAdmin-HiveServer-HadoopHD Cluster: 80 Core,180GHZ,10TB 4G RAM,4Core*2.26GHz500GB啟動(dòng)100個(gè)Map生成100億數(shù)據(jù)通過100個(gè)Map用 Perl 隨機(jī)生成數(shù)據(jù)準(zhǔn)備,1kw,1億,10億,100億,100GB數(shù)據(jù)集通過Hive創(chuàng)建測(cè)試庫表結(jié)構(gòu)使用phpHiveadmin+HQL查詢返回結(jié)果SELECT id FROM Table where id like %JA-sq%;(模糊匹配查詢出ID 帶 JA-sq 的車牌號(hào))1億 數(shù)據(jù),并行5 Map進(jìn)程,144w/s

11、掃描速度,69s 返回10億數(shù)據(jù),并行46 Map進(jìn)程,800w/s 掃描速度,117s 返回100億數(shù)據(jù),并行453Map進(jìn)程,5400w/s 掃描速度,3分鐘返回,基本滿足需求。SELECT id,COUNT(*) FROM Table GROUP BY id(對(duì)每個(gè)車牌號(hào)分組歸并,并求出現(xiàn)次數(shù))1億 數(shù)據(jù),并行5 Map進(jìn)程,2 Reduce進(jìn)程,104w/s 處理速度,96s 返回10億數(shù)據(jù),并行46Map進(jìn)程,13Reduce進(jìn)程,230w/s 處理速度,7分鐘返回100億數(shù)據(jù),并行453Map進(jìn)程,121Reduce進(jìn)程,500w/s 處理速度,54分鐘返回。Hadoop預(yù)算,其他

12、方案的成本對(duì)比!投入成本 (10TB預(yù)算)IOE(IBM+Oracle+EMC)時(shí)代 (x)kw+ 自建Hadoop集群 (20*4w+4w)=80w+ 使用云主機(jī)構(gòu)建Hadoop 20*7970=15.94w/年轉(zhuǎn)變轉(zhuǎn)變千萬時(shí)代百萬時(shí)代十幾萬時(shí)代初創(chuàng)型公司中型技術(shù)型公司政府,銀行,電信年成本:1.5w/T我們還有那些成本壓縮空間我們還有那些成本壓縮空間?實(shí)施周期IBM+Oracle+EMC 時(shí)代(月) 自建Hadoop集群(1年-半年)學(xué)習(xí)和培訓(xùn)阿里云Hadoop時(shí)代(星期/月)轉(zhuǎn)變轉(zhuǎn)變季度/月1年/半年月/星期個(gè)人,初創(chuàng)公司中型公司政府,銀行,電信月1年/半年中型公司政府,銀行,電信維護(hù)成

13、本IBM+Oracle+EMC 時(shí)代 (規(guī)劃,實(shí)施,維護(hù),管理,) 廠商專業(yè)人員配合每次按小時(shí)收費(fèi) 自建Hadoop集群(學(xué)習(xí),經(jīng)驗(yàn),人才培育) Hadoop 云時(shí)代 (統(tǒng)一專人管理和維護(hù))轉(zhuǎn)變轉(zhuǎn)變統(tǒng)一維護(hù)個(gè)人,初創(chuàng)公司廠商專業(yè)支持自己培養(yǎng)中型公司政府,銀行,電信使用開放的技術(shù)還是封閉的技術(shù)使用開放的技術(shù)還是封閉的技術(shù)? Hadoop 應(yīng)用案例和云平臺(tái)User Case 1(智慧交通) 用戶:最大城市,交通領(lǐng)域(City traffic)場(chǎng)景:車牌記錄Car Licence Plate,100億10 Billion/年 需求:小時(shí)級(jí)別-優(yōu)化到分鐘級(jí)Minute-未來優(yōu)化到秒級(jí)Seconds查詢

14、Intelligent TransportationSmarter Cities場(chǎng)景: 車輛異?？焖僮R(shí)別Vehicle Abnormal 交通安全問題培訓(xùn)目錄移動(dòng),聯(lián)通公司大數(shù)據(jù)平臺(tái)云計(jì)算案例分析上海公司基于云計(jì)算平臺(tái)的移動(dòng)用戶行為特征分析移動(dòng)用戶行為特征分析模型 渠道偏好分析客戶細(xì)分 新業(yè)務(wù)關(guān)聯(lián)云計(jì)算案例分析江蘇公司基于云計(jì)算平臺(tái)的信令監(jiān)測(cè)系統(tǒng)基于云計(jì)算平臺(tái)的信令監(jiān)測(cè)系統(tǒng)實(shí)驗(yàn)基于BC-PDM的ETL進(jìn)行API級(jí)別的二次開發(fā)，形成信令信息分析系統(tǒng)功能包括SMS信令信息分析SP提交短信過程分析SP提交短信成功率分析GPRS的GN接口信令分析GN接口通信過程分析GN接口信令過程分析數(shù)據(jù)范圍：一個(gè)月

15、數(shù)據(jù)查詢案例查詢：返回以上功能的某個(gè)時(shí)段結(jié)果組合查詢：滿足4個(gè)復(fù)雜條件的查詢實(shí)驗(yàn)條件單位秒 聯(lián)通電信詳單查詢系統(tǒng)業(yè)務(wù)問題 提供所有手機(jī)用戶的詳單在線查詢系統(tǒng) 提供七大種類信息 套餐及固定費(fèi)、通話、短/彩信、上網(wǎng)、增值業(yè)務(wù)、代收費(fèi)用業(yè)務(wù)扣費(fèi)、其他扣費(fèi) 高峰時(shí)期提供千萬并發(fā)用戶在線查詢請(qǐng)求 已有方案 使用兩臺(tái)IBM P5 570小型機(jī)作為數(shù)據(jù)庫服務(wù)器 使用某關(guān)系數(shù)據(jù)庫 只存放3個(gè)月數(shù)據(jù) 最多提供100查詢/秒查詢 需要限制每個(gè)用戶每天查詢次數(shù)來保證系統(tǒng)穩(wěn)定服務(wù) 聯(lián)通電信詳單查詢系統(tǒng)(續(xù))新方案數(shù)據(jù)規(guī)模 可容納360TB原始數(shù)據(jù) 存放半年七大種類詳單數(shù)據(jù) 平均每天2TB新增數(shù)據(jù)導(dǎo)入新方案 構(gòu)建80臺(tái)

16、雙路IA服務(wù)器集群，安裝英特爾Hadoop發(fā)行版構(gòu)建分布式數(shù)據(jù)庫集群 共提供400TB詳單數(shù)據(jù)存儲(chǔ)容量 集群提供每秒80萬條詳單數(shù)據(jù)插入 集群可以保證每秒2萬條月詳單查詢請(qǐng)求，滿足在線用戶需要 成功案例二-聯(lián)通電信詳單查詢系統(tǒng)(續(xù))阿里淘寶的案例每日新增數(shù)據(jù)20T 累積數(shù)據(jù)14P3200+服務(wù)器的云計(jì)算平臺(tái)每天處理100,000+作業(yè)任務(wù)，包括100+新增作業(yè)任務(wù)每天處理1P+數(shù)據(jù)，包括0.5%新增數(shù)據(jù)總體數(shù)據(jù)規(guī)模阿里金融通過大數(shù)據(jù)整合掘金! 阿里金融的信用評(píng)估系統(tǒng)會(huì)自動(dòng)分析小微企業(yè)的數(shù)據(jù)，例如企業(yè)通過支付寶,淘寶進(jìn)行的支付數(shù)據(jù)，最終算出信用評(píng)估和放貸額度。 截止2011年底，阿里金融對(duì)近30

17、萬家小微企業(yè)進(jìn)行信用評(píng)估。累計(jì)投放96800家，投放貸款154億，壞賬率為交易額的0.76%。阿里金融的實(shí)時(shí)業(yè)務(wù)墻阿里金融的數(shù)據(jù)模型任務(wù)（局部）每個(gè)模型任務(wù)都是面向海量數(shù)據(jù)的大規(guī)模運(yùn)算任務(wù)。天貓/淘寶 雙十一191億億背后的開源技術(shù)?dbatools: 雙十一一天時(shí)間，支付寶核心數(shù)據(jù)庫集群處理了41億個(gè)事務(wù)，執(zhí)行285億次SQL，訪問1931億次內(nèi)存數(shù)據(jù)塊，13億個(gè)物理讀，生成15TB日志。數(shù)據(jù)應(yīng)用開發(fā)平臺(tái)數(shù)據(jù)工場(chǎng) Data IntegrationDB syncTTHiveHadoop Map ReduceHadoop HDFSDatax報(bào)表需求(淘數(shù)據(jù))Hbase即席查詢(adhoc)數(shù)據(jù)分

18、析數(shù)據(jù)挖掘數(shù)據(jù)產(chǎn)品淘寶數(shù)據(jù)平臺(tái)淘寶數(shù)據(jù)平臺(tái)產(chǎn)品架構(gòu)產(chǎn)品架構(gòu)實(shí)時(shí)計(jì)算 底層平臺(tái)數(shù)據(jù)開發(fā)平臺(tái)數(shù)據(jù)應(yīng)用成功案例四-暴風(fēng)影音從最早3個(gè)試驗(yàn)節(jié)點(diǎn),到8個(gè)線上節(jié)點(diǎn),到現(xiàn)在的30個(gè)節(jié)點(diǎn)。每天處理日志1.2T,20億行。存儲(chǔ)設(shè)計(jì)容量 200TB對(duì)外提供 產(chǎn)品分析,廣告分析,用戶分析 服務(wù)。每天處理任務(wù)上千個(gè)jobs數(shù)據(jù)系統(tǒng)的進(jìn)化-一代數(shù)據(jù)系統(tǒng)的進(jìn)化-二代數(shù)據(jù)系統(tǒng)的進(jìn)化-三代Hadoop技術(shù) 其他應(yīng)用領(lǐng)域電信醫(yī)療交通公安 航空 電力 金融 搜索 社交 游戲 視頻民生核心大數(shù)據(jù)時(shí)代 需要跨越的巨大障礙大數(shù)據(jù)(TB)大需求大集群(3臺(tái))原有系統(tǒng)的改造和遷移運(yùn)維方式轉(zhuǎn)變編程方式轉(zhuǎn)變平臺(tái)的數(shù)據(jù)遷移人才的匱乏工具的缺乏廠

19、商版本數(shù)據(jù)安全商業(yè)模式和模型的轉(zhuǎn)變大量資金的投入無法的看到產(chǎn)出大數(shù)據(jù)思維方式和模式轉(zhuǎn)變 海量用戶海量用戶大規(guī)模批量服務(wù)(服務(wù) 1.0) 決策邏輯決策邏輯 數(shù)據(jù)庫數(shù)據(jù)庫用戶用戶1邏輯邏輯1邏輯邏輯N數(shù)據(jù)集數(shù)據(jù)集 編輯人員編輯人員用戶用戶N 編輯編輯邏輯邏輯信息生產(chǎn)者信息生產(chǎn)者信息消費(fèi)者信息消費(fèi)者M(jìn)ysql/Oracle 大數(shù)據(jù)倉庫大數(shù)據(jù)倉庫 海量用戶海量用戶大規(guī)模個(gè)性化服務(wù)(服務(wù) 2.0) 決策邏輯決策邏輯 大數(shù)據(jù)庫大數(shù)據(jù)庫用戶用戶1邏輯邏輯1服務(wù)數(shù)據(jù)服務(wù)數(shù)據(jù)1用戶用戶N邏輯邏輯N服務(wù)數(shù)據(jù)服務(wù)數(shù)據(jù)N原始數(shù)據(jù)原始數(shù)據(jù)N挖掘邏輯挖掘邏輯NHiveHbaseStormHadoop原始數(shù)據(jù)原始數(shù)據(jù)1原始

20、數(shù)據(jù)原始數(shù)據(jù)2信息信息 生產(chǎn)者生產(chǎn)者/消費(fèi)者消費(fèi)者 規(guī)則制定規(guī)則制定 上帝之手上帝之手本質(zhì):智能組織-智能群體實(shí)時(shí)實(shí)時(shí)由被動(dòng)的IT支撐向主動(dòng)的以數(shù)據(jù)為核心的IT服務(wù)轉(zhuǎn)型深度擁抱互聯(lián)網(wǎng)提綱Hadoop補(bǔ)充傳統(tǒng)架構(gòu)應(yīng)對(duì)大數(shù)據(jù)Hadoop云計(jì)算架構(gòu)解析Hadoop 應(yīng)用案例和云平臺(tái)EasyHadoop,RedHadoop介紹52研發(fā)難實(shí)施難管理難開源Hadoop軟件需要更友好的用戶接口和商業(yè)支持。市場(chǎng)需求開源Hadoop之路 那些難點(diǎn)？為什么推出EasyHadoop版產(chǎn)品開源hadoop的開發(fā)困難之處:1. 難安裝,部署,配置2.難管理,監(jiān)控3.難學(xué)習(xí),算法開發(fā)4.應(yīng)用少,難使用5.找人才難6.托管

21、難,管理網(wǎng)絡(luò)難。EasyHadoop立志將Hadoop的易用性,可用性做到極致!Hadoop類似DOS、Linux，命令行操作界面化提升Hadoop管理 1. HAProxy 用作Hive負(fù)載均衡2. 編寫Daemon程序用作進(jìn)程監(jiān)控，防止進(jìn)程掛起3. 編寫任務(wù)監(jiān)控腳本，失敗任務(wù)自動(dòng)重試4. 編寫集群快速安裝部署軟件EasyHadoop5. 編寫Hive查詢界面phpHiveAdmin，做開放數(shù)據(jù)平臺(tái)6. 監(jiān)控工具Cacti，Ganglia，Nagios一個(gè)都不能少。 監(jiān)控越詳細(xì)越好。56Easyhadoop,RedHadoop 產(chǎn)品和社區(qū)ChinaBigData社區(qū)Easyhadoop社區(qū)R

22、edHadoop培訓(xùn)培訓(xùn)講座講座開源軟件開源軟件開源社區(qū)開源社區(qū)技術(shù)出版技術(shù)出版物物聚會(huì)沙龍聚會(huì)沙龍RedHadoop一體機(jī)RedHadoopCloudRedHadoop發(fā)行版聚合和培養(yǎng) 客戶,用戶,合作伙伴(品牌+渠道)打造高價(jià)值產(chǎn)品(產(chǎn)品)舉辦大會(huì)舉辦大會(huì)咨詢咨詢Hadoop 核心Apps 管理器Apps 應(yīng)用程序 理念:大數(shù)據(jù)驅(qū)動(dòng)智慧地球,智慧城市57行業(yè)解決方案(電信,醫(yī)療,交通,互聯(lián)網(wǎng))Apps 應(yīng)用層(Apps Store)phpHiveAdmin,Rhadoop,EasyPig,CronHub,ETL,ReportRedHadoop 發(fā)行版方案Apps Manager 管理層(用

23、戶/權(quán)限)核心算法核心算法圖像圖像,視頻視頻,文本文本,挖掘挖掘Hadoop/Hbase核心存儲(chǔ)和計(jì)算虛擬化系統(tǒng)管理 /NOVA海量數(shù)據(jù)分布式文件系統(tǒng)HDFSRedHadoop Big Data Cloud 技術(shù)架構(gòu)搜索引擎開源的Linux/Windows操作系統(tǒng)基于Xen的虛擬機(jī)分布式并發(fā)控制/ Zoomkeeper結(jié)構(gòu)化海量數(shù)據(jù)管理 Hbase并行程序MapReduce數(shù)據(jù)挖掘工具庫OS-Mahout/pig搜索引擎核OS-SolrCloud云計(jì)算應(yīng)用層 各類新型IT支撐系統(tǒng) 搜索引擎 郵件系統(tǒng) 等互聯(lián)網(wǎng)應(yīng)用 云計(jì)算服務(wù)層 數(shù)據(jù)挖掘：挖掘應(yīng)用的算法工具 數(shù)據(jù)倉庫：提供海量對(duì)象存儲(chǔ)能力 搜索

24、引擎： 提供基本的搜索引擎能力云計(jì)算平臺(tái)層 MapReduce2+BSP：并行程序框架 Hbase：結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) HDFS：海量數(shù)據(jù)的分布式文件系統(tǒng) Cloud Foundry：多語言應(yīng)用部署平臺(tái) openstrack:Swift：海量對(duì)象存儲(chǔ)系統(tǒng) openstrack:NOVA: 云計(jì)算平臺(tái)系統(tǒng)管理虛擬化資源層 構(gòu)建在海量同質(zhì)化的PC與不可靠硬盤上 使用開源的openstrack+Xen提供計(jì)算資源的虛擬化 運(yùn)行于開源的CentOS Linux系統(tǒng)之上對(duì)象存儲(chǔ)系統(tǒng)Swift并行程序BSD+Hama+MPI數(shù)據(jù)倉庫/ETL/ReportOS-Hive/MRQLCloud Foundry/應(yīng)用

25、部署廣告引擎存儲(chǔ),搜索,語音 APIIOS,Android 本地APP桌面,移動(dòng)瀏覽器 RedHadoop 國產(chǎn)安全Hadoop發(fā)行版本1.優(yōu)先解決數(shù)據(jù)和平臺(tái)安全問題。2022-2-19RedHadoop 存儲(chǔ)計(jì)算一體機(jī)交換機(jī)交換機(jī)DataNode+JobTrackerHiveServerRedHadoop核心節(jié)點(diǎn)NameNode+JobTrackerApps 管理器Apps 應(yīng)用程序DataNode+JobTrackerDataNode+JobTrackerDataNode+JobTracker產(chǎn)品特性:集成RedHadoop正式發(fā)行版集成Habase 數(shù)據(jù)庫發(fā)行版集成 phpHiveAdm

26、in,EasyHbase工具集1.具備最高上百T存儲(chǔ)容量DataNode+JobTracker4U 45個(gè)磁盤 180T 存儲(chǔ) = 5w 實(shí)現(xiàn)高性價(jià)比集群命名節(jié)點(diǎn)(NameNode)高密度計(jì)算高密度存儲(chǔ)DataNode10TDataNode10TDataNode10TDataNode10TDataNode180TDataNode180T/data/back/集群內(nèi)遷移2022-2-19Easy(Red)Hadoop 社區(qū)產(chǎn)品線 Hive平臺(tái)化 EasyHaoop版和Hadoop開源版的區(qū)別EasyHadoop apps Manager Hadoop app 安裝管理平臺(tái),解決Hadoop apps 管理問題 集成軟件有: -Ea