Hadoop技術(shù)介紹與發(fā)展

1、Hadoop技術(shù)介紹與發(fā)展技術(shù)創(chuàng)新，變革未來(lái)概要Hadoop的歷史Hadoop 3介紹CommonHDFSYARNMapReduceHadoop的未來(lái)發(fā)展方向Hadoop的歷史2005200820092010201120122006200720132014201520162003 2004Hadoop從Nutch分離Google GFS& MapReducePaperHBase HiveCloudera創(chuàng)立Hortonworks創(chuàng)立Hadoop 1.0發(fā)布Hadoop 2.0 GASpark成為頂級(jí)項(xiàng)目Hadoop 3.02017Hadoop生態(tài)系統(tǒng)文件存儲(chǔ)層 HDFS資源任務(wù)調(diào)度 YARN計(jì)

2、算引擎MapReduce計(jì)算引擎SparkNoSQLHBase數(shù)據(jù)倉(cāng)庫(kù)SQL機(jī)器/深 度學(xué)習(xí)Batch任務(wù)流處理搜索KafkaHadoop 3介紹CommonJDK 8+ 升級(jí)Classpath隔離Shell腳本的重構(gòu)HDFSYARNMapReduceClasspath隔離HADOOP-11656, HDFS-6200問(wèn)題：依賴性地獄(Dependency Hell)，版本沖突解決方案：客戶端(client-side)和服務(wù)器端(server-side)的隔離Shell腳本的重構(gòu) - HADOOP-9902腳本重構(gòu)，提升可維護(hù)性和易用性修正一些長(zhǎng)期存在的bugs加入一些改進(jìn)加入一些新功能帶來(lái)一

3、些不兼容性Shell腳本現(xiàn)在更易于調(diào)試: -debugHadoop 3介紹CommonHDFS糾錯(cuò)碼(Erasure Coding)多個(gè)Standby NamenodeDatanode內(nèi)部balance工具云計(jì)算平臺(tái)的支持YARNMapReduceHDFS糾錯(cuò)碼(Erasure Coding)一個(gè)簡(jiǎn)單的例子1備份: 1,0 需要額外的2位XOR編碼: 1,0 需要額外的1位HDFS糾錯(cuò)碼(Erasure Coding)Reed-Solomon (RS) 編碼數(shù)據(jù)可靠性和存儲(chǔ)效率數(shù)據(jù)可靠性：可以最多幾個(gè)節(jié)點(diǎn)故障存儲(chǔ)效率：k/(k+m)可靠性存儲(chǔ)效率單副本0100%3副本233%XOR(6個(gè)數(shù)據(jù)單

4、元)186%RS(6,3)367%RS(10,4)471%存儲(chǔ)布局連續(xù)和條狀小文件處理 并行IO數(shù)據(jù)本地性數(shù)據(jù)本地性 小文件處理糾錯(cuò)碼在分布式存儲(chǔ)系統(tǒng)中HDFS性能多個(gè)Standby NamenodeActive NNStandby NNStandby NNDNDNDNDNJournal NodeJournal NodeJournal NodeWrite edit logsRead edit logsBlock reportsHDFS-6440云計(jì)算存儲(chǔ)虛擬化Hadoop 文件系統(tǒng)APISQL, 機(jī)器學(xué)習(xí), 流處理, BatchHadoop 3介紹CommonHDFSYARNYARN Time

5、line Service v.2YARN Federation動(dòng)態(tài)資源配置容器資源的動(dòng)態(tài)調(diào)整資源隔離調(diào)度的增強(qiáng)YARN的Web頁(yè)面的增強(qiáng)MapReduceYARN Timeline Service v.2擴(kuò)展性分布式讀寫讀寫分離HBase存儲(chǔ)YARN Timeline Service v.2可用性流(flow)聚合(aggregation)YARN FederationYARN-2915允許YARN的集群擴(kuò)展到一萬(wàn)個(gè)戒更多個(gè)節(jié)點(diǎn)YARN的集群的集群對(duì)用戶來(lái)說(shuō)是一個(gè)整體的集群動(dòng)態(tài)資源配置YARN-291允許動(dòng)態(tài)的改變NM的資源配置容器資源的動(dòng)態(tài)調(diào)整YARN-1197允許運(yùn)行時(shí)動(dòng)態(tài)的調(diào)整分配給容器

6、的資源資源隔離磁盤資源的隔離 YARN-2619網(wǎng)絡(luò)IO的隔離 YARN-2140Docker Container YARN-3611調(diào)度的增強(qiáng)在同一個(gè)隊(duì)列(queue)的優(yōu)先級(jí) YARN-1963YARN的Web頁(yè)面的增強(qiáng)YARN-3368Hadoop 3介紹CommonHDFSYARNMapReduceTask層次的Native優(yōu)化MapReduce Task層次Native優(yōu)化對(duì)map output collector的Native實(shí)現(xiàn)，對(duì)于shuffle密集型的task能帶來(lái)30%的性能提升。Hadoop 的未來(lái)HDFS的未來(lái)對(duì)象存儲(chǔ) - HDFS-7240更高性能的Namenode：更高