Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實(shí)戰(zhàn)（微課版）課件 2.2Hadoop生態(tài)系統(tǒng)

Hadoop大數(shù)據(jù)項(xiàng)目開發(fā)——Hadoop生態(tài)系統(tǒng)目錄content02MapRedcue01HDFS03YARN04ZooKeeper05Hive07Sqoop06HBase08Kafka09FlumeHadoop生態(tài)系統(tǒng)簡介Hadoop生態(tài)系統(tǒng)圖HDFS：分布式文件系統(tǒng)成百上千臺(tái)服務(wù)器完成海量數(shù)據(jù)存儲(chǔ)和管理?？梢赃\(yùn)行在廉價(jià)的個(gè)人計(jì)算機(jī)集群上。HDFS負(fù)責(zé)整個(gè)分布式文件的存儲(chǔ)YARN：資源調(diào)度YARN負(fù)責(zé)資源的管理和調(diào)度例如內(nèi)存，CPU，帶寬等需要YARN統(tǒng)一調(diào)度。海量數(shù)據(jù)在HDFS存儲(chǔ)后，需要進(jìn)行相關(guān)的處理，但是處理之前，需要一個(gè)計(jì)算的框架去調(diào)度資源，底層那么多資源，需要YARN框架進(jìn)行調(diào)度。MapReduce：分布式文件計(jì)算不是實(shí)時(shí)計(jì)算，是負(fù)責(zé)離線，批處理計(jì)算的。用戶只需實(shí)現(xiàn)Map和Reduce兩個(gè)函數(shù)就可以完成分布式計(jì)算任務(wù)。MapReduce解決海量數(shù)據(jù)的計(jì)算問題Hive：數(shù)據(jù)倉庫Hive是Hadoop的數(shù)據(jù)倉庫。用于離線分析用于企業(yè)的決策分析ZooKeeper：協(xié)調(diào)服務(wù)用于統(tǒng)一維護(hù)配置信息、域名，提供分布式同步、組服務(wù)等可以用來搭建高可用集群。Hive是分布式應(yīng)用程序協(xié)調(diào)服務(wù)。HBase：非結(jié)構(gòu)化數(shù)據(jù)庫面向列的分布式開源數(shù)據(jù)庫。隨機(jī)讀寫，支持實(shí)時(shí)應(yīng)用。HBase是非關(guān)系型數(shù)據(jù)庫。HBase是Hadoop的非結(jié)構(gòu)化數(shù)據(jù)庫。Flume：日志收集訪問阿里巴巴、淘寶時(shí)的數(shù)據(jù)流都是實(shí)時(shí)生成的，需要進(jìn)行實(shí)時(shí)分析，必須有一套工具把它收集過來，F(xiàn)lume就是幫助進(jìn)行日志收集的。Flume負(fù)責(zé)日志收集Sqoop：數(shù)據(jù)導(dǎo)入導(dǎo)出Sqoop專門用于把關(guān)系型數(shù)據(jù)庫中的相關(guān)產(chǎn)品導(dǎo)入到Hadoop平臺(tái)上的HDFS、HBASE、HIVE數(shù)據(jù)庫；反之，用Sqoop把Hadoop平臺(tái)上的HDFS、HBASE、HIVE中的數(shù)據(jù)導(dǎo)出到關(guān)系型數(shù)據(jù)庫中。Sqoop負(fù)責(zé)數(shù)據(jù)的導(dǎo)入導(dǎo)出Kafka：開源流處理平臺(tái)是一個(gè)開源流處理平臺(tái)，由Scala和Java編寫。是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)。它可以處理消費(fèi)者在網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。本節(jié)小結(jié)本節(jié)