Hadoop平臺搭建與應用（第2版）（微課版）-課后習題及答案 項目1

項目1認識大數(shù)據(jù)PAGE13Hadoop平臺搭建與應用PAGE12課后練習1.簡述Docker的常用命令及其作用？dockerpull拉去或更新指定的鏡像dockerpush將鏡像推送到遠程倉庫dockerrm刪除容器dockerrmi刪除鏡像dockerimages列出所有鏡像dockerps列出所有容器2.本地的鏡像文件存放在那些目錄中？如何更改Docker的默認存儲設置？（1）Docker相關的本地資源存在/var/lib/docker/目錄下，其中container目錄存放容器信息，graph目錄存放鏡像信息，aufs目錄下存放具體的鏡像底層文件。（2）Docker的默認存放位置是/var/lib/docker，如果希望將Docker的本地文件存儲到其他分區(qū)，可以使用Linux軟連接的方式來實現(xiàn)。3.Docker的配置文件放在哪里？Ubuntu系統(tǒng)下Docker的配置文件是/etc/default/docker；CentOS系統(tǒng)配置文件存放在/etc/sysconfig/docker。4.hadoop的三種運行模式是什么？它們的主要區(qū)別是？(1)獨立（本地）運行模式：無需任何守護進程，所有的程序都運行在同一個JVM上執(zhí)行。在獨立模式下調(diào)試MR程序非常高效方便。所以一般該模式主要是在學習或者開發(fā)階段調(diào)試使用。(2)偽分布式模式：Hadoop守護進程運行在本地機器上，模擬一個小規(guī)模的集群，換句話說，可以配置一臺機器的Hadoop集群,偽分布式是完全分布式的一個特例。(3)完全分布式模式：Hadoop守護進程運行在一個集群上。所謂分布式要啟動守護進程，即：使用分布式hadoop時，要先啟動一些準備程序進程，然后才能使用比如start-dfs.sh,start-yarn.sh。而本地模式不需要啟動這些守護進程。5.簡述Hadoop的組件？

Hadoop是一個開源分布式計算平臺架構，其組件主要包括：（1）HDFS（分布式文件管理系統(tǒng)）

（2）MapReduce（分布式計算框架）

（3）Hive（基于Hadoop的數(shù)據(jù)倉庫）

（4）Pig（基于Hadoop的數(shù)據(jù)流系統(tǒng)）

（5）HBase（一個分布式面向列的數(shù)據(jù)庫）

（6）Spark（快速和通用計算的Hadoop數(shù)據(jù)引擎）

（7）ZooKeeper（分布式協(xié)作服務）6.Hadoop2.x的守護進程有哪些？（1）NameNode（元數(shù)據(jù)服務器）

主節(jié)點，存儲文件的元數(shù)據(jù)（文件名，文件目錄結構，文件屬性-生成時間，副本數(shù)，文件權限），以及每個文件的塊列表和塊所在的DataNode等。（2）SecondaryNameNode（輔助元數(shù)據(jù)服務器）

用來監(jiān)控HDFS狀態(tài)的輔助后臺程序，每隔一段時間獲取HDFS元數(shù)據(jù)快照。（3）DataNodes（塊存儲）

在本地文件系統(tǒng)存儲文件塊數(shù)據(jù)，以及塊數(shù)據(jù)校驗（4）ResourceManageResourceManage是一個中心的服務，它做的事情是調(diào)度、啟動每一個Job所屬的ApplicationMaster、另外監(jiān)控ApplicationMaster的存在情況。ResourceManager負責作業(yè)與資源的調(diào)度，接收JobSubmitter提交的作業(yè)，按照作業(yè)的上下文（Context）信息，以及從NodeManager收集來的狀態(tài)信息，啟動調(diào)度過程，分配一個Contain