Hadoop期中考試測試

Hadoop期中考試1．單選題（每個1.5分，共20分）（1） Mapreduce擅長哪個領(lǐng)域的計算（ A）。離線批處理DAG計算流式計算實(shí)時計算（2）關(guān)于MapReduce原理，下面說法錯誤的是（D）。分為Map和Reduce兩個階段Map階段由一系列Map任務(wù)組成Reduce階段由一系列Reduce任務(wù)組成Map階段與Reduce階段沒有任何依賴關(guān)系（3） HDFS默認(rèn)副本數(shù)是（C）。12TOC\o"1-5"\h\z34（4）不屬于HDFS架構(gòu)組成部分是（ D）。NameNodeSecondaryNameNodeDataNodeTaskTracke（rHadoopMapReduce1.0的組件）★（5）關(guān)于Block和Split兩個概念，下面說法錯誤的是（C）。Block是HDFS中最小的數(shù)據(jù)存儲單位Split是MapReduce中最小的計算單元Block是Split是一一對應(yīng)關(guān)系（默認(rèn)是——對應(yīng)的）Block和Split之間對應(yīng)關(guān)系是任意的，可由用戶控制（6） 以下不屬于Hadoop內(nèi)核的組成部分的是（C）。HDFSMapReduceHBaseYARN（7） 不屬于HBase中的術(shù)語的是（D）。ColumnColumnFamilyRowKeyMeta（8）下面關(guān)于Hive，說法錯誤的是（ A）。Hive支持所有標(biāo)準(zhǔn)SQL語法Hive底層采用的計算引擎是 MapReduce（目前支持Spark、Tez等）Hive提供的HQL語法，與傳統(tǒng)SQL很類似HiveServer可采用MySQL存儲元數(shù)據(jù)信息（9）通常而言，一個標(biāo)準(zhǔn)的生產(chǎn)環(huán)境（考慮成本、效益等）中，Zookeeper實(shí)例個數(shù)不可能是（B）。TOC\o"1-5"\h\z3457（10） Flume的主要作用是（C）。數(shù)據(jù)處理和分析數(shù)據(jù)存儲數(shù)據(jù)收集網(wǎng)絡(luò)爬蟲（11）HBase支持多語言（比如C++、Python等）訪問，為實(shí)現(xiàn)該功能，它采用的開源軟件是（C）。protobuf自定義網(wǎng)絡(luò)協(xié)議thriftavro（12） 關(guān)于HDFS和HBase說法錯誤的是（D）。HDFS不能隨機(jī)讀寫，HBase可以HDFS適合存儲大文件，HBase可以存儲小文件HBase底層采用了HDFSHDFS和HBase無直接關(guān)系（13） YARN和MapReduce的關(guān)系是（A）。MapReduce是一個計算框架，可運(yùn)行在 YARN之上YARN是一個計算框架，可運(yùn)行在 MapReduce之上MapReduce和YARN無直接關(guān)系以上回答均不正確★★★（14）關(guān)于MapReduce中的數(shù)據(jù)本地性，下面方法正確的是（AB）。MapTask和ReduceTask都會考慮數(shù)據(jù)本地性只有MapTask會考慮數(shù)據(jù)本地性（Reduce階段是從Map階段拉取Shuffle數(shù)據(jù)的）只有ReduceTask會考慮數(shù)據(jù)本地性MapTask和ReduceTask都不考慮數(shù)據(jù)本地性（15）與Hive相比，Presto主要優(yōu)勢是（C）。利用MapReduce進(jìn)行分布式計算，更加高效完全分布式計算，可以充分利用集群資源MPP架構(gòu)，全內(nèi)存計算有很強(qiáng)的容錯性（16）下面哪種存儲格式是Hive中常用的列式存儲格式（ D）。TextFileSequeneeFileParquetORC★（17）下面哪個信息不會存儲在 HBase的一個cell（EC）。rowkeycolumnfamily名稱表名列名版本號cell值數(shù)據(jù)存儲冗余，非常耗費(fèi)空間（18）默認(rèn)情況下，一個MapReduce作業(yè)（處理的數(shù)據(jù)HDFS上的一個目錄）的maptask個數(shù)是由（B）決定的。目錄中文件個數(shù)目錄對應(yīng)的block數(shù)目C?默認(rèn)個數(shù)是1D.用戶自己指定HDFS,Block默認(rèn)大小為128MB。一個Block文件只能來自于一個文件。查看一個文件有多少個 Block的命令：hdfsfsck/input-iles-blocks-locations（19） Hive和Presto支持標(biāo)準(zhǔn)SQL嗎？（BD）都支持都不支持Hive支持，Presto不支持Hive不支持，Presto支持（20）既然有了Hive，還需要用MapReduce編寫程序處理數(shù)據(jù)嗎？（ B）不需要Bg-需^<.多選題（每個4分，共20分）（1）關(guān)于HDFS說法正確的是（ABC）不存在NameNode單點(diǎn)故障問題一個集群可存在多個NameNode對外提供服務(wù)HDFSHA和Federation是它的兩大特色不能存儲小文件（2） 關(guān)于Kafka,說法正確的是（BCD）是一個分布式key/value存儲系統(tǒng)由producer、broker禾口consumer等角色構(gòu)成通過zookeeper進(jìn)行服務(wù)協(xié)調(diào)消息可以存成多個副本以達(dá)到容錯的目標(biāo)（3） 關(guān)于MapReduce，說法正確的是（ ACD）A.MapReduce具有容錯性，一臺節(jié)點(diǎn)掛掉不會導(dǎo)致整個應(yīng)用程序運(yùn)行失敗所有MapReduce程序公用一個ApplicationMasterMapReduce程序可以運(yùn)行在YARN之上（也可以運(yùn)行在本地）MapReduce是Hive默認(rèn)的計算引擎（4） 用戶可使用哪幾種語言開發(fā) MapReduce應(yīng)用程序（ABCD）A.C++B.JavaC.PHPD.Go（5） 下面哪幾個屬于YARN自帶的資源調(diào)度器（BCD）DeadlineSchedulerFIFO（先進(jìn)先出）CapacityScheduler（容錯調(diào)度系統(tǒng)）FairScheduler(公平調(diào)度系統(tǒng))3．簡答題(每個5分，共10分)(1)描述MapReduce作業(yè)從提交到Y(jié)ARN上，到運(yùn)行結(jié)束的整個過程，請用步驟 1，步驟2,…，描述。答：步驟1,客戶端提交請求到Y(jié)arn的ResourceManager步驟2,RM確定一個AppMaster步驟3,AppMaster向RM申請NodeManager步驟4,AppMaster將Task發(fā)送給NodeManager僅限執(zhí)行步驟5,AppMaster負(fù)責(zé)收集NodeManager的運(yùn)行結(jié)果步驟6,AppMaster將結(jié)果返回給客戶端(2)★試描述如何對HadoopStreaming程序進(jìn)行調(diào)試？并舉出一個例子。答：？單機(jī)運(yùn)行，本地測試：1.txt:cat，管道輸入Mapper,sort(3) 試寫出以下操作的shell命令：在HDFS上創(chuàng)建目錄/home/test答：hdfsdfs-mkdir/homehdfsdfs-mkdir/home/test或hdfsdfs-mkdir-p/home/test將正在運(yùn)行的ID為的應(yīng)用程序殺死答：查看HDFS上文件/home/test/1.txt的大小答：hdfsdfs-ls/home/test/1.txt在Hive中創(chuàng)建一個parquet表，采用gzip壓縮格式，該表名為test，包含兩列：int類型名為id的列和string類型名為namename的列。如何在Presto中創(chuàng)建這個表，有何不同？答：createtableifnotexiststest(idint,namenamestring)gzipstoredasparquet;4.編程題(40分)(1)有一批文件,格式如下：每行有4列,每一列均是一個整數(shù),列之間采用“ .”作為分隔符,將數(shù)據(jù)按照第二列和第三列分組,每組中第四列所有數(shù)之和。注：如果第二列相同,則按照第三列分組,比如上述結(jié)果為：TOC\o"1-5"\h\z3511.4 1結(jié)果中，key為"第二列和第三列"值，value是對應(yīng)的第四列累加和，key和value之間使用\t分割。要求：使用任意語言實(shí)現(xiàn)以上功能，寫出Mapper和Reducer，并給出相應(yīng)的作業(yè)提交命令(或腳本)。

答：(根據(jù)WordCount實(shí)例進(jìn)行改造)Mapper:String[]values=value.toString().split( “.”);TextoutputKey=newText( values[1]+'.'+values[2] );IntWritableoutputValue=newIntWritable(Integer.parsetInt(values[3]));Context.write(outputKey,outputValue);Reducer:無需調(diào)整(2)編寫MapReduce程序?qū)崿F(xiàn)以下功