大數(shù)據(jù)面試題

1、1. 下面哪個(gè)程序負(fù)責(zé)HDFS數(shù)據(jù)存儲(chǔ)。a) NameNodeJobtrackerb) DatanodesecondaryNameNodec) tasktracker2. HDfS中的block默認(rèn)保存幾份?a) 3份2份b) 1份不確定3. 下列哪個(gè)程序通常與NameNode在一個(gè)節(jié)點(diǎn)啟動(dòng)?a) SecondaryNameNodeDataNodeb) TaskTrackerJobtracker4. Hadoop作者M(jìn)artinFowlera) KentBeckb) Dougcutting5. HDFS默認(rèn)BlockSize32MBa) 64MB128MB6. 下列哪項(xiàng)通常是集群的最主要瓶頸C

2、PUa) 網(wǎng)絡(luò)磁盤(pán)b) 內(nèi)存7. 關(guān)于SecondaryNameNode哪項(xiàng)是正確的?a) 它是NameNode的熱備它對(duì)內(nèi)存沒(méi)有要求b) 它的目的是幫助NameNode合并編輯日志，減少NameNode啟動(dòng)時(shí)間SecondaryNameNode應(yīng)與NameNode部署到一個(gè)節(jié)點(diǎn)多選題8. 下列哪項(xiàng)可以作為集群的管理工具Puppeta) PdshClouderaManagerb) d)Zookeeper9. 配置機(jī)架感知的下面哪項(xiàng)正確如果一個(gè)機(jī)架出問(wèn)題，不會(huì)影響數(shù)據(jù)讀寫(xiě)a) 寫(xiě)入數(shù)據(jù)的時(shí)候會(huì)寫(xiě)到不同機(jī)架的DataNode中MapReduce會(huì)根據(jù)機(jī)架獲取離自己比較近的網(wǎng)絡(luò)數(shù)據(jù)10. Clien

3、t端上傳文件的時(shí)候下列哪項(xiàng)正確數(shù)據(jù)經(jīng)過(guò)NameNode傳遞給DataNodea) Client端將文件切分為Block，依次上傳b) Client只上傳數(shù)據(jù)到一臺(tái)DataNode，然后由NameNode負(fù)責(zé)Block復(fù)制工作11. 下列哪個(gè)是Hadoop運(yùn)行的模式單機(jī)版a) 偽分布式分布式12. Cloudera提供哪幾種安裝CDH的方法Clouderamanagera) TarballYumd)Rpm判斷題13. Ganglia不僅可以進(jìn)行監(jiān)控，也可以進(jìn)行告警。()14. BlockSize是不可以修改的。()15. Nagios不可以監(jiān)控Hadoop集群，因?yàn)樗惶峁〩adoop支持。()

4、16. 如果NameNode意外終止，SecondaryNameNode會(huì)接替它使集群繼續(xù)工作。()17. ClouderaCDH是需要付費(fèi)使用的。()18. Hadoop是Java開(kāi)發(fā)的，所以MapReduce只支持Java語(yǔ)言編寫(xiě)。()19. Hadoop支持?jǐn)?shù)據(jù)的隨機(jī)讀寫(xiě)。()20. NameNode負(fù)責(zé)管理metadata，client端每次讀寫(xiě)請(qǐng)求，它都會(huì)從磁盤(pán)中讀取或則會(huì)寫(xiě)入metadata信息并反饋client端。()21. NameNode本地磁盤(pán)保存了Block的位置信息。()22. DataNode通過(guò)長(zhǎng)連接與NameNode保持通信。()23. Hadoop自身具有嚴(yán)格的

5、權(quán)限管理和安全措施保障集群正常運(yùn)行。()24. Slave節(jié)點(diǎn)要存儲(chǔ)數(shù)據(jù)，所以它的磁盤(pán)越大越好。()25. hadoopdfsadmin-report命令用于檢測(cè)HDFS損壞塊。()26. Hadoop默認(rèn)調(diào)度器策略為FIFO()27. 集群內(nèi)每個(gè)節(jié)點(diǎn)都應(yīng)該配RAID，這樣避免單磁盤(pán)損壞，影響整個(gè)節(jié)點(diǎn)運(yùn)行。()28. 因?yàn)镠DFS有多個(gè)副本，所以NameNode是不存在單點(diǎn)問(wèn)題的。()29. 每個(gè)map槽就是一個(gè)線(xiàn)程。()30. Mapreduce的inputsplit就是一個(gè)block。()31. NameNode的WebUI端口是50030，它通過(guò)jetty啟動(dòng)的Web服務(wù)。()32. H

6、adoop環(huán)境變量中的HADOOP_HEAPSIZ用于設(shè)置所有Hadoop守護(hù)線(xiàn)程的內(nèi)存。它默認(rèn)是200GB。()33. DataNode首次加入cluster的時(shí)候，如果log中報(bào)告不兼容文件版本，那需要NameNode執(zhí)行“Hadoopnamenode-format”操作格式化磁盤(pán)。()別走開(kāi)，答案在后面哦!答案單選題1. 下面哪個(gè)程序負(fù)責(zé)HDFS數(shù)據(jù)存儲(chǔ)。答案CdatanodeNameNodea) JobtrackerDatanodeb) secondaryNameNodetasktracker2. HDfS中的block默認(rèn)保存幾份？答案A默認(rèn)3分3份a) 2份1份b) 不確定3. 下

7、列哪個(gè)程序通常與NameNode在一個(gè)節(jié)點(diǎn)啟動(dòng)?答案DSecondaryNameNodea) DataNodeTaskTrackerb) Jobtracker此題分析：hadoop的集群是基于master/slave模式，namenode和jobtracker屬于master，datanode和tasktracker屬于slave，master只有一個(gè)，而slave有多個(gè)SecondaryNameNode存需求和NameNode個(gè)數(shù)量級(jí)上，所以通常secondaryNameNode(運(yùn)行在單獨(dú)的物理機(jī)器上)和NameNode運(yùn)行在不同的機(jī)器上。JobTracker和TaskTrackerJob

8、Tracker對(duì)應(yīng)于NameNodeTaskTracker對(duì)應(yīng)于DataNodeDataNode和NameNode是針對(duì)數(shù)據(jù)存放來(lái)而言的JobTracker和TaskTracker是對(duì)于MapReduce執(zhí)行而言的mapreduce中幾個(gè)主要概念，mapreduce整體上可以分為這么幾條執(zhí)行線(xiàn)索：obclient，JobTracker與TaskTracker。1、JobClient會(huì)在用戶(hù)端通過(guò)JobClient類(lèi)將應(yīng)用已經(jīng)配置參數(shù)打包成jar文件存儲(chǔ)到hdfs，并把路徑提交到Jobtracker,然后由JobTracker創(chuàng)建每一個(gè)Task(即MapTask和ReduceTask)并將它們分

9、發(fā)到各個(gè)TaskTracker服務(wù)中去執(zhí)行。2、JobTracker是一個(gè)master服務(wù)，軟件啟動(dòng)之后JobTracker接收J(rèn)ob，負(fù)責(zé)調(diào)度Job的每一個(gè)子任務(wù)task運(yùn)行于TaskTracker上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的task就重新運(yùn)行它。一般情況應(yīng)該把JobTracker部署在單獨(dú)的機(jī)器上。3、TaskTracker是運(yùn)行在多個(gè)節(jié)點(diǎn)上的slaver服務(wù)。TaskTracker主動(dòng)與JobTracker通信，接收作業(yè)，并負(fù)責(zé)直接執(zhí)行每一個(gè)任務(wù)。TaskTracker都需要運(yùn)行在HDFS的DataNode上。4. Hadoop作者答案CDougcuttingMartinFowler

10、a) KentBeckDougcutting5. HDFS默認(rèn)BlockSize答案：B32MBa) 64MB128MB(因?yàn)榘姹靖鼡Q較快，這里答案只供參考6. 下列哪項(xiàng)通常是集群的最主要瓶頸：答案：C磁盤(pán)CPUa) 網(wǎng)絡(luò)磁盤(pán)IOb) 內(nèi)存該題解析：首先集群的目的是為了節(jié)省成本，用廉價(jià)的機(jī)。小型機(jī)和大型機(jī)有什么特點(diǎn)?1. cpu處理能力強(qiáng)2. 內(nèi)存夠大所以集群的瓶頸不可能是a和d3. 網(wǎng)絡(luò)是一種稀缺資源，但是并不是瓶頸。4. 由于大數(shù)據(jù)面臨海量數(shù)據(jù)，讀寫(xiě)數(shù)據(jù)都需要hadoop般備3份數(shù)據(jù)，所以10就會(huì)打折扣。pc機(jī)，取代小型機(jī)及大型io，然后還要冗余數(shù)據(jù)，7. 關(guān)于SecondaryNameN

11、ode哪項(xiàng)是正確的?答案C它是NameNode的熱備a) 它對(duì)內(nèi)存沒(méi)有要求時(shí)間SecondaryNameNode應(yīng)與NameNode部署到一個(gè)節(jié)點(diǎn)。多選題8. 下列哪項(xiàng)可以作為集群的管理?答案：ABDPuppeta) PdshClouderaManagerb) Zookeeper9. 配置機(jī)架感知的下面哪項(xiàng)正確：答案ABC如果一個(gè)機(jī)架出問(wèn)題，不會(huì)影響數(shù)據(jù)讀寫(xiě)a) 寫(xiě)入數(shù)據(jù)的時(shí)候會(huì)寫(xiě)到不同機(jī)架的DataNode中MapReduce會(huì)根據(jù)機(jī)架獲取離自己比較近的網(wǎng)絡(luò)數(shù)據(jù)10. Client端上傳文件的時(shí)候下列哪項(xiàng)正確?答案B數(shù)據(jù)經(jīng)過(guò)NameNode傳遞給DataNodea) Client端將文件切分

12、為Block，依次上傳Client只上傳數(shù)據(jù)到一臺(tái)DataNode，然后由NameNode負(fù)責(zé)Block復(fù)制工作該題分析：Client向NameNod發(fā)起文件寫(xiě)入的請(qǐng)求。NameNode艮據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。11. 下列哪個(gè)是Hadoop運(yùn)行的模式：答案ABC單機(jī)版a) 偽分布式分布式12. Cloudera提供哪幾種安裝CDH的方法？答案：ABCDClouderamanagera) TarballYumb) Rpm判斷題

13、13. Ganglia不僅可以進(jìn)行監(jiān)控，也可以進(jìn)行告警。(正確)分析：此題的目的是考Ganglia的了解。嚴(yán)格意義上來(lái)講是正確。ganglia作為一款最常用的Linux環(huán)境中的監(jiān)控軟件，它擅長(zhǎng)的的是從節(jié)點(diǎn)中按照用戶(hù)的需求以較低的代價(jià)采集數(shù)據(jù)。但是ganglia在預(yù)警以及發(fā)生事件后通知用戶(hù)上并不擅長(zhǎng)。最新的ganglia已經(jīng)有了部分這方面的功能。但是更擅長(zhǎng)做警告的還有Nagios。Nagios，就是一款精于預(yù)警、通知的軟件。通過(guò)將Ganglia和Nagios組合起來(lái)，把Ganglia采集的數(shù)據(jù)作為Nagios的數(shù)據(jù)源，然后利用Nagios來(lái)發(fā)送預(yù)警通知，可以完美的實(shí)現(xiàn)一整套監(jiān)控管理的系統(tǒng)。14.

14、 BlockSize是不可以修改的。（錯(cuò)誤）分析：它是可以被修改的Hadoop的基礎(chǔ)配置文件是hadoop-default.xml，默認(rèn)建立一個(gè)Job的時(shí)候會(huì)建立Job的Config，Config首先讀入hadoop-default.xml的配置，然后再讀入hadoop-site.xml的配置（這個(gè)文件初始的時(shí)候配置為空），hadoop-site.xml中主要配置需要覆蓋的hadoop-default.xml的系統(tǒng)級(jí)配置。15. Nagios不可以監(jiān)控Hadoop集群，因?yàn)樗惶峁〩adoop支持。（錯(cuò)誤）分析：Nagios是集群監(jiān)控工具，而且是云計(jì)算三大利器之一16. 如果NameNode意

15、外終止，SecondaryNameNode會(huì)接替它使集群繼續(xù)工作。（錯(cuò)誤）分析：SecondaryNameNode是幫助恢復(fù)，而不是替代，如何恢復(fù)，可以查看17. ClouderaCDH是需要付費(fèi)使用的。（錯(cuò)誤）分析：第一套付費(fèi)產(chǎn)品是ClouderaEnterpris，ClouderaEnterprise在美國(guó)加州舉行的Hadoop大會(huì)（HadoopSummit）上公開(kāi)，以若干私有管理、監(jiān)控、運(yùn)作工具加強(qiáng)Hadoop的功能。收費(fèi)采取合約訂購(gòu)方式，價(jià)格隨用的Hadoop叢集大小變動(dòng)。18. Hadoop是Java開(kāi)發(fā)的，所以MapReduce只支持Java語(yǔ)言編寫(xiě)。（錯(cuò)誤）分析：rhadoop是

16、用R語(yǔ)言開(kāi)發(fā)的，MapReduce是一個(gè)框架，可以理解是一種思想，可以使用其他語(yǔ)言開(kāi)發(fā)。19. Hadoop支持?jǐn)?shù)據(jù)的隨機(jī)讀寫(xiě)。（錯(cuò)）分析：lucene是支持隨機(jī)讀寫(xiě)的，而hdfs只支持隨機(jī)讀。但是HBase可以來(lái)補(bǔ)救。HBase提供隨機(jī)讀寫(xiě)，來(lái)解決Hadoop不能處理的問(wèn)題。HBase自底層設(shè)計(jì)開(kāi)始即聚焦于各種可伸縮性問(wèn)題：表可以很“高”，有數(shù)十億個(gè)數(shù)據(jù)行;也可以很“寬”，有數(shù)百萬(wàn)個(gè)列;水平分區(qū)并在上千個(gè)普通商用機(jī)節(jié)點(diǎn)上自動(dòng)復(fù)制。表的模式是物理存儲(chǔ)的直接反映，使系統(tǒng)有可能提高高效的數(shù)據(jù)結(jié)構(gòu)的序列化、存儲(chǔ)和檢索。20. NameNode負(fù)責(zé)管理metadata，client端每次讀寫(xiě)請(qǐng)求，它都

17、會(huì)從磁盤(pán)中讀取或則會(huì)寫(xiě)入metadata信息并反饋client端。（錯(cuò)誤）此題分析：NameNode不需要從磁盤(pán)讀取metadata，所有數(shù)據(jù)都在內(nèi)存中，硬盤(pán)上的只是序列化的結(jié)果，只有每次namenode啟動(dòng)的時(shí)候才會(huì)讀取。1）文件寫(xiě)入Client向NameNode起文件寫(xiě)入的請(qǐng)求。DataNode的信息。Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。2）文件讀取Client向NameNod發(fā)起文件讀取的請(qǐng)求。21. NameNode本地磁盤(pán)保存了Block的位置信息。（個(gè)人認(rèn)為正確，歡迎提出其它意見(jiàn)）分析：DataNode是文

18、件存儲(chǔ)的基本單元，它將Block存儲(chǔ)在本地文件系統(tǒng)中，保存了Block的Meta-data，同時(shí)周期性地將所有存在的Block信息發(fā)送給NameNod。NameNode返回文件存儲(chǔ)的DataNode的信息。Client讀取文件信息。22. DataNode通過(guò)長(zhǎng)連接與NameNode保持通信。（）這個(gè)有分歧：具體正在找這方面的有利資料。下面提供資料可參考。首先明確一下概念：（1）.長(zhǎng)連接Client方與Server方先建立通訊連接，連接建立后不斷開(kāi)，然后再進(jìn)行報(bào)文發(fā)送和接收。這種方式下由于通訊連接一直存在，此種方式常用于點(diǎn)對(duì)點(diǎn)通訊。（2）.短連接Client方與Server每進(jìn)行一次報(bào)文收發(fā)交

19、易時(shí)才進(jìn)行通訊連接，交易完畢后立即斷開(kāi)連接。此種方式常用于一點(diǎn)對(duì)多點(diǎn)通訊，比如多個(gè)Client連接一個(gè)Server.23. Hadoop自身具有嚴(yán)格的權(quán)限管理和安全措施保障集群正常運(yùn)行。（錯(cuò)誤）hadoop只能阻止好人犯錯(cuò)，但是不能阻止壞人干壞事24. Slave節(jié)點(diǎn)要存儲(chǔ)數(shù)據(jù)，所以它的磁盤(pán)越大越好。（錯(cuò)誤）分析：一旦Slave節(jié)點(diǎn)宕機(jī)，數(shù)據(jù)恢復(fù)是一個(gè)難題25. hadoopdfsadmin-report命令用于檢測(cè)HDFS損壞塊。（錯(cuò)誤）26. Hadoop默認(rèn)調(diào)度器策略為FIFO（正確）27. 集群內(nèi)每個(gè)節(jié)點(diǎn)都應(yīng)該配RAID，這樣避免單磁盤(pán)損壞，影響整個(gè)節(jié)點(diǎn)運(yùn)行。（錯(cuò)誤）分析：首先明白什么是RAID,可以參考百科磁盤(pán)陣列。這句話(huà)錯(cuò)誤的地方在于太絕對(duì)，具體情況具體分析。題目不是重點(diǎn)，知識(shí)才是最重要的。因?yàn)閔adoop本身就具有冗余能力，所以如果不是很?chē)?yán)格不需要都配