Hadoop基礎(chǔ)知識(shí)面試題大匯總

1、I.Hadoop集群可以運(yùn)行的3個(gè)模式分別是什么,都有哪些注意點(diǎn)? 單機(jī)(本地)模式：這種模式在一臺(tái)單機(jī)上運(yùn)行，沒有分布式文件系統(tǒng)， 而是直接讀寫本地操作系統(tǒng)的文件系統(tǒng)。在單機(jī)模式(standalone )中不 會(huì)存在守護(hù)進(jìn)程，所有東西都運(yùn)行在一個(gè) JVM上。這里同樣沒有DFS使 用的是本地文件系統(tǒng)。單機(jī)模式適用于開發(fā)過程中運(yùn)行MapReduce®序,這也是最少使用的一個(gè)模式。 偽分布式模式：也是在一臺(tái)單機(jī)上運(yùn)行，但用不同的Java進(jìn)程模仿分布式運(yùn)行中的各類結(jié)點(diǎn)(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),偽

2、 分布式(Pseudo)適用于開發(fā)和測(cè)試環(huán)境，在這個(gè)模式中，所有守護(hù)進(jìn)程 都在同一臺(tái)機(jī)器上運(yùn)行。 全分布式模式：全分布模式通常被用于生產(chǎn)環(huán)境，使用N臺(tái)主機(jī)組成一個(gè) Hadoopft群，Hadoop守護(hù)進(jìn)程運(yùn)行在每臺(tái)主機(jī)之上。這里會(huì)存在Namenode 運(yùn)行的主機(jī)，Datanode運(yùn)行的主機(jī)，以及task tracker運(yùn)行的主機(jī)。 在分布式環(huán)境下，主節(jié)點(diǎn)和從節(jié)點(diǎn)會(huì)分開。2. VM是否可以稱為Pseudo?不是，兩個(gè)事物，同時(shí) Pseudo只針對(duì)Hadoop3. 當(dāng)Job Tracker宕掉時(shí)，Namenodg發(fā)生什么?當(dāng)Job Tracker失敗時(shí)，集群仍然可以正常工作，只要 Namenode

3、i問題4. 是客戶端還是Namenod映定輸入的分片?這并不是客戶端決定的，在配置文件中以及決定分片細(xì)則5. 是否可以在Windows上運(yùn)行Hadoop?可以，但是最好不要這么做，Red Hat Linux或者是Ubuntu才是Hadoop的最 佳操作系統(tǒng)。6. Hadoop是否遵循UNIX模式？是的，在UNIX用例下，Hadoop還擁有“conf”目錄。7. Hadoop安裝在什么目錄下？Cloudera和Apache使用相同的目錄結(jié)構(gòu)，Hadoop被安裝在cd/usr/lib/hadoop-0.20/。8. Namenode Job tracker 和 task tracker 的端口號(hào)是

4、?Namenode 70; Job tracker , 30; Task tracker , 60。Hadoop的核心配置通過兩個(gè) xml文件來完成：1, hadoop-default.xml ； 2, hadoop-site.xml 。這些文件都使用xml 格式，因此每個(gè)xml 中都有一些屬性，包括名稱和值，但是當(dāng)下這些文件都已不復(fù)存在。10. 那當(dāng)下又該如何配置？Hadoop現(xiàn)在擁有 3 個(gè)配置文件：1, core-site.xml ； 2, hdfs-site.xml ； 3, mapred-site.xml 。這些文件都保存在conf/ 子目錄下。11. RAM勺溢出因子是？溢出因子

5、（ Spill factor ） 是臨時(shí)文件中儲(chǔ)存文件的大小，也就是 Hadoop-temp目錄。12. fs.mapr.working.dir只是單一的目錄？fs.mapr.working.dir 只是一個(gè)目錄。13. hdfs-site.xml 的 3 個(gè)主要屬性？ .dir決定的是元數(shù)據(jù)存儲(chǔ)的路徑以及 DFS的存儲(chǔ)方式（磁盤或是 遠(yuǎn)端） dfs.data.dir決定的是數(shù)據(jù)存儲(chǔ)的路徑 fs.checkpoint.dir 用于第二 Namenode14. 如何退出輸入模式？退出輸入的方式有：1,按ESC 2,鍵入:q （如果你沒有輸入任何當(dāng)下）或者鍵 入:wq （如果你已經(jīng)

6、輸入當(dāng)下），并且按下Enter。15. 當(dāng)你輸入hadoopfsck / 造成“ connection refused java exception ”時(shí)，系統(tǒng)究竟發(fā)生了什么？這意味著Namenodei有運(yùn)行在你的 VM之上。16. 我們使用Ubuntu及Cloudera ,那么我們?cè)撊ツ睦锵螺d Hadoop,或者是默認(rèn)就與Ubuntu 一起安裝？這個(gè)屬于Hadoop的默認(rèn)配置，你必須從Cloudera或者Edureka的dropbox下載，然后在你的系統(tǒng)上運(yùn)行。當(dāng)然， 你也可以自己配置，但是你需要一個(gè)Linux box，Ubuntu 或者是 Red Hat。 在 Cloudera 網(wǎng)站或者是

7、Edureka 的 Dropbox 中有安裝步驟。這個(gè)命令可以檢查 Namenode Datanode、Task Tracker、 Job Tracker 是否 正常工作。18. 如何重啟Namenode,點(diǎn)擊 stop-all.sh ,冉,點(diǎn)擊 start-all.sh 。 鍵入 sudo hdfs (Enter),su-hdfs (Enter)，/etc/init.d/ha (Enter), 及/etc/init.d/hadoop-0.20-namenode start (Enter)。19. Fsck的全名？全名是：File System Check。20. 如何檢查Namenode!否

8、正常運(yùn)行？如果要檢查Namenode!否正常工作，使用命令/etc/init.d/hadoop-0.20-namenode status 或者就是簡(jiǎn)單的 jps。21. mapred.job.tracker 命令的作用？可以讓你知道哪個(gè)節(jié)點(diǎn)是Job Tracker。22. /etc /init.d 命令的作用是？/etc /init.d說明了守護(hù)進(jìn)程(服務(wù))的位置或狀態(tài)，其實(shí)是LINUX特性，和Hadoop關(guān)系不大。23. 如何在瀏覽器中查找Namenode如果你確實(shí)需要在瀏覽器中查找Namenode你不再需要localhost:8021 ,Namenode勺端口 號(hào)是 50070。24. 如

9、何從SU轉(zhuǎn)至I Cloudera ?從SU轉(zhuǎn)至U Cloudera只需要鍵入exit 。25. 啟動(dòng)和關(guān)閉命令會(huì)用到哪些文件？Slaves 及 Masters。26. Slaves由什么組成？Slaves由主機(jī)的列表組成，每臺(tái)1行，用于說明數(shù)據(jù)節(jié)點(diǎn)。Masters同樣是主機(jī)的列表組成，每臺(tái)一行，用于說明第二Namenoddi艮務(wù)器。28. hadoop-env.sh 是用于做什么的？hadoop-env.sh 提供了 Hadoop中.JAVA_HOME運(yùn)行環(huán)境。29. Master 文件是否提供了多個(gè)入口？是的你可以擁有多個(gè)Master 文件接口。30. hadoop-env.sh 文件當(dāng)下的

10、位置？hadoop-env.sh 現(xiàn)在位于conf。31. 在 Hadoop_PID_DIR中,PID 代表了什么？PID 代表了“ Process ID”。32. /var/hadoop/pids 用于做什么？/var/hadoop/pids 用來存儲(chǔ)PID。33. perties文件的作用是？perties 被用做 “ Reporting ” ,控制 Hadoop報(bào)告，初始狀 態(tài)是“ not to report ”。34. Hadoop需求什么樣的網(wǎng)絡(luò)？Hadoop核心使用Shell (SSH來驅(qū)動(dòng)從節(jié)點(diǎn)上的服務(wù)器進(jìn)程

11、，并在主節(jié)點(diǎn)和從 節(jié)點(diǎn)之間使用password-lessSSHS接。35. 全分布式環(huán)境下為什么需求password-lessSSH？這主要因?yàn)榧褐型ㄐ胚^于頻繁，Job Tracker 需要盡可能快的給Task Tracker 發(fā)布任務(wù)。36. password-lessSSH導(dǎo)致安全問題嗎？完全不用擔(dān)心。Hadoop集群是完全隔離的，通常情況下無法從互聯(lián)網(wǎng)進(jìn)行操作。與眾不同的配置，因此我們完全不需要在意這種級(jí)別的安全漏洞，比如說通過互聯(lián)網(wǎng)侵入等等。Hadoop為機(jī)器之間的連接提供了一個(gè)相對(duì)安全的方式。37. SSHX作的端口號(hào)是？SSHT作的端口號(hào)是NO.22,當(dāng)然可以通過它來配置，22是默認(rèn)的端口號(hào)38. SShfr的注意點(diǎn)還包括？SSH只是個(gè)安全的shell通信，可以把它當(dāng)做NO.22上的一種協(xié)議，只需要配置一個(gè)密碼就可以安全的訪問。39. 為