數(shù)據(jù)工程師培訓(xùn)題庫(kù)(四)

1、:用戶提交TDH數(shù)據(jù)平督羽比欄匚檄肺贄題攵，可能的原因有 川 I /、A .當(dāng)前集群中沒(méi)有足夠的資源，不足以瑞膽i前wordcount .fiOj甯求【說(shuō)B 1執(zhí)行該任務(wù)的用戶沒(méi)有權(quán)限訪問(wèn)HDFS上的數(shù)據(jù)文件a）彩觀H四輯行H那之舒總HDFSM我的目錄下創(chuàng)建了提交任務(wù)時(shí)指定的輸出目錄b）甘觀陽(yáng)J4隔者淵!育10分，總計(jì)40分c） 滿分100分。7、以下關(guān)于外表和托管表描述正確的是（）【不親噪H版腦扁2前60招涌數(shù)據(jù)存小I在hdfs上1、地啦桃院邈1it正mcephr 上的元數(shù)如不會(huì)刪除數(shù)據(jù)文件，刪除外表兩者都會(huì)被刪篩HDFS DataNode節(jié)點(diǎn)上的磁盤需要做 RAID1,用來(lái)保證數(shù)據(jù)的可靠性

2、民附DFSIBS之幅tor balance!磔掰設(shè)那負(fù)載腦模托管表兩者都會(huì)被刪候.HDFS建議DataNode之間的數(shù)據(jù)盤個(gè)數(shù)、容量大小不一致，以體現(xiàn) HDFS的負(fù)載 均衡有刪除托管表或外表，incepotr上的元數(shù)據(jù)和數(shù)據(jù)文件都會(huì)被刪除D.規(guī)戈ij HDFS集群時(shí)，建議 Active NameNode和Standby NameNode分配在不同的更餐Ql運(yùn)行中如果出現(xiàn)maptask數(shù)據(jù)特別多，執(zhí)行時(shí)間又很短時(shí)可以通過(guò)小文件合并來(lái)會(huì)彳于陋那電!艙鐘彷參HDFS.可靠協(xié)調(diào)弧務(wù)的共享存儲(chǔ)？（）A. SooKeemerpartition.automerge = TRUE;B. JournalNode

3、s _ _ _C. SET ngmr.partition.mergesize = n;D. Nam eiNorpartition.mergesize.mb = m;E. SETmovreC蹴ucertasks = N；9;斛卿配ScepH/fiB自碑刎塊大小中128M，此時(shí)我們上傳一份64M 的數(shù)蝦,nceperVerm為存杷臉惻都關(guān)ar/log/inceptorsqlx/hive-server.logA. 64M以通過(guò) inceptor server 4040 查看 SQL錯(cuò)誤日志B . 128M xC. EXcutor日志存放于D384xcutorGC日志存放于excutor 節(jié)點(diǎn)的 /v

4、ar/log/inceptorsqlx/spark-excutor.logD . 192Mexcutor 節(jié)點(diǎn)的 /var/log/inceptorsqlx/spark-excutor.gc.log整理文檔10、tableA有10G的數(shù)據(jù)，tableB有100G的數(shù)據(jù)，兩個(gè)表通過(guò)共有的id列做關(guān)聯(lián)查詢B. NseeMaF+MApjoiN（b）*/, from tableA a join tableB b on a.id=b.idC. App憫nMtabeA和tableB根據(jù)id字段分相同數(shù)量的桶A. . RseoecceMMAPJOlN（a）*/ ,b.na

5、me from tableA a join tableB b on a.id=b.idD. Contane和tableA和tableB根據(jù)name字段分相同數(shù)量的桶 11、ResowManMasreARNM要組呵分，有關(guān)其功能描述不正確的是（A.劣RgiWW”贈(zèng)國(guó)怡聲分配給運(yùn)行在yarn上的應(yīng)用程序B. .林n黃柵的所有資源進(jìn)行統(tǒng)一管理和分配（C .病珞瑞ncompact w2 ffl喝嗤服樹時(shí)陶嫉作12、Hyperbase與Inceptor的關(guān)系，描述正確的是（）A.兩者不可或缺，Inceptor保證Hyperbase的服務(wù)的正常運(yùn)行B.兩者沒(méi)有任何關(guān)系C. Inceptor 可以訪問(wèn) Hy

6、perbaseD.兩者相輔相成13、下列創(chuàng)建全局索引的語(yǔ)句，正確的是（）A. add_index t1, index_name :COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueB. add_global_index t1,index_name , COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=trueC. add_fulltext_index t1,index_name :COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10

7、,UPDATE=trueD. create_global_index t1,index_nameCOMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true14、以下對(duì)流處理計(jì)算框架描述不正確的是（）A. Spark Streaming 是基骨二微批（batch）對(duì)數(shù)據(jù)進(jìn)行處理的B. Apache Storm 是基于二時(shí)間（event）對(duì)數(shù)據(jù)進(jìn)行處理的C. Transwarp StreamSQL可基于微批或事件對(duì)數(shù)據(jù)進(jìn)行處理D.以上說(shuō)法都不對(duì)15、某交通部門通過(guò)使用流監(jiān)控全市過(guò)往24小時(shí)各個(gè)卡口數(shù)據(jù)，要求每分鐘更新一次，原始流為org_s

8、tream ,以下實(shí)現(xiàn)正確的是（）A. CREATE STREAMWINDOW traffic_stream AS SELECT * FROM original_stream STREAM w1 AS （length 1 minute slide 24 hour）;B. CREATE STREAMtraffic_streamASSELECT *FROMoriginal_streamSTREAMWINDOW w1 AS （length 1 minute slide 24 hour）;C. CREATE STREAMtraffic_streamASSELECT *FROMoriginal_stre

9、amSTREAMWINDOW w1 AS （length 24 hour slide 1 minute）;D. CREATE STREAM traffic_stream AS SELECT * FROM original_stream AS （length 24 second slide 1 minute）;16、Zookeeper服務(wù)描述正確的為（）A . Zookeeper 中每一個(gè) server 互為 leader oB . Zookeeper中只有一個(gè)leader,并通過(guò)備份機(jī)制產(chǎn)生。C . Zookeeper中不存在leader,所有server共同提供服務(wù)。D . Zookeepe

10、r通過(guò)選舉機(jī)制確定leader,有且僅有一個(gè)。整理文檔17、通過(guò)Hue修改HDFS目錄或文件的權(quán)限可以通過(guò)以下哪些方式實(shí)現(xiàn)（）AHdfs 相應(yīng)的權(quán)限8 通過(guò) Hue 超級(jí)用戶hue 登錄C以 hdfs 用戶登錄D以上都可以18、通過(guò)Oozie使用ssh,必須滿足以下條件（）A以 root 用戶登錄各個(gè)節(jié)點(diǎn)9 Oozie 用戶可以免密鑰登錄COozie 用戶必須要有bash權(quán)限D(zhuǎn) .所訪問(wèn)必須是集群的節(jié)點(diǎn)19、有關(guān)用sqoop 抽取數(shù)據(jù)的原理的描述不正確的是（）A . sqoop 在抽取數(shù)據(jù)的時(shí)候可以指定map 的個(gè)數(shù)，map 的個(gè)數(shù)決定在hdfs 生成的數(shù)據(jù)文件的個(gè)數(shù)B . sqoop 抽取數(shù)

11、據(jù)是個(gè)多節(jié)點(diǎn)并行抽取的過(guò)程，因此map 的個(gè)數(shù)設(shè)置的越多性能越好C . sqoop 任務(wù)的切分是根據(jù)split 字段的（最大值-最小值）/map 數(shù)D . sqoop 抽取數(shù)據(jù)的時(shí)候需要保證執(zhí)行當(dāng)前用戶有權(quán)限執(zhí)行相應(yīng)的操作20、在用sqoop 連接關(guān)系型數(shù)據(jù)時(shí)，下面哪個(gè)命令可以查看關(guān)系型數(shù)據(jù)庫(kù)中有哪些表？（）A. sqoop list-databases- -username root- -password 111111- -connect jdbc:mysql:/5:3306 /B. sqoop list-databases- -username root- P-

12、-connect jdbc:mysql:/5:3306 /C. sqoop list-databases- -username root- -password-file file:/root/.pwd- -connect jdbc:mysql:/5:3306 /D. sqoop list-tables- -username root- -password 111111- -connect jdbc:mysql:/5:3306 /test21、要將采集的日志數(shù)據(jù)作為kafka的數(shù)據(jù)源，則flume sink需要設(shè)置為下

13、列哪項(xiàng)參數(shù)（ ）A . hdfsB . kafkaC . org.apache.flume.sink.kafka.KafkaSinkD . topicname22、下列是關(guān)于flume和sqoop對(duì)比的描述，不正確的是（）A . flume主要用來(lái)采集日志而sqoop主要用來(lái)做數(shù)據(jù)遷移B . flume主要采集流式數(shù)據(jù)而sqoop主要用來(lái)遷移規(guī)范化數(shù)據(jù)C . flume和sqoop都是分布式處理任務(wù)D . flume主要用于采集多數(shù)據(jù)源小數(shù)據(jù)而sqoop用來(lái)遷移單數(shù)據(jù)源數(shù)據(jù)23、有關(guān)曰asticsearch描述有誤的一項(xiàng)是（）A.它會(huì)利用多播形式發(fā)現(xiàn)節(jié)點(diǎn)。B.主節(jié)點(diǎn)（master node）通

14、過(guò)選舉方式產(chǎn)生。C.主節(jié)點(diǎn)（master node）進(jìn)行集群的管理，只負(fù)責(zé)集群節(jié)點(diǎn)添加和刪除。D.主節(jié)點(diǎn)會(huì)去讀集群狀態(tài)信息，必要的時(shí)候進(jìn)行恢復(fù)工作。24、下面措施中，不能保證 kafka數(shù)據(jù)可靠性的是（）A . kafka會(huì)將所有消息持久化到硬盤中保證其數(shù)據(jù)可靠性B . kafka通過(guò)Topic Partition設(shè)置Replication來(lái)保證其數(shù)據(jù)可靠性C . kafka通過(guò)設(shè)置消息重發(fā)機(jī)制保證其數(shù)據(jù)可靠性D . kafka無(wú)法保證數(shù)據(jù)可靠性25、TDH提供哪幾種認(rèn)證模式？（）A.所有服務(wù)使用簡(jiǎn)單認(rèn)證模式一一所有服務(wù)都無(wú)需認(rèn)證即可互相訪問(wèn)B.所有服務(wù)都啟用 Kerberos認(rèn)證，用戶要提供

15、 Kerberos principal 和密碼（或者 keytab ）來(lái)訪問(wèn)各個(gè)服務(wù)C.所有服務(wù)都啟用 Kerberos同時(shí)Inceptor 啟用LDAPA證D.所有服務(wù)都啟用LDAPU證26、開啟LDAP后，應(yīng)該使用哪個(gè)命令連接Inceptor （）A. transwarp -t -h $ip 。B. beeline -u jdbc:hive2:$ip:10000 -n $username -p $password 。C. beeline -ujdbc:hive2:$ip:10000/default;principal=hive/node1TDH”。D. beeline -ujdbc:hiv

16、e2:$ip:10000/default;principal=user1TDH”。整理文檔整理文檔27、 Inceptor server 服務(wù)無(wú)法啟動(dòng)時(shí)，該如何查看日志是（）A. 查看 TDH manager所在節(jié)點(diǎn) /var/log/inceptorsql*/ 目錄下的 hive-server2.log 日志8 查看 Inceptor server 所在節(jié)點(diǎn)/var/log/inceptorsql*/ 目錄下的hive-server2.log 日志C 查 看 Resource Manager 所 在 節(jié) 點(diǎn) /var/log/Yarn*/ 目 錄 下 的 yarn-yarn-resource

17、manager-poc-node1.log 日志D 查看任意節(jié)點(diǎn)/var/log/inceptorsql*/ 目錄下的hive-server2.log 日志28、現(xiàn)有一批數(shù)據(jù)需要進(jìn)行清洗，要求對(duì)其中null 通過(guò) update 轉(zhuǎn)換為 0，刪除重復(fù)的記錄，添加部分新的記錄，則該表應(yīng)該設(shè)計(jì)為（）A. Tex表B. Orc 表C. Orc 事務(wù)表D. Holodesk 表29、現(xiàn)有一個(gè)表數(shù)據(jù)要存儲(chǔ)在hyperbase 上，并創(chuàng)建全文索引，原表數(shù)據(jù)10GB， HDFS配置為3副本，hyperbase壓縮比例按1:3計(jì)算，索引數(shù)據(jù)量為20GB, ES副本數(shù)為1,ES壓縮比按1:3計(jì)算，則該表需要多大的存儲(chǔ)空間存儲(chǔ)（）A. 16.67GBB. 23.33GBC. 30GBD. 70GB30、下面哪些工作不屬于集群預(yù)安裝工作（）A . 為集群中每個(gè)節(jié)點(diǎn)的安裝操作系統(tǒng)B . 選一個(gè)節(jié)點(diǎn)作為管理節(jié)點(diǎn)，修改其/etc/hosts 文件C . 安裝 Transwarp Manager 管理界面D . 配置集群安全模式整理文檔【客觀簡(jiǎn)答題（每題10 分，共 40 分） 】1、請(qǐng)描述HDFS的高可用性實(shí)現(xiàn)機(jī)制