數(shù)據(jù)工程師培訓(xùn)題庫(四)

數(shù)據(jù)工程師培訓(xùn)題庫(四)數(shù)據(jù)工程師培訓(xùn)題庫(四)數(shù)據(jù)工程師培訓(xùn)題庫(四)V:1.0精細(xì)整理，僅供參考數(shù)據(jù)工程師培訓(xùn)題庫(四)日期：20xx年X月【說明】客觀【說明】客觀題30題，每題2分，總計60分主觀題4題，每題10分，總計40分滿分100分。【不定項選擇題（每題2分共60分）】下列與HDFS有關(guān)的說法正確的是（）A．HDFSDataNode節(jié)點上的磁盤需要做RAID1，用來保證數(shù)據(jù)的可靠性B．HDFS可以在磁盤之間通過balance操作，平衡磁盤之間的負(fù)載情況C．HDFS建議DataNode之間的數(shù)據(jù)盤個數(shù)、容量大小不一致，以體現(xiàn)HDFS的負(fù)載均衡能力D．規(guī)劃HDFS集群時，建議ActiveNameNode和StandbyNameNode分配在不同的機架上以下哪個服務(wù)作為HDFS高可靠協(xié)調(diào)服務(wù)的共享存儲（）ZooKeeperJournalNodesNameNodeZKFailoverController在集群中配置HDFS的副本數(shù)為3，設(shè)置數(shù)據(jù)塊大小為128M，此時我們上傳一份64M的數(shù)據(jù)文件，該數(shù)據(jù)文件占用HDFS空間大小為（）A.64MB.128MC.384MD.192M在Yarn服務(wù)中，不包含以下哪種角色（）A.ResourceManagerB.NodeManagerC.ApplicationMasterD.ContianerResourceManager是YARN的主要組成部分，有關(guān)其功能描述不正確的是（）A.它直接將集群所擁有的資源按需分配給運行在YARN上的應(yīng)用程序B.它負(fù)責(zé)將集群中的所有資源進行統(tǒng)一管理和分配C.它接受各個節(jié)點的資源匯報信息D.它把資源按照策略分配給各應(yīng)用TDH數(shù)據(jù)平臺認(rèn)證工程師試題姓名：_______________分?jǐn)?shù)：____________當(dāng)前用戶提交了一個wordcount詞頻統(tǒng)計的任務(wù)，最后任務(wù)執(zhí)行失敗，可能的原因有哪些（當(dāng)前用戶提交了一個wordcount詞頻統(tǒng)計的任務(wù)，最后任務(wù)執(zhí)行失敗，可能的原因有哪些（）A.當(dāng)前集群中沒有足夠的資源，不足以滿足當(dāng)前wordcount任務(wù)的需求B.執(zhí)行該任務(wù)的用戶沒有權(quán)限訪問HDFS上的數(shù)據(jù)文件C.用戶在執(zhí)行任務(wù)之前在HDFS相應(yīng)的目錄下創(chuàng)建了提交任務(wù)時指定的輸出目錄D.以上原因都有可能以下關(guān)于外表和托管表描述正確的是（）A、外表的數(shù)據(jù)存儲在本地，托管表的數(shù)據(jù)存儲在hdfs上B、刪除托管表只會刪除Inceptor上的元數(shù)據(jù)不會刪除數(shù)據(jù)文件，刪除外表兩者都會被刪除C、刪除外表只會刪除Inceptor上的元數(shù)據(jù)不會刪除數(shù)據(jù)文件，刪除托管表兩者都會被刪除D、刪除托管表或外表，incepotr上的元數(shù)據(jù)和數(shù)據(jù)文件都會被刪除SQL運行中如果出現(xiàn)maptask數(shù)據(jù)特別多，執(zhí)行時間又很短時可以通過小文件合并來進行優(yōu)化，以下是合并參數(shù)有（）SET=TRUE;SET=n;SET=m;SET=N;以下關(guān)于inceptor日志信息描述正確的有（）Inceptorserver日志存放于各節(jié)點的/var/log/inceptorsql[x]/可以通過inceptorserver4040查看SQL錯誤日志Excutor日志存放于excutor節(jié)點的/var/log/inceptorsql[x]/D．ExcutorGC日志存放于excutor節(jié)點的/var/log/inceptorsql[x]/有10G的數(shù)據(jù)，tableB有100G的數(shù)據(jù)，兩個表通過共有的id列做關(guān)聯(lián)查詢name列，以下方式可以優(yōu)化計算效率的是（）select/*+MAPJOIN(a)*/,fromtableAajointableBbon=select/*+MAPJOIN(b)*/,fromtableAajointableBbon=建表時將tableA和tableB根據(jù)id字段分相同數(shù)量的桶建表時將tableA和tableB根據(jù)name字段分相同數(shù)量的桶以下屬于HMaster功能的是（）為RegionServer分配region存儲數(shù)據(jù)元信息對region進行compact操作管理用戶對table的增刪改查操作Hyperbase與InceptorHyperbase與Inceptor的關(guān)系，描述正確的是（）兩者不可或缺，Inceptor保證Hyperbase的服務(wù)的正常運行兩者沒有任何關(guān)系Inceptor可以訪問Hyperbase兩者相輔相成下列創(chuàng)建全局索引的語句，正確的是（）add_index't1','index_name’,‘COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'add_global_index't1','index_name’,'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'add_fulltext_index't1','index_name’,'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'create_global_index't1','index_name’,'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'以下對流處理計算框架描述不正確的是（）SparkStreaming是基于微批（batch）對數(shù)據(jù)進行處理的ApacheStorm是基于時間（event）對數(shù)據(jù)進行處理的TranswarpStreamSQL可基于微批或事件對數(shù)據(jù)進行處理以上說法都不對某交通部門通過使用流監(jiān)控全市過往24小時各個卡口數(shù)據(jù)，要求每分鐘更新一次，原始流為org_stream，以下實現(xiàn)正確的是（）CREATESTREAMWINDOWtraffic_streamASSELECT*FROMoriginal_streamSTREAMw1AS(length'1'minuteslide'24'hour);CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamSTREAMWINDOWw1AS(length'1'minuteslide'24'hour);CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamSTREAMWINDOWw1AS(length'24'hourslide'1'minute);CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamAS(length'24'secondslide'1'minute);Zookeeper服務(wù)描述正確的為（）A.Zookeeper中每一個server互為leader。B.Zookeeper中只有一個leader，并通過備份機制產(chǎn)生。C.Zookeeper中不存在leader,所有server共同提供服務(wù)。D.Zookeeper通過選舉機制確定leader，有且僅有一個。通過通過Hue修改HDFS目錄或文件的權(quán)限可以通過以下哪些方式實現(xiàn)（）Hdfs相應(yīng)的權(quán)限通過Hue超級用戶hue登錄以hdfs用戶登錄以上都可以通過Oozie使用ssh，必須滿足以下條件（）以root用戶登錄各個節(jié)點Oozie用戶可以免密鑰登錄Oozie用戶必須要有bash權(quán)限D(zhuǎn).所訪問必須是集群的節(jié)點有關(guān)使用sqoop抽取數(shù)據(jù)的原理的描述不正確的是（）A.sqoop在抽取數(shù)據(jù)的時候可以指定map的個數(shù)，map的個數(shù)決定在hdfs生成的數(shù)據(jù)文件的個數(shù)B.sqoop抽取數(shù)據(jù)是個多節(jié)點并行抽取的過程，因此map的個數(shù)設(shè)置的越多性能越好C.sqoop任務(wù)的切分是根據(jù)split字段的（最大值-最小值）/map數(shù)D.sqoop抽取數(shù)據(jù)的時候需要保證執(zhí)行當(dāng)前用戶有權(quán)限執(zhí)行相應(yīng)的操作在使用sqoop連接關(guān)系型數(shù)據(jù)時，下面哪個命令可以查看關(guān)系型數(shù)據(jù)庫中有哪些表？（）sqooplist-databases--usernameroot--password111111--connectjdbc:list-databases--usernameroot-P--connectjdbc:list-databases--usernameroot--password-filefile:/root/.pwd--connectjdbc:list-tables--usernameroot--password111111--connectjdbc:要將采集的日志數(shù)據(jù)作為kafka的數(shù)據(jù)源，則flumesink需要設(shè)置為下列哪項參數(shù)（要將采集的日志數(shù)據(jù)作為kafka的數(shù)據(jù)源，則flumesink需要設(shè)置為下列哪項參數(shù)（）A.hdfsB.kafkaC..{topicname}下列是關(guān)于flume和sqoop對比的描述，不正確的是（）A.flume主要用來采集日志而sqoop主要用來做數(shù)據(jù)遷移B.flume主要采集流式數(shù)據(jù)而sqoop主要用來遷移規(guī)范化數(shù)據(jù)C.flume和sqoop都是分布式處理任務(wù)D.flume主要用于采集多數(shù)據(jù)源小數(shù)據(jù)而sqoop用來遷移單數(shù)據(jù)源數(shù)據(jù)有關(guān)Elasticsearch描述有誤的一項是（）它會利用多播形式發(fā)現(xiàn)節(jié)點。主節(jié)點(masternode)通過選舉方式產(chǎn)生。主節(jié)點(masternode)進行集群的管理，只負(fù)責(zé)集群節(jié)點添加和刪除。主節(jié)點會去讀集群狀態(tài)信息，必要的時候進行恢復(fù)工作。下面措施中，不能保證kafka數(shù)據(jù)可靠性的是（）A.kafka會將所有消息持久化到硬盤中保證其數(shù)據(jù)可靠性B.kafka通過TopicPartition設(shè)置Replication來保證其數(shù)據(jù)可靠性C.kafka通過設(shè)置消息重發(fā)機制保證其數(shù)據(jù)可靠性D.kafka無法保證數(shù)據(jù)可靠性TDH提供哪幾種認(rèn)證模式（）所有服務(wù)使用簡單認(rèn)證模式——所有服務(wù)都無需認(rèn)證即可互相訪問所有服務(wù)都啟用Kerberos認(rèn)證，用戶要提供Kerberosprincipal和密碼（或者keytab）來訪問各個服務(wù)所有服務(wù)都啟用Kerberos同時Inceptor啟用LDAP認(rèn)證所有服務(wù)都啟用LDAP認(rèn)證開啟LDAP后，應(yīng)該使用哪個命令連接Inceptor（）transwarp-t-h$ip。beeline-ujdbc:hive2://$ip:10000-n$username-p$password。beeline-u"jdbc:hive2://$ip:10000/default;principal=hive/node1@TDH"。beeline-u"jdbc:hive2://$ip:10000/default;principal=user1@TDH"。InceptorserverInceptorserver服務(wù)無法啟動時，該如何查看日志是（）查看TDHmanager所在節(jié)點/var/log/inceptorsql*/目錄下的日志查看Inceptorserver所在節(jié)點/var/log/inceptorsql*/目錄下的日志查看ResourceManager所在節(jié)點/var/log/Yarn*/目錄下的日志查看任意節(jié)點/var/log/inceptorsql*/目錄下的日志現(xiàn)有一批數(shù)據(jù)需要進行清洗，要求對其中null通過update轉(zhuǎn)換為0，刪除重復(fù)的記錄，添加部分新的記錄，則該表應(yīng)該設(shè)計為（）Tex表Orc表Orc事務(wù)表Holodesk表現(xiàn)有一個表數(shù)據(jù)要存儲在hyperbase上，并創(chuàng)建全文索引，原表數(shù)據(jù)10GB，HDFS配置為3副本，hyperbase壓縮比例按1:3計算，索引數(shù)據(jù)量為20GB，ES副本數(shù)為1，ES壓縮比按1:3計算，則該表需要多大的存儲空間存儲（）30GB70GB下面哪些工作不屬于集群預(yù)安裝工作（）A.為集群中每個節(jié)點的安裝操作系統(tǒng)B.選一個節(jié)點作為管理節(jié)點，修改其/etc/hosts文件C.安裝TranswarpManager管理界面D.配置集群安全模式【客觀簡答題（每題10分，共40分）【客觀簡答題（每題10分，共40分）】1、請描述HDFS的高可用性實現(xiàn)機制：答：2、請列舉出平臺支持的5種存儲格式/引擎的表，并詳細(xì)描述各自的存儲特點、使用場景、支持的操作以及是否支持分區(qū)分桶。答：Text表：ORC表：事務(wù)表：HoloDesk表：Hyperbase表：請描述一個100GB文件寫入Hyperbase表請描述一個100GB文件寫入Hyperbase表的整個過程（使用bulkload方式實現(xiàn)）4、寫出以下場景下的優(yōu)化思路（1）、假設(shè)在Inceptor上執(zhí)行任務(wù)，發(fā)現(xiàn)MapTask數(shù)量多、執(zhí)行時間短，應(yīng)采取哪種措施來提升性能？

（2）、請簡述在Inceptor中大表與大表做join、大表與小表做join時分別有哪些優(yōu)化手段【說明】客觀【說明】客觀題30題，每題2分，總計60分主觀題4題，每題10分，總計40分滿分100分。【不定項選擇題（每題2分共60分）】下列與HDFS有關(guān)的說法正確的是（）A．HDFSDataNode節(jié)點上的磁盤需要做RAID1，用來保證數(shù)據(jù)的可靠性B．HDFS可以在磁盤之間通過balance操作，平衡磁盤之間的負(fù)載情況C．HDFS建議DataNode之間的數(shù)據(jù)盤個數(shù)、容量大小不一致，以體現(xiàn)HDFS的負(fù)載均衡能力D．規(guī)劃HDFS集群時，建議ActiveNameNode和StandbyNameNode分配在不同的機架上以下哪個服務(wù)作為HDFS高可靠協(xié)調(diào)服務(wù)的共享存儲（）ZooKeeperJournalNodesNameNodeZKFailoverController在集群中配置HDFS的副本數(shù)為3，設(shè)置數(shù)據(jù)塊大小為128M，此時我們上傳一份64M的數(shù)據(jù)文件，該數(shù)據(jù)文件占用HDFS空間大小為（）A.64MB.128MC.384MD.192M在Yarn服務(wù)中，不包含以下哪種角色（）A.ResourceManagerB.NodeManagerC.ApplicationMasterD.ContianerResourceManager是YARN的主要組成部分，有關(guān)其功能描述不正確的是（）A.它直接將集群所擁有的資源按需分配給運行在YARN上的應(yīng)用程序B.它負(fù)責(zé)將集群中的所有資源進行統(tǒng)一管理和分配C.它接受各個節(jié)點的資源匯報信息D.它把資源按照策略分配給各應(yīng)用TDH數(shù)據(jù)平臺認(rèn)證工程師試題姓名：_______________分?jǐn)?shù)：____________當(dāng)前用戶提交了一個wordcount詞頻統(tǒng)計的任務(wù)，最后任務(wù)執(zhí)行失敗，可能的原因有哪些（當(dāng)前用戶提交了一個wordcount詞頻統(tǒng)計的任務(wù)，最后任務(wù)執(zhí)行失敗，可能的原因有哪些（）A.當(dāng)前集群中沒有足夠的資源，不足以滿足當(dāng)前wordcount任務(wù)的需求B.執(zhí)行該任務(wù)的用戶沒有權(quán)限訪問HDFS上的數(shù)據(jù)文件C.用戶在執(zhí)行任務(wù)之前在HDFS相應(yīng)的目錄下創(chuàng)建了提交任務(wù)時指定的輸出目錄D.以上原因都有可能以下關(guān)于外表和托管表描述正確的是（）A、外表的數(shù)據(jù)存儲在本地，托管表的數(shù)據(jù)存儲在hdfs上B、刪除托管表只會刪除Inceptor上的元數(shù)據(jù)不會刪除數(shù)據(jù)文件，刪除外表兩者都會被刪除C、刪除外表只會刪除Inceptor上的元數(shù)據(jù)不會刪除數(shù)據(jù)文件，刪除托管表兩者都會被刪除D、刪除托管表或外表，incepotr上的元數(shù)據(jù)和數(shù)據(jù)文件都會被刪除SQL運行中如果出現(xiàn)maptask數(shù)據(jù)特別多，執(zhí)行時間又很短時可以通過小文件合并來進行優(yōu)化，以下是合并參數(shù)有（）SET=TRUE;SET=n;SET=m;SET=N;以下關(guān)于inceptor日志信息描述正確的有（）Inceptorserver日志存放于各節(jié)點的/var/log/inceptorsql[x]/可以通過inceptorserver4040查看SQL錯誤日志Excutor日志存放于excutor節(jié)點的/var/log/inceptorsql[x]/D．ExcutorGC日志存放于excutor節(jié)點的/var/log/inceptorsql[x]/有10G的數(shù)據(jù)，tableB有100G的數(shù)據(jù)，兩個表通過共有的id列做關(guān)聯(lián)查詢name列，以下方式可以優(yōu)化計算效率的是（）select/*+MAPJOIN(a)*/,fromtableAajointableBbon=select/*+MAPJOIN(b)*/,fromtableAajointableBbon=建表時將tableA和tableB根據(jù)id字段分相同數(shù)量的桶建表時將tableA和tableB根據(jù)name字段分相同數(shù)量的桶以下屬于HMaster功能的是（）為RegionServer分配region存儲數(shù)據(jù)元信息對region進行compact操作管理用戶對table的增刪改查操作Hyperbase與InceptorHyperbase與Inceptor的關(guān)系，描述正確的是（）兩者不可或缺，Inceptor保證Hyperbase的服務(wù)的正常運行兩者沒有任何關(guān)系Inceptor可以訪問Hyperbase兩者相輔相成下列創(chuàng)建全局索引的語句，正確的是（）add_index't1','index_name’,‘COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'add_global_index't1','index_name’,'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'add_fulltext_index't1','index_name’,'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'create_global_index't1','index_name’,'COMBINE_INDEX|INDEXED=f1:q1:9|rowKey:rowKey:10,UPDATE=true'以下對流處理計算框架描述不正確的是（）SparkStreaming是基于微批（batch）對數(shù)據(jù)進行處理的ApacheStorm是基于時間（event）對數(shù)據(jù)進行處理的TranswarpStreamSQL可基于微批或事件對數(shù)據(jù)進行處理以上說法都不對某交通部門通過使用流監(jiān)控全市過往24小時各個卡口數(shù)據(jù)，要求每分鐘更新一次，原始流為org_stream，以下實現(xiàn)正確的是（）CREATESTREAMWINDOWtraffic_streamASSELECT*FROMoriginal_streamSTREAMw1AS(length'1'minuteslide'24'hour);CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamSTREAMWINDOWw1AS(length'1'minuteslide'24'hour);CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamSTREAMWINDOWw1AS(length'24'hourslide'1'minute);CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamAS(length'24'secondslide'1'minute);Zookeeper服務(wù)描述正確的為（）A.Zookeeper中每一個server互為leader。B.Zookeeper中只有一個leader，并通過備份機制產(chǎn)生。C.Zookeeper中不存在leader,所有server共同提供服務(wù)。D.Zookeeper通過選舉機制確定leader，有且僅有一個。通過通過Hue修改HDFS目錄或文件的權(quán)限可以通過以下哪些方式實現(xiàn)（）Hdfs相應(yīng)的權(quán)限通過Hue超級用戶hue登錄以hdfs用戶登錄以上都可以通過Oozie使用ssh，必須滿足以下條件（）以root用戶登錄各個節(jié)點Oozie用戶可以免密鑰登錄Oozie用戶必須要有bash權(quán)限D(zhuǎn).所訪問必須是集群的節(jié)點有關(guān)使用sqoop抽取數(shù)據(jù)的原理的描述不正確的是（）A.sqoop在抽取數(shù)據(jù)的時候可以指定map的個數(shù)，map的個數(shù)決定在hdfs生成的數(shù)據(jù)文件的個數(shù)B.sqoop抽取數(shù)據(jù)是個多節(jié)點并行抽取的過程，因此map的個數(shù)設(shè)置的越多性能越好C.sqoop任務(wù)的切分是根據(jù)split字段的（最大值-最小值）/map數(shù)D.sqoop抽取數(shù)據(jù)的時候需要保證執(zhí)行當(dāng)前用戶有權(quán)限執(zhí)行相應(yīng)的操作在使用sqoop連接關(guān)系型數(shù)據(jù)時，下面哪個命令可以查看關(guān)系型數(shù)據(jù)庫中有哪些表？（）sqooplist-databases--usernameroot--password111111--connectjdbc:list-databases--usernameroot-P--connectjdbc:list-databases--usernameroot--password-filefile:/root/.pwd--connectjdbc:list-tables--usernameroot--password111111--connectjdbc:要將采集的日志數(shù)據(jù)作為kafka的數(shù)據(jù)源，則flumesink需要設(shè)置為下列哪項參數(shù)（要將采集的日志數(shù)據(jù)作為kafka的數(shù)據(jù)源，則flumesink需要設(shè)置為下列哪項參數(shù)（）A.hdfsB.kafkaC..{topicname}下列是關(guān)于flume和sqoop對比的描述，不正確的是（）A.flume主要用來采集日志而sqoop主要用來做數(shù)據(jù)遷移B.flume主要采集流式數(shù)據(jù)而sqoop主要用來遷移規(guī)范化數(shù)據(jù)C.flume和sqoop都是分布式處理任務(wù)D.flume主要用于采集多數(shù)據(jù)源小數(shù)據(jù)而sqoop用來遷移單數(shù)據(jù)源數(shù)據(jù)有關(guān)Elasticsearch描述有誤的一項是（）它會利用多播形式發(fā)現(xiàn)節(jié)點。主節(jié)點(masternode)通過選舉方式產(chǎn)生。主節(jié)點(masternode)進行集群的管理，只負(fù)責(zé)集群節(jié)點添加和刪除。主節(jié)點會去讀集群狀態(tài)信息，必要的時候進行恢復(fù)工作。下面措施中，不能保證kafka數(shù)據(jù)可靠性的是（）A.kafka會將所有消息持久化到硬盤中保證其數(shù)據(jù)可靠性B.kafka通過TopicPartition設(shè)置Replication來保證其數(shù)據(jù)可靠性C.kafka通過設(shè)置消息重發(fā)機制保證其數(shù)據(jù)可靠性D.kafka無法保證數(shù)據(jù)可靠性TDH提供哪幾種認(rèn)證模式（）所有服務(wù)使用簡單認(rèn)證模式——所有服務(wù)都無需認(rèn)證即可互相訪問所有服務(wù)都啟用Kerberos認(rèn)證，用戶要提供Kerberosprincipal和密碼（或者keytab）來訪問各個服務(wù)所有服務(wù)都啟用Kerberos同時Inceptor啟用LDAP認(rèn)證所有服務(wù)都啟用LDAP認(rèn)證開啟