Spark大數(shù)據(jù)技術(shù)與應(yīng)用知到智慧樹章節(jié)測試課后答案2024年秋山西職業(yè)技術(shù)學(xué)院

Spark大數(shù)據(jù)技術(shù)與應(yīng)用知到智慧樹章節(jié)測試課后答案2024年秋山西職業(yè)技術(shù)學(xué)院緒論單元測試

大數(shù)據(jù)的起源是以下哪個領(lǐng)域（）

A:電信B:互聯(lián)網(wǎng)C:公共管理D:金融

答案:互聯(lián)網(wǎng)

模塊一單元測試

與MapReduce相比，Spark更適合處理以下哪種類型的任務(wù)（）

A:較多迭代次數(shù)的短任務(wù)B:較多迭代次數(shù)的長任務(wù)C:較少迭代次數(shù)的短任務(wù)D:較少迭代次數(shù)的長任務(wù)

答案:較多迭代次數(shù)的短任務(wù)Standalone模式下配置Spark集群時，master節(jié)點的工作端口號需要在conf文件夾下的哪個文件指明（）

A:regionserverB:spark-defaults.confC:spark-env.shD:slaves

答案:spark-env.sh以下關(guān)于SPARK中的sparkcontext，描述錯誤的是：（）

A:控制整個application的生命周期B:SparkContext為Spark的主要入口點C:可以控制dagsheduler組件D:可以控制taskscheduler組件

答案:控制整個application的生命周期以下對Spark中Work的主要工作描述錯誤的是（）

A:會運行業(yè)務(wù)邏輯代碼B:接收master分配過來的資源指令C:管理當(dāng)前節(jié)點內(nèi)存D:不會運行業(yè)務(wù)邏輯代碼

答案:會運行業(yè)務(wù)邏輯代碼配置Standalone模式下的Spark集群，Worker節(jié)點需要在conf文件夾下的哪個文件中指明（）

A:spark-defaults.confB:slavesC:regionserverD:spark-env.sh

答案:slavesSpark支持的分布式部署方式中哪個是錯誤的（）

A:sparkonYARNB:SparkonlocalC:standaloneD:sparkonmesos

答案:SparkonlocalSpark單機偽分布式模式，它的特點是在一臺節(jié)點上既有Master服務(wù)，又有Worker服務(wù)（）

A:對B:錯

答案:對在部署Spark獨立模式時，配置spark內(nèi)部通信的端口為（）

A:9870B:7070C:16010D:7077

答案:7077在部署Spark獨立模式時，配置spark的web端口為（）

A:8080B:7077C:9870D:4040

答案:7077Spark的bin目錄是spark運行腳本目錄，該目錄中包含了加載spark的配置信息，提交作業(yè)等執(zhí)行命令的腳本（）

A:錯B:對

答案:對

模塊二單元測試

valrdd=sc.parallelize(1to10).filter(_%2==0)rdd.collect上述代碼的執(zhí)行結(jié)果為（）

A:Array(2,4,6,8,10)B:Array(1,3,5,7,9)C:Array(1,2,3,4,5,6,7,8,9,10)D:Array(1,10)

答案:Array(2,4,6,8,10)下面哪個操作是窄依賴（）

A:sortB:joinC:filterD:group

答案:filter下面哪個操作肯定是寬依賴（）

A:sampleB:flatMapC:mapD:reduceByKey

答案:reduceByKey以下操作中，哪個不是SparkRDD編程中的操作。（）

A:reduce()B:reduceByKey(func)C:getLastOne()D:filter()

答案:getLastOne()valwords=Array("one"，"two"，"two"，"three"，"three","three")

valwordPairsRDD=sc.parallelize(words).map(word=>(word,1))

wordCountsWithReduce=wordPairsRDD.reduceByKey(_+_)上述語句的執(zhí)行結(jié)果wordCountsWithReduce中包含的元素是（）。

A:(“one”,1)，(“two”,2),(“three”,2)B:(“one”,3)，(“two”,2),(“three”,1)C:(“one”,1)，(“two”,2)，(“three”,3)D:(“one”,1)，(“two”,2),(“three”,1)

答案:(“one”,1)，(“two”,2)，(“three”,3)有一個鍵值對RDD，名稱為pairRDD，包含4個元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.keys操作得到的RDD中所包含的元素是（)。

A:”Hadoop”,”Spark”,”Hive"B:(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)C:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)D:”Hadoop”,”Spark”,”Hive”,”Spark”

答案:(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)有一個RDD，名稱為pairRDD，包含4個元素，分別是("Hadoop",1)、("Spark"，1)、("Hive",1)和("Spark",1)，則pairRDD.values操作得到的RDD中所包含的元素是（）。

A:1，1，1，lB:4C:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)D:”Hadoop”,1，”Spark”,1

答案:1，1，1，l有一個鍵值對RDD，名稱為pairRDD，包含4個元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.mapValues(x=>x+1)操作得到的RDD中所包含的元素是（）。

A:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)B:2,2,2,2C:("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)D:1,1,1，1

答案:("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)RDD操作包括哪兩種類型。（）

A:行動(Action)B:分組（GroupBy)C:連接(Join)D:轉(zhuǎn)換(Transformation）

答案:行動(Action)；轉(zhuǎn)換(Transformation）以下操作中，哪些是行動（(Action）操作。（）

A:map()B:collect()C:groupByKey()D:reduce()

答案:collect()；reduce()

模塊三單元測試

SparkSession內(nèi)部封裝了SparkContext，所以底層計算還是由SparkContext完成的。（）

A:對B:錯

答案:對DataFrame的sort方法可以按照多個字段對數(shù)據(jù)進行排序。（）

A:錯B:對

答案:對SparkSQL支持從哪些格式的外部結(jié)構(gòu)化數(shù)據(jù)文件中讀取數(shù)據(jù)創(chuàng)建DataFrame。（）

A:parquetB:csvC:jsonD:txt

答案:parquet；csv；json；txtDataFrame的show（）方法默認展示多少條數(shù)據(jù)（）

A:40B:30C:10D:20

答案:20DataFrame的first()方法返回的數(shù)據(jù)類型是（）

A:SeqB:RowC:ArrayD:List

答案:Row對于stuDF數(shù)據(jù)下列哪些方法不能對按age進行降序排列（）

A:stuDF.orderBy(“age”，desc)B:stuDF.sort(desc(“age”))C:stuDF.orderBy(desc(“age”))D:stuDF.sort($”age”.desc)

答案:stuDF.orderBy(“age”，desc)DataFrame數(shù)據(jù)輸出中mode方法的參數(shù)不正確的是（）

A:errorB:warnC:appendD:overwrite

答案:warnDataFrame數(shù)據(jù)輸出保存文件類型錯誤的是（）

A:csvB:jsonC:pandasD:parquet

答案:pandasDataSet支持從哪些類型進行創(chuàng)建錯誤的是（）

A:從已經(jīng)存在的文件創(chuàng)建B:從已存在的RDD創(chuàng)建C:從已存在的DataFrame創(chuàng)建D:從已有的Scala集合創(chuàng)建

答案:從已經(jīng)存在的文件創(chuàng)建Spark中DataFrame和RDD最大的區(qū)別是？（）

A:科學(xué)統(tǒng)計支持B:外部數(shù)據(jù)源支持C:多了schemaD:存儲方式不一樣

答案:多了schema

模塊四單元測試

通過調(diào)用（）中定義的各種操作算子來定義我們需要的各種實時計算邏輯。

A:StreamingContextB:DStreamC:awaitTerminationD:String

答案:DStreamDStream底層是基于（）實現(xiàn)

A:RDDB:PddC:ADDD:DDR

答案:RDD通過HDFS文件系統(tǒng)創(chuàng)建（），所以先要在HDFS上新建存放數(shù)據(jù)文件的目錄。

A:SparkConfB:StreamC:SparkstreamingD:DStream

答案:DStreamDStream中提供了很多轉(zhuǎn)換操作函數(shù)，通過（）函數(shù)會生成一個新的DStream。

A:窗口操作B:全屏操作C:轉(zhuǎn)換操作D:輸出操作

答案:轉(zhuǎn)換操作window窗口操作函數(shù)是基于源DStream產(chǎn)生的窗口化的批數(shù)據(jù)，計算后會得到一個新的DStream。（）

A:錯B:對

答案:對下列是常用的輸出操作方法有（）

A:saveAsObjectFiles方法B:print()方法C:saveAsHadoopFiles方法D:foreachRDD()方法E:saveAsTextFiles方法

答案:saveAsObjectFiles方法；print()方法；saveAsHadoopFiles方法；foreachRDD()方法；saveAsTextFiles方法（）窗口操作函數(shù)是利用func對滑動窗口的元素進行聚合操作，得到一個新的DStream。

A:contByWindowB:reduceByKeyAndWindowC:WindowD:reduceByWindow

答案:reduceByWindow使用transform操作后，除了可以使用DStream提供的一些轉(zhuǎn)換方法之外，還能夠通過transform中的（）參數(shù)直接調(diào)用任意RDD上的操作函數(shù)。

A:func函數(shù)B:cogroup函數(shù)C:flatMap函數(shù)