Spark大數(shù)據(jù)技術(shù)與應(yīng)用智慧樹知到課后章節(jié)答案2023年下山西職業(yè)技術(shù)學(xué)院

Spark大數(shù)據(jù)技術(shù)與應(yīng)用智慧樹知到課后章節(jié)答案2023年下山西職業(yè)技術(shù)學(xué)院山西職業(yè)技術(shù)學(xué)院

緒論單元測試

大數(shù)據(jù)的起源是以下哪個領(lǐng)域（）

A:互聯(lián)網(wǎng)B:金融C:公共管理D:電信

答案:互聯(lián)網(wǎng)

第一章測試

與MapReduce相比，Spark更適合處理以下哪種類型的任務(wù)（）

A:較少迭代次數(shù)的長任務(wù)B:較少迭代次數(shù)的短任務(wù)C:較多迭代次數(shù)的短任務(wù)D:較多迭代次數(shù)的長任務(wù)

答案:較多迭代次數(shù)的短任務(wù)

Standalone模式下配置Spark集群時，master節(jié)點的工作端口號需要在conf文件夾下的哪個文件指明（）

A:regionserverB:slavesC:spark-defaults.confD:spark-env.sh

答案:spark-env.sh

以下關(guān)于SPARK中的sparkcontext，描述錯誤的是：（）

A:可以控制dagsheduler組件B:可以控制taskscheduler組件C:控制整個application的生命周期D:SparkContext為Spark的主要入口點

答案:控制整個application的生命周期

以下對Spark中Work的主要工作描述錯誤的是（）

A:不會運行業(yè)務(wù)邏輯代碼B:會運行業(yè)務(wù)邏輯代碼C:管理當(dāng)前節(jié)點內(nèi)存D:接收master分配過來的資源指令

答案:會運行業(yè)務(wù)邏輯代碼

配置Standalone模式下的Spark集群，Worker節(jié)點需要在conf文件夾下的哪個文件中指明（）

A:spark-env.shB:spark-defaults.confC:slavesD:regionserver

答案:slaves

Spark支持的分布式部署方式中哪個是錯誤的（）

A:SparkonlocalB:sparkonYARNC:sparkonmesosD:standalone

答案:Sparkonlocal

Spark單機偽分布式模式，它的特點是在一臺節(jié)點上既有Master服務(wù)，又有Worker服務(wù)（）

A:對B:錯

答案:對

在部署Spark獨立模式時，配置spark內(nèi)部通信的端口為（）

A:16010B:7070C:9870D:7077

答案:7077

在部署Spark獨立模式時，配置spark的web端口為（）

A:7077B:8080C:9870D:4040

答案:7077

Spark的bin目錄是spark運行腳本目錄，該目錄中包含了加載spark的配置信息，提交作業(yè)等執(zhí)行命令的腳本（）

A:錯B:對

答案:對

第二章測試

valrdd=sc.parallelize(1to10).filter(_%2==0)rdd.collect上述代碼的執(zhí)行結(jié)果為（）

A:Array(1,3,5,7,9)B:Array(2,4,6,8,10)C:Array(1,2,3,4,5,6,7,8,9,10)D:Array(1,10)

答案:Array(2,4,6,8,10)

下面哪個操作是窄依賴（）

A:filterB:sortC:groupD:join

答案:filter

下面哪個操作肯定是寬依賴（）

A:mapB:sampleC:flatMapD:reduceByKey

答案:reduceByKey

以下操作中，哪個不是SparkRDD編程中的操作。（）

A:getLastOne()B:filter()C:reduceByKey(func)D:reduce()

答案:getLastOne()

valwords=Array("one"，"two"，"two"，"three"，"three","three")

valwordPairsRDD=sc.parallelize(words).map(word=>(word,1))

wordCountsWithReduce=wordPairsRDD.reduceByKey(_+_)上述語句的執(zhí)行結(jié)果wordCountsWithReduce中包含的元素是（）。

A:(“one”,3)，(“two”,2),(“three”,1)B:(“one”,1)，(“two”,2)，(“three”,3)C:(“one”,1)，(“two”,2),(“three”,1)D:(“one”,1)，(“two”,2),(“three”,2)

答案:(“one”,1)，(“two”,2)，(“three”,3)

有一個鍵值對RDD，名稱為pairRDD，包含4個元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.keys操作得到的RDD中所包含的元素是（)。

A:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)B:”Hadoop”,”Spark”,”Hive"C:”Hadoop”,”Spark”,”Hive”,”Spark”D:(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)

答案:(”Hadoop”,1)，(”Spark”,1)，(”Hive”,1)

有一個RDD，名稱為pairRDD，包含4個元素，分別是("Hadoop",1)、("Spark"，1)、("Hive",1)和("Spark",1)，則pairRDD.values操作得到的RDD中所包含的元素是（）。

A:”Hadoop”,1，”Spark”,1B:1，1，1，lC:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)D:4

答案:1，1，1，l

有一個鍵值對RDD，名稱為pairRDD，包含4個元素，分別是("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)，則pairRDD.mapValues(x=>x+1)操作得到的RDD中所包含的元素是（）。

A:2,2,2,2B:("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)C:("Hadoop",1)、("Spark",1)、("Hive",1)和("Spark",1)D:1,1,1，1

答案:("Hadoop",2)、("Spark",2)、("Hive",2)和("Spark",2)

RDD操作包括哪兩種類型。（）

A:連接(Join)B:轉(zhuǎn)換(Transformation）C:行動(Action)D:分組（GroupBy)

答案:轉(zhuǎn)換(Transformation）;行動(Action)

以下操作中，哪些是行動（(Action）操作。（）

A:map()B:groupByKey()C:collect()D:reduce()

答案:collect();reduce()

第三章測試

SparkSession內(nèi)部封裝了SparkContext，所以底層計算還是由SparkContext完成的。（）

A:錯B:對

答案:對

DataFrame的sort方法可以按照多個字段對數(shù)據(jù)進行排序。（）

A:對B:錯

答案:對

SparkSQL支持從哪些格式的外部結(jié)構(gòu)化數(shù)據(jù)文件中讀取數(shù)據(jù)創(chuàng)建DataFrame。（）

A:txtB:jsonC:csvD:parquet

答案:txt;json;csv;parquet

DataFrame的show（）方法默認展示多少條數(shù)據(jù)（）

A:30B:10C:20D:40

答案:20

DataFrame的first()方法返回的數(shù)據(jù)類型是（）

A:SeqB:ListC:RowD:Array

答案:Row

對于stuDF數(shù)據(jù)下列哪些方法不能對按age進行降序排列（）

A:stuDF.orderBy(desc(“age”))B:stuDF.sort($”age”.desc)C:stuDF.sort(desc(“age”))D:stuDF.orderBy(“age”，desc)

答案:stuDF.orderBy(“age”，desc)

DataFrame數(shù)據(jù)輸出中mode方法的參數(shù)不正確的是（）

A:appendB:errorC:warnD:overwrite

答案:warn

DataFrame數(shù)據(jù)輸出保存文件類型錯誤的是（）

A:pandasB:jsonC:csvD:parquet

答案:pandas

DataSet支持從哪些類型進行創(chuàng)建錯誤的是（）

A:從已存在的RDD創(chuàng)建B:從已有的Scala集合創(chuàng)建C:從已經(jīng)存在的文件創(chuàng)建D:從已存在的DataFrame創(chuàng)建

答案:從已經(jīng)存在的文件創(chuàng)建

Spark中DataFrame和RDD最大的區(qū)別是？（）

A:外部數(shù)據(jù)源支持B:多了schemaC:科學(xué)統(tǒng)計支持D:存儲方式不一樣

答案:多了schema

第四章測試

通過調(diào)用（）中定義的各種操作算子來定義我們需要的各種實時計算邏輯。

A:StreamingContextB:awaitTerminationC:DStreamD:String

答案:DStream

DStream底層是基于（）實現(xiàn)

A:DDRB:PddC:RDDD:ADD

答案:RDD

通過HDFS文件系統(tǒng)創(chuàng)建（），所以先要在HDFS上新建存放數(shù)據(jù)文件的目錄。

A:SparkConfB:SparkstreamingC:StreamD:DStream

答案:DStream

DStream中提供了很多轉(zhuǎn)換操作函數(shù)，通過（）函數(shù)會生成一個新的DStream。

A:全屏操作B:窗口操作C:輸出操作D:轉(zhuǎn)換操作

答案:轉(zhuǎn)換操作

window窗口操作函數(shù)是基于源DStream產(chǎn)生的窗口化的批數(shù)據(jù)，計算后會得到一個新的DStream。（）

A:對B:錯

答案:對

下列是常用的輸出操作方法有（）

A:print()方法B:saveAsObjectFiles方法C:foreachRDD()方法D:saveAsTextFiles方法E:saveAsHadoopFiles方法

答案:print()方法;saveAsObjectFiles方法;foreachRDD()方法;saveAsTextFiles方法;saveAsHadoopFiles方法

（）窗口操作函數(shù)是利用func對滑動窗口的元素進行聚合操作，得到一個新的DStream。

A:contByWindowB:WindowC:reduceByWindowD:reduceByKeyAndWindow

答案:reduceByWindow

使用transform操作后，除了可以使用DStream提供的一些轉(zhuǎn)換方法之外，還能夠通過transform中的（）參數(shù)直接調(diào)用任意RDD上的操作函數(shù)。

A:flatMap函數(shù)B:func函數(shù)C:sortBy函數(shù)D