多易spark含kafka-面試總結(jié)

RDDRDDRDD中的數(shù)據(jù)在哪？RDD中的數(shù)據(jù)在數(shù)據(jù)源，RDD只是一個(gè)抽象的數(shù)據(jù)集，通RDD的操作就相當(dāng)于對(duì)數(shù)據(jù)進(jìn)行操作。RDDcachecache算子時(shí)會(huì)被加載SparkSpark不是一個(gè)程序，Spark是一個(gè)分布式程序，它是有ExecutorRDDcacheExecutor進(jìn)程Mapreduce是一個(gè)程序嗎？MapreduceHadoopFlumeHDFSSink的參數(shù)？batchSize是設(shè)置積累到多少條Event再發(fā)HDFS，這些Event都在一個(gè)事務(wù)中。batchSizetransactionCapacity的數(shù)量，如transactionCapacity的數(shù)量則會(huì)無法將數(shù)據(jù)寫出。#Flume數(shù)據(jù)到Kafka中丟數(shù)據(jù)怎么辦？離線和實(shí)時(shí)都做，從離線里memoryChannel的參數(shù)？transactionCapacityflumecapacity是設(shè)置在memoryChannel中的最大Event條數(shù)SparkStreaming在實(shí)時(shí)處理數(shù)據(jù)時(shí)不可能申請(qǐng)API，只能事先在本地建立知識(shí)庫(kù)，MySQLRedis？需要進(jìn)行多條件查詢或者范圍檢索MySQLK,VRedis中。MrmapTask的數(shù)量由什么決定？由輸入切片的數(shù)量決定，128M切分一個(gè)切片，只mapTask。SparkPartitionMrSparkScala里面的函數(shù)和方法有什么區(qū)別？ScalaFunction類，java中的方法。Java存中獲取，而迭代器是一個(gè)對(duì)象，實(shí)現(xiàn)了Iterator接口，實(shí)現(xiàn)了接口的hasNext和NextSparkonyarnHBaseregion的關(guān)系？HBase有多個(gè)RegionServer，每個(gè)RegionServer里有多個(gè)RegionRegion中存放著若干行的行鍵以及所對(duì)應(yīng)的數(shù)據(jù)，一個(gè)列族是一個(gè)文件SparkGraphx調(diào)的哪個(gè)類，傳哪些參數(shù)？調(diào)Grapx類，通過apply方法傳入一個(gè)點(diǎn)描述RDD和一個(gè)邊描述RDD，然后通過Grapx的實(shí)例調(diào)用 ponents方法就可以返回一個(gè)只要有相連關(guān)系就會(huì)有同一個(gè)頂點(diǎn)id的RDD。Spark內(nèi)存溢出？Spark程序本身不會(huì)內(nèi)存溢出，是代碼的問題，有可能創(chuàng)建了過多的端單獨(dú)寫了一個(gè)類去HDFS中數(shù)據(jù)超過內(nèi)存。總之內(nèi)存溢出分為兩種情況，第一mapshuffle后內(nèi)存溢出。JavaThreadrunRunnablerunCallablecallFutureTask對(duì)象，使用FutureTask對(duì)象作為Thread對(duì)象的創(chuàng)建并啟用新線程10100如果線程池中只有10個(gè)線程，但丟進(jìn)去100個(gè)任務(wù)，固定大小的線程池是1010100同時(shí)執(zhí)行完，單線程是一個(gè)一個(gè)執(zhí)行線程有5種生命周期狀態(tài)，新建、就緒、運(yùn)行、、阻塞（休眠）RamdomAcessFileMRshuffle過程，Combiner在哪使用，reduceIo流怎么文件？InputStream是類還是接口？Io流使用InputStream輸入流來數(shù)據(jù)，InputStream是一個(gè)抽象類HashMap和TreeMap的區(qū)別？TreeMap排序規(guī)則？TreeMapCompare實(shí)時(shí)離線都要，等于要兩份數(shù)據(jù)，而使用了kafka的話，只需要從日志服務(wù)器上一份數(shù)據(jù)，然后在kafka中使用不同的兩個(gè)組就行了SparkHadoop幾種回收器的區(qū)別？串行回收器單線程執(zhí)行回收，并凍結(jié)所有的應(yīng)用程序線-并行回收多線程執(zhí)行回收，并凍結(jié)所有應(yīng)用程序線并發(fā)標(biāo)記回收用對(duì)象在tenured區(qū)域或者在進(jìn)行回收的時(shí)候，堆內(nèi)存被并發(fā)的改變，該回收程序的吞吐量，如果為了更好的程序性能使用的cpu，可以考慮使用-G1回收適用于內(nèi)存很大的情況，他對(duì)堆內(nèi)存分割成不同區(qū)域，并且并發(fā)的對(duì)其進(jìn)行回收，然后對(duì)剩余的堆內(nèi)存進(jìn)行壓縮，優(yōu)先選擇最多的區(qū)域。使用G1回收器，-幾種回收算法的區(qū)別？先標(biāo)記出需要清除的對(duì)象，然后清Flume怎么進(jìn)行Kafka怎么進(jìn)行SparkStreaming怎么進(jìn)行Flume的三層架構(gòu)，collector、agent、MySQL分組10.1~10.27uid，表中兩個(gè)字段，date550GIP分兩輪MR，第一輪Map階段寫（ip，1），Reduce階段設(shè)置1000個(gè)，將Map端的輸出結(jié)果聚合。然后再來一輪MR，在Map階段定義一個(gè)TreeSet，長(zhǎng)度為10，一旦超過就移除最后一個(gè)，這樣就可以將每個(gè)輸入切片的top10取出，在Reduce端和Map端一Top10HDFS讀寫流寫入流程：例200MB的文件，輸入時(shí)Client按照默認(rèn)大小將其切分為Block1:128MBBlock2:72MBClient向客戶端發(fā)送寫數(shù)據(jù)請(qǐng)求，NameNode記錄block的信息，并DataNode返回NameNode具有RackAware機(jī)架感知功能，這個(gè)可以配置若client為DataNode節(jié)點(diǎn)，那block時(shí)，規(guī)則為：副本1，同client的節(jié)點(diǎn)上；若client不為DataNode節(jié)點(diǎn)，那block時(shí)，規(guī)則為：副本1，隨機(jī)選擇一個(gè)節(jié)點(diǎn)上；副本2，不同副本1，機(jī)架上；副本3，同副本2相同的另一個(gè)節(jié)點(diǎn)上；其他副本隨HDFS128MBhost2、host2寫完后傳輸給host1host1寫完后傳輸給host3同時(shí)接收下一部分?jǐn)?shù)據(jù)。Bloc