惰性機(jī)制與持久化

主講：孟繁興01目錄惰性機(jī)制02持久化惰性機(jī)制scala>vallines=sc.textFile("data.txt")scala>vallineLengths=lines.map(s=>s.length)scala>valtotalLength=lineLengths.reduce((a,b)=>a+b)所謂的“惰性機(jī)制”是指，整個(gè)轉(zhuǎn)換過(guò)程只是記錄了轉(zhuǎn)換的軌跡，并不會(huì)發(fā)生真正的計(jì)算，只有遇到行動(dòng)操作時(shí)，才會(huì)觸發(fā)“從頭到尾”的真正的計(jì)算。這里給出一段簡(jiǎn)單的語(yǔ)句來(lái)解釋Spark的惰性機(jī)制。持久化在Spark中，RDD采用惰性求值的機(jī)制，每次遇到行動(dòng)操作，都會(huì)從頭開(kāi)始執(zhí)行計(jì)算。每次調(diào)用行動(dòng)操作，都會(huì)觸發(fā)一次從頭開(kāi)始的計(jì)算。這對(duì)于迭代計(jì)算而言，代價(jià)是很大的，迭代計(jì)算經(jīng)常需要多次重復(fù)使用同一組數(shù)據(jù)scala>vallist=List("Hadoop","Spark","Hive")list:List[String]=List(Hadoop,Spark,Hive)scala>valrdd=sc.parallelize(list)rdd:org.apache.spark.rdd.RDD[String]=ParallelCollectionRDD[22]atparallelizeat<console>:29scala>println(rdd.count())//行動(dòng)操作，觸發(fā)一次真正從頭到尾的計(jì)算3scala>println(rdd.collect().mkString(","))//行動(dòng)操作，觸發(fā)一次真正從頭到尾的計(jì)算Hadoop,Spark,Hive持久化可以通過(guò)持久化（緩存）機(jī)制避免這種重復(fù)計(jì)算的開(kāi)銷可以使用persist()方法對(duì)一個(gè)RDD標(biāo)記為持久化之所以說(shuō)“標(biāo)記為持久化”，是因?yàn)槌霈F(xiàn)persist()語(yǔ)句的地方，并不會(huì)馬上計(jì)算生成RDD并把它持久化，而是要等到遇到第一個(gè)行動(dòng)操作觸發(fā)真正計(jì)算以后，才會(huì)把計(jì)算結(jié)果進(jìn)行持久化持久化后的RDD將會(huì)被保留在計(jì)算節(jié)點(diǎn)的內(nèi)存中被后面的行動(dòng)操作重復(fù)使用持久化persist()的圓括號(hào)中包含的是持久化級(jí)別參數(shù)：可以使用unpersist()方法手動(dòng)地把持久化的RDD從緩存中移除persist(MEMORY_ONLY)：表示將RDD作為反序列化的對(duì)象存儲(chǔ)于JVM中，如果內(nèi)存不足，就要按照LRU原則替換緩存中的內(nèi)容persist(MEMORY_AND_DISK)表示將RDD作為反序列化的對(duì)象存儲(chǔ)在JVM中，如果內(nèi)存不足，超出的分區(qū)將會(huì)被存放在硬盤(pán)上一般而言，使用cache()方法時(shí)，會(huì)調(diào)用persist(MEMORY_ONLY)持久化scala>vallist=List("Hadoop","Spark","Hive")list:List[String]=List(Hadoop,Spark,Hive)scala>valrdd=sc.parallelize(list)rdd:org.apache.spark.rdd.RDD[String]=ParallelCollectionRDD[22]atparallelizeat<console>:29scala>rdd.cache()//會(huì)調(diào)用persist(MEMORY_ONLY)，但是，語(yǔ)句執(zhí)行到這里，并不會(huì)緩存rdd，因?yàn)檫@時(shí)rdd還沒(méi)有被計(jì)算生成scala>println(rdd.count())//第一次行動(dòng)操作，觸發(fā)一次真正從頭到尾的計(jì)算，這時(shí)上面的rdd.cache()才會(huì)被執(zhí)行，把這個(gè)rdd放到緩存中3scala>println(rdd.collect().mkString(",")