2023學年完整公開課版速度

主講：孟繁興目錄01速度速度1速度Spark很快。Spark于2014年11月創(chuàng)下了大規(guī)模排序的官方紀錄，打破了之前的PB紀錄。Spark在2014年贏得了DaytonaGraySort比賽。這項比賽以數(shù)據(jù)庫大師吉姆·格雷（JimGray）命名，它的基準任務是極為資源密集型的（非常高的磁盤和網(wǎng)絡I/O),其可以用來衡量系統(tǒng)對100TB數(shù)據(jù)進行排序的速度(1萬億條記錄)。速度以前世界紀錄的計算速度是由MapReduce創(chuàng)造的，MapReduce在72分鐘內使用2100個節(jié)點（50400個物理內核）對100TB的數(shù)據(jù)進行了排序。而基于AmazonEC2的Spark系統(tǒng)在23分鐘內對相同的100TB數(shù)據(jù)進行了排序，這意味著它僅使用了1/10的節(jié)點,但是數(shù)據(jù)處理速度提高了3倍!值得注意的是,Spark是對磁盤上的數(shù)據(jù)（HDFS存儲）進行排序，并沒有使用內存緩存。速度Hadoop基于這樣的想法:計算應該轉移到數(shù)據(jù)所在的位置。Spark通過處理內存中的數(shù)據(jù)并使用執(zhí)行計劃來組織工作，進一步實踐了該想法。Spark之所以相對于HadoopMapReduce具有速度優(yōu)勢基于以下幾個原因:速度使用內存存儲數(shù)據(jù)（不同于MapReduce僅僅在計算時使用內存，Spark在應用程序執(zhí)行計算和存儲時，都使用了內存)。減少了開銷昂貴的shuffle操作。減少了IO同步運算。速度類似MapReduce，Spark把一個作業(yè)轉換為一個多步的DAG。DAG越復雜，Spark相比MapReduce的性能提升越明顯。借助于Spark，你可以在一個Hadoop集群上并行運行大型生產(chǎn)環(huán)境數(shù)據(jù)處理應用，而不必關心網(wǎng)絡、分布式編程、容錯處理等問題。速度Spark可以使用基于內存的運算。不管數(shù)據(jù)是否能夠存入內存，Spark都比MapReduce快很多。如果數(shù)據(jù)可以存入內存，Spark可以比MapReduce快數(shù)百倍。Spark提供了很多MapReduce具有的特性，比如容錯處理和可擴展性。然而，兩個關鍵因素造就了Spark的優(yōu)勢:Spark的高級執(zhí)行引擎和基于內存的集群計算。速度Spark可以在運行時連接不同的數(shù)據(jù)源，比如HDFS、Cassandra、AmazonS3和ApacheHBase?？梢允褂肧cala、Python或者Java編寫Spark應用。在本章及后續(xù)章節(jié)，當提到Sp