2023學(xué)年完整公開(kāi)課版SparkSQL的前世今生

SparkSQL的前世今生SparkSQL發(fā)展歷史SparkSQL的性能優(yōu)化技術(shù)01

SparkSQL發(fā)展歷史SparkSQL發(fā)展歷史Spark1.0版本開(kāi)始，推出了SparkSQL。最早使用的，都是Hadoop自己的Hive查詢引擎；后來(lái)Spark提供了Shark；再后來(lái)Shark被淘汰，推出了SparkSQL。Shark的性能比Hive就要高出一個(gè)數(shù)量級(jí)，而SparkSQL的性能又比Shark高出一個(gè)數(shù)量級(jí)。SparkSQL發(fā)展歷史最早來(lái)說(shuō)，Hive的誕生，主要是因?yàn)橐屇切┎皇煜ava，無(wú)法深入進(jìn)行MapReduce編程的數(shù)據(jù)分析師，能夠使用他們熟悉的關(guān)系型數(shù)據(jù)庫(kù)的SQL模型，來(lái)操作HDFS上的數(shù)據(jù)。因此，推出了Hive。Hive底層基于MapReduce實(shí)現(xiàn)SQL功能，能夠讓數(shù)據(jù)分析人員，以及數(shù)據(jù)開(kāi)發(fā)人員，方便的使用Hive進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的建模和建設(shè)，然后使用SQL模型針對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析。但是，Hive有個(gè)致命的缺陷，就是它的底層基于MapReduce，而MapReduce的shuffle又是基于磁盤的，因此導(dǎo)致Hive的性能異常低下。經(jīng)常出現(xiàn)復(fù)雜的SQLETL，要運(yùn)行數(shù)個(gè)小時(shí)，甚至數(shù)十個(gè)小時(shí)的情況。

SparkSQL發(fā)展歷史Shark與Hive實(shí)際上還是緊密關(guān)聯(lián)的，Shark底層很多東西依賴于Hive。但是修改了三個(gè)模塊：內(nèi)存管理物理計(jì)劃執(zhí)行底層使用Spark的基于內(nèi)存的計(jì)算模型，從而讓性能比Hive提升了數(shù)倍到上百倍。SparkSQL發(fā)展歷史Shark底層依賴了Hive的語(yǔ)法解析器、查詢優(yōu)化器等組件，因此對(duì)于其性能的提升還是造成了制約。Spark團(tuán)隊(duì)決定，完全拋棄Shark，推出了全新的SparkSQL項(xiàng)目。SparkSQL：不只是針對(duì)Hive中的數(shù)據(jù)了，而且可以支持其他很多數(shù)據(jù)源的查詢。

02

SparkSQL的性能優(yōu)化技術(shù)SparkSQL的特點(diǎn)支持多種數(shù)據(jù)源：Hive、RDD、Parquet、JSON、JDBC等。多種性能優(yōu)化技術(shù)：in-memorycolumnarstorage、byte-codegeneration、costmodel動(dòng)態(tài)評(píng)估等。組件擴(kuò)展性：對(duì)于SQL的語(yǔ)法解析器、分析器以及優(yōu)化器，用戶都可以自己重新開(kāi)發(fā)，并且動(dòng)態(tài)擴(kuò)展。在2014年6月1日的時(shí)候，Spark宣布了不再開(kāi)發(fā)Shark，全面轉(zhuǎn)向SparkSQL的開(kāi)發(fā)。SparkSQL的性能比Shark來(lái)說(shuō)，又有了數(shù)倍的提升。SparkSQL的性能優(yōu)化技術(shù)1.內(nèi)存列存儲(chǔ)（in-memorycolumnarstorage）內(nèi)存列存儲(chǔ)意味著，SparkSQL的數(shù)據(jù)，不是使用Java對(duì)象的方式來(lái)進(jìn)行存儲(chǔ)。使用面向列的內(nèi)存存儲(chǔ)的方式來(lái)進(jìn)行存儲(chǔ)。每一列，作為一個(gè)數(shù)據(jù)存儲(chǔ)的單位。大大優(yōu)化了內(nèi)存使用的效率。采用了內(nèi)存列存儲(chǔ)之后，減少了對(duì)內(nèi)存的消耗，也就避免了gc大量數(shù)據(jù)的性能開(kāi)銷。SparkSQL的性能優(yōu)化技術(shù)2.字節(jié)碼生成技術(shù)（byte-codegeneration）SparkSQL在其catalyst模塊的expressions中增加了codegen模塊，對(duì)于SQL語(yǔ)句中的計(jì)算表達(dá)式。比如selectnum+numfromt這種的sql，就可以使用動(dòng)態(tài)字節(jié)碼生成技術(shù)來(lái)優(yōu)化其性能。SparkSQL的性能優(yōu)化技術(shù)3.Scala代碼編寫的優(yōu)化對(duì)于Scala代碼編寫中，可能會(huì)造成較大性能開(kāi)銷的地方。自己重寫，使用更加復(fù)雜的方式，來(lái)獲取更好的性能。比如：Option樣例類、for循環(huán)、map/filter/foreach等高階函數(shù)。以