2023學年完整公開課版Spark技術(shù)簡介

Spark技術(shù)簡介1.了解Spark技術(shù)背景知識

2.知道Spark解決問題的場景

3.掌握Spark支持的語言及技術(shù)特點

01Spark背景介紹02Spark解決問題的場景03Spark支持的語言04Spark技術(shù)的特點Spark背景介紹01背景介紹Spark是加州大學伯克利分校AMP實驗室（AlgorithmsMachinesandPeopleLab）開發(fā)通用并行計算框架。Spark在2013年6月進入Apache成為孵化項目，8個月后成為Apache頂級項目。Spark以其先進的設(shè)計理念，迅速成為社區(qū)的熱門項目，圍繞著Spark推出了SparkSQL、SparkStreaming、MLLib和GraphX等組件，也就是BDAS（伯克利數(shù)據(jù)分析棧），這些組件逐漸形成大數(shù)據(jù)處理一站式解決平臺。

Spark解決問題的場景02解決問題的場景Spark的目標是使數(shù)據(jù)分析更快，幾乎大數(shù)據(jù)所有的場景Spark都能處理：針對批次數(shù)據(jù)處理Spark中的SparkCore可以處理；針對流式數(shù)據(jù)Spark中有SparkStreaming處理；針對即席數(shù)據(jù)查詢Spark中有SparkSQL處理；針對圖計算場景Spark中有SparkGraphx處理；針對大數(shù)據(jù)中機器學習的場景Spark中有SparkMLlib機器學習庫來提供支持。Spark支持的語言03支持的語言目前開發(fā)Spark使用最方便的語言是Scala語言，這得益于Spark底層的源碼是Scala編寫ScalaJavaPythonRSpark支持的語言Spark技術(shù)的特點04技術(shù)的特點速度快簡單易用通用性運行模式多樣特點一：速度快

Spark處理數(shù)據(jù)快的原因：

相對于Hadoop體系中的MapReduce來說是可以將處理的結(jié)果保存到內(nèi)存中，這樣在迭代計算的場景下，Spark的速度快的顯著。

Spark底層有DAG執(zhí)行引擎優(yōu)化任務(wù)，Spark是粗粒度的資源調(diào)度框架利于集群中多job資源共享等。特點二：簡單易用

使用Scala,Java,Python,R,SQL語言編寫Spark程序，Spark針對以上語言提供了80個以上的高效的方法，我們可以使用這些方法來輕松的構(gòu)建并行的分布式應(yīng)用程序，同時Spark提供了交互式的操作窗口，我們也可以在交互式的操作窗口中對Spark進行編程。特點三：通用性Spark技術(shù)棧提供了豐富的組件，我們可以在一個組件內(nèi)調(diào)用其他組件的庫來進行編程，這樣就可以在一個應(yīng)用程序中無縫的結(jié)合各個組件。特點四：運行模式多樣Spark可以運行在HadoopYarn、ApacheMesos、Kubernetes、SparkStandalone中。Spark可以讀取HDFS、Alluxio、ApacheCassandra、ApacheHBase、ApacheHive等各種源頭的數(shù)據(jù)，SparkApi提供了讀取這些數(shù)據(jù)的支