Spark大數(shù)據(jù)分析 課件 6.1 認識Spark Streaming

認識SparkStreaming

目錄/Contents01

什么是流式計算01

什么是SparkStreaming01

SparkStreaming工作原理什么是流式計算01什么是流式計算在日常生活中，我們通常會先把數(shù)據(jù)存儲在一張表中，然后再進行加工、分析，這里就涉及到一個時效性的問題。如果我們處理以年、月為單位的級別的數(shù)據(jù)，那么多數(shù)據(jù)的實時性要求并不高；但如果我們處理的是以天、小時，甚至分鐘為單位的數(shù)據(jù)，那么對數(shù)據(jù)的時效性要求就比較高。在第二種場景下，如果我們仍舊采用傳統(tǒng)的數(shù)據(jù)處理方式，統(tǒng)一收集數(shù)據(jù)，存儲到數(shù)據(jù)庫中，之后在進行分析，就可能無法滿足時效性的要求。1、流式計算誕生背景什么是流式計算流式處理可以用于兩種不同場景：事件流和持續(xù)計算。(1)事件流事件流具能夠持續(xù)產生大量的數(shù)據(jù)，這類數(shù)據(jù)最早出現(xiàn)于傳統(tǒng)的銀行和股票交易領域，也在互聯(lián)網(wǎng)監(jiān)控、無線通信網(wǎng)等領域出現(xiàn)、需要以近實時的方式對更新數(shù)據(jù)流進行復雜分析如趨勢分析、預測、監(jiān)控等。簡單來說，事件流采用的是查詢保持靜態(tài)，語句是固定的，數(shù)據(jù)不斷變化的方式。(2)持續(xù)計算比如對于大型網(wǎng)站的流式數(shù)據(jù)：網(wǎng)站的訪問PV/UV、用戶訪問了什么內容、搜索了什么內容等，實時的數(shù)據(jù)計算和分析可以動態(tài)實時地刷新用戶訪問數(shù)據(jù)，展示網(wǎng)站實時流量的變化情況，分析每天各小時的流量和用戶分布情況；2、流式計算主要應用場景什么是SparkStreaming02什么是SparkStreaming1、基本概念SparkStreaming是構建在Spark上的實時計算框架，它擴展了Spark處理大規(guī)模流式數(shù)據(jù)的能力。SparkStreaming可結合批處理和交互查詢，適合一些需要對歷史數(shù)據(jù)和實時數(shù)據(jù)進行結合分析的應用場景。SparkStreaming是Spark的核心組件之一，為Spark提供了可拓展、高吞吐、容錯的流計算能力。如下圖所示，SparkStreaming可整合多種輸入數(shù)據(jù)源，如Kafka、Flume、HDFS，甚至是普通的TCP套接字。經(jīng)處理后的數(shù)據(jù)可存儲至文件系統(tǒng)、數(shù)據(jù)庫，或顯示在儀表盤里。什么是SparkStreamingSparkStreaming是SparkcoreAPI的擴展，支持實時數(shù)據(jù)流的處理，并且具有可擴展，高吞吐量，容錯的特點。SparkStreaming具有如下顯著特點。（1）易用性可以像編寫離線批處理一樣去編寫流式程序，支持java/scala/python編程語言（2）容錯性SparkStreaming在沒有額外代碼和配置的情況下可以恢復丟失的工作。（3）易整合性流式處理與批處理和交互式查詢相結合非常方便。什么是SparkStreamingSparkStreaming核心術語(1)離散流（DStream）(2)批數(shù)據(jù)（batchdata）(3)時間片或批處理時間間隔（batchinterval）(4)窗口長度（windowlength）(5)滑動時間間隔(6)InputDStreamSparkStreaming工作原理03SparkStreaming工作原理SparkStreaming支持從多種數(shù)據(jù)源提取數(shù)據(jù)，如：Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCP套接字，并且可以提供一些高級API來表達復雜的處理算法，如：map、reduce、join和window等。最后，SparkStreaming支持將處理完的數(shù)據(jù)推送到