《Spark應(yīng)用開發(fā)技術(shù)》課件-03-Spark Streaming

Spark應(yīng)用開發(fā)技術(shù)本章主要講述SparkStreaming實時計算框架、Dstream編程模型。通過學(xué)習(xí)本節(jié)將能夠?qū)W習(xí)SparkStreaming實時計算框架、Dstream編程模型。通過本節(jié)學(xué)習(xí)可以：理解SparkStreaming的基本概念及運行原理掌握Dstream的轉(zhuǎn)換操作掌握Dstream的窗口操作掌握Dstream的輸出操作初探SparkStreamingSparkStreaming簡介Spark

Streaming運行原理初步使用SparkStreaming掌握Dstream編程模型Dstream簡介Dstream轉(zhuǎn)換操作Dstream窗口操作Dstream輸出操作3.

Spark

Streaming實時更新熱門博文背景隨著互聯(lián)網(wǎng)和信息科學(xué)技術(shù)的發(fā)展，技術(shù)人員也需要不斷地緊跟潮流學(xué)習(xí)新的技術(shù)。這些人在學(xué)習(xí)的過程中喜歡把所學(xué)的知識記錄下來以方便以后查看或者分享給他人。某些公司因此萌發(fā)了開發(fā)技術(shù)博客網(wǎng)站的想法，技術(shù)博客網(wǎng)站的功能就是技術(shù)人員可以通過注冊成為會員后把自己所學(xué)的知識記錄在博客上分享給其他人學(xué)習(xí)或者在網(wǎng)站上查看他人分享的知識。而隨著推薦技術(shù)的發(fā)展，現(xiàn)在的博客網(wǎng)站也都會設(shè)置個性化的推薦板塊，以此來吸引用戶的瀏覽，比如，CSDN網(wǎng)站就有推薦博客、最熱下載、行業(yè)熱點等推薦板塊。國內(nèi)某個技術(shù)博客網(wǎng)站設(shè)置了熱門博文板塊，系統(tǒng)每小時對博文網(wǎng)頁進(jìn)行快速統(tǒng)計，將熱度最高的10個網(wǎng)頁更新到熱門博文版塊。一般可以根據(jù)如下的公式計算網(wǎng)頁的熱度，其中，u代表用戶等級，x代表用戶從進(jìn)入網(wǎng)站到離開網(wǎng)站這段時間內(nèi)對該網(wǎng)頁的訪問次數(shù)，y代表停留時間，z表示是否點贊

f(u,x,y,z)=0.1u+0.9x+0.4y+zSparkStreaming實時更新熱門博文采集用戶對于某個網(wǎng)頁的行為數(shù)據(jù)其中pageId表示點擊的網(wǎng)頁ID，userRank表示用戶等級，visitTimes表示用戶從進(jìn)入網(wǎng)站到離開網(wǎng)站這段時間內(nèi)對該網(wǎng)頁的訪問次數(shù)，waitTime表示停留時間，like表示是否點贊。1為贊，-1表示踩，0表示中立。SparkStreaming實時更新熱門博文設(shè)計表計算網(wǎng)頁熱度之后要求把熱度最高的10個網(wǎng)頁保存在MySQL數(shù)據(jù)庫中，因此需要在MySQL數(shù)據(jù)庫中設(shè)計一個表top_web_page接收熱度最高的10個網(wǎng)頁。top_web_page表的結(jié)構(gòu)如表所示SparkStreaming實時更新熱門博文采集數(shù)據(jù)日志生成模擬器，首先采集用戶對于某個網(wǎng)頁的行為數(shù)據(jù)保存在本地E盤test.log文件里每隔5s隨機(jī)的從test.log文件中挑選100行添加到新日志文件中，新生成的日志文件存放在E盤的streaming目錄下。SparkStreaming實時更新熱門博文計算網(wǎng)頁熱度SparkStreaming讀取監(jiān)控目錄下的數(shù)據(jù)，生成一個DStream。計算網(wǎng)頁熱度首先需要對每一行數(shù)據(jù)根據(jù)數(shù)據(jù)的分隔符（如“，”）進(jìn)行分割根據(jù)公式計算網(wǎng)頁的熱度，得到以網(wǎng)頁為鍵，熱度為值的鍵值對數(shù)據(jù)。接著根據(jù)相同的鍵計算網(wǎng)頁的熱度總和最后根據(jù)熱度總和對數(shù)據(jù)降序排序，取出熱度最高的前10個網(wǎng)頁。SparkStreaming實時更新熱門博文網(wǎng)頁熱度輸出每次更新網(wǎng)頁及其熱度，需要把更新結(jié)果輸出到MySQL中定義創(chuàng)建連接對象的方法及清空表的方法，如下圖所示SparkStreaming實時更新熱門博文網(wǎng)頁熱度輸出使用Dsteam提供的foreachRDD的方法將熱度最高的10個網(wǎng)頁數(shù)據(jù)信息輸出到MySQL數(shù)據(jù)庫中top_web_page表，如下圖所示SparkStreaming實時更新熱門博文

SparkStreaming實時更新熱門博文運行模擬器代碼，同時運行計算網(wǎng)頁熱度的代碼SparkStreaming監(jiān)控產(chǎn)生文件的目錄，一旦有新文件產(chǎn)生就會計算新文件的網(wǎng)頁熱度及其排名然后輸出到top_web_page表。查看top_web_page表的內(nèi)容SparkStreaming實時更新熱門博文請簡