《通信數據分析與實戰(zhàn)》課件-第九章 綜合案例-Spark 實時交易數據統(tǒng)計

通信數據分析與實戰(zhàn)綜合案例-Spark實時交易數據統(tǒng)計第九章第1節(jié)2知道系統(tǒng)案例的目的熟悉系統(tǒng)平臺的架構學習目標TARGET系統(tǒng)概述雙十一是每年11月11日的電商促銷活動，近幾年年最終24小時總成交額為2000億以上?，F場慶典中，成交額在大屏幕中實時刷新展示，這就用到了數據可視化技術，數據可視化是借助于圖形化手段，將數據庫中的每條數據以圖像形式展示在前端頁面，清晰有效地傳達交易信息。系統(tǒng)平臺架構設計系統(tǒng)預覽6小結知道系統(tǒng)案例的目的熟悉系統(tǒng)平臺的架構通信數據分析與實戰(zhàn)綜合案例-Spark實時交易數據統(tǒng)計第九章第2節(jié)8掌握Redis的安裝和啟動掌握Redis的常用操作學習目標TARGETRedis概述Redis是使用C語言開發(fā)的一個開源的高性能鍵值對數據庫，它通過提供多種鍵值對數據類型適應不同場景下的存儲需求，到目前為止，Redis支持鍵值對數據類型，分別是字符串數據類型（String）、哈希（Hash）、列表（List）、集合（Set）以及有序集合（Zset）五種。Redis作為內存數據庫，性能非常出色，官方數據顯示，Redis每秒可處理超過十萬次讀寫操作，Redis安裝1下載Redis安裝包，redis-3.2.8.tar.gz版本。2

編譯Redis源碼，并修改redis.conf配置文件。3執(zhí)行“./redis-server./redis.conf”命令，啟動Redis服務端，Redis安裝1下載Redis安裝包，redis-3.2.8.tar.gz版本。Redis安裝1上傳到hadoop01的/export/software解壓到/export/servers。cd/export/softwarerz

tar-zxvfredis-3.2.8.tar.gz-C/export/servers/Redis安裝2

編譯Redis源碼，并修改redis.conf配置文件。#由于Reids是C語言開發(fā),所以安裝的時候需要進行源碼編譯,編譯依賴于gcc環(huán)境

yuminstallgcc

#進入安裝目錄cd/export/servers/redis-3.2.8/makemakePREFIX=/export/servers/redisinstallRedis安裝2

編譯Redis源碼，并修改redis.conf配置文件。

#復制redis.conf配置文件cpredis.conf/export/servers/redis/bin/

#修改配置文件cd/export/servers/redis/bin/viredis.confbind34Redis安裝3執(zhí)行“./redis-server./redis.conf”命令，啟動Redis服務端，Redis常用操作方法名稱相關說明hset(key，field，value)向名稱為key的hash中添加元素fieldhget(key，field)返回名稱為key的hash中field對應的valuehincrby(key，field，integer)將名稱為key的hash中field的value增加integerhexists(key，field)名稱為key的hash中是否存在鍵為field的域hdel(key，field)刪除名稱為key的hash中鍵為field的域hlen(key)返回名稱為key的hash中元素個數17小結掌握Redis的安裝和啟動掌握Redis的常用操作通信數據分析與實戰(zhàn)綜合案例-Spark實時交易數據統(tǒng)計第九章第3節(jié)19掌握搭建項目結構學習目標TARGET模塊開發(fā)-構建工程結構1.創(chuàng)建Maven工程模塊開發(fā)-構建工程結構2.項目資源結構模塊開發(fā)-構建工程結構3.添加相關依賴添加spark-core、scala、spark-streaming、spark-streaming與kafka整合、Kafka、Jedis、spring以及Jsp、Json數據轉換工和WebSocket的Jar文件。模塊開發(fā)-構建工程結構4.添加Web.xml文件24小結掌握搭建項目結構通信數據分析與實戰(zhàn)綜合案例-Spark實時交易數據統(tǒng)計第九章第4節(jié)26熟悉訂單數據掌握向Kafka發(fā)送數據學習目標TARGET模擬訂單數據訂單數據模型通常由訂單編號、訂單時間、商品編號、商品價格等數十個字段組成。模擬訂單數據訂單的數據格式"orderId":"b030e0dfb3b04cd18c3b32beac01ab25","productId":"6",“productPrice":834}模擬訂單數據1.創(chuàng)建Kafka生產者對象利用KafkaAPI創(chuàng)建生產者對象，設置Kafka集群配置參數并調用send()方法，不斷向指定Kafka集群中發(fā)送訂單數據。2.啟動Kafka程序$bin/kafka-server-start.shconfig/perties#啟動Kafka服務$kafka-topics.sh--create\#創(chuàng)建Topic--topicit_order\--partitions3\--replication-factor2\--zookeeperhadoop01:2181,hadoop02:2181,hadoop03:2181$kafka-console-consumer.sh\#監(jiān)聽數據--from-beginning--topicit_order\--bootstrap-serverhadoop01:9092,hadoop02:9092,hadoop03:9092向Kafka集群發(fā)送訂單數據模擬訂單數據向Kafka集群發(fā)送訂單數據3.運行PaymentInfoProducer類生產數據模擬訂單數據向Kafka集群發(fā)送訂單數據4.Kafka消費數據32小結熟悉訂單數據掌握向Kafka發(fā)送數據通信數據分析與實戰(zhàn)綜合案例-Spark實時交易數據統(tǒng)計第九章第5節(jié)34掌握分析訂單數據學習目標TARGET模塊開發(fā)-分析訂單數據針對Kafka中的實時訂單數據，采用SparkStreaming實時計算框架對訂單中不同商品的成交額統(tǒng)計分析，將分析出的數據按業(yè)務需求保存至Redis數據庫。模塊開發(fā)-分析訂單數據1.配置Jedis操作Redis數據庫在項目的資源目錄創(chuàng)建perties配置文件，用于配置Redis數據庫；在scala目錄的cessdata包下創(chuàng)建RedisClient客戶端類，用于讀取配置文件中Redis參數；在cn.it.util包中，創(chuàng)建JedisUtil工具類，用來操作Redis數據庫。2.SparkStreaming處理數據在cessdata包下創(chuàng)建StreamingProcessdata類，用于SparkStreaming處理Kafka集群中的數據，并保存至Redis數據庫中。模塊開發(fā)-分析訂單數據3.測試系統(tǒng)是否能夠正常工作運行數據分析類StreamingProcessdata和數據生產類PaymentInfoProducer，通過Redis客戶端查看數據，發(fā)現數據已經存至Redis中。38小結掌握分析訂單數據通信數據分析與實戰(zhàn)綜合案例-Spark實時交易數據統(tǒng)計第九章第6節(jié)40掌握搭建Web開發(fā)環(huán)境掌握數據展示流程學習目標TARGET模塊開發(fā)-數據展示1在pom.xml配置文件中，添加開發(fā)JavaWeb工程所需的Spring框架相關依賴；2在web.xml配置文件中，配置Spring監(jiān)聽器、編碼過濾器和SpringMVC前端控制器以及指定springmvc.文件路徑；3在springmvc.xml配置文件中，配置Controller層和Service層的包掃描、注解驅動、視圖解析器及資源映射。搭建Web開發(fā)環(huán)境模塊開發(fā)-數據展示1創(chuàng)建GetDataService類，用于實現讀取Redis數據。2創(chuàng)建UiBean類，將Redis數據庫中的數據封裝為UiBean對象，即展示頁面時所需數據字段。3創(chuàng)建IndexController類，便于三層架構以接口的形式互相調用。4創(chuàng)建UiWeb