大數(shù)據(jù)分析及應(yīng)用項目教程(Spark SQL)（微課版） 課件 第6章 Zepplin數(shù)據(jù)可視化

6Zepplin數(shù)據(jù)可視化Zepplin安裝部署第一部分下載與安裝測試運行Zeppelin情境導(dǎo)入

數(shù)據(jù)可視化可以使數(shù)據(jù)信息更清晰形象的展示給數(shù)據(jù)分析人員，也為數(shù)據(jù)分析結(jié)果匯報呈現(xiàn)提供了有效途徑。Zeppelin是Apache基金會下的一個開源框架，它提供了一個數(shù)據(jù)可視化的框架。具有數(shù)據(jù)提取、數(shù)據(jù)發(fā)掘、數(shù)據(jù)分析、數(shù)據(jù)可視化展示與合作等功能。學習目標和要求1、會下載、安裝、配置Zepplin可視化工具。2、會在Zepplin中配置Spark解釋器。下載與安裝Zepplin可視化工具的安裝包可以直接通過其官網(wǎng)下載。通過下載地址：/download.html，選擇zeppelin-0.10.1-bin-all.tgz包進行下載。下載與安裝1、安裝步驟（1）將Zepplin安裝包上傳到master節(jié)點的/root目錄下。（2）解壓并重命名目錄。（3）修改配置文件zeppelin-env.sh。在文件最后添加以下配置內(nèi)容：下載與安裝2、Zeppelin控制臺

啟動Zeppelin后，通過瀏覽器訪問30:9090可以打開Zeppelin控制臺。下載與安裝3、Zeppelin中的Spark解釋器配置

目前，Zeppelin支持Scala、Python、Flink、SparkSQL、Hive、JDBC、Markdown、Shell等多種解釋器。（1）anonymous用戶按鈕，打開解釋器配置界面。（2）搜索spark解釋器，進入spark解釋器配置界面進行設(shè)置。測試運行Zeppelin1、測試自帶的BasicFeature(Spark)案例

點擊菜單欄中的Notebook按鈕，找到并點擊SparkBasicFeatures，本案例是對一份銀行數(shù)據(jù)進行分析及可視化。測試運行Zeppelin2、測試運行自編代碼（1）Zeppelin控制臺首頁，點擊“Createnewnote”按鈕，創(chuàng)建一個新的notebook。（2）在彈出的窗口中填寫新文件的路徑和名稱，選擇解釋器，此處選擇默認的spark解釋器即可。最后點擊Create按鈕，創(chuàng)建文件。（3）在新建的notebook界面執(zhí)行以下代碼。女裝電子商務(wù)評論情況數(shù)據(jù)可視化第二部分加載數(shù)據(jù)注冊視圖執(zhí)行SQL數(shù)據(jù)可視化情境導(dǎo)入

在第五章中，我們利用SparkSQL在spark-shell中輸入代碼，對“女裝電子商務(wù)評論情況”數(shù)據(jù)集進行了分析。但是通過此方法分析獲得的結(jié)果都是二維數(shù)據(jù)表數(shù)據(jù)，數(shù)據(jù)特征不夠直觀生動，不利于總結(jié)分析匯報。因此，此女裝線上商店負責人希望能對數(shù)據(jù)進行可視化，以幫助她們更好的進行決策。在Zeppelin的notebook中使用SQL解釋器，可以將查詢的結(jié)果以條狀圖、散點圖、折線圖等常見的方式進行可視化展示。學習目標和要求1、掌握在Zepplin中使用SparkSQL注冊視圖2、能使用Zepplin執(zhí)行SparkSQL命令實現(xiàn)數(shù)據(jù)可視化。加載數(shù)據(jù)注冊視圖1、啟動Hadoop集群、Spark集群和Zeppelin啟動。在Zeppelin中創(chuàng)建一個新的notebook，并命名為“clothing_reviews”。2、讀取HDFS文件系統(tǒng)中的CSV文件，自定義schema并轉(zhuǎn)換為DataFrame。加載數(shù)據(jù)注冊視圖3、對“Clothing-Reviews.csv”女裝電子商務(wù)評論數(shù)據(jù)集進行數(shù)據(jù)清洗，刪除重復(fù)的數(shù)據(jù)，對有空缺數(shù)據(jù)的行進行刪除。加載數(shù)據(jù)注冊視圖4、對“Clothing-Reviews.csv”女裝電子商務(wù)評論數(shù)據(jù)集進行數(shù)據(jù)轉(zhuǎn)換，將recommended_IND（是否推薦）列中的1替換為推薦，0替換為不推薦。加載數(shù)據(jù)注冊視圖5、使用createOrReplaceTempView()方法創(chuàng)建本地的臨時視圖clothing_reviews。執(zhí)行SQL數(shù)據(jù)可視化

輸入SparkSQL時，必須在第一行輸入%sql。輸入%sql的目的是告訴Zeppelin的解釋器（Interpreter），后續(xù)輸入的命令是SparkSQL。1、對前述創(chuàng)建好的“clothing_reviews”視圖進行操作分析。首先了解本網(wǎng)上商店的客戶年齡分布。查看40歲以下，不同年齡段的客戶人數(shù)。執(zhí)行SQL數(shù)據(jù)可視化2、查看銷量最高的服裝分類。執(zhí)行SQL數(shù)據(jù)可視化3、統(tǒng)計不同rating評分的“推薦”和“不推薦”的recommended_IND數(shù)量情況。執(zhí)行SQL數(shù)據(jù)可視化修改數(shù)據(jù)透視表：

在Zeppelin中，可以采用簡單的拖放方式對數(shù)據(jù)進行聚合并生成數(shù)據(jù)透視表。并且可以創(chuàng)建包括求和、計數(shù)、平均、最小值、最大值等多個值的集合的數(shù)據(jù)透視圖表。將rating設(shè)置為keys，以recommended_IND作為groups分組，將count(1)求和數(shù)量設(shè)置為values執(zhí)行SQL數(shù)據(jù)可視化

將recommended_IND拖動到keys框，將rating拖動到groups框中，則數(shù)據(jù)圖以另一種聚合形態(tài)展示。執(zhí)行SQL數(shù)據(jù)可視化4、查詢了解不推薦的這些訂單，分別屬于哪些服裝分類，各種服裝類的不推薦數(shù)量情況如何。執(zhí)行SQL數(shù)據(jù)可視化5、現(xiàn)在，商店負責人想知道本商店五星好評最多的服裝類別是什么，評分最低的服裝類型是什么。對于此問題，只需要統(tǒng)計分析不同評分等級的服裝編號clothing_id情況。在線銷售訂單數(shù)據(jù)分析可視化第三部分情境導(dǎo)入

通過“任務(wù)6.2女裝電子商務(wù)評論情況數(shù)據(jù)可視化”，我們已經(jīng)掌握了在Zepplin中使用SparkSQL注冊視圖并執(zhí)行SparkSQL命令實現(xiàn)數(shù)據(jù)可視化?，F(xiàn)在線上商店負責人要求對“在線銷售訂單數(shù)據(jù)”進行可視化分析。

學習目標和要求：靈活編寫SparkSQL命令，應(yīng)用Zeppelin實現(xiàn)數(shù)據(jù)可視化分析。執(zhí)行SparkSQL數(shù)據(jù)可視化1、在Zeppelin的notebook中加載DataFrame。使用createOrReplaceTempView()方法創(chuàng)建本地的臨時視圖orders_tmp。2、統(tǒng)計此數(shù)據(jù)集中每個客戶的下單數(shù)量，了解此線上商店的客戶忠誠度。orders.createOrReplaceTempView("orders_tmp")執(zhí)行SparkSQL數(shù)據(jù)可視化4、查看每個城市的訂單，為商家備貨方案提供建議。5、為了針對不同的客戶推薦合適的商品，需要獲得客戶的消費能力情況。因此需要分析計算