大數(shù)據(jù)分析及應(yīng)用項(xiàng)目教程(Spark SQL)（微課版） 實(shí)訓(xùn)單匯 許慧 實(shí)訓(xùn)1-10 Hadoop集群環(huán)境搭建- Zepplin數(shù)據(jù)可視化案例分析

實(shí)訓(xùn)1Hadoop集群環(huán)境搭建一、實(shí)訓(xùn)目的與要求1、掌握Hadoop集群環(huán)境搭建的環(huán)境準(zhǔn)備工作，包括配置主機(jī)名、防火墻設(shè)置、免密登錄設(shè)置、Java環(huán)境設(shè)置。2、掌握安裝Hadoop的過程、配置文件設(shè)置及啟動集群的方法。3、會在Hadoop集群運(yùn)行經(jīng)典案例wordcount。二、操作訓(xùn)練1、環(huán)境準(zhǔn)備主機(jī)名IP地址角色xxmaster192.168.128.130ResourceManager

SecondaryNameNode

NameNode

DataNode

NodeManagerxxslave01192.168.128.131DataNode

NodeManagerxxslave02192.168.128.132DataNode

NodeManagerxx為姓名縮寫從BaseNode鏈接克隆3個(gè)虛擬機(jī)（1）配置主機(jī)名、IP配置xxmaster主機(jī)名、IP操作結(jié)果截圖+簽名配置xxslave01主機(jī)名、IP操作結(jié)果截圖+簽名配置xxslave02主機(jī)名、IP操作結(jié)果截圖+簽名（2）關(guān)閉防火墻關(guān)閉xxmaster主機(jī)防火墻，并設(shè)置開機(jī)不自啟操作結(jié)果截圖+簽名關(guān)閉xxslave01主機(jī)防火墻，并設(shè)置開機(jī)不自啟操作結(jié)果截圖+簽名關(guān)閉xxslave02主機(jī)防火墻，并設(shè)置開機(jī)不自啟操作結(jié)果截圖+簽名（3）關(guān)閉SElinux關(guān)閉xxmaster主機(jī)SElinux操作結(jié)果截圖+簽名關(guān)閉xxslave01主機(jī)SElinux操作結(jié)果截圖+簽名關(guān)閉xxslave02主機(jī)SElinux操作結(jié)果截圖+簽名（4）修改/etc/hosts文件修改xxmaster主機(jī)/etc/hosts文件操作結(jié)果截圖+簽名修改xxslave01主機(jī)/etc/hosts文件操作結(jié)果截圖+簽名修改xxslave02主機(jī)/etc/hosts文件操作結(jié)果截圖+簽名（5）配置免密登錄在xxmaster創(chuàng)建公鑰和私鑰操作結(jié)果截圖+簽名拷貝公鑰到xxmaster操作結(jié)果截圖+簽名拷貝公鑰到xxslave01操作結(jié)果截圖+簽名拷貝公鑰到xxslave02操作結(jié)果截圖+簽名（6）配置Java環(huán)境配置xxmaster主機(jī)Java環(huán)境操作結(jié)果截圖+簽名配置xxslave01主機(jī)Java環(huán)境操作結(jié)果截圖+簽名配置xxslave02主機(jī)Java環(huán)境操作結(jié)果截圖+簽名2、安裝hadoop在xxmaster主機(jī)修改hadoop的配置文件配置hadoop-env.sh操作結(jié)果截圖+簽名配置core-site.xml操作結(jié)果截圖+簽名配置hdfs-site.xml操作結(jié)果截圖+簽名配置mapred-site.xml操作結(jié)果截圖+簽名配置yarn-site.xml操作結(jié)果截圖+簽名配置workers操作結(jié)果截圖+簽名分發(fā)hadoop文件分發(fā)hadoop程序給xxslave01操作結(jié)果截圖+簽名分發(fā)hadoop程序給xxslave02操作結(jié)果截圖+簽名格式化HDFS文件系統(tǒng)操作結(jié)果截圖+簽名3、啟動Hadoop集群在xxmaster啟動Hadoop集群操作結(jié)果截圖+簽名在xxmaster確認(rèn)操作結(jié)果截圖+簽名在xxslave01確認(rèn)操作結(jié)果截圖+簽名在xxslave02確認(rèn)操作結(jié)果截圖+簽名4、網(wǎng)頁確認(rèn)YARN畫面操作結(jié)果截圖+簽名HDFS畫面操作結(jié)果截圖+簽名5、運(yùn)行wordcount例子運(yùn)行操作結(jié)果截圖+簽名查看結(jié)果操作結(jié)果截圖+簽名實(shí)訓(xùn)2Spark集群部署與使用一、實(shí)訓(xùn)目的與要求1、掌握Spark集群安裝配置方法。2、會啟動關(guān)閉Spark集群。3、能使用Spark-shell進(jìn)行簡單編程測試。4、會下載、安裝配置Scala工具。5、能啟動Scala進(jìn)行編程測試。二、操作訓(xùn)練1、Spark安裝部署（1）使用MobaXterm工具，將軟件包上傳至master節(jié)點(diǎn)的root目錄下，然后將其解壓到/usr/local目錄中，修改名稱。操作結(jié)果截圖+簽名（2）在.bash_profile文件中修改環(huán)境變量，并使其生效。操作結(jié)果截圖+簽名（3）修改Spark配置文件。1）配置spark-env.sh文件操作結(jié)果截圖+簽名2）配置workers文件操作結(jié)果截圖+簽名（4）復(fù)制修改spark啟動腳本，避免和hadoop的啟動腳本沖突。操作結(jié)果截圖+簽名（5）分發(fā)Spark文件1）分發(fā)Spark文件到slaver01節(jié)點(diǎn)操作結(jié)果截圖+簽名2）分發(fā)Spark文件到slaver02節(jié)點(diǎn)操作結(jié)果截圖+簽名（6）啟動Spark操作結(jié)果截圖+簽名（7）查看各節(jié)點(diǎn)服務(wù)進(jìn)程狀態(tài)操作結(jié)果截圖+簽名（8）Web查看Spark主頁情況操作結(jié)果截圖+簽名（9）Spark集群測試1）使用spark-submit工具提交Spark作業(yè)操作結(jié)果截圖+簽名2）使用spark-sql，創(chuàng)建qzct數(shù)據(jù)庫，創(chuàng)建名稱為bigdata的表，包含字段有classid、classname。操作結(jié)果截圖+簽名3）使用sparkshell，進(jìn)入paste模式，計(jì)算矩形面積。操作結(jié)果截圖+簽名2、Scala安裝部署（1）上傳壓縮包至master節(jié)點(diǎn)的/root目錄下，并解壓修改名稱。操作結(jié)果截圖+簽名（2）配置環(huán)境變量，添加Scala相關(guān)配置操作結(jié)果截圖+簽名（3）使環(huán)境變量生效，查看Scala版本操作結(jié)果截圖+簽名（4）啟動Scala操作結(jié)果截圖+簽名實(shí)訓(xùn)3Scala基礎(chǔ)（一）一、實(shí)訓(xùn)目的與要求1、掌握Scala數(shù)據(jù)類型、常量與變量、運(yùn)算符。2、掌握Scala判斷與循環(huán)、函數(shù)式編程。3、掌握Scala集合操作。二、操作訓(xùn)練1、學(xué)生所屬班級和男女生數(shù)量（1）判斷學(xué)生所屬班級1）進(jìn)行班級數(shù)組的定義。操作結(jié)果截圖+簽名2）定義distinguish函數(shù)，利用if…elseif…else語句進(jìn)行判斷識別學(xué)號。操作結(jié)果截圖+簽名2、以班級為單位整理學(xué)生信息1）創(chuàng)建列表保存數(shù)據(jù)操作結(jié)果截圖+簽名2）應(yīng)用groupBy組合器進(jìn)行分組操作結(jié)果截圖+簽名實(shí)訓(xùn)4Scala基礎(chǔ)（二）一、實(shí)訓(xùn)目的與要求1、了解Scala類和對象、模式匹配的基本概念。2、掌握Scala類和對象、模式匹配的定義及操作方法3、能綜合應(yīng)用Scala基礎(chǔ)知識編寫應(yīng)用程序進(jìn)行數(shù)據(jù)分析。二、操作訓(xùn)練1、學(xué)生特長情況（1）編程實(shí)現(xiàn)，獲知音樂類特長的學(xué)生情況。定義一個(gè)object單例對象。在此對象中讀取數(shù)據(jù)文件，并轉(zhuǎn)換成數(shù)組。接著遍歷數(shù)組，搜索包括某類特長的學(xué)生數(shù)據(jù)并打印。操作結(jié)果截圖+簽名2、學(xué)生成績情況分析1）導(dǎo)入依賴包，讀取數(shù)據(jù)文件操作結(jié)果截圖+簽名2）將數(shù)據(jù)轉(zhuǎn)換為列表list操作結(jié)果截圖+簽名3）創(chuàng)建課程名稱列表操作結(jié)果截圖+簽名4）定義函數(shù)，計(jì)算各門課程的平均成績和及格人數(shù)。操作結(jié)果截圖+簽名5）定義函數(shù)，統(tǒng)計(jì)每個(gè)同學(xué)所有課程的總成績。操作結(jié)果截圖+簽名6）定義函數(shù)，用于輸出calculation1函數(shù)的計(jì)算結(jié)果。操作結(jié)果截圖+簽名7）綜合以上函數(shù)與方法，進(jìn)行調(diào)用、統(tǒng)計(jì)分析與輸出。操作結(jié)果截圖+簽名實(shí)訓(xùn)5房產(chǎn)大數(shù)據(jù)分析與探索一、實(shí)訓(xùn)目的與要求1、掌握將數(shù)據(jù)構(gòu)建為RDD的方法。2、能使用RDD的各種轉(zhuǎn)換和行動操作對數(shù)據(jù)集進(jìn)行處理分析。3、會對處理完成的數(shù)據(jù)進(jìn)行存儲操作。4、能靈活綜合的應(yīng)用各種RDD操作和各個(gè)算子對數(shù)據(jù)進(jìn)行分析。二、操作訓(xùn)練1、某房產(chǎn)公司銷售人員業(yè)績分析假設(shè)現(xiàn)有某房產(chǎn)公司一個(gè)部門員工的某年銷售業(yè)績數(shù)據(jù)，請幫助部門經(jīng)理對其進(jìn)行統(tǒng)計(jì)分析，獲取相關(guān)信息。相關(guān)數(shù)據(jù)表字段及含義如下表所示。表1人員信息表staff.txt員工編號姓名11020101馬文軒11040204黃焱12080403沈睿廣10040106王向秋21050309李悅可22010611許輝20100706楊昆明19080303任曉燕18090313廖文敏19111001尚夢菲11012008徐悠11022203劉聰21110301劉浩麗21010404李安安15012511王嘉勛表2上半年業(yè)績表first-half-year.txt員工編號時(shí)間房屋銷售套數(shù)房屋銷售金額（萬）11020101上半年12340011040204上半年10350012080403上半年14420010040106上半年8501021050309上半年15630022010611上半年6300020100706上半年11480019080303上半年13430018090313上半年15600019111001上半年16590011012008上半年480011022203上半年8230021110301上半年10300021010404上半年18610015012511上半年208000表3下半年業(yè)績表second-half-year.txt員工編號時(shí)間房屋銷售套數(shù)房屋銷售金額（萬）11020101下半年10370111040204下半年13450012080403下半年10410010040106下半年12401021050309下半年18530022010611下半年14300020100706下半年8420019080303下半年10430018090313下半年8560019111001下半年12551011012008下半年7160011022203下半年10330021110301下半年8300021010404下半年15580015012511下半年177020（1）構(gòu)建員工業(yè)績RDD。操作結(jié)果截圖+簽名（2）統(tǒng)計(jì)部門人員人數(shù)。操作結(jié)果截圖+簽名（3）分別統(tǒng)計(jì)上/下半年業(yè)績排名，取前三位及最后三位。操作結(jié)果截圖+簽名（4）統(tǒng)計(jì)上/下半年業(yè)績超過5000萬的人員。操作結(jié)果截圖+簽名（5）統(tǒng)計(jì)此部門當(dāng)年的房屋銷售套數(shù)。操作結(jié)果截圖+簽名（6）查看全年總業(yè)績最高人員。操作結(jié)果截圖+簽名（7）存儲以上統(tǒng)計(jì)分析信息。操作結(jié)果截圖+簽名2、某城市近年房產(chǎn)銷售狀況分析現(xiàn)有一份來自某網(wǎng)站的某城市近年房產(chǎn)銷售數(shù)據(jù)集house-price.csv，包含成交時(shí)間、價(jià)格、裝修情況、區(qū)域等信息。具體字段及含義如下表所示。表4某城市近年房產(chǎn)銷售數(shù)據(jù)集字段及含義字段含義url數(shù)據(jù)鏈接id用戶idtradeTime交易時(shí)間totalPrice總價(jià)格（萬）price單價(jià)square面積renovationCondition裝修情況elevator是否有電梯fiveYearsProperty是否滿五年subway是否有地鐵district所屬區(qū)域communityAverage區(qū)域均價(jià)（1）每年房產(chǎn)銷售量趨勢如何？操作結(jié)果截圖+簽名（2）此城市各區(qū)域房產(chǎn)銷量如何？均價(jià)如何？操作結(jié)果截圖+簽名（3）在2018年1月1日的銷量有多少？操作結(jié)果截圖+簽名（4）查詢2018年1月1日到1月31日之間，滿五年房產(chǎn)的銷售比例。操作結(jié)果截圖+簽名（5）哪種裝修類型的房子銷量最高？操作結(jié)果截圖+簽名（6）所售賣的房子中，電梯有無的比例，地鐵有無情況？操作結(jié)果截圖+簽名實(shí)訓(xùn)6某售房網(wǎng)站的銷售房屋情況一、實(shí)訓(xùn)目的與要求能靈活綜合的應(yīng)用各種RDD操作和各個(gè)算子對數(shù)據(jù)進(jìn)行分析。二、操作訓(xùn)練現(xiàn)有一份某售房網(wǎng)站的銷售房屋的具體情況，包括用戶編號（id），交易時(shí)間（tradeTime），房屋總價(jià)（totalPrice），房屋單價(jià)（price），房屋面積（square），臥室數(shù)量（livingRoom），樓層情況（level），具體樓層（floor），建筑時(shí)間（constructionTime），梯戶比（ladderRatio）。根據(jù)本章已學(xué)知識，對以下問題進(jìn)行分析。1、查看數(shù)據(jù)集，售賣的房屋樓層有高、中、低、底、頂這幾種類型。分析此份數(shù)據(jù)集中各個(gè)樓層的房屋銷量情況。操作結(jié)果截圖+簽名2、分析所售賣的房屋，臥室是幾室的房屋銷量最好。操作結(jié)果截圖+簽名3、假設(shè)認(rèn)為房子面積在90平方米以下的為小戶型，在90～140平方米的為中戶型，140平方米以上的為大戶型。分析計(jì)算大中小戶型房屋銷售情況。操作結(jié)果截圖+簽名實(shí)訓(xùn)7電商大數(shù)據(jù)分析與探索一、實(shí)訓(xùn)目的與要求1、掌握從不同數(shù)據(jù)源創(chuàng)建DataFrames的方法。2、掌握操作DataFrame進(jìn)行數(shù)據(jù)清洗的基本方法。3、掌握操作DataFrame進(jìn)行數(shù)據(jù)轉(zhuǎn)換的基本方法。4、掌握使用SparkSQL語句進(jìn)行數(shù)據(jù)分析的方法。5、掌握持久存儲數(shù)據(jù)的方法。6、靈活使用DataFrame數(shù)據(jù)操作的各種方法進(jìn)行數(shù)據(jù)查詢。7、會使用聚合、連接等操作對DataFrame數(shù)據(jù)進(jìn)行轉(zhuǎn)換。8、能使用聚合函數(shù)對DataFrame數(shù)據(jù)進(jìn)行分析。二、操作訓(xùn)練1、女裝電子商務(wù)評論情況分析現(xiàn)有某女裝線上商店的一份圍繞客戶評論的女裝電子商務(wù)數(shù)據(jù)集Clothing-Reviews.csv。數(shù)據(jù)集字段如表1所示?，F(xiàn)在商家希望能幫助他們對此份數(shù)據(jù)進(jìn)行分析，獲得一些建設(shè)性意見，幫助商店更好的發(fā)展。表1女裝電子商務(wù)評論數(shù)據(jù)集字段含義字段含義order_id訂單編號clothing_id服裝編號age年齡review_text 評論rating評級recommended_IND是否推薦positive_feedback_count積極反饋計(jì)數(shù)class_name服裝分類（1）讀取“女裝電子商務(wù)評論”數(shù)據(jù)集，加載數(shù)據(jù)集到RDD，接著利用自定義schema的方式將RDD轉(zhuǎn)換為DataFrame。操作結(jié)果截圖+簽名（2）對“Clothing-Reviews.csv”女裝電子商務(wù)評論數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，刪除重復(fù)的數(shù)據(jù)，對有空缺數(shù)據(jù)的行進(jìn)行刪除。操作結(jié)果截圖+簽名（3）對“Clothing-Reviews.csv”女裝電子商務(wù)評論數(shù)據(jù)集進(jìn)行數(shù)據(jù)轉(zhuǎn)換，將recommended_IND（是否推薦）列中的1替換為推薦，0替換為不推薦。操作結(jié)果截圖+簽名（4）使用createOrReplaceTempView()方法對女裝電子商務(wù)評論DataFrame數(shù)據(jù)創(chuàng)建本地的臨時(shí)視圖clothing_reviews。操作結(jié)果截圖+簽名（5）查看40歲以下，不同年齡段的客戶人數(shù)。操作結(jié)果截圖+簽名（6）統(tǒng)計(jì)recommended_IND為“不推薦”的訂單的rating評分分布。操作結(jié)果截圖+簽名（7）查看評分小于等于3且為“不推薦”的訂單的具體評論。操作結(jié)果截圖+簽名（8）查看不同服裝分類的不推薦數(shù)量。操作結(jié)果截圖+簽名（9）獲得不同服裝編號clothing_id的五星好評數(shù)量，并且降序排序。操作結(jié)果截圖+簽名（10）分析“rating”評分字段和“positive_feedback_count”積極反饋數(shù)量字段之間的相關(guān)性。操作結(jié)果截圖+簽名（11）找到服裝分類出現(xiàn)概率大于40%的類別，即支持級別為0.4。操作結(jié)果截圖+簽名（12）對age列計(jì)算近似分位數(shù)，指定的分位數(shù)概率為0.25、0.5和0.75(注意：0是最小值，1是最大值，0.5是中值median)。操作結(jié)果截圖+簽名（13）探索年齡age和評分rating等級間是否有相關(guān)性。操作結(jié)果截圖+簽名（14）利用save()函數(shù)保存數(shù)據(jù)。操作結(jié)果截圖+簽名（15）通過df.rdd.saveAsTextFile("file:///")轉(zhuǎn)化成rdd，將數(shù)據(jù)保存輸出到HDFS文件系統(tǒng)的/Chapter5目錄下，并命名為reviews_two.txt操作結(jié)果截圖+簽名2、在線銷售訂單數(shù)據(jù)分析現(xiàn)有兩份在線銷售數(shù)據(jù)集orders.csv和order-details.csv，是關(guān)于不同地區(qū)、多種商品和電子產(chǎn)品等的銷售情況。數(shù)據(jù)字段及說明如下表所示。表2orders.csv訂單信息數(shù)據(jù)集字段說明字段含義order_id訂單編號order_date訂單日期cust_id客戶編號full_name客戶名字city城市表3order-details.csv訂單詳細(xì)信息數(shù)據(jù)集字段說明字段含義order_id訂單編號sku商品的編碼qty_ordered已訂購數(shù)量price商品價(jià)格category類別discount_percent折扣百分比現(xiàn)在希望通過數(shù)據(jù)分析了解以下情況：（1）此數(shù)據(jù)集中每個(gè)客戶的下單數(shù)量是多少?操作結(jié)果截圖+簽名（2）每個(gè)城市的訂單有多少?操作結(jié)果截圖+簽名（3）每個(gè)客戶的消費(fèi)總額是多少?操作結(jié)果截圖+簽名（4）客戶的平均訂單消費(fèi)額是多少？操作結(jié)果截圖+簽名實(shí)訓(xùn)8某化妝品在線商店的客戶行為數(shù)據(jù)分析一、實(shí)訓(xùn)目的與要求1、綜合使用SparkSQL語句進(jìn)行數(shù)據(jù)分析。2、靈活使用DataFrame數(shù)據(jù)操作的各種方法進(jìn)行數(shù)據(jù)分析。二、操作訓(xùn)練1、現(xiàn)有一份某化妝品在線商店的客戶行為數(shù)據(jù)集User-behavior.csv（數(shù)據(jù)文件在本章數(shù)據(jù)文件夾中），數(shù)據(jù)集中的字段及含義如下表所示。請根據(jù)以下需求，使用SparkSQL相關(guān)知識對數(shù)據(jù)集進(jìn)行操作分析。字段含義event_time客戶行為時(shí)間event_type客戶行為類型product_id化妝產(chǎn)品IDbrand化妝產(chǎn)品品牌price產(chǎn)品價(jià)格user_id客戶ID（1）請查看數(shù)據(jù)集數(shù)，并查看前5行數(shù)據(jù)情況。操作結(jié)果截圖+簽名（2）在這份數(shù)據(jù)集中，有多少客戶對此線上商店進(jìn)行了瀏覽？操作結(jié)果截圖+簽名（3）在這份數(shù)據(jù)集的時(shí)間段中，所有商品屬于多少個(gè)品牌分類？操作結(jié)果截圖+簽名（4）這段時(shí)間中，每天賣出了多少商品？操作結(jié)果截圖+簽名（5）請根據(jù)客戶行為數(shù)據(jù)，統(tǒng)計(jì)這段時(shí)間客戶“view（瀏覽）”、“cart（加入購物車）”、“remove_from_cart（從購物車刪除）”、“purchase（購買）”這幾種行為的占比。操作結(jié)果截圖+簽名（6）除了無品牌以外，哪種品牌的化妝品被購買的數(shù)量最多？操作結(jié)果截圖+簽名2、利用題1的數(shù)據(jù)，使用SparkSQL中DataFrame的各種數(shù)據(jù)操作方法對數(shù)據(jù)進(jìn)行查詢分析，完成以下任務(wù)。（1）了解各個(gè)產(chǎn)品的銷售額情況，并查看銷售額最高的產(chǎn)品。操作結(jié)果截圖+簽名（2）獲取被瀏覽次數(shù)最多的產(chǎn)品ID。操作結(jié)果截圖+簽名（3）查看每個(gè)品牌的銷售額情況，并查看銷售額最高的化妝品品牌。操作結(jié)果截圖+簽名實(shí)訓(xùn)9Zepplin安裝部署與使用一、實(shí)訓(xùn)目的與要求1、會下載、安裝、配置Zepplin可視化工具。2、會在Zepplin中配置Spark解釋器。3、掌握在Zepplin中使用SparkSQL注冊視圖4、能使用Zepplin執(zhí)行SparkSQL命令實(shí)現(xiàn)數(shù)據(jù)可視化。二、操作訓(xùn)練1、Zepplin安裝部署（1）將Zepplin安裝包上傳到master節(jié)點(diǎn)的/root目錄下。操作結(jié)果截圖+簽名（2）解壓并重命名目錄。操作結(jié)果截圖+簽名（3）修改配置文件zeppelin-env.sh。操作結(jié)果截圖+簽名（4）啟動Zeppelin操作結(jié)果截圖+簽名（5）Zeppelin中的Spark解釋器配置操作結(jié)果截圖+簽名（6）測試自帶的BasicFeature(Spark)案例操作結(jié)果截圖+簽名（7）測試運(yùn)行自編代碼操作結(jié)果截圖+簽名2、女裝電子商務(wù)評論情況數(shù)據(jù)可視化（1）在Zeppelin中創(chuàng)建一個(gè)新的notebook，并命名為“clothing_reviews”。操作結(jié)果截圖+簽名（2）讀取HDFS文件系統(tǒng)中的女裝電子商務(wù)評論情況數(shù)據(jù)CSV文件，自定義schema并轉(zhuǎn)換為DataFrame。操作結(jié)果截圖+簽名（3）對“Clothing-Reviews.csv”女裝電子商務(wù)評論數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，刪除重復(fù)的數(shù)據(jù)，對有空缺數(shù)據(jù)的行進(jìn)行刪除。操作結(jié)果截圖+簽名（4）對“Clothing-Reviews.csv