大數(shù)據(jù)分析及應(yīng)用項(xiàng)目教程(Spark SQL)（微課版） 實(shí)訓(xùn)單 實(shí)訓(xùn)7 電商大數(shù)據(jù)分析與探索

實(shí)訓(xùn)7電商大數(shù)據(jù)分析與探索一、實(shí)訓(xùn)目的與要求1、掌握從不同數(shù)據(jù)源創(chuàng)建DataFrames的方法。2、掌握操作DataFrame進(jìn)行數(shù)據(jù)清洗的基本方法。3、掌握操作DataFrame進(jìn)行數(shù)據(jù)轉(zhuǎn)換的基本方法。4、掌握使用SparkSQL語(yǔ)句進(jìn)行數(shù)據(jù)分析的方法。5、掌握持久存儲(chǔ)數(shù)據(jù)的方法。6、靈活使用DataFrame數(shù)據(jù)操作的各種方法進(jìn)行數(shù)據(jù)查詢(xún)。7、會(huì)使用聚合、連接等操作對(duì)DataFrame數(shù)據(jù)進(jìn)行轉(zhuǎn)換。8、能使用聚合函數(shù)對(duì)DataFrame數(shù)據(jù)進(jìn)行分析。二、操作訓(xùn)練1、女裝電子商務(wù)評(píng)論情況分析現(xiàn)有某女裝線(xiàn)上商店的一份圍繞客戶(hù)評(píng)論的女裝電子商務(wù)數(shù)據(jù)集Clothing-Reviews.csv。數(shù)據(jù)集字段如表1所示?，F(xiàn)在商家希望能幫助他們對(duì)此份數(shù)據(jù)進(jìn)行分析，獲得一些建設(shè)性意見(jiàn)，幫助商店更好的發(fā)展。表1女裝電子商務(wù)評(píng)論數(shù)據(jù)集字段含義字段含義order_id訂單編號(hào)clothing_id服裝編號(hào)age年齡review_text 評(píng)論rating評(píng)級(jí)recommended_IND是否推薦positive_feedback_count積極反饋計(jì)數(shù)class_name服裝分類(lèi)（1）讀取“女裝電子商務(wù)評(píng)論”數(shù)據(jù)集，加載數(shù)據(jù)集到RDD，接著利用自定義schema的方式將RDD轉(zhuǎn)換為DataFrame。操作結(jié)果截圖+簽名（2）對(duì)“Clothing-Reviews.csv”女裝電子商務(wù)評(píng)論數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，刪除重復(fù)的數(shù)據(jù)，對(duì)有空缺數(shù)據(jù)的行進(jìn)行刪除。操作結(jié)果截圖+簽名（3）對(duì)“Clothing-Reviews.csv”女裝電子商務(wù)評(píng)論數(shù)據(jù)集進(jìn)行數(shù)據(jù)轉(zhuǎn)換，將recommended_IND（是否推薦）列中的1替換為推薦，0替換為不推薦。操作結(jié)果截圖+簽名（4）使用createOrReplaceTempView()方法對(duì)女裝電子商務(wù)評(píng)論DataFrame數(shù)據(jù)創(chuàng)建本地的臨時(shí)視圖clothing_reviews。操作結(jié)果截圖+簽名（5）查看40歲以下，不同年齡段的客戶(hù)人數(shù)。操作結(jié)果截圖+簽名（6）統(tǒng)計(jì)recommended_IND為“不推薦”的訂單的rating評(píng)分分布。操作結(jié)果截圖+簽名（7）查看評(píng)分小于等于3且為“不推薦”的訂單的具體評(píng)論。操作結(jié)果截圖+簽名（8）查看不同服裝分類(lèi)的不推薦數(shù)量。操作結(jié)果截圖+簽名（9）獲得不同服裝編號(hào)clothing_id的五星好評(píng)數(shù)量，并且降序排序。操作結(jié)果截圖+簽名（10）分析“rating”評(píng)分字段和“positive_feedback_count”積極反饋數(shù)量字段之間的相關(guān)性。操作結(jié)果截圖+簽名（11）找到服裝分類(lèi)出現(xiàn)概率大于40%的類(lèi)別，即支持級(jí)別為0.4。操作結(jié)果截圖+簽名（12）對(duì)age列計(jì)算近似分位數(shù)，指定的分位數(shù)概率為0.25、0.5和0.75(注意：0是最小值，1是最大值，0.5是中值median)。操作結(jié)果截圖+簽名（13）探索年齡age和評(píng)分rating等級(jí)間是否有相關(guān)性。操作結(jié)果截圖+簽名（14）利用save()函數(shù)保存數(shù)據(jù)。操作結(jié)果截圖+簽名（15）通過(guò)df.rdd.saveAsTextFile("file:///")轉(zhuǎn)化成rdd，將數(shù)據(jù)保存輸出到HDFS文件系統(tǒng)的/Chapter5目錄下，并命名為reviews_two.txt操作結(jié)果截圖+簽名2、在線(xiàn)銷(xiāo)售訂單數(shù)據(jù)分析現(xiàn)有兩份在線(xiàn)銷(xiāo)售數(shù)據(jù)集orders.csv和order-details.csv，是關(guān)于不同地區(qū)、多種商品和電子產(chǎn)品等的銷(xiāo)售情況。數(shù)據(jù)字段及說(shuō)明如下表所示。表2orders.csv訂單信息數(shù)據(jù)集字段說(shuō)明字段含義order_id訂單編號(hào)order_date訂單日期cust_id客戶(hù)編號(hào)full_name客戶(hù)名字city城市表3order-details.csv訂單詳細(xì)信息數(shù)據(jù)集字段說(shuō)明字段含義order_id訂單編號(hào)sku商品的編碼qty_ordered已訂購(gòu)數(shù)量price商品價(jià)格category類(lèi)別discount_percent折扣百分比現(xiàn)在希望通過(guò)數(shù)據(jù)分析了解以下情況：（1）此數(shù)據(jù)集中每個(gè)客戶(hù)的下單數(shù)