大數(shù)據(jù)分析及應用項目教程(Spark SQL)（微課版） 實訓單 實訓7 電商大數(shù)據(jù)分析與探索

實訓7電商大數(shù)據(jù)分析與探索一、實訓目的與要求1、掌握從不同數(shù)據(jù)源創(chuàng)建DataFrames的方法。2、掌握操作DataFrame進行數(shù)據(jù)清洗的基本方法。3、掌握操作DataFrame進行數(shù)據(jù)轉(zhuǎn)換的基本方法。4、掌握使用SparkSQL語句進行數(shù)據(jù)分析的方法。5、掌握持久存儲數(shù)據(jù)的方法。6、靈活使用DataFrame數(shù)據(jù)操作的各種方法進行數(shù)據(jù)查詢。7、會使用聚合、連接等操作對DataFrame數(shù)據(jù)進行轉(zhuǎn)換。8、能使用聚合函數(shù)對DataFrame數(shù)據(jù)進行分析。二、操作訓練1、女裝電子商務評論情況分析現(xiàn)有某女裝線上商店的一份圍繞客戶評論的女裝電子商務數(shù)據(jù)集Clothing-Reviews.csv。數(shù)據(jù)集字段如表1所示?，F(xiàn)在商家希望能幫助他們對此份數(shù)據(jù)進行分析，獲得一些建設性意見，幫助商店更好的發(fā)展。表1女裝電子商務評論數(shù)據(jù)集字段含義字段含義order_id訂單編號clothing_id服裝編號age年齡review_text 評論rating評級recommended_IND是否推薦positive_feedback_count積極反饋計數(shù)class_name服裝分類（1）讀取“女裝電子商務評論”數(shù)據(jù)集，加載數(shù)據(jù)集到RDD，接著利用自定義schema的方式將RDD轉(zhuǎn)換為DataFrame。操作結果截圖+簽名（2）對“Clothing-Reviews.csv”女裝電子商務評論數(shù)據(jù)集進行數(shù)據(jù)清洗，刪除重復的數(shù)據(jù)，對有空缺數(shù)據(jù)的行進行刪除。操作結果截圖+簽名（3）對“Clothing-Reviews.csv”女裝電子商務評論數(shù)據(jù)集進行數(shù)據(jù)轉(zhuǎn)換，將recommended_IND（是否推薦）列中的1替換為推薦，0替換為不推薦。操作結果截圖+簽名（4）使用createOrReplaceTempView()方法對女裝電子商務評論DataFrame數(shù)據(jù)創(chuàng)建本地的臨時視圖clothing_reviews。操作結果截圖+簽名（5）查看40歲以下，不同年齡段的客戶人數(shù)。操作結果截圖+簽名（6）統(tǒng)計recommended_IND為“不推薦”的訂單的rating評分分布。操作結果截圖+簽名（7）查看評分小于等于3且為“不推薦”的訂單的具體評論。操作結果截圖+簽名（8）查看不同服裝分類的不推薦數(shù)量。操作結果截圖+簽名（9）獲得不同服裝編號clothing_id的五星好評數(shù)量，并且降序排序。操作結果截圖+簽名（10）分析“rating”評分字段和“positive_feedback_count”積極反饋數(shù)量字段之間的相關性。操作結果截圖+簽名（11）找到服裝分類出現(xiàn)概率大于40%的類別，即支持級別為0.4。操作結果截圖+簽名（12）對age列計算近似分位數(shù)，指定的分位數(shù)概率為0.25、0.5和0.75(注意：0是最小值，1是最大值，0.5是中值median)。操作結果截圖+簽名（13）探索年齡age和評分rating等級間是否有相關性。操作結果截圖+簽名（14）利用save()函數(shù)保存數(shù)據(jù)。操作結果截圖+簽名（15）通過df.rdd.saveAsTextFile("file:///")轉(zhuǎn)化成rdd，將數(shù)據(jù)保存輸出到HDFS文件系統(tǒng)的/Chapter5目錄下，并命名為reviews_two.txt操作結果截圖+簽名2、在線銷售訂單數(shù)據(jù)分析現(xiàn)有兩份在線銷售數(shù)據(jù)集orders.csv和order-details.csv，是關于不同地區(qū)、多種商品和電子產(chǎn)品等的銷售情況。數(shù)據(jù)字段及說明如下表所示。表2orders.csv訂單信息數(shù)據(jù)集字段說明字段含義order_id訂單編號order_date訂單日期cust_id客戶編號full_name客戶名字city城市表3order-details.csv訂單詳細信息數(shù)據(jù)集字段說明字段含義order_id訂單編號sku商品的編碼qty_ordered已訂購數(shù)量price商品價格category類別discount_percent折扣百分比現(xiàn)在希望通過數(shù)據(jù)分析了解以下情況：（1）此數(shù)據(jù)集中每個客戶的下單數(shù)