2020年山東省職業(yè)院校技能大賽高職組“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)任務(wù)書(shū)（B卷）

項(xiàng)目背景餐飲行業(yè)歷史悠久，伴隨著互聯(lián)網(wǎng)的興起，餐飲行業(yè)不得不從“酒香不怕巷子深”轉(zhuǎn)變?yōu)榉?wù)至上、用戶(hù)體驗(yàn)至上的運(yùn)營(yíng)模式。外賣(mài)行業(yè)更是直接把傳統(tǒng)的餐飲行業(yè)拉進(jìn)了互聯(lián)網(wǎng)時(shí)代，無(wú)論是對(duì)外尋找精準(zhǔn)客戶(hù)群，還是對(duì)內(nèi)進(jìn)銷(xiāo)存管理，都需要根據(jù)數(shù)據(jù)分析調(diào)整運(yùn)營(yíng)策略。越來(lái)越多的餐飲廣告出現(xiàn)在視頻廣告，交通工具和城市大街小巷，然而也從來(lái)沒(méi)有哪個(gè)時(shí)代的餐飲業(yè)像今天這樣競(jìng)爭(zhēng)激烈、快進(jìn)快出，餐飲競(jìng)爭(zhēng)的加劇使得餐飲品類(lèi)在持續(xù)分化。大數(shù)據(jù)在這種變化中起到了至關(guān)重要的作用，如今的餐飲行業(yè)很多都會(huì)在搶購(gòu)熱潮來(lái)臨之前，使用大數(shù)據(jù)來(lái)分析消費(fèi)趨勢(shì)，以此在美食熱潮中獲得更多收益。隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展，消費(fèi)者的需求和偏好一直在改變。餐飲行業(yè)需要對(duì)地域、受眾人群、流行趨勢(shì)進(jìn)行總體分析，通過(guò)不同類(lèi)型店鋪的地理分布、店鋪經(jīng)營(yíng)主類(lèi)與受眾人群相契合、把握美食流行趨勢(shì)對(duì)顧客的消費(fèi)數(shù)據(jù)做出分析，設(shè)定未來(lái)市場(chǎng)經(jīng)營(yíng)策略，以便獲得更好的發(fā)展。為完成該項(xiàng)任務(wù)，你所在的小組計(jì)劃選用在業(yè)界廣泛應(yīng)用的Python和JAVA語(yǔ)言，作為整個(gè)項(xiàng)目的基礎(chǔ)語(yǔ)言，并綜合利用scrapy框架、MapReduce、MySQL、Flask框架（Jinja2模板引擎）、ECharts組件等技術(shù)，提高開(kāi)發(fā)效率并實(shí)現(xiàn)項(xiàng)目要求，通過(guò)在離線(xiàn)網(wǎng)站上爬取到的相關(guān)信息，使用Python等手段對(duì)數(shù)據(jù)進(jìn)行爬取、清洗、整理、計(jì)算、表達(dá)、分析，力求實(shí)現(xiàn)對(duì)未來(lái)餐飲重點(diǎn)戰(zhàn)略方向提出建議。作為該小組的技術(shù)人員，你們是這次技術(shù)方案的核心成員，請(qǐng)按照下面步驟完成本次技術(shù)展示任務(wù)，并進(jìn)行綜合分析。祝你們成功！環(huán)境參考信息：編號(hào)任務(wù)類(lèi)型用戶(hù)密碼1Hadoop平臺(tái)部署master主節(jié)點(diǎn)rootpasswd2slave1從節(jié)點(diǎn)rootpasswd3slave2從節(jié)點(diǎn)rootpasswd4數(shù)據(jù)采集網(wǎng)站5數(shù)據(jù)清洗分析節(jié)點(diǎn)hadooppasswd6數(shù)據(jù)可視化節(jié)點(diǎn)restaurantrestaurant相關(guān)軟件安裝包在/h3cu目錄下。任務(wù)中涉及的所有命令請(qǐng)均使用絕對(duì)路徑。相關(guān)提交報(bào)告模板在桌面文件夾“競(jìng)賽提交文檔”下，文件名為“2020年山東省大數(shù)據(jù)技術(shù)與應(yīng)用省賽提交結(jié)果文檔--工位XX.docx”，根據(jù)實(shí)際工位號(hào)修改文件名中的“XX”，另存為PDF格式提交。任務(wù)一環(huán)境搭建（15分）HadoopHA部署本環(huán)節(jié)需要使用root用戶(hù)完成相關(guān)配置，安裝Hadoop需要配置前置環(huán)境，具體部署要求如下：1.在master節(jié)點(diǎn)將/h3cu下的JDK包解壓到/usr/local/src，將執(zhí)行命令復(fù)制粘貼至提交結(jié)果文檔。2.設(shè)置JDK環(huán)境變量，并使環(huán)境變量只對(duì)當(dāng)前root用戶(hù)生效；將環(huán)境變量配置內(nèi)容復(fù)制粘貼至提交結(jié)果文檔。3.從master節(jié)點(diǎn)復(fù)制JDK環(huán)境變量文件.bash_profile到slave1、slave2節(jié)點(diǎn)，命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。4.配置SSH密鑰登錄，實(shí)現(xiàn)從master節(jié)點(diǎn)登錄到slave1節(jié)點(diǎn)，配置完成后，使用SSH免密登陸slave1節(jié)點(diǎn)的命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。5.Zookeeper配置完畢后，啟動(dòng)Zookeeper，在slave2節(jié)點(diǎn)啟動(dòng)Zookeeper，查看Zookeeper狀態(tài)，將命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。6.在Zookeeper、HadoopHA配置完畢后，在master節(jié)點(diǎn)啟動(dòng)（同時(shí)啟動(dòng)datanode節(jié)點(diǎn)）并查看進(jìn)程狀態(tài)，將命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。7.HadoopHA配置完畢后，在slave1節(jié)點(diǎn)查看進(jìn)程（slave1節(jié)點(diǎn)作為namenodestandby節(jié)點(diǎn)），將命令及結(jié)果復(fù)制粘貼至提交結(jié)果文檔。二、Sqoop部署說(shuō)明：master節(jié)點(diǎn)MySQL數(shù)據(jù)庫(kù)用戶(hù)名/密碼：root/Password123$1.解壓/h3cu路徑下的Sqoop安裝包到“/usr/local/src”路徑下，并使用相關(guān)命令，修改解壓后文件夾名為sqoop，進(jìn)入sqoop文件夾，查看文件夾內(nèi)容，并將查看命令及結(jié)果復(fù)制粘貼至提交結(jié)果文檔；2.修改只對(duì)當(dāng)前root生效的環(huán)境變量，將環(huán)境變量配置內(nèi)容復(fù)制粘貼至提交結(jié)果文檔；3.修改并配置sqoop-env.sh文件，編輯配置文件命令及配置文件內(nèi)容，將配置文件內(nèi)容復(fù)制粘貼至提交結(jié)果文檔；4.測(cè)試Sqoop連接MySQL數(shù)據(jù)庫(kù)是否成功。使用sqoop命令連接MySQL數(shù)據(jù)庫(kù)，查詢(xún)MySQL中所有數(shù)據(jù)庫(kù)名稱(chēng)，將命令和結(jié)果復(fù)制粘貼至提交結(jié)果文檔。任務(wù)二數(shù)據(jù)采集（20分）1.網(wǎng)站解析，利用chrome查看網(wǎng)頁(yè)源碼，分析餐飲網(wǎng)站網(wǎng)頁(yè)結(jié)構(gòu)。打開(kāi)餐飲網(wǎng)站，在網(wǎng)頁(yè)中右鍵點(diǎn)擊檢查，或者F12快捷鍵,查看元素頁(yè)面；檢查網(wǎng)站：瀏覽網(wǎng)站源碼查看所需內(nèi)容。2.從餐飲網(wǎng)站中爬取需要數(shù)據(jù)，按照要求使用Java或Python語(yǔ)言編寫(xiě)并完善爬蟲(chóng)代碼，爬取指定數(shù)據(jù)項(xiàng)，并將代碼復(fù)制粘貼至提交結(jié)果文檔。具體步驟如下：創(chuàng)建爬蟲(chóng)項(xiàng)目；構(gòu)建爬蟲(chóng)請(qǐng)求；按要求定義相關(guān)字段；獲取有效數(shù)據(jù)；將爬取到的數(shù)據(jù)保存到指定位置。至此已從餐飲網(wǎng)站中爬取了所需數(shù)據(jù)，下一步我們要將爬取結(jié)果進(jìn)一步進(jìn)行相關(guān)數(shù)據(jù)操作。詳細(xì)數(shù)據(jù)描述：已創(chuàng)建scrapy項(xiàng)目CateringScrapy（路徑：C:\catering_crawl）。本任務(wù)要求從餐飲網(wǎng)站（網(wǎng)站地址在競(jìng)賽平臺(tái)任務(wù)二中給出）中抓取數(shù)據(jù)，提取有效數(shù)據(jù)項(xiàng)包括實(shí)現(xiàn)所屬年月、商家名稱(chēng)、主營(yíng)類(lèi)型、特色菜、累計(jì)評(píng)論數(shù)、累計(jì)銷(xiāo)售人次、店鋪評(píng)分、本月銷(xiāo)量、本月銷(xiāo)售額、城市、商家地址、電話(huà)字段。每條信息請(qǐng)以單獨(dú)一行保存，信息存儲(chǔ)格式為key：value。將相關(guān)內(nèi)容復(fù)制并粘貼至提交結(jié)果文檔。任務(wù)三數(shù)據(jù)清洗與分析（25分）現(xiàn)已從相關(guān)網(wǎng)站及平臺(tái)獲取到原始數(shù)據(jù)集，為保障商戶(hù)隱私和行業(yè)敏感信息，已經(jīng)對(duì)數(shù)據(jù)脫敏。數(shù)據(jù)脫敏是指對(duì)某些敏感信息通過(guò)脫敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的可靠保護(hù)。在不違反系統(tǒng)規(guī)則條件下，對(duì)涉及客戶(hù)安全或商業(yè)敏感的真實(shí)數(shù)據(jù)進(jìn)行改造并提供測(cè)試使用，如身份證號(hào)、手機(jī)號(hào)等個(gè)人敏感信息都需要進(jìn)行數(shù)據(jù)脫敏。本任務(wù)已將脫敏后的數(shù)據(jù)存放于/h3cu。工程所需配置文件pom.xml存放于“C:\任務(wù)三程序配置文件”。數(shù)據(jù)清洗步驟一餐飲行業(yè)中銷(xiāo)量是對(duì)經(jīng)營(yíng)狀況最直觀的體現(xiàn)，商家的成本會(huì)隨著銷(xiāo)量的上升而上升，但一些隱性成本會(huì)有所下降，例如人工成本、基礎(chǔ)物料成本，所以在利潤(rùn)增加的狀況下，成本比例將會(huì)下降。增加利潤(rùn)、降低成本是商家的普遍追求，同時(shí)銷(xiāo)量能夠反饋經(jīng)營(yíng)策略的有效性、商家在當(dāng)前形勢(shì)下的競(jìng)爭(zhēng)力。因此密切關(guān)注訂單銷(xiāo)量能夠使商家對(duì)當(dāng)前經(jīng)營(yíng)狀況明確定位，在銷(xiāo)量下滑時(shí)及時(shí)分析原因調(diào)整經(jīng)營(yíng)策略，在銷(xiāo)量上升時(shí)加強(qiáng)優(yōu)勢(shì)傾斜，乘勝追擊。請(qǐng)根據(jù)任務(wù)要求實(shí)現(xiàn)對(duì)給定源數(shù)據(jù)中銷(xiāo)售數(shù)據(jù)進(jìn)行清洗，并寫(xiě)入指定的數(shù)據(jù)庫(kù)或數(shù)據(jù)文件，將相關(guān)內(nèi)容復(fù)制并粘貼至提交結(jié)果文檔。詳細(xì)描述：數(shù)據(jù)源文件存放于平臺(tái)/h3cu/data.csv。請(qǐng)編寫(xiě)spark程序，按照如下要求實(shí)現(xiàn)對(duì)數(shù)據(jù)的清洗，并將結(jié)果輸出至hdfs文件系統(tǒng)中/foodsparktask1，將結(jié)果復(fù)制并粘貼至提交結(jié)果文檔。解析數(shù)據(jù)源文件剔除“本月銷(xiāo)量”為空值或0，且“本月銷(xiāo)售額”不為空值或0的記錄剔除字符串首尾的雙引號(hào)程序打包并在spark平臺(tái)上運(yùn)行，結(jié)果輸出至hdfs文件系統(tǒng)中/foodsparktask1步驟二店鋪評(píng)分是綜合計(jì)算商戶(hù)名下的用戶(hù)評(píng)分得到商戶(hù)基礎(chǔ)評(píng)分。來(lái)自不同渠道、不同業(yè)務(wù)、不同時(shí)間的用戶(hù)評(píng)分，可能享有各不相同的計(jì)算權(quán)重。用戶(hù)的滿(mǎn)意度是影響商家綜合評(píng)分的重要因素，用戶(hù)滿(mǎn)意才會(huì)給出較高的評(píng)價(jià)分?jǐn)?shù)，為了提高用戶(hù)的滿(mǎn)意度，可以從提高店鋪餐品服務(wù)和及時(shí)解決用戶(hù)問(wèn)題兩方面入手。同時(shí)商家可以安排專(zhuān)人負(fù)責(zé)店鋪的評(píng)價(jià)管理，發(fā)現(xiàn)用戶(hù)給了較低分?jǐn)?shù)，及時(shí)溝通采取方法進(jìn)行補(bǔ)救，從根本上提高店鋪評(píng)分。同時(shí)，積極引導(dǎo)客戶(hù)留下滿(mǎn)意的評(píng)價(jià)，提升店鋪的好評(píng)率。請(qǐng)根據(jù)任務(wù)要求實(shí)現(xiàn)對(duì)評(píng)分?jǐn)?shù)據(jù)進(jìn)行清洗，并寫(xiě)入指定的數(shù)據(jù)庫(kù)或數(shù)據(jù)文件，并保存結(jié)果至提交結(jié)果文檔。詳細(xì)描述：請(qǐng)編寫(xiě)spark程序，按照如下要求實(shí)現(xiàn)對(duì)數(shù)據(jù)的清洗，并將結(jié)果輸出至hdfs文件系統(tǒng)中/foodsparktask2，將結(jié)果復(fù)制并粘貼至提交結(jié)果文檔。解析數(shù)據(jù)源文件剔除“店鋪評(píng)分”為非數(shù)字及空值的記錄程序打包并在spark平臺(tái)上運(yùn)行，結(jié)果輸出至hdfs文件系統(tǒng)中/foodsparktask2數(shù)據(jù)分析步驟一店鋪評(píng)分是綜合計(jì)算商戶(hù)名下的用戶(hù)評(píng)分得到商戶(hù)基礎(chǔ)評(píng)分。來(lái)自不同渠道、不同業(yè)務(wù)、不同時(shí)間的用戶(hù)評(píng)分，可能享有各不相同的計(jì)算權(quán)重。用戶(hù)的滿(mǎn)意度是影響商家綜合評(píng)分的重要因素，用戶(hù)滿(mǎn)意才會(huì)給出較高的評(píng)價(jià)分?jǐn)?shù)，為了提高用戶(hù)的滿(mǎn)意度，可以從提高店鋪餐品服務(wù)和及時(shí)解決用戶(hù)問(wèn)題兩方面入手。同時(shí)商家可以安排專(zhuān)人負(fù)責(zé)店鋪的評(píng)價(jià)管理，發(fā)現(xiàn)用戶(hù)給了較低分?jǐn)?shù)，及時(shí)溝通采取方法進(jìn)行補(bǔ)救，從根本上提高店鋪評(píng)分。同時(shí)，積極引導(dǎo)客戶(hù)留下滿(mǎn)意的評(píng)價(jià)，提升店鋪的好評(píng)率。請(qǐng)根據(jù)相關(guān)數(shù)據(jù)集完成分析任務(wù)，并保存結(jié)果至提交結(jié)果文檔。詳細(xì)描述：請(qǐng)根據(jù)數(shù)據(jù)清洗結(jié)果數(shù)據(jù)集，使用HIVE自定義函數(shù)及HQL語(yǔ)句，按要求匯總數(shù)據(jù)集中的本月銷(xiāo)量，銷(xiāo)售人次，本月銷(xiāo)售額，并將數(shù)據(jù)存入表table1中。將相關(guān)內(nèi)容復(fù)制并粘貼至提交結(jié)果文檔。步驟二餐飲商鋪密度反映了地區(qū)美食行業(yè)的繁榮程度。特定區(qū)域內(nèi)商鋪數(shù)量多，一方面說(shuō)明該區(qū)域?qū)Σ惋嬒M(fèi)需求量大，可能是車(chē)站等交通樞紐，也可能是公司密集的高新區(qū)域，另一方面商鋪數(shù)量眾多既是機(jī)遇、也是挑戰(zhàn)，需求帶動(dòng)的高商鋪密度很可能已經(jīng)造成商戶(hù)飽和，新興店鋪難以生存。餐飲行業(yè)有著自己的行業(yè)特色和要求，不同地段的特征對(duì)餐飲業(yè)的要求不同。請(qǐng)根據(jù)相關(guān)數(shù)據(jù)集完成任務(wù)具體要求，并保存結(jié)果至提交結(jié)果文檔。詳細(xì)描述：請(qǐng)根據(jù)分析步驟一的結(jié)果數(shù)據(jù)集，使用HIVE自定義函數(shù)及HQL語(yǔ)句，匯總數(shù)據(jù)集中不同城市中各區(qū)的店鋪數(shù)量，并將數(shù)據(jù)存入表table2中。將命令及結(jié)果復(fù)制并粘貼至提交結(jié)果文檔。任務(wù)四數(shù)據(jù)可視化（20分）請(qǐng)根據(jù)Mysql數(shù)據(jù)庫(kù)中相關(guān)數(shù)據(jù)表格，使用flask框架，結(jié)合echarts完成下列任務(wù)。數(shù)據(jù)庫(kù)賬號(hào):restaurant密碼：restaurant代碼路徑：C:\restaurant_visual注意：代碼中臨時(shí)循環(huán)變量請(qǐng)使用r表示。1.城市餐飲消費(fèi)情況一定程度上反映了該地區(qū)的當(dāng)下的經(jīng)濟(jì)狀況、就業(yè)形勢(shì)和發(fā)展?jié)摿Α?duì)于餐飲行業(yè)來(lái)說(shuō)，主動(dòng)貼合客戶(hù)需求、迎合地方口味，因地制宜地定位店鋪經(jīng)營(yíng)方向及消費(fèi)層次至關(guān)重要。按任務(wù)要求，輸出相關(guān)圖例說(shuō)明不同城市的餐飲銷(xiāo)售情況。詳細(xì)描述：MySQL數(shù)據(jù)庫(kù)中的數(shù)據(jù)集city_sale_apri，city_sale_may分別為各城市4月份、5月份的餐飲銷(xiāo)量，包含id、城市、區(qū)、銷(xiāo)量4個(gè)字段，請(qǐng)根據(jù)相關(guān)數(shù)據(jù)各城市餐飲銷(xiāo)售表現(xiàn)，并以雙柱圖例呈現(xiàn)。將結(jié)果截圖并粘貼至提交結(jié)果文檔。2.店鋪評(píng)分是綜合計(jì)算商戶(hù)名下的用戶(hù)評(píng)分得到商戶(hù)基礎(chǔ)評(píng)分，是顧客對(duì)商家出品及服務(wù)態(tài)度等因素綜合滿(mǎn)意度的體現(xiàn)，在用戶(hù)進(jìn)行消費(fèi)選擇時(shí)起到非常重要的作用。按任務(wù)要求，輸出相關(guān)圖例，說(shuō)明不同評(píng)分的商鋪占比情況。詳細(xì)描述：MySQL數(shù)據(jù)庫(kù)中的數(shù)據(jù)集restaurant_score_num包含序號(hào)id、店鋪評(píng)分、店鋪數(shù)量3個(gè)字段，請(qǐng)根據(jù)相關(guān)數(shù)據(jù)展現(xiàn)不同評(píng)分區(qū)間店鋪的數(shù)量對(duì)比，并以餅圖例呈現(xiàn)。將結(jié)果截圖并粘貼至提交結(jié)果文檔。3.餐飲商鋪數(shù)量反映了地區(qū)美食行業(yè)的繁榮程度。區(qū)域內(nèi)商鋪數(shù)量多，說(shuō)明該區(qū)域?qū)Σ惋嬒M(fèi)需求量大，但商鋪數(shù)量眾多既是機(jī)遇、也是挑戰(zhàn)，需求帶動(dòng)的高商鋪密度很可能已經(jīng)造成商戶(hù)飽和，新興店鋪難以生存。按任務(wù)要求，輸出相關(guān)圖例對(duì)比說(shuō)明不同地區(qū)的商鋪存在數(shù)量。詳細(xì)描述：MySQL數(shù)據(jù)庫(kù)中的數(shù)據(jù)集city_restaurant_num包含序號(hào)id、城市、店鋪數(shù)量3個(gè)字段，請(qǐng)根據(jù)相關(guān)數(shù)據(jù)展現(xiàn)不同地區(qū)的店鋪數(shù)量對(duì)比，并以柱狀圖例呈現(xiàn)。將結(jié)果截圖并粘貼至提交結(jié)果文檔。4.餐飲行業(yè)需要對(duì)地域、受眾人群、流行趨勢(shì)進(jìn)行總體分析，通過(guò)不同類(lèi)型店鋪的地理分布、店鋪經(jīng)營(yíng)主類(lèi)與受眾人群相契合、把握美食流行趨勢(shì)對(duì)顧客的消費(fèi)數(shù)據(jù)做出分析，設(shè)定未來(lái)市場(chǎng)經(jīng)營(yíng)策略，以便獲得更好的發(fā)展。按任務(wù)要求，輸出相關(guān)圖例說(shuō)明不同主營(yíng)類(lèi)型的餐飲銷(xiāo)售情況。詳細(xì)描述：MySQL數(shù)據(jù)庫(kù)中的數(shù)據(jù)集restaurant_type_count為各城市中包含的不同餐飲主營(yíng)類(lèi)型的店鋪數(shù)量，包含序號(hào)城市、主營(yíng)類(lèi)型、數(shù)量3個(gè)字段，請(qǐng)根據(jù)相關(guān)數(shù)據(jù)展現(xiàn)各種類(lèi)型餐飲占比情況，并以雷達(dá)圖例呈現(xiàn)。將結(jié)果截圖并粘貼至提交結(jié)果文檔。任務(wù)五綜合分析（15分）通過(guò)以上任務(wù)的完成，至此我們已經(jīng)清晰地了解了餐飲行業(yè)的業(yè)務(wù)背景，得到了相關(guān)數(shù)據(jù)?，F(xiàn)在需要在綜合理解餐飲行業(yè)數(shù)據(jù)