高校大數(shù)據(jù)實訓(xùn)方案及計劃

大數(shù)據(jù)實訓(xùn)實施方案實訓(xùn)時間：實訓(xùn)地點(diǎn)：上課時間：上午9：00-12：00，下午14：00-17：00上課環(huán)境要求：投影、白板、麥克風(fēng)學(xué)生筆記本要求：請?zhí)崆巴ㄖ獙W(xué)生確認(rèn)。4G以上內(nèi)存，CPU支持虛擬化，硬盤50G以上空間。實訓(xùn)主題：個性化推薦是根據(jù)用戶的興趣特點(diǎn)和購買行為，向用戶推薦用戶感興趣的信息和商品。隨著電子商務(wù)規(guī)模的不斷擴(kuò)大，商品個數(shù)和種類快速增長，顧客需要花費(fèi)大量的時間才能找到自己想買的商品。這種瀏覽大量無關(guān)的信息和產(chǎn)品過程無疑會使淹沒在信息過載問題中的消費(fèi)者不斷流失。為了解決這些問題，個性化推薦系統(tǒng)應(yīng)運(yùn)而生。個性化推薦系統(tǒng)是建立在海量數(shù)據(jù)挖掘基礎(chǔ)上的一種高級商務(wù)智能平臺，以幫助電子商務(wù)網(wǎng)站為其顧客購物提供完全個性化的決策支持和信息服務(wù)。此次實訓(xùn)使用電商行業(yè)的經(jīng)典案例——商品推薦系統(tǒng)，并且從案例主線上展開整個項目的講解，將以一個實際的系統(tǒng)“電子商務(wù)推薦系統(tǒng)”為案例，從無到有，簡單到深入，從容易到復(fù)雜，循序漸進(jìn)地介紹一個大數(shù)據(jù)應(yīng)用是如何落地的，包括如何進(jìn)行技術(shù)選型，如何設(shè)計一個大數(shù)據(jù)架構(gòu)，如何驗證結(jié)果的有效性等。推薦系統(tǒng)的頁面呈現(xiàn)效果如下圖所示。曬單推存樂^(Loctek)PSW798ST(32-60英維達(dá)］郵氏融2層1樂^(Loctek)PSW798ST(32-60英維達(dá)］郵氏融2層150油面巾紙7包評進(jìn)0盛吉絲(K0WX)尊享(諜迭)系列衛(wèi)純情小火雞2018坐質(zhì)里不借評論0jd.40e3d88f0a47c實惠，但兩層有點(diǎn)薄jd_183202imf一般勰，就是沒那么吸水！評論0實訓(xùn)安排：模塊名稱課程小節(jié)課程內(nèi)容課時（天）—大數(shù)據(jù)背景、行業(yè)背景了解實訓(xùn)項目的背景和基本概念，從最終成果展示開始反推整個項目的實現(xiàn)過1Hadoop生態(tài)成果展示程，并且根據(jù)具體的需求設(shè)計整體架構(gòu)，對每個組件做選型。介紹每個組件的系統(tǒng)、Hadoop架構(gòu)設(shè)計和選型基本概念、架構(gòu)和使用場景，利于判斷比較。平臺搭建Hadoop基礎(chǔ)概念1、Hadoop的安裝部署Hadoop生態(tài)系統(tǒng)安裝Apache發(fā)行版Hadoop，分布式配置Hadoop發(fā)行版，通過ManagerHadoop文件系統(tǒng)框架安裝Cloudera發(fā)型版Hadoop計算框架介紹2、DFSLinux系統(tǒng)HDFS簡介HDFS概述、功能、作用、優(yōu)勢虛擬機(jī)環(huán)境熟悉HDFS所使用的關(guān)聯(lián)技術(shù)匯總介紹HDFS應(yīng)用現(xiàn)狀和發(fā)展趨勢

虛擬機(jī)集群構(gòu)建Hadoop平臺運(yùn)行分布式計算案例3、 HDFS分布式文件系統(tǒng)原理和體系結(jié)構(gòu)HDFS分布式文件系統(tǒng)的設(shè)計精髓HDFS文件型數(shù)據(jù)管理的基本原理和技術(shù)4、 HDFS的I/O基本操作HDFS的命令行操作HDFS的Web界面HDFSI/O操作中的數(shù)據(jù)檢查 HDFS系統(tǒng)命令操作實踐；5、 HDFS常用JavaAPI詳解HDFSFileSystemAPI讀取數(shù)據(jù)創(chuàng)建目錄與新文件寫入數(shù)據(jù)、刪除數(shù)據(jù)HDFS文件系統(tǒng)狀態(tài)查詢HDFS程序開發(fā)實踐；6、 HDFS中的輸入輸出與讀寫數(shù)據(jù)流HDFS文件的讀取程序開發(fā)、HDFS文件的寫入程序開發(fā)HDFS文件塊的數(shù)據(jù)同步與一致性模型

二項目背景、需項目案例背景、需求1求、架構(gòu)項目案例架構(gòu)設(shè)計項目所需技術(shù)Hive基本概念1、Hive基礎(chǔ)知識框架介紹SQL基本概念Hive在Hadoop生態(tài)系統(tǒng)中的作用HiveSQLDDL'DML編程Hive原理及架構(gòu)詳解Hive安裝部署、配置詳解Hive執(zhí)行過程和結(jié)果查看與Hive交互Hive數(shù)據(jù)類型項目邏輯實現(xiàn)HiveQL語法詳解Hive函數(shù)及UDF、UDAF、UDTF2、Hive高級使用Hive調(diào)優(yōu)及HiveQL語句優(yōu)化通過工作流管理HiveQL語句的執(zhí)行Hive精彩案例詳解三推薦系統(tǒng)理論電子商務(wù)推薦系統(tǒng)背景電子商務(wù)推薦系統(tǒng)大數(shù)據(jù)架構(gòu)1案例實戰(zhàn)應(yīng)用，步及阿里巴巴推薦系電子商務(wù)推薦系統(tǒng)技術(shù)方案

統(tǒng)，亞馬遜大數(shù)據(jù)經(jīng)典架構(gòu)：lambda架構(gòu)簡介推薦系統(tǒng)等大數(shù)據(jù)架構(gòu)落t也方案電子商務(wù)推薦系統(tǒng)現(xiàn)電子商務(wù)推薦系統(tǒng)子系統(tǒng)介紹狀，介紹電子商務(wù)推薦系用戶行為分析系統(tǒng)統(tǒng)在國內(nèi)應(yīng)用情推薦系統(tǒng)況，以及產(chǎn)生的收益如何。Hive、MR的數(shù)據(jù)清洗四經(jīng)典電商推薦數(shù)據(jù)倉庫構(gòu)建離線平臺基本架構(gòu)與技術(shù)選型1系統(tǒng)實踐數(shù)據(jù)準(zhǔn)備采用什么樣的系統(tǒng)和平臺，從哪些角度考慮？復(fù)雜數(shù)據(jù)清洗用戶