大數(shù)據(jù)項目實(shí)戰(zhàn)教學(xué)大綱

《大數(shù)據(jù)項目實(shí)戰(zhàn)》課程教學(xué)大綱（課程英文名稱）課程編號：201800522062學(xué)分：5學(xué)分學(xué)時：46學(xué)時（其中：講課學(xué)時24上機(jī)學(xué)時：22）先修課程：Hadoop后續(xù)課程：Spark適用專業(yè)：大數(shù)據(jù)應(yīng)用技術(shù)開課部門：一、課程的性質(zhì)與目標(biāo)《Hadoop項目實(shí)戰(zhàn)》是互聯(lián)網(wǎng)+創(chuàng)業(yè)教育學(xué)院軟件工程（大數(shù)據(jù)、人工智能）專業(yè)的一門校定必修專業(yè)課。通過學(xué)習(xí)課程有助于學(xué)生綜合運(yùn)用大數(shù)據(jù)課程知識以及各種工具軟件實(shí)現(xiàn)大數(shù)據(jù)分析全流程操作，并通過編寫程序與理論講解相結(jié)合的形式加深了解；同時對Hadoop離線數(shù)據(jù)分析項目的開發(fā)過程有所了解，如數(shù)據(jù)的采集、數(shù)據(jù)的預(yù)處理、數(shù)據(jù)的分析以及最終達(dá)到數(shù)據(jù)可視化的目的。開設(shè)本學(xué)科的目的是讓學(xué)生掌握如何使用大數(shù)據(jù)分析技術(shù)解決特定業(yè)務(wù)領(lǐng)域的問題。完成本課程學(xué)習(xí)后能夠熟練的應(yīng)用大數(shù)據(jù)技術(shù)解決企業(yè)中的實(shí)際生產(chǎn)問題。二、教學(xué)條件要求操作系統(tǒng)：CenterOSHadoop版本：Hadoop2.7.4Hive版本：Hive1.2.1Sqoop版本：Sqoop1.4.6Mysql版本：Mysql5.7.25虛擬化工具：VMwareWorkstation開發(fā)工具：Eclipse三、課程的主要內(nèi)容及基本要求第1章項目概述章名項目概述學(xué)時2學(xué)習(xí)目標(biāo)掌握項目需求和目標(biāo)了解項目架構(gòu)設(shè)計和技術(shù)選型了解項目環(huán)境和相關(guān)開發(fā)工具理解項目開發(fā)流程知識點(diǎn)了解掌握重點(diǎn)難點(diǎn)項目需求和目標(biāo)√預(yù)備知識√項目架構(gòu)設(shè)計及技術(shù)選取√開發(fā)環(huán)境和開發(fā)工具介紹√項目開發(fā)流程√√第2章搭建大數(shù)據(jù)集群環(huán)境章名搭建大數(shù)據(jù)集群環(huán)境學(xué)時10學(xué)習(xí)目標(biāo)了解虛擬機(jī)的安裝和克隆熟悉虛擬機(jī)網(wǎng)絡(luò)配置和SSH服務(wù)配置掌握Hadoop集群的搭建掌握Hive的安裝掌握Sqoop的安裝知識點(diǎn)了解掌握重點(diǎn)難點(diǎn)虛擬機(jī)安裝與克隆√虛擬機(jī)網(wǎng)絡(luò)配置√SSH服務(wù)配置√JDK安裝√Hadoop安裝√Hadoop集群配置√√√Hadoop集群測試√√通過UI界面查看Hadoop運(yùn)行狀態(tài)√√Hive的安裝模式√Hive安裝√√√Sqoop安裝√√√第3章數(shù)據(jù)采集章名數(shù)據(jù)采集學(xué)時7學(xué)習(xí)目標(biāo)了解HTTP協(xié)議了解爬蟲的基本原理掌握HDFSAPI的基本使用熟悉HttpClient爬蟲的使用方法知識點(diǎn)了解掌握重點(diǎn)難點(diǎn)數(shù)據(jù)源分類√HTTP請求過程√認(rèn)識HttpClient√分析網(wǎng)頁數(shù)據(jù)結(jié)構(gòu)√數(shù)據(jù)采集環(huán)境準(zhǔn)備√創(chuàng)建響應(yīng)結(jié)果JavaBean類√封裝HTTP請求的工具類√√√封裝儲存在HDFS數(shù)據(jù)工具類√√√實(shí)現(xiàn)網(wǎng)頁數(shù)據(jù)采集√√√第4章數(shù)據(jù)預(yù)處理章名數(shù)據(jù)預(yù)處理學(xué)時8學(xué)習(xí)目標(biāo)了解數(shù)據(jù)預(yù)處理流程掌握編寫MapReduce程序熟悉HDFSShell的基本使用掌握MapReduce程序的兩種運(yùn)行模式知識點(diǎn)了解掌握重點(diǎn)難點(diǎn)分析預(yù)處理數(shù)據(jù)√設(shè)計數(shù)據(jù)預(yù)處理方案√數(shù)據(jù)預(yù)處理環(huán)境準(zhǔn)備√創(chuàng)建數(shù)據(jù)轉(zhuǎn)換類√√創(chuàng)建實(shí)現(xiàn)Map任務(wù)的Mapper類√√創(chuàng)建MapReduce主程序并執(zhí)行程序√√將數(shù)據(jù)預(yù)處理程序提交到集群中運(yùn)行√√√第5章數(shù)據(jù)分析章名數(shù)據(jù)分析學(xué)時7學(xué)習(xí)目標(biāo)了解數(shù)據(jù)分析了解數(shù)據(jù)倉庫掌握Hive的操作掌握HQL語句的使用知識點(diǎn)了解掌握重點(diǎn)難點(diǎn)數(shù)據(jù)分析概述√什么是Hive√設(shè)計Hive數(shù)據(jù)倉庫√實(shí)現(xiàn)數(shù)據(jù)倉庫√√√職位區(qū)域分析√√職位薪資分析√√公司福利分析√√職位技能要求分析√√第6章數(shù)據(jù)可視化章名數(shù)據(jù)可視化學(xué)時15學(xué)習(xí)目標(biāo)掌握Sqoop數(shù)據(jù)遷移工具的使用熟悉關(guān)系型數(shù)據(jù)庫MySQL掌握SSMJAVAEE開發(fā)框架的整合及應(yīng)用掌握Echarts前端框架的使用知識點(diǎn)了解掌握重點(diǎn)難點(diǎn)系統(tǒng)介紹√系統(tǒng)架構(gòu)√創(chuàng)建關(guān)系型數(shù)據(jù)庫√√通過Sqoop實(shí)現(xiàn)數(shù)據(jù)遷移√√平臺環(huán)境搭建√√√實(shí)現(xiàn)職位區(qū)域分布展示√√√實(shí)現(xiàn)薪資分布展示√√√實(shí)現(xiàn)福利標(biāo)簽詞云圖√√√實(shí)現(xiàn)技能標(biāo)簽詞云圖√√√平臺可視化展示√四、學(xué)時分配章目講課上機(jī)合計第1章項目概述2學(xué)時0學(xué)時2學(xué)時第2章搭建大數(shù)據(jù)集群環(huán)境4學(xué)時6學(xué)時10學(xué)時第3章數(shù)據(jù)采集4學(xué)時3學(xué)時7學(xué)時第4章數(shù)據(jù)預(yù)處理3學(xué)時3學(xué)時6學(xué)時第5章數(shù)據(jù)分析3學(xué)時2學(xué)時5學(xué)時第6章數(shù)據(jù)可視化8學(xué)時8學(xué)時16學(xué)時合計24學(xué)時22學(xué)時46學(xué)時五、考核模式與成績評定辦法本課程為考試課程，期末考試采用百分制的閉卷考試模式。學(xué)生的考試成績由平時成績（30%）和期末考試（70%）組成，其中，平時成績包括出勤（5%）、作業(yè)（5%）、上機(jī)成績（20%）。 六、選用教材和主要參考書 本大綱是根據(jù)教材《Hadoop項目實(shí)戰(zhàn)》所設(shè)計的。七、大綱說明本課程的授課模式為：課堂授課+上機(jī)，其中，課堂主要采用多媒體的方式進(jìn)行授課，要求學(xué)生掌握項目內(nèi)容及程序設(shè)計思想