《大數(shù)據(jù)平臺與架構(gòu)》教學(xué)大綱

《大數(shù)據(jù)平臺與架構(gòu)》教學(xué)大綱適用范圍：202X版本科人才培養(yǎng)方案課程代碼：08150291課程性質(zhì)：專業(yè)必修課學(xué)分：4學(xué)分學(xué)時：64學(xué)時（理論48學(xué)時，實(shí)驗(yàn)16學(xué)時）先修課程：Linux操作系統(tǒng)、Java程序設(shè)計(jì)后續(xù)課程：無適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)開課單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院一、課程說明《大數(shù)據(jù)平臺與架構(gòu)》課程是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的專業(yè)必修課。通過對本課程的學(xué)習(xí)，讓學(xué)生了解并掌握大數(shù)據(jù)的起源及特征，了解并掌握大數(shù)據(jù)的系統(tǒng)架構(gòu)設(shè)計(jì)及功能目標(biāo)設(shè)計(jì)、大數(shù)據(jù)程序開發(fā)、企業(yè)大數(shù)據(jù)案例分析等內(nèi)容，同時通過使用Hadoop等大數(shù)據(jù)技術(shù)平臺來提升學(xué)生對大數(shù)據(jù)開發(fā)的實(shí)踐能力。二、課程目標(biāo)通過本課程的學(xué)習(xí)，使學(xué)生達(dá)到如下目標(biāo)：課程目標(biāo)1：理解大數(shù)據(jù)時代數(shù)據(jù)的存儲與處理技術(shù)；課程目標(biāo)2：理解和掌握Hadoop大數(shù)據(jù)平臺及相關(guān)項(xiàng)目軟件的使用；課程目標(biāo)3：能進(jìn)行融會貫通，能正確評價大數(shù)據(jù)處理架構(gòu)對環(huán)境、社會可持續(xù)發(fā)展的影響；有正確的政治理想和政治道德；三、課程目標(biāo)與畢業(yè)要求《大數(shù)據(jù)平臺與架構(gòu)》課程教學(xué)目標(biāo)對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)畢業(yè)要求的支撐見表1。表1課程教學(xué)目標(biāo)與畢業(yè)要求關(guān)系畢業(yè)要求指標(biāo)點(diǎn)課程目標(biāo)支撐強(qiáng)度3.設(shè)計(jì)/開發(fā)解決方案3.3在解決方案設(shè)計(jì)中，具有綜合考慮社會、健康、安全、法律、文化及環(huán)境等因素的意識和創(chuàng)新意識。課程目標(biāo)2：理解和掌握Hadoop大數(shù)據(jù)平臺及相關(guān)項(xiàng)目軟件的使用；課程目標(biāo)3：能進(jìn)行融會貫通，能正確評價大數(shù)據(jù)處理架構(gòu)對環(huán)境、社會可持續(xù)發(fā)展的影響；有正確的政治理想和政治道德；H4．研究4.3能夠根據(jù)實(shí)驗(yàn)方案選用或搭建實(shí)驗(yàn)環(huán)境開展實(shí)驗(yàn)，能夠?qū)σ勋@得的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行整理、分析，并能通過信息綜合得出有效結(jié)論。課程目標(biāo)1：理解大數(shù)據(jù)時代數(shù)據(jù)的存儲與處理技術(shù)；課程目標(biāo)2：理解和掌握Hadoop大數(shù)據(jù)平臺及相關(guān)項(xiàng)目軟件的使用；H5.使用現(xiàn)代工具5.3能夠針對大數(shù)據(jù)應(yīng)用開發(fā)需要選擇和使用合適的平臺和開發(fā)工具，并能夠理解其局限性。課程目標(biāo)2：理解和掌握Hadoop大數(shù)據(jù)平臺及相關(guān)項(xiàng)目軟件的使用；課程目標(biāo)3：能進(jìn)行融會貫通，能正確評價大數(shù)據(jù)處理架構(gòu)對環(huán)境、社會可持續(xù)發(fā)展的影響；有正確的政治理想和政治道德；H注：表中“H（高）、M（中）”表示課程與相關(guān)畢業(yè)要求的關(guān)聯(lián)度。四、教學(xué)內(nèi)容、基本要求與學(xué)時分配1.理論部分理論部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表2。表2教學(xué)內(nèi)容、基本要求與學(xué)時分配教學(xué)內(nèi)容教學(xué)要求，教學(xué)重點(diǎn)難點(diǎn)理論學(xué)時實(shí)驗(yàn)學(xué)時對應(yīng)的課程目標(biāo)1.大數(shù)據(jù)概述1.1大數(shù)據(jù)時代1.2大數(shù)據(jù)的概念1.3大數(shù)據(jù)的影響與應(yīng)用教學(xué)要求：了解什么是大數(shù)據(jù)時代及其代表特征；理解大數(shù)據(jù)的相關(guān)概念；了解大數(shù)據(jù)關(guān)鍵技術(shù)的應(yīng)用重點(diǎn)：大數(shù)據(jù)的概念21、32.大數(shù)據(jù)處理架構(gòu)Hadoop2.1概述2.2Hadoop生態(tài)系統(tǒng)2.3Hadoop的安裝和使用教學(xué)要求：在對Hadoop了解的基礎(chǔ)上，理解Hadoop生態(tài)系統(tǒng)每個項(xiàng)目元素的功能；掌握Hadoop的安裝與配置。重點(diǎn)：Hadoop生態(tài)系統(tǒng)難點(diǎn)：Hadoop的安裝和使用841、2、33.分布式文件系統(tǒng)HDFS3.1分布式文件系統(tǒng)3.2HDFS相關(guān)概念3.3HDFS體系結(jié)構(gòu)3.4HDFS存儲原理3.5HDFS數(shù)據(jù)讀寫過程3.6HDFS編程實(shí)踐教學(xué)要求：了解分布式文件系統(tǒng)；理解HDFS的相關(guān)概念；理解并掌握HDFS體系結(jié)構(gòu)、存儲原理和讀寫過程；理解并掌握HDFS編程實(shí)踐；重點(diǎn)：理解HDFS的相關(guān)概念；理解并掌握HDFS體系結(jié)構(gòu)、存儲原理和讀寫過程；難點(diǎn)：理解并掌握HDFS編程實(shí)踐；1241、2、34.分布式數(shù)據(jù)庫HBase4.1HBase概述4.2HBase訪問接口4.3HBase數(shù)據(jù)模型4.4HBase實(shí)現(xiàn)原理4.5HBase運(yùn)行機(jī)制4.6HBase編程實(shí)踐教學(xué)要求：了解HBase的組成架構(gòu)、實(shí)現(xiàn)原理及運(yùn)行機(jī)制；掌握HBase編程實(shí)踐；重點(diǎn)：HBase的數(shù)據(jù)模型、實(shí)現(xiàn)原理、運(yùn)行機(jī)制；難點(diǎn)：HBase編程實(shí)踐1041、2、35.NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫5.1NoSQL數(shù)據(jù)庫概述5.2NoSQL與關(guān)系數(shù)據(jù)庫比較5.3NoSQL的四種類型5.4NoSQL三大基石5.5云數(shù)據(jù)庫概述教學(xué)要求：了解什么是NoSQL數(shù)據(jù)庫，掌握NoSQL四種類型，了解NoSQL三大基石；了解云數(shù)據(jù)庫；重點(diǎn)：NoSQL數(shù)據(jù)庫四種類型、三大基石41、36.MapReduce6.1概述6.2MapReduce工作流程6.3實(shí)例分析6.4MapReduce具體應(yīng)用6.5MapReduce編程實(shí)踐教學(xué)要求：了解分布式并行編程；通過實(shí)例分析了解工作流程；掌握編程實(shí)踐；重點(diǎn)：MapReduce工作流程難點(diǎn)：MapReduce編程實(shí)踐1241、2、3合計(jì)48162.實(shí)驗(yàn)部分實(shí)驗(yàn)部分的教學(xué)內(nèi)容、基本要求與學(xué)時分配見表3。表3實(shí)驗(yàn)項(xiàng)目、實(shí)驗(yàn)內(nèi)容與學(xué)時實(shí)驗(yàn)項(xiàng)目實(shí)驗(yàn)內(nèi)容和要求實(shí)驗(yàn)學(xué)時對應(yīng)的課程目標(biāo)1.大數(shù)據(jù)處理架構(gòu)Hadoop實(shí)驗(yàn)內(nèi)容：掌握Linux的安裝及基本命令，掌握Hadoop單機(jī)及偽分布式的安裝與配置。實(shí)驗(yàn)要求：能夠熟練使用Linux相關(guān)命令，能正確進(jìn)行Hadoop單機(jī)及偽分布式的安裝與配置41、2、32.分布式文件系統(tǒng)HDFS實(shí)驗(yàn)內(nèi)容：掌握HDFS部署；掌握HDFSshell命令和JavaAPI編程實(shí)踐；實(shí)驗(yàn)要求：能熟練掌握HDFSshell命令和進(jìn)行JavaAPI編程實(shí)踐；41、2、33.分布式數(shù)據(jù)庫HBase實(shí)驗(yàn)內(nèi)容：HBaseshell命令方式和JavaAPI編程實(shí)踐；實(shí)驗(yàn)要求：能熟練掌握HBaseshell命令創(chuàng)建表及插入數(shù)據(jù)等操作和進(jìn)行JavaAPI編程實(shí)踐；41、2、34.MapReduce架構(gòu)原理實(shí)驗(yàn)內(nèi)容：進(jìn)行MapReduce初級編程實(shí)踐；實(shí)驗(yàn)要求：能通過Map函數(shù)和Reduce函數(shù)進(jìn)行MapReduce初級編程實(shí)踐；41、2、3合計(jì)16五、教學(xué)方法及手段本課程以課堂講授并結(jié)合實(shí)踐進(jìn)行學(xué)習(xí)，結(jié)合課程討論、案例、視頻資源共享、實(shí)驗(yàn)等教學(xué)手段完成課程教學(xué)任務(wù)和相關(guān)能力的培養(yǎng)。學(xué)生比較全面地理解大數(shù)據(jù)的起源及特征，并掌握大數(shù)據(jù)的系統(tǒng)架構(gòu)設(shè)計(jì)及功能目標(biāo)設(shè)計(jì)、大數(shù)據(jù)程序開發(fā)、企業(yè)大數(shù)據(jù)案例分析等內(nèi)容，同時通過使用Hadoop等大數(shù)據(jù)技術(shù)平臺來提升學(xué)生對大數(shù)據(jù)開發(fā)的實(shí)踐能力。在實(shí)驗(yàn)教學(xué)環(huán)節(jié)中，通過啟發(fā)式教學(xué)培養(yǎng)學(xué)生在了解和掌握大數(shù)據(jù)相關(guān)基本知識和基本技能基礎(chǔ)上進(jìn)行編程實(shí)踐。培養(yǎng)學(xué)生自主學(xué)習(xí)能力、實(shí)際動手能力，激發(fā)學(xué)生的創(chuàng)新思維。六、課程資源1.教材（1）林子雨.大數(shù)據(jù)技術(shù)原理與應(yīng)用（第三版）[M].北京:人民郵電出版社,2021.2.參考書（1）張偉洋.Hadoop3.x大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)(視頻教學(xué)版)[M].北京:清華大學(xué)出版社,2022.（2）唐世偉,田嵐.大數(shù)據(jù)采集與預(yù)處理技術(shù)[M].北京:清華大學(xué)出版社,2022.（3）遲殿委,陳鵬程.Hadoop大數(shù)據(jù)分析技術(shù)[M].北京:清華大學(xué)出版社,2022.（4）王振武.大數(shù)據(jù)挖掘與應(yīng)用[M].北京:清華大學(xué)出版社,2017.3.期刊（1）鄭冬花,葉麗珠.云計(jì)算環(huán)境中面向大數(shù)據(jù)的改進(jìn)密度峰值聚類算法[J].濟(jì)南大學(xué)學(xué)報(bào),2022,(6):85-89.（2）魏亮,林子雨,賴永炫.DFTS:面向大數(shù)據(jù)集的Top-kSkyline查詢算法[J].計(jì)算機(jī)科學(xué),2019,46(05):150-156.（3）NingWang,YangYang,LiyuanFeng.SVM-BasedIncrementalLearningAlgorithmforLarge-ScaleDataStreaminCloudComputing[J].KSIITransactionsonInternetandInformationSystems,2014,8(10):3378-3393.（4）趙向兵,張景安.基于行業(yè)的“Hadoop應(yīng)用開發(fā)”綜合性實(shí)驗(yàn)案例設(shè)計(jì)[J].中國信息技術(shù)教育,2022,(21):111-114.（5）巫東來,湯仕磊.大數(shù)據(jù)及海量數(shù)據(jù)處理架構(gòu):HadoopvsMPP[J].軟件導(dǎo)刊,2020,19(10):218-222.4.網(wǎng)絡(luò)資源（1）廈門大學(xué)大數(shù)據(jù)實(shí)驗(yàn)室./.（2）大數(shù)據(jù)技術(shù)與原理慕課視./course/XMU-1002335004.七、課程考核對課程目標(biāo)的支撐課程成績由過程性考核成績和期末考核成績兩部分構(gòu)成，具體考核/評價細(xì)則及對課程目標(biāo)的支撐關(guān)系見表4。表4課程考核對課程目標(biāo)的支撐考核環(huán)節(jié)占比考核/評價細(xì)則課程目標(biāo)123過程性考核課堂表現(xiàn)15（1）根據(jù)課堂出勤情況和課堂回答問題情況進(jìn)行考核，滿分100分。（2）以平時考核成績乘以其在總評成績中所占的比例計(jì)入課程總評成績?！獭獭?73實(shí)驗(yàn)15（1）根據(jù)每個實(shí)驗(yàn)的實(shí)驗(yàn)操作完成情況和實(shí)驗(yàn)報(bào)告質(zhì)量單獨(dú)評分，滿分100分；（2）每次實(shí)驗(yàn)單獨(dú)評分，取各次實(shí)驗(yàn)成績的平均值作為此環(huán)節(jié)的最終成績。（3）以實(shí)驗(yàn)成績乘以其在總評成績中所占的比例計(jì)入課程總評成績。√√√573作業(yè)15（1）主要考核學(xué)生對各章節(jié)知識點(diǎn)的復(fù)習(xí)、理解和掌握程度，滿分100分；（2）每次作業(yè)單獨(dú)評分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以作業(yè)成績乘以其在總評成績中所占的比例計(jì)入課程總評成績?！獭獭?63測試15（1）主要考核學(xué)生對各章節(jié)知識點(diǎn)的復(fù)習(xí)、理解和掌握程度，滿分100分；（2）每次測試單獨(dú)評分，取各次成績的平均值作為此環(huán)節(jié)的最終成績。（3）以測試成績乘以其在總評成績中所占的比例計(jì)入課程總評成績。√√√663期末考核40（1）期末機(jī)試100分，以期末機(jī)試成績乘以其在總評成績中所占的比例計(jì)入課程總評成績。（2）主要考核：大數(shù)據(jù)處理架構(gòu)Hadoop；分布式文件系統(tǒng)HDFS；分布式數(shù)據(jù)庫HBase；MapReduce。（3）考核類型：期末機(jī)試。√√√141610合計(jì)：100分364222八、考核與成績評定1.考核方式及成績評定考核方式：本課程主要以課堂表現(xiàn)、實(shí)驗(yàn)、作業(yè)、測試、期末機(jī)試考核等方式對學(xué)生進(jìn)行考核評價?？己嘶疽螅嚎己丝偝煽冇善谀C(jī)試考核成績和過程性考核成績組成。其中：期末機(jī)試考核成績?yōu)?00分（權(quán)重40%），主要針對程序關(guān)鍵點(diǎn)進(jìn)行個性化開發(fā)測試；課堂表現(xiàn)、實(shí)驗(yàn)、作業(yè)、測試等過程性考核成績?yōu)?00分（權(quán)重60%）；過程性考核和期末機(jī)試考核分值分配與教學(xué)大綱各章節(jié)的學(xué)時基本成比例。2.過程性考核成績的標(biāo)準(zhǔn)過程性考核方式重點(diǎn)考核內(nèi)容、評價標(biāo)準(zhǔn)、所占比重見表5。表5過程性考核方式評價標(biāo)準(zhǔn)考核方式所占比重(%)100>x≥9090>x≥8080>x≥7070>x≥60x<60課堂表現(xiàn)25筆記完整，積極參與教學(xué)活動，踴躍回答問題，準(zhǔn)確率大于90%。筆記完整，認(rèn)真參與教學(xué)活動，回答問題準(zhǔn)確率大于80%。筆記不完整，偶爾參與教學(xué)活動，回答問題準(zhǔn)確率大于70%。上課不認(rèn)真，上課不記筆記，偶爾參與教學(xué)活動。上課不認(rèn)真，上課不記筆記，不參與教學(xué)活動。作業(yè)25作業(yè)完整，思路清晰，準(zhǔn)確率大于90%。作業(yè)完整，準(zhǔn)確率大于80%。不交作業(yè)2次以內(nèi)，準(zhǔn)確率大于70%.不交作業(yè)4次以內(nèi)，準(zhǔn)確率大于60%.不交作業(yè)5次以上，準(zhǔn)確率小于60%。測試25教學(xué)內(nèi)容掌握較好，測試成績準(zhǔn)確率大與90%教學(xué)內(nèi)容掌握較好，測試成績準(zhǔn)確率大與80%教學(xué)內(nèi)容掌握一般，測試成績準(zhǔn)確率大與70%教學(xué)內(nèi)容掌握一般，測試成績準(zhǔn)確率大與60%教學(xué)內(nèi)容掌握不夠好