《云計(jì)算綜合設(shè)計(jì)》教學(xué)大綱6-27

《云計(jì)算綜合設(shè)計(jì)》教學(xué)大綱課程編號：1705037課程類別：專業(yè)能力課

適用專業(yè)：物聯(lián)網(wǎng)工程學(xué)時(shí)：2周學(xué)分：2執(zhí)筆人：郎春玲

審定人：馮福生

審批人：王國權(quán)一、課程性質(zhì)及教學(xué)目標(biāo)《云計(jì)算》課程是計(jì)算機(jī)學(xué)科相關(guān)專業(yè)的一門重要的專業(yè)基礎(chǔ)選修課。云計(jì)算課程是介紹目前信息技術(shù)領(lǐng)域熱點(diǎn)、“云計(jì)算”的現(xiàn)狀及其發(fā)展，探討云計(jì)算的主要發(fā)展及趨勢。針對已經(jīng)學(xué)習(xí)的各種框架，設(shè)計(jì)一綜合系統(tǒng)。課程主要是將各個(gè)框架結(jié)合在一起開發(fā)一個(gè)項(xiàng)目，提高學(xué)生的綜合能力。為以后從事這方面工作，奠定堅(jiān)實(shí)的基礎(chǔ)。二、課程設(shè)計(jì)教學(xué)基本環(huán)節(jié)序號畢業(yè)設(shè)計(jì)（課程設(shè)計(jì)）環(huán)節(jié)名稱學(xué)時(shí)1項(xiàng)目介紹討論方案0.5天2方案確定及介紹優(yōu)缺點(diǎn)0.5天3學(xué)生進(jìn)行編程實(shí)現(xiàn)與撰寫設(shè)計(jì)報(bào)告8天4答辯1天三、課程設(shè)計(jì)各環(huán)節(jié)基本內(nèi)容及要求學(xué)生可以自己選題也可以根據(jù)老師給的題目來進(jìn)行課程設(shè)計(jì)。學(xué)生選題時(shí)一定要結(jié)合本科目的要求和工作量來選擇。以論壇日志統(tǒng)計(jì)為例：（一）理論部分介紹：論壇數(shù)據(jù)有兩部分：①歷史數(shù)據(jù)約56GB，統(tǒng)計(jì)到2016-05-29②每天生成一個(gè)數(shù)據(jù)文件，約150MB日志數(shù)據(jù)每行記錄有五部分組成：訪問IP，訪問時(shí)間，訪問資源，訪問狀態(tài)，本次流量，關(guān)鍵指標(biāo)1、瀏覽量PV定義。2、注冊用戶數(shù)。3、IP數(shù)。4、跳出率。5、版塊熱度排行榜。重點(diǎn)：各種定義的理解。難點(diǎn)：對每種定義的分析，學(xué)生是否能夠掌握。（二）學(xué)生實(shí)踐部分：課程設(shè)計(jì)的開發(fā)步驟：1、把日志數(shù)據(jù)上傳到hdfs。2、編寫一個(gè)LogParser類來解析日志數(shù)據(jù)。3、使用mapreduce程序清洗數(shù)據(jù)。4、創(chuàng)建一個(gè)外部分區(qū)表用于接收清洗后的數(shù)據(jù)。5、把數(shù)據(jù)加載到外部分區(qū)表中。6、創(chuàng)建一個(gè)表用于接收pv。7、創(chuàng)建一個(gè)表用于接收獨(dú)立ip。8、創(chuàng)建一個(gè)表用于接收register。9、創(chuàng)建一個(gè)表用于接收jumper。10、創(chuàng)建一個(gè)表用于匯總各項(xiàng)指標(biāo)。11、使用sqoop把匯總表的數(shù)據(jù)導(dǎo)出到MySQL中。12、用mapreduce程序把經(jīng)過LogParser.java解析的日志文件批量導(dǎo)入到HBase中，用于明細(xì)查詢。重點(diǎn)：使用sqoop把匯總表的數(shù)據(jù)導(dǎo)出到MySQL中。難點(diǎn)：用mapreduce程序把經(jīng)過LogParser.java解析的日志文件批量導(dǎo)入到HBase中，用于明細(xì)查詢。四、教學(xué)參考資料與教學(xué)形式1、教學(xué)參考資料（1）劉鵬主編.云計(jì)算.電子工業(yè)出版社（第3版），2014年7月.（2）TomWhite[美]著.Hadoop權(quán)威指南.北京：清華大學(xué)出版社（第3版），2015年1月.（3）（英）特金頓著，張治起譯.Hadoop實(shí)戰(zhàn).機(jī)械工業(yè)出版社（第2版），2012年11月.（4）范東來著.Hadoop海量數(shù)據(jù)處理技術(shù)詳解與項(xiàng)目實(shí)戰(zhàn).人民郵電出版社，2015年3月.2、教學(xué)形式采用導(dǎo)師制的教學(xué)形式，每名教師對課程設(shè)計(jì)全過程進(jìn)行指導(dǎo)，學(xué)生獨(dú)立完成資料查閱、方案確定、程序設(shè)計(jì)工作，并提交設(shè)計(jì)報(bào)告，最后采用分組答辯的形式，檢查學(xué)生的完成情況。五、考核方式與成績評定方法1、考核方式學(xué)習(xí)態(tài)度設(shè)計(jì)報(bào)告質(zhì)量答辯陳述和回答問題。2、成績構(gòu)成學(xué)習(xí)態(tài)度：20%；設(shè)計(jì)報(bào)告質(zhì)量：40%；辯陳述和回答問題：40%。六、說明1、立足本教學(xué)大綱，結(jié)合具體內(nèi)容，實(shí)施教學(xué)過程，突出重點(diǎn)內(nèi)容講解。2、按照本教學(xué)大綱實(shí)施教學(xué)任務(wù)之前，要求學(xué)生必須具有一定的Java和Linux基礎(chǔ)。3、授