《大數(shù)據(jù)技術(shù)導(dǎo)論》-教學(xué)大綱

《大數(shù)據(jù)技術(shù)導(dǎo)論》教學(xué)大綱課程名稱大數(shù)據(jù)技術(shù)導(dǎo)論先修課程計(jì)算機(jī)基礎(chǔ)、Python編程課程類別專業(yè)基礎(chǔ)課課程類型理論+實(shí)踐總學(xué)時(shí)48理論學(xué)時(shí)24實(shí)踐學(xué)時(shí)24教學(xué)目的大數(shù)據(jù)是國(guó)家發(fā)展戰(zhàn)略，是各專業(yè)培養(yǎng)數(shù)智化、復(fù)合型技術(shù)技能人才的必修課程。通過本課程的學(xué)習(xí)學(xué)生能夠了解大數(shù)據(jù)相關(guān)基礎(chǔ)知識(shí)，知曉大數(shù)據(jù)行業(yè)各崗位的技能需求，體驗(yàn)各崗位工作任務(wù)，掌握大數(shù)據(jù)相關(guān)工具的使用，最終能夠利用大數(shù)據(jù)思維和工具解決專業(yè)問題，提升學(xué)習(xí)效率。具體包括：掌握大數(shù)據(jù)相關(guān)基礎(chǔ)理論知識(shí)，包括大數(shù)據(jù)特征、發(fā)展歷程，行業(yè)應(yīng)用，崗位需求鄧；了解大數(shù)據(jù)平臺(tái)的整個(gè)數(shù)據(jù)處理流程，掌握大數(shù)據(jù)采集、預(yù)處理、存儲(chǔ)、分許、可視化的主流技術(shù)架構(gòu)級(jí)常用工具的使用方法，例如爬蟲、HDFS數(shù)據(jù)存儲(chǔ)、Python數(shù)據(jù)挖掘分析和可視化；能夠應(yīng)用一些主流的大數(shù)據(jù)工具進(jìn)行實(shí)踐任務(wù)，如數(shù)據(jù)爬取、簡(jiǎn)單的數(shù)據(jù)分析、以及數(shù)據(jù)可視化展現(xiàn)等；能夠利用數(shù)字思維解決專業(yè)問題，從數(shù)據(jù)中挖掘?qū)ふ椅粗畔ⅲo助專業(yè)實(shí)踐創(chuàng)新。教學(xué)主要內(nèi)容以二手房數(shù)據(jù)主線介紹大數(shù)據(jù)的采集、預(yù)處理、存儲(chǔ)、分析挖掘、可視化等核心技術(shù)。課程內(nèi)容包括大數(shù)據(jù)概念和特征、發(fā)展歷程、行業(yè)應(yīng)用、崗位技能、平臺(tái)架構(gòu)等理論知識(shí)以及Hadoop環(huán)境搭建、Python爬蟲和預(yù)處理、大數(shù)據(jù)存儲(chǔ)、Spark數(shù)據(jù)分析挖掘、Python數(shù)據(jù)可視化等全流程的實(shí)踐實(shí)驗(yàn)。教學(xué)方式本課程的教學(xué)方式主要采用課堂講授和實(shí)驗(yàn)操作，包括：課堂講授、多媒體教學(xué)、實(shí)驗(yàn)操作、習(xí)題解析、課堂討論等多種形式相結(jié)合，培養(yǎng)學(xué)生的自學(xué)能力、分析問題和解決問題的能力。教學(xué)方法：采用啟發(fā)式教學(xué)和探究式教學(xué)，以學(xué)生為主體，鼓勵(lì)學(xué)生在掌握書本知識(shí)的基礎(chǔ)上針對(duì)特定需求動(dòng)手實(shí)踐，培養(yǎng)學(xué)生的自學(xué)能力。教學(xué)手段：充分利用電子教案、課件和網(wǎng)絡(luò)教學(xué)平臺(tái)等多種教學(xué)手段和資源。教學(xué)進(jìn)度項(xiàng)目主要內(nèi)容學(xué)時(shí)安排大數(shù)據(jù)與大數(shù)據(jù)時(shí)代大數(shù)據(jù)時(shí)代概念、產(chǎn)生原因、對(duì)社會(huì)產(chǎn)生的變革，大數(shù)據(jù)基本特征和處理流程4大數(shù)據(jù)與大數(shù)據(jù)時(shí)代大數(shù)據(jù)技術(shù)發(fā)展歷程，大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu)和行業(yè)應(yīng)用，大數(shù)據(jù)崗位需求4大數(shù)據(jù)處理平臺(tái)大數(shù)據(jù)處理平臺(tái)產(chǎn)生的原因和特征，Hadoop大數(shù)據(jù)處理平臺(tái)架構(gòu)和兩大基礎(chǔ)組件HDFS、MapReduce4大數(shù)據(jù)處理平臺(tái)大數(shù)據(jù)處理流程，大數(shù)據(jù)4種計(jì)算模式，5種主流的大數(shù)據(jù)處理平臺(tái)架構(gòu)4Hadoop開發(fā)環(huán)境搭建虛擬機(jī)基礎(chǔ)知識(shí)和安裝使用4Hadoop開發(fā)環(huán)境搭建Hadoop環(huán)境的搭建以及詞頻統(tǒng)計(jì)案例得運(yùn)行4數(shù)據(jù)采集與預(yù)處理大數(shù)據(jù)采集的定義，常用的數(shù)據(jù)采集工具，爬蟲的基礎(chǔ)知識(shí)，Python爬蟲環(huán)境搭建4數(shù)據(jù)采集與預(yù)處理網(wǎng)頁(yè)基本結(jié)構(gòu)，網(wǎng)站數(shù)據(jù)的爬取過程，Python爬蟲采集網(wǎng)站上二手房租房數(shù)據(jù)并進(jìn)行簡(jiǎn)單的預(yù)處理4數(shù)據(jù)計(jì)算與數(shù)據(jù)存儲(chǔ)常見的大數(shù)據(jù)計(jì)算框架，NOSQL數(shù)據(jù)庫(kù)基礎(chǔ)知識(shí)、HBase數(shù)據(jù)庫(kù)基礎(chǔ)知識(shí)4數(shù)據(jù)計(jì)算與數(shù)據(jù)存儲(chǔ)利用Spark對(duì)二手房數(shù)據(jù)進(jìn)行簡(jiǎn)單處理并存儲(chǔ)在MySQL4數(shù)據(jù)分析與可視化常見的大數(shù)據(jù)分析工具，數(shù)據(jù)挖掘的常見算法，常見的數(shù)據(jù)可視化工具4數(shù)據(jù)分析與可視化利用Python對(duì)二手房數(shù)據(jù)進(jìn)行分析挖掘并可視化展示結(jié)果4合計(jì)48作業(yè)要求完