數(shù)據(jù)采集與存儲

1、數(shù)據(jù)采集與存儲教學(xué)大綱課程編號:071153B課程類型：口通識教育必修課 通識教育選修課口專業(yè)必修課專業(yè)選修課口學(xué)科基礎(chǔ)課總學(xué)時：48 講課學(xué)時：32 實驗（上機）學(xué)時：16學(xué) 分：3適用對象：（專業(yè)名稱）先修課程：信息管理與信息系統(tǒng)專業(yè)（大數(shù)據(jù)應(yīng)用）和統(tǒng)計專業(yè) （大數(shù)據(jù)分析）一、教學(xué)目標(biāo)本課程是信息管理與信息系統(tǒng)專業(yè)（大數(shù)據(jù)應(yīng)用）和統(tǒng)計專業(yè)（大數(shù)據(jù)分析） 的專業(yè)選修課，是學(xué)生進行大數(shù)據(jù)分析和應(yīng)用的基礎(chǔ)課程；通過本課程的學(xué)習(xí) 學(xué)生將掌握數(shù)據(jù)采集和數(shù)據(jù)存儲的基礎(chǔ)知識，熟悉數(shù)據(jù)采集的原理和方法，熟 悉數(shù)據(jù)存儲的機制、數(shù)據(jù)查詢和應(yīng)用；從知識結(jié)構(gòu)和實驗操作經(jīng)驗等方面為后續(xù) 課程的學(xué)習(xí)奠定基礎(chǔ)。目標(biāo)1：

2、掌握數(shù)據(jù)采集的基本原理和方法；目標(biāo)2：掌握數(shù)據(jù)存儲的方法和原理；目標(biāo)3：掌握基于分布式數(shù)據(jù)存儲的應(yīng)用。二、教學(xué)內(nèi)容及其與畢業(yè)要求的對應(yīng)關(guān)系（一）教學(xué)內(nèi)容本課程主要教學(xué)內(nèi)容是在學(xué)生掌握基本的操作系統(tǒng)、大數(shù)據(jù)計算機基礎(chǔ)、程 序設(shè)計基礎(chǔ)及應(yīng)用等基本原理后，學(xué)習(xí)數(shù)據(jù)采集和存儲的相關(guān)知識及平臺。具體內(nèi)容包括數(shù)據(jù)采集原理與方法、數(shù)據(jù)存儲的傳統(tǒng)方法及應(yīng)用、大數(shù)據(jù)存儲方法及應(yīng)用等；（二）教學(xué)方法和手段根據(jù)教學(xué)目標(biāo)，擬采用的教學(xué)方法有：課程講解和計算機實驗相結(jié)合的方 法強化所講授的內(nèi)容；通過課堂提問和課后預(yù)留作業(yè)的方式對所學(xué)知識進行溫 習(xí)和鞏固；通過實例化的編程實驗增強學(xué)生對所學(xué)知識的掌握和理解。（三）實踐教學(xué)

3、環(huán)節(jié)要求根據(jù)教學(xué)進度和要求布置相應(yīng)的小作業(yè)，通過上機實踐。每一章根據(jù)所講 授的理論知識都設(shè)計與此對應(yīng)的上機內(nèi)容。通過上機學(xué)習(xí)強化對本課程的理論 的理解和掌握。（四）學(xué)習(xí)要求為有效學(xué)習(xí)本課程，要求學(xué)生首先具備操作系統(tǒng)、大數(shù)據(jù)計算機基礎(chǔ)、程 序設(shè)計基礎(chǔ)及應(yīng)用等方面的基本知識。應(yīng)該熟讀課程大綱，提綱挈領(lǐng)地掌握大 數(shù)據(jù)的基礎(chǔ)理論、相關(guān)技術(shù)、包含的內(nèi)容及大數(shù)據(jù)應(yīng)用的方法，隨后按照大綱 熟讀教材，并通過課后思考和上機實踐進行多角度和多層次的反復(fù)學(xué)習(xí)。（五）與畢業(yè)要求的關(guān)系數(shù)據(jù)采集與存儲是大數(shù)據(jù)挖掘、分析和應(yīng)用的基礎(chǔ)；如何進行科學(xué)合理地進 行數(shù)據(jù)的采集和存儲是大數(shù)據(jù)相關(guān)專業(yè)的畢業(yè)生所必須的技能；課程結(jié)合實際

4、案 例從理論和實際應(yīng)用出發(fā)進行數(shù)據(jù)采集、存儲和應(yīng)用，為培養(yǎng)大數(shù)據(jù)領(lǐng)域合格數(shù) 據(jù)工程師奠定基礎(chǔ)。（六）教學(xué)中應(yīng)注意的問題由于操作系統(tǒng)、大數(shù)據(jù)計算機基礎(chǔ)、程序設(shè)計基礎(chǔ)及應(yīng)用等是該課程的先修基礎(chǔ)，如果 學(xué)生先修基礎(chǔ)課沒有學(xué)好，學(xué)習(xí)數(shù)據(jù)采集與存儲的理論和技術(shù)時，則出現(xiàn)半知不解的情況。 因此，教學(xué)中需要根據(jù)學(xué)生掌握先修課程基礎(chǔ)情況，由易到難循序漸進、結(jié)合實際案例進行由淺入深的教學(xué)。三、各教學(xué)環(huán)節(jié)學(xué)時分配以表格方式表現(xiàn)各章節(jié)的學(xué)時分配，表格如下：（基于傳感器數(shù)據(jù)采集、基于集成系統(tǒng)的數(shù)據(jù)采集方法、基于通信接口的數(shù) 據(jù)采集、基于二維碼的數(shù)據(jù)、基于網(wǎng)絡(luò)爬蟲數(shù)據(jù)采集方法、基于云模型數(shù)據(jù)采集）（文件存儲、關(guān)系數(shù)據(jù)的

5、存儲、磁盤陣列存儲）（文件存儲、關(guān)系數(shù)據(jù)的存儲、磁盤陣列存儲）教學(xué)課時分配序號章節(jié)內(nèi)容講課實驗其他合計1第一章數(shù)據(jù)采集概述10012第二章數(shù)據(jù)采集方法及應(yīng)用840123第三章數(shù)據(jù)存儲概述10014第四章數(shù)據(jù)傳統(tǒng)存儲方法及應(yīng)用640105第五章云存儲640106第六章大數(shù)據(jù)存儲及應(yīng)用104014合計3216048四、教學(xué)內(nèi)容第一章數(shù)據(jù)采集概述教學(xué)內(nèi)容包括：數(shù)據(jù)采集的基本概念、分類和性能指標(biāo)的概述。教學(xué)重點：數(shù)據(jù)采集的基本概念、分類和性能指標(biāo)。復(fù)習(xí)思考題：數(shù)據(jù)采集方法的分類和性能指標(biāo)。第二章數(shù)據(jù)采集方法及應(yīng)用教學(xué)內(nèi)容包括：基于傳感器數(shù)據(jù)采集、基于集成系統(tǒng)的數(shù)據(jù)采集方法、基于 通信接口的數(shù)據(jù)采集、基

6、于二維碼的數(shù)據(jù)、基于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)采集方法。教學(xué)重點：各種數(shù)據(jù)采集方法的應(yīng)用。復(fù)習(xí)思考題：基于傳感器的數(shù)據(jù)采集方法；基于二維碼的數(shù)據(jù)采集方法和基 于網(wǎng)絡(luò)爬蟲的數(shù)據(jù)采集方法。第三章數(shù)據(jù)存儲概述教學(xué)內(nèi)容包括：數(shù)據(jù)存儲的基本概念、分類和性能指標(biāo)的概述。教學(xué)重點：數(shù)據(jù)存儲的基本概念、分類和性能指標(biāo)。復(fù)習(xí)思考題：數(shù)據(jù)存儲方法的分類和性能指標(biāo)。第四章傳統(tǒng)數(shù)據(jù)存儲方法及應(yīng)用教學(xué)內(nèi)容包括：傳統(tǒng)數(shù)據(jù)庫技術(shù)和架構(gòu)、OLTP數(shù)據(jù)庫技術(shù)及架構(gòu)、OLAP數(shù) 據(jù)庫技術(shù)及架構(gòu)、MPP DB數(shù)據(jù)庫技術(shù)及架構(gòu)。教學(xué)重點：OLTP數(shù)據(jù)庫技術(shù)及架構(gòu)、OLAP數(shù)據(jù)庫技術(shù)及架構(gòu)、MPP DB數(shù)據(jù) 庫技術(shù)及架構(gòu)。復(fù)習(xí)思考題：OLAP數(shù)據(jù)

7、庫技術(shù)、架構(gòu)及應(yīng)用。第五章云存儲教學(xué)內(nèi)容包括：云存儲的概述、分布式塊存儲、分布式對象存儲、分布式存 儲管理、面向云平臺的存儲架構(gòu)。教學(xué)重點：分布式塊存儲、分布式對象存儲、面向云平臺的存儲架構(gòu)。復(fù)習(xí)思考題：分布式塊存儲、分布式對象存儲、面向云平臺的存儲架構(gòu)。第六章大數(shù)據(jù)存儲及應(yīng)用教學(xué)內(nèi)容包括：大數(shù)據(jù)存儲概述、Nos數(shù)據(jù)庫技術(shù)及架構(gòu)、分布式數(shù)據(jù)庫技 術(shù)及架構(gòu)、MongoDB數(shù)據(jù)庫概述、MongoDB數(shù)據(jù)庫設(shè)計、MogoDB高級查詢、基于 MogoDB的應(yīng)用。教學(xué)重點：Nos數(shù)據(jù)庫技術(shù)及架構(gòu)、分布式數(shù)據(jù)庫技術(shù)及架構(gòu)、MongoDB數(shù) 據(jù)庫概述、MongoDB數(shù)據(jù)庫設(shè)計、MogoDB高級查詢、基于MogoDB的應(yīng)用。復(fù)習(xí)思考題：Nos數(shù)據(jù)庫技術(shù)及架構(gòu)、分布式數(shù)據(jù)庫技術(shù)及架構(gòu)、MongoDB 及應(yīng)用。五、考核方式、成績評定本課程的考核分為平時考核及期末考查兩種形式。本課程平時成績占40%， 期末考查成績占60%。平時考核采用撰寫上機實驗、實驗報告、課堂案例討論等方式。期末考核采 用案例論文分析的方式，案例內(nèi)容將盡可能包括數(shù)據(jù)采集與存儲所講授的重 點內(nèi)容，使學(xué)生通過案例將理論知識和實踐結(jié)合起來，為將來學(xué)生從事相關(guān)大數(shù) 據(jù)行業(yè)的工作奠定基礎(chǔ)。六、主要參考書及其他內(nèi)容查偉.數(shù)據(jù)存儲技術(shù)與實踐.北京：清華大學(xué)出版社.2016年10月David Hows,Peter