高一信息課 5.2 數(shù)據(jù)的采集

5.2數(shù)據(jù)的采集CONTENT1數(shù)據(jù)采集的方法和工具2數(shù)據(jù)的存儲(chǔ)和保護(hù)5.2.1數(shù)據(jù)采集的方法和工具在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的來源廣泛、類型豐富、規(guī)模巨大，人工采集數(shù)據(jù)顯然不切實(shí)際，因而需要根據(jù)特定的需求，采用適當(dāng)?shù)姆椒ê凸ぞ哌M(jìn)行采集。城市交通系統(tǒng)實(shí)時(shí)成交額5.2.1數(shù)據(jù)采集的方法和工具1系統(tǒng)日志采集法在信息系統(tǒng)中，系統(tǒng)日志是記錄系統(tǒng)中硬件、軟件和系統(tǒng)問題的信息文件。通常是在目標(biāo)主機(jī)上安裝一個(gè)小程序，將目標(biāo)主機(jī)的文本、應(yīng)用程序、數(shù)據(jù)庫(kù)等日志信息有選擇地定向推送到日志服務(wù)器進(jìn)行存儲(chǔ)、監(jiān)控和管理。通過日志服務(wù)器可以監(jiān)視系統(tǒng)中發(fā)生的事件，可以檢查錯(cuò)誤發(fā)生的原因，或者尋找受到攻擊時(shí)攻擊者留下的痕跡。5.2.1數(shù)據(jù)采集的方法和工具5.2.1數(shù)據(jù)采集的方法和工具2網(wǎng)絡(luò)數(shù)據(jù)采集法通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開的API（應(yīng)用程序接口）等方式從網(wǎng)站上獲取數(shù)據(jù)信息。該方法可將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁(yè)中抽取出來，將其存儲(chǔ)為統(tǒng)一的本地?cái)?shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲(chǔ)。5.2.1數(shù)據(jù)采集的方法和工具5.2.1數(shù)據(jù)采集的方法和工具閱讀課本P105【擴(kuò)展】使用Python進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集和分析所需要的一些第三方擴(kuò)展庫(kù)：NumPy，SciPy，Pandas，Matplotlib在Python中使用import語(yǔ)句導(dǎo)入指定模塊的語(yǔ)法：importmodule關(guān)鍵字模塊名frommoduleimportname關(guān)鍵字模塊名關(guān)鍵字方法名5.2.1數(shù)據(jù)采集的方法和工具課本P106運(yùn)用Python第三方庫(kù)繪制正弦函數(shù)圖像安裝第三方庫(kù)模塊課本P106運(yùn)用Python第三方庫(kù)繪制正弦函數(shù)圖像5.2.1數(shù)據(jù)采集的方法和工具5.2.1數(shù)據(jù)采集的方法和工具3其他數(shù)據(jù)采集法對(duì)于企業(yè)生產(chǎn)經(jīng)營(yíng)或科學(xué)研究等保密性要求較高的數(shù)據(jù)，可通過與企業(yè)或研究機(jī)構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式收集數(shù)據(jù)。例如，科學(xué)研究的數(shù)據(jù)是通過科學(xué)實(shí)驗(yàn)的各種傳感器采集，并傳輸?shù)綌?shù)據(jù)庫(kù)管理系統(tǒng)中的。5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)1數(shù)據(jù)的存儲(chǔ)日常生活中有許多數(shù)據(jù)是我們希望存儲(chǔ)下來的，比如課件、照片、視頻等等，你一般會(huì)存儲(chǔ)在哪里呢？專用數(shù)據(jù)存儲(chǔ)服務(wù)器5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)本地電腦硬盤存儲(chǔ)卡U盤1數(shù)據(jù)的存儲(chǔ)①本地內(nèi)部存儲(chǔ)5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)1數(shù)據(jù)的存儲(chǔ)②第三方云存儲(chǔ)5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)云存儲(chǔ)已經(jīng)成為存儲(chǔ)發(fā)展的一種趨勢(shì)。它是把各類數(shù)據(jù)存儲(chǔ)在虛擬的邏輯模型里，其物理空間存儲(chǔ)在跨越多個(gè)地域放置的眾多服務(wù)器中。云存儲(chǔ)供應(yīng)商擁有并管理這些服務(wù)器，負(fù)責(zé)管理數(shù)據(jù)的使用和訪問權(quán)限，以及云存儲(chǔ)環(huán)境的日常運(yùn)營(yíng)和維護(hù)。用戶只需獲取存儲(chǔ)空間，把自己的數(shù)據(jù)存儲(chǔ)進(jìn)去。5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)數(shù)據(jù)的存儲(chǔ)采用分布式文件存儲(chǔ)或數(shù)據(jù)庫(kù)存儲(chǔ)。分布式文件存儲(chǔ)的特點(diǎn)之一是為了解決復(fù)雜問題而將大任務(wù)分解為多項(xiàng)小任務(wù)，通過讓多個(gè)處理器或多個(gè)計(jì)算機(jī)節(jié)點(diǎn)并行計(jì)算來提高解決問題的效率。云存儲(chǔ)5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)2數(shù)據(jù)的保護(hù)如今，無論是政府部門、企業(yè)還是個(gè)人，對(duì)數(shù)據(jù)的依賴性已越來越強(qiáng)。然而，數(shù)據(jù)安全的隱患無處不在，一旦數(shù)據(jù)泄密或丟失，造成的損失和影響將是巨大的。因此，在信息化社會(huì)，對(duì)數(shù)據(jù)的保護(hù)刻不容緩。2013年10月，根據(jù)安全博主BrianKrebs的披露，幾天前發(fā)布的文件“似乎包含超過1.5億個(gè)從Adobe泄露的用戶名和哈希密碼對(duì)。”數(shù)周的研究表明，黑客還暴露了用戶名稱、ID、密碼以及借記卡和信用卡信息。2015年8月的一項(xiàng)協(xié)議要求Adobe支付110萬美元的法律費(fèi)用，并向用戶支付賠償（金額數(shù)量并未公開），以解決違反《客戶記錄法》和不公平商業(yè)行為的指控。據(jù)報(bào)道，2016年11月支付給客戶的金額為100萬美元。Adobe公司數(shù)據(jù)泄露事件5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)2數(shù)據(jù)的保護(hù)①數(shù)據(jù)安全保護(hù)技術(shù)我們可以采用安裝殺毒軟件和防火墻來防備數(shù)據(jù)安全隱患。而更為徹底、有效的方法是采用拷貝、備份、復(fù)制、鏡像、持續(xù)備份等技術(shù)進(jìn)行數(shù)據(jù)保護(hù)。5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)2數(shù)據(jù)的保護(hù)①數(shù)據(jù)安全保護(hù)技術(shù)為了防止他人對(duì)機(jī)密的數(shù)據(jù)、數(shù)據(jù)庫(kù)進(jìn)行非法訪問、刪除、修改、拷貝等操作，還可以采用對(duì)數(shù)據(jù)進(jìn)行加密等方法，保護(hù)數(shù)據(jù)在存儲(chǔ)和傳遞過程中不被修改或泄露。加密技術(shù)通常分為對(duì)稱式加密和非對(duì)稱式加密兩類。5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)2數(shù)據(jù)的保護(hù)②數(shù)據(jù)的隱私保護(hù)閱讀課本P110【分析】，回憶一下，你是否也有類似的經(jīng)歷？2數(shù)據(jù)的保護(hù)5.2.2

數(shù)據(jù)的存儲(chǔ)和保護(hù)技術(shù)手段①數(shù)據(jù)收集時(shí)進(jìn)行數(shù)據(jù)精度處理②數(shù)據(jù)共享時(shí)進(jìn)行訪問控制③數(shù)據(jù)發(fā)布時(shí)進(jìn)行人工加擾④數(shù)據(jù)分析時(shí)進(jìn)行數(shù)據(jù)匿名處理等提高自身的保護(hù)意識(shí)對(duì)數(shù)據(jù)使用者進(jìn)行道德和法律上