大數(shù)據(jù)采集技術(shù)數(shù)據(jù)采集技術(shù)

大數(shù)據(jù)采集與預(yù)處理主講教師：龍霄漢《大數(shù)據(jù)導(dǎo)論》課程Introductiontobigdata數(shù)據(jù)采集技術(shù)傳統(tǒng)數(shù)據(jù)采集與大數(shù)據(jù)的數(shù)據(jù)采集02什么是數(shù)據(jù)采集01大數(shù)據(jù)采集方法與平臺(tái)031什么是數(shù)據(jù)采集什么是數(shù)據(jù)采集數(shù)據(jù)采集(DAQ)，又稱數(shù)據(jù)獲取，是指從傳感器和其它待測(cè)設(shè)備等模擬和數(shù)字被測(cè)單元中自動(dòng)采集信息的過(guò)程。在新一代數(shù)據(jù)體系中，將傳統(tǒng)數(shù)據(jù)體系中沒(méi)有考慮過(guò)的新數(shù)據(jù)源進(jìn)行歸納與分類，可將其分為線上行為數(shù)據(jù)與內(nèi)容數(shù)據(jù)兩大類。數(shù)據(jù)采集線上行為數(shù)據(jù)內(nèi)容數(shù)據(jù)線上行為數(shù)據(jù)線上行為數(shù)據(jù)分為頁(yè)面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會(huì)話數(shù)據(jù)等。線上行為數(shù)據(jù)頁(yè)面數(shù)據(jù)會(huì)話數(shù)據(jù)交互數(shù)據(jù)表單數(shù)據(jù)內(nèi)容數(shù)據(jù)內(nèi)容數(shù)據(jù)包括應(yīng)用日志、電子文檔、機(jī)器數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、社交媒體數(shù)據(jù)等。內(nèi)容數(shù)據(jù)應(yīng)用日志電子文檔機(jī)器數(shù)據(jù)語(yǔ)音數(shù)據(jù)社交媒體數(shù)據(jù)2傳統(tǒng)數(shù)據(jù)采集與大數(shù)據(jù)的數(shù)據(jù)采集傳統(tǒng)數(shù)據(jù)采集與大數(shù)據(jù)的數(shù)據(jù)采集傳統(tǒng)的數(shù)據(jù)采集來(lái)源單一，且存儲(chǔ)、管理和分析數(shù)據(jù)量也相對(duì)較小，大多采用關(guān)系型數(shù)據(jù)庫(kù)和并行數(shù)據(jù)倉(cāng)庫(kù)即可處理。對(duì)依靠并行計(jì)算提升數(shù)據(jù)處理速度方面而言，傳統(tǒng)的并行數(shù)據(jù)庫(kù)技術(shù)追求高度一致性和容錯(cuò)性，根據(jù)CAP理論，難以保證其可用性和擴(kuò)展性。傳統(tǒng)的數(shù)據(jù)采集來(lái)源單一，數(shù)據(jù)量相對(duì)大數(shù)據(jù)較小結(jié)構(gòu)單一關(guān)系型數(shù)據(jù)庫(kù)和并行數(shù)據(jù)倉(cāng)庫(kù)傳統(tǒng)數(shù)據(jù)采集與大數(shù)據(jù)的數(shù)據(jù)采集大數(shù)據(jù)的數(shù)據(jù)采集的特點(diǎn)是：來(lái)源廣泛，數(shù)據(jù)量巨大；數(shù)據(jù)類型豐富，包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)；使用分布式數(shù)據(jù)庫(kù)。大數(shù)據(jù)的數(shù)據(jù)采集來(lái)源廣泛，數(shù)據(jù)量巨大數(shù)據(jù)類型豐富使用分布式數(shù)據(jù)庫(kù)3大數(shù)據(jù)采集方法與平臺(tái)大數(shù)據(jù)采集方法常用的大數(shù)據(jù)采集方法有：系統(tǒng)日志采集方法、網(wǎng)絡(luò)數(shù)據(jù)采集方法、大數(shù)據(jù)采集平臺(tái)等。大數(shù)據(jù)采集方法系統(tǒng)日志采集方法網(wǎng)絡(luò)數(shù)據(jù)采集方法大數(shù)據(jù)采集平臺(tái)系統(tǒng)日志采集方法很多互聯(lián)網(wǎng)企業(yè)都有自己的海量數(shù)據(jù)采集工具，多用于系統(tǒng)日志采集，如Hadoop的Chukwa，Cloudera的Flume，F(xiàn)acebook的Scribe等，這些工具均采用分布式架構(gòu)，能滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。圖片來(lái)自互聯(lián)網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)采集方法網(wǎng)絡(luò)數(shù)據(jù)采集是指通過(guò)網(wǎng)絡(luò)爬蟲(chóng)或網(wǎng)站公開(kāi)API等方式從網(wǎng)站上獲取數(shù)據(jù)信息。該方法可以將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁(yè)中抽取出來(lái)，將其存儲(chǔ)為統(tǒng)一的本地?cái)?shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲(chǔ)。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動(dòng)關(guān)聯(lián)。圖片來(lái)自互聯(lián)網(wǎng)大數(shù)據(jù)采集平臺(tái)可能有些小的公司無(wú)法自己快速的獲取自己的所需的數(shù)據(jù)，這就需要到了第三方的數(shù)據(jù)供給或平臺(tái)來(lái)收集數(shù)據(jù)。圖片來(lái)自互聯(lián)網(wǎng)大數(shù)據(jù)采集平臺(tái)常見(jiàn)的大數(shù)據(jù)采集平臺(tái)有：ApacheFlume、Fluentd、Logstash、Chukwa、Scribe、SplunkForwarder。大數(shù)據(jù)采集平臺(tái)ApacheFlumeFluentdLogstashChukwaScribeSplunkForwarder總結(jié)在互聯(lián)網(wǎng)行業(yè)快速發(fā)展的今天，數(shù)據(jù)采集已經(jīng)被廣泛應(yīng)用于互聯(lián)網(wǎng)及分布式領(lǐng)域，數(shù)據(jù)采集領(lǐng)域已經(jīng)發(fā)生了重要的變化。首先，分布式控制應(yīng)用場(chǎng)合中的智能數(shù)據(jù)采集系統(tǒng)在國(guó)內(nèi)外已經(jīng)取得了長(zhǎng)足的發(fā)展。其次，總線兼容型數(shù)據(jù)采集插件的數(shù)量不斷增大，與個(gè)人計(jì)算機(jī)兼容的數(shù)據(jù)