大數(shù)據(jù)分析的流程淺析之一：大數(shù)據(jù)采集過程分析

大數(shù)據(jù)分析的流程淺析之一：大數(shù)據(jù)采集過程分析數(shù)據(jù)采集，就是使用某種技術(shù)或手段，將數(shù)據(jù)收集起來并存儲在某種設(shè)備上，這種設(shè)備可以是磁盤或磁帶。區(qū)別于普通的數(shù)據(jù)分析，大數(shù)據(jù)分析的數(shù)據(jù)采集在數(shù)據(jù)收集和存儲技術(shù)上都是不同的。 具體情況如下：1.大數(shù)據(jù)收集過程在收集階段，大數(shù)據(jù)分析在時空兩個方面都有顯著的不同。在時間維度上，為了獲取更多的數(shù)據(jù)，大數(shù)據(jù)收集的時間頻度大一些，有時也叫數(shù)據(jù)采集的深度。在空間維度上，為了獲取更準(zhǔn)確的數(shù)據(jù)，數(shù)據(jù)采集點設(shè)置得會更密一些。以收集一個面積為 100平方米的葡萄園的平均溫度為例。小數(shù)據(jù)時代，由于成本的原因，葡萄園主只能在葡萄園的中央設(shè)置一個溫度計用來計算溫度，而且每一小時觀測一次，這樣一天就只有24個數(shù)據(jù)。而在大數(shù)據(jù)時代，在空間維度上，可以設(shè)置100個溫度計，即每個1平方米一個溫度計； 在時間維度上，每隔

1分鐘就觀測一次，這樣一天就有144000個數(shù)據(jù)，是原來的 6000倍。有了大量的數(shù)據(jù)，我們就可以更準(zhǔn)確地知道葡萄園的平均溫度，如果加上時間刻度的話，還可以得出一個時間序列的曲線，結(jié)果看起來使人很神往。2.大數(shù)據(jù)的存儲技術(shù)通過增加數(shù)據(jù)采集的深度和廣度，數(shù)據(jù)量越來越大，數(shù)據(jù)存儲問題就凸現(xiàn)。原來1TB的數(shù)據(jù)，可以使用一塊硬盤就可以實現(xiàn)數(shù)據(jù)的存儲，而現(xiàn)在變成了6000TB，也就是需要6000塊硬盤來存放數(shù)據(jù)，而且這個數(shù)據(jù)是每天都是增加的。這個時候計算機(jī)技術(shù)中的分布式計算開始發(fā)揮優(yōu)勢，它可以將6000臺甚至更多的計算機(jī)組合在一起，讓它們的硬盤組合成一塊巨大的硬盤，這樣人們就不用再害怕大數(shù)據(jù)了，大數(shù)據(jù)再大，增加計算機(jī)就可以了。實現(xiàn)分布式計算的軟件有很多，名氣最大的，目前市場上應(yīng)用最廣的，就是hadoop技術(shù)了，更精確地說應(yīng)該是叫hadoop框架。hadoop框架由多種功能性軟件組成，其自身只是搭建一個和操作系統(tǒng)打交道的平臺。其中最核心的軟件有兩個，一個是 hdfs分布式文件系統(tǒng),另一個是mapreduce分布式計算。hdfs分布式文件系統(tǒng)完成的功能就是將 6000臺計算機(jī)組合在一起，使它們的硬盤組合成一塊巨大的硬盤，至于數(shù)據(jù)如何在硬盤上存放和讀取，這件事由hadoop和hdfs共同完成，不用我們操心，這就如我們在使用一臺計算機(jī)時只管往硬盤上存放數(shù)據(jù)， 而數(shù)據(jù)存放在硬盤上的哪個磁道， 我們是不用關(guān)心的。mapredce分布式計算則就實現(xiàn)讓 6000臺計算機(jī)一起協(xié)同工作起來，hadoop在設(shè)計mapredce時，最基本的思想就是讓分析師不用操心程序設(shè)計問題，這些問題需要和最底層的程序打交道的， 且只有優(yōu)秀的程序員才能解決的，而是讓大數(shù)據(jù)分析師專注于業(yè)務(wù)流程進(jìn)行簡單的mapredce程序編寫，也就是說大數(shù)據(jù)分析師只需要知道簡單的mapreduce程序設(shè)計流程就可以了，不需要成為優(yōu)秀的JAVA、Python程序員。hadoop框架的這種簡單的設(shè)計思想，再加上它開源的特性，使其一開始就受到很多主流的互聯(lián)網(wǎng)公司所采用，接下來的事情就順理成章了，它成為全球最成功的解決大數(shù)據(jù)分析的分布式計算技術(shù)。區(qū)別于小數(shù)據(jù)采集，大數(shù)據(jù)采集不再僅僅使用問卷調(diào)查、信息系統(tǒng)的數(shù)據(jù)庫取得結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)的來源有很多，主要包括使用網(wǎng)絡(luò)爬蟲取得的網(wǎng)頁文本數(shù)據(jù)、使用日志收集器收集的日志數(shù)據(jù)、從關(guān)系型數(shù)據(jù)庫中取得的數(shù)據(jù)和由傳感器收集到的時空數(shù)據(jù)等等，而一些圖像和語音數(shù)據(jù)由于需要高端技術(shù)才能使其變成可以被普通的大數(shù)據(jù)分析師所需要的數(shù)據(jù)而變得不那么親切，因此從現(xiàn)有的應(yīng)用看可以暫時不用考慮。CDA-hadoop大數(shù)據(jù)分析師培訓(xùn)團(tuán)隊2015年5月7日想來生活，從來就不是陽春白雪的神話。光陰的陌上，總有風(fēng)自八方來，或許是憂凄，也許是歡喜 ,無論怎樣，都是歲月最真的饋贈。待到老去的那一日，偶爾有回憶念及了過往，依舊還會有初初的心動，流轉(zhuǎn)了眉眼。而那一路迤邐而來的美好，一步一步寫就兩個梅花小楷 ——日常。暖陽小窗，無事此靜坐。杯盞光陰，又在指間如風(fēng)輕過，回首，依稀還是那年秋，低低一低眉，卻已是春光葳蕤。光陰荏苒，而流年從來也不曾缺少錯亂和猶疑。是否在這樣一個萬物復(fù)蘇的季節(jié)里，一切的紛擾是非，終究會給出一個水落石出的答案。輕倚初春的門楣，且把盞清風(fēng)，問心明月，讓來者可來，去者可去，宿命里的擁有，一一欣喜悅納。而我也只需以花香繞肩的美，步履從容的，走過生命里的山山水水。若說，那一程走舊的時光，已然溫暖了我的眉眼。那么，在明日那個花滿枝椏的清晨，我依舊愿意輕踮了腳尖，重行在與你初見的陌上，只待，與你折柳重逢。然后，在你溫?zé)岬亩?，把一些前生來世的故事，反?fù)的吟唱。只盼，你在莞爾低眉時，與我輕輕的相和。所謂素年錦時，或許就是這樣的一程光陰吧。私心里常想，最好的感覺，莫過于煨一味小眾煙火，暖一世紅塵時日，對坐心愛之人，行做歡喜之事。即使