大數(shù)據(jù)第二組

1、大數(shù)據(jù)分類大數(shù)據(jù)分類大數(shù)據(jù)分類按產(chǎn)生主體劃分最里層：少量企業(yè)應用產(chǎn)生的數(shù)據(jù) 關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)中的數(shù)據(jù) 數(shù)據(jù)倉庫中的數(shù)據(jù)倉庫中的數(shù)據(jù)數(shù)據(jù) 微博、微信微博、微信 電子商務在線交電子商務在線交易日志數(shù)據(jù)易日志數(shù)據(jù) 呼叫中心評論、呼叫中心評論、留言或者電話投留言或者電話投訴等訴等 企業(yè)應用的相關(guān)企業(yè)應用的相關(guān)評論數(shù)據(jù)評論數(shù)據(jù) 應用服務器日志應用服務器日志 傳感器數(shù)據(jù)（天傳感器數(shù)據(jù)（天氣、水、智能電氣、水、智能電網(wǎng)等）網(wǎng)等） 圖像和視頻（攝圖像和視頻（攝像頭監(jiān)控數(shù)據(jù)等）像頭監(jiān)控數(shù)據(jù)等） RFID、二維碼或、二維碼或條形碼掃描數(shù)據(jù)條形碼掃描數(shù)據(jù)次外層：大量人產(chǎn)生的數(shù)據(jù)最外層：巨量機器產(chǎn)生的

2、數(shù)據(jù)大數(shù)據(jù)分類按數(shù)據(jù)來源劃分 通過服務器和數(shù)據(jù)中心數(shù)量，以及各行業(yè)數(shù)據(jù)梳理，大通過服務器和數(shù)據(jù)中心數(shù)量，以及各行業(yè)數(shù)據(jù)梳理，大致判斷國內(nèi)致判斷國內(nèi)20132013年一年產(chǎn)生的數(shù)據(jù)總量以及大致分布，數(shù)年一年產(chǎn)生的數(shù)據(jù)總量以及大致分布，數(shù)據(jù)主要分布在以下行業(yè)：據(jù)主要分布在以下行業(yè)：1 1、BATBAT為代表的互聯(lián)網(wǎng)公司。為代表的互聯(lián)網(wǎng)公司。2 2、電信、金融、保險、電力、石化系統(tǒng)。、電信、金融、保險、電力、石化系統(tǒng)。3 3、公共安全、醫(yī)療、交通領(lǐng)域。、公共安全、醫(yī)療、交通領(lǐng)域。4 4、氣象、教育、地理、政務等。、氣象、教育、地理、政務等。5 5、其他，商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域。、其

3、他，商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域。阿里巴巴 目前保存的數(shù)目前保存的數(shù)據(jù)量為據(jù)量為近百近百PB 擁有擁有90%以上以上的的電商數(shù)據(jù)電商數(shù)據(jù) 交易數(shù)據(jù)、用交易數(shù)據(jù)、用戶瀏覽和點擊戶瀏覽和點擊網(wǎng)頁數(shù)據(jù)、購網(wǎng)頁數(shù)據(jù)、購物數(shù)據(jù)物數(shù)據(jù) 2013數(shù)據(jù)總量接數(shù)據(jù)總量接近近一千個一千個PB 中文網(wǎng)頁、百度中文網(wǎng)頁、百度推廣、百度日志、推廣、百度日志、UGC 以以70%以上的搜以上的搜索市場份額坐擁索市場份額坐擁龐大的龐大的搜索數(shù)據(jù)搜索數(shù)據(jù)騰訊 總存儲數(shù)據(jù)量經(jīng)總存儲數(shù)據(jù)量經(jīng)壓縮處理以后在壓縮處理以后在100PB左右左右 數(shù)據(jù)量月增數(shù)據(jù)量月增10% 大量大量社交社交、游戲、游戲等領(lǐng)域積累的文等領(lǐng)域積累的

4、文本、音頻、視頻本、音頻、視頻和和關(guān)系類數(shù)據(jù)關(guān)系類數(shù)據(jù) 添加標題百度BAT為代表的互聯(lián)網(wǎng)公司大數(shù)據(jù)分類按數(shù)據(jù)來源劃分電信行業(yè) 用戶上網(wǎng)記錄用戶上網(wǎng)記錄、通話通話、信息信息、地理位置地理位置 運營商擁有的運營商擁有的數(shù)據(jù)數(shù)量都在數(shù)據(jù)數(shù)量都在10PB以上以上 年度用戶數(shù)據(jù)年度用戶數(shù)據(jù)增長增長約數(shù)十約數(shù)十PB 開戶信息數(shù)據(jù)開戶信息數(shù)據(jù)，銀行網(wǎng)點和在線銀行網(wǎng)點和在線交易數(shù)據(jù)、自身交易數(shù)據(jù)、自身運營的數(shù)據(jù)運營的數(shù)據(jù) 金融系統(tǒng)每年產(chǎn)金融系統(tǒng)每年產(chǎn)生數(shù)據(jù)達生數(shù)據(jù)達數(shù)十數(shù)十PB 保險系統(tǒng)保險系統(tǒng)數(shù)據(jù)量也接近接近PB級別電力與石化 僅國家電網(wǎng)采集僅國家電網(wǎng)采集獲得的數(shù)據(jù)總量獲得的數(shù)據(jù)總量就上就上10個個PB級別

5、級別 石油化工、智能石油化工、智能水表等領(lǐng)域每年水表等領(lǐng)域每年產(chǎn)生和保存下來產(chǎn)生和保存下來的數(shù)據(jù)量也達到的數(shù)據(jù)量也達到數(shù)十數(shù)十PB級別。級別。金融與保險電信、金融、保險、電力、石化系統(tǒng)大數(shù)據(jù)分類按數(shù)據(jù)來源劃分公共安全 北京：北京：50萬個萬個監(jiān)控攝像頭，監(jiān)控攝像頭，每天采集視頻每天采集視頻數(shù)據(jù)量數(shù)據(jù)量約約3PB 整個視頻監(jiān)控整個視頻監(jiān)控每年保存下來每年保存下來的數(shù)據(jù)的數(shù)據(jù)在數(shù)百在數(shù)百PB以上以上 僅廣州中山大學僅廣州中山大學醫(yī)院醫(yī)院2013年數(shù)據(jù)年數(shù)據(jù)量為量為1000個個TB 整個醫(yī)療衛(wèi)生行整個醫(yī)療衛(wèi)生行業(yè)一年能夠保存業(yè)一年能夠保存下來的數(shù)據(jù)就可下來的數(shù)據(jù)就可達到達到數(shù)百數(shù)百PB交通 航班往返

6、一次能航班往返一次能產(chǎn)生數(shù)據(jù)就達到產(chǎn)生數(shù)據(jù)就達到TB級別級別 列車、水陸路運列車、水陸路運輸產(chǎn)生的各種視輸產(chǎn)生的各種視頻、文本類數(shù)據(jù)，頻、文本類數(shù)據(jù)，每年保存下來的每年保存下來的也達到也達到數(shù)十數(shù)十PB。 添加標題醫(yī)療衛(wèi)生公共安全、醫(yī)療、交通領(lǐng)域大數(shù)據(jù)分類按數(shù)據(jù)來源劃分氣象與地理 中國氣象局保中國氣象局保存的數(shù)據(jù)約存的數(shù)據(jù)約45PB，每年，每年約增約增數(shù)百個數(shù)百個TB 各種地圖和地各種地圖和地理位置信息每理位置信息每年年約數(shù)十約數(shù)十PB 北京市政務數(shù)據(jù)北京市政務數(shù)據(jù)資源網(wǎng)涵蓋旅游、資源網(wǎng)涵蓋旅游、教育、交通、醫(yī)教育、交通、醫(yī)療等門類，一年療等門類，一年上線公布了上線公布了余個余個數(shù)據(jù)包數(shù)據(jù)包

7、政務數(shù)據(jù)多為結(jié)政務數(shù)據(jù)多為結(jié)構(gòu)化數(shù)據(jù)構(gòu)化數(shù)據(jù)政務與教育氣象、教育、地理、政務等領(lǐng)域大數(shù)據(jù)分類按數(shù)據(jù)來源劃分商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域大數(shù)據(jù)分類按數(shù)據(jù)來源劃分其他傳統(tǒng)行業(yè)線下商業(yè)銷售、農(nóng)林牧漁業(yè)、線下餐飲、食品、科研、物流運輸?shù)刃袠I(yè)數(shù)據(jù)量劇增行業(yè)數(shù)據(jù)量還處于積累期，整個體量都不算大，多則達到PB級別，少則百TB甚至數(shù)十TB級別。制造業(yè)制造業(yè)的存儲數(shù)據(jù)類型：產(chǎn)品設計數(shù)據(jù)：以文件為主，非結(jié)構(gòu)化，共享要求較高，保存時間較長。企業(yè)生產(chǎn)環(huán)節(jié)的業(yè)務數(shù)據(jù)：數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)生產(chǎn)監(jiān)控數(shù)據(jù)：數(shù)據(jù)量非常大大數(shù)據(jù)分類按存儲形式劃分 大數(shù)據(jù)不僅僅體現(xiàn)在數(shù)據(jù)量大，也體現(xiàn)在數(shù)據(jù)類型多。如此海量的數(shù)據(jù)中，僅有20

8、%左右屬于結(jié)構(gòu)化的數(shù)據(jù)，80%的數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡、物聯(lián)網(wǎng)、電子商務等領(lǐng)域的非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)。大數(shù)據(jù)分類按存儲形式劃分結(jié)構(gòu)化數(shù)據(jù)即行數(shù)據(jù)，可用二維表結(jié)構(gòu)來邏輯表達實現(xiàn)主要存儲在關(guān)系型數(shù)據(jù)庫中先有結(jié)構(gòu)再有數(shù)據(jù)，結(jié)構(gòu)一般不變處理起來較方便大數(shù)據(jù)分類按存儲形式劃分非結(jié)構(gòu)化數(shù)據(jù)相對于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)非純文本類數(shù)據(jù)，沒有標準格式包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息存儲在非結(jié)構(gòu)數(shù)據(jù)庫中非結(jié)構(gòu)化WEB數(shù)據(jù)庫：突破了關(guān)系數(shù)據(jù)庫結(jié)構(gòu)定義不易改變和數(shù)據(jù)定長的限制大數(shù)據(jù)分類按存儲形式劃分半結(jié)構(gòu)化數(shù)據(jù)介于完全結(jié)構(gòu)化數(shù)據(jù)和完全

9、無結(jié)構(gòu)的數(shù)據(jù)之間格式較為規(guī)范，一般都是純文本數(shù)據(jù)包括日志數(shù)據(jù)、XML、JSON等格式的數(shù)據(jù)一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起，沒有明顯的區(qū)分數(shù)據(jù)模型主要為樹和圖的形式。新周刊微博案例分享作為國內(nèi)新銳媒體代表的“新周刊”是新浪微博的第一批受益媒體，他們開通了新浪微博后，截止到2010年11月19日，粉絲數(shù)已經(jīng)達到了878966人，發(fā)表微博6488條。封新城新周刊主編、媒體微博交相呼應截止到2010年11月，封新城的微博粉絲數(shù)已接近36萬都市快報微博案例分享微博話題征集：都市快報通過在新浪微博上進行寫給100歲新中國的信，并通過整版選取內(nèi)容刊登，極富新意版面整體合作：推出微生活欄目，此欄目是都市快報和新浪網(wǎng)合作推出