大數(shù)據(jù)第二組

1、大數(shù)據(jù)分類大數(shù)據(jù)分類大數(shù)據(jù)分類按產(chǎn)生主體劃分最里層：少量企業(yè)應(yīng)用產(chǎn)生的數(shù)據(jù) 關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)中的數(shù)據(jù) 數(shù)據(jù)倉庫中的數(shù)據(jù)倉庫中的數(shù)據(jù)數(shù)據(jù) 微博、微信微博、微信 電子商務(wù)在線交電子商務(wù)在線交易日志數(shù)據(jù)易日志數(shù)據(jù) 呼叫中心評(píng)論、呼叫中心評(píng)論、留言或者電話投留言或者電話投訴等訴等 企業(yè)應(yīng)用的相關(guān)企業(yè)應(yīng)用的相關(guān)評(píng)論數(shù)據(jù)評(píng)論數(shù)據(jù) 應(yīng)用服務(wù)器日志應(yīng)用服務(wù)器日志 傳感器數(shù)據(jù)（天傳感器數(shù)據(jù)（天氣、水、智能電氣、水、智能電網(wǎng)等）網(wǎng)等） 圖像和視頻（攝圖像和視頻（攝像頭監(jiān)控?cái)?shù)據(jù)等）像頭監(jiān)控?cái)?shù)據(jù)等） RFID、二維碼或、二維碼或條形碼掃描數(shù)據(jù)條形碼掃描數(shù)據(jù)次外層：大量人產(chǎn)生的數(shù)據(jù)最外層：巨量機(jī)器產(chǎn)生的

2、數(shù)據(jù)大數(shù)據(jù)分類按數(shù)據(jù)來源劃分 通過服務(wù)器和數(shù)據(jù)中心數(shù)量，以及各行業(yè)數(shù)據(jù)梳理，大通過服務(wù)器和數(shù)據(jù)中心數(shù)量，以及各行業(yè)數(shù)據(jù)梳理，大致判斷國內(nèi)致判斷國內(nèi)20132013年一年產(chǎn)生的數(shù)據(jù)總量以及大致分布，數(shù)年一年產(chǎn)生的數(shù)據(jù)總量以及大致分布，數(shù)據(jù)主要分布在以下行業(yè)：據(jù)主要分布在以下行業(yè)：1 1、BATBAT為代表的互聯(lián)網(wǎng)公司。為代表的互聯(lián)網(wǎng)公司。2 2、電信、金融、保險(xiǎn)、電力、石化系統(tǒng)。、電信、金融、保險(xiǎn)、電力、石化系統(tǒng)。3 3、公共安全、醫(yī)療、交通領(lǐng)域。、公共安全、醫(yī)療、交通領(lǐng)域。4 4、氣象、教育、地理、政務(wù)等。、氣象、教育、地理、政務(wù)等。5 5、其他，商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域。、其

3、他，商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域。阿里巴巴 目前保存的數(shù)目前保存的數(shù)據(jù)量為據(jù)量為近百近百PB 擁有擁有90%以上以上的的電商數(shù)據(jù)電商數(shù)據(jù) 交易數(shù)據(jù)、用交易數(shù)據(jù)、用戶瀏覽和點(diǎn)擊戶瀏覽和點(diǎn)擊網(wǎng)頁數(shù)據(jù)、購網(wǎng)頁數(shù)據(jù)、購物數(shù)據(jù)物數(shù)據(jù) 2013數(shù)據(jù)總量接數(shù)據(jù)總量接近近一千個(gè)一千個(gè)PB 中文網(wǎng)頁、百度中文網(wǎng)頁、百度推廣、百度日志、推廣、百度日志、UGC 以以70%以上的搜以上的搜索市場份額坐擁索市場份額坐擁龐大的龐大的搜索數(shù)據(jù)搜索數(shù)據(jù)騰訊 總存儲(chǔ)數(shù)據(jù)量經(jīng)總存儲(chǔ)數(shù)據(jù)量經(jīng)壓縮處理以后在壓縮處理以后在100PB左右左右 數(shù)據(jù)量月增數(shù)據(jù)量月增10% 大量大量社交社交、游戲、游戲等領(lǐng)域積累的文等領(lǐng)域積累的

4、文本、音頻、視頻本、音頻、視頻和和關(guān)系類數(shù)據(jù)關(guān)系類數(shù)據(jù) 添加標(biāo)題百度BAT為代表的互聯(lián)網(wǎng)公司大數(shù)據(jù)分類按數(shù)據(jù)來源劃分電信行業(yè) 用戶上網(wǎng)記錄用戶上網(wǎng)記錄、通話通話、信息信息、地理位置地理位置 運(yùn)營商擁有的運(yùn)營商擁有的數(shù)據(jù)數(shù)量都在數(shù)據(jù)數(shù)量都在10PB以上以上 年度用戶數(shù)據(jù)年度用戶數(shù)據(jù)增長增長約數(shù)十約數(shù)十PB 開戶信息數(shù)據(jù)開戶信息數(shù)據(jù)，銀行網(wǎng)點(diǎn)和在線銀行網(wǎng)點(diǎn)和在線交易數(shù)據(jù)、自身交易數(shù)據(jù)、自身運(yùn)營的數(shù)據(jù)運(yùn)營的數(shù)據(jù) 金融系統(tǒng)每年產(chǎn)金融系統(tǒng)每年產(chǎn)生數(shù)據(jù)達(dá)生數(shù)據(jù)達(dá)數(shù)十?dāng)?shù)十PB 保險(xiǎn)系統(tǒng)保險(xiǎn)系統(tǒng)數(shù)據(jù)量也接近接近PB級(jí)別電力與石化 僅國家電網(wǎng)采集僅國家電網(wǎng)采集獲得的數(shù)據(jù)總量獲得的數(shù)據(jù)總量就上就上10個(gè)個(gè)PB級(jí)別

5、級(jí)別 石油化工、智能石油化工、智能水表等領(lǐng)域每年水表等領(lǐng)域每年產(chǎn)生和保存下來產(chǎn)生和保存下來的數(shù)據(jù)量也達(dá)到的數(shù)據(jù)量也達(dá)到數(shù)十?dāng)?shù)十PB級(jí)別。級(jí)別。金融與保險(xiǎn)電信、金融、保險(xiǎn)、電力、石化系統(tǒng)大數(shù)據(jù)分類按數(shù)據(jù)來源劃分公共安全 北京：北京：50萬個(gè)萬個(gè)監(jiān)控?cái)z像頭，監(jiān)控?cái)z像頭，每天采集視頻每天采集視頻數(shù)據(jù)量數(shù)據(jù)量約約3PB 整個(gè)視頻監(jiān)控整個(gè)視頻監(jiān)控每年保存下來每年保存下來的數(shù)據(jù)的數(shù)據(jù)在數(shù)百在數(shù)百PB以上以上 僅廣州中山大學(xué)僅廣州中山大學(xué)醫(yī)院醫(yī)院2013年數(shù)據(jù)年數(shù)據(jù)量為量為1000個(gè)個(gè)TB 整個(gè)醫(yī)療衛(wèi)生行整個(gè)醫(yī)療衛(wèi)生行業(yè)一年能夠保存業(yè)一年能夠保存下來的數(shù)據(jù)就可下來的數(shù)據(jù)就可達(dá)到達(dá)到數(shù)百數(shù)百PB交通 航班往返

6、一次能航班往返一次能產(chǎn)生數(shù)據(jù)就達(dá)到產(chǎn)生數(shù)據(jù)就達(dá)到TB級(jí)別級(jí)別 列車、水陸路運(yùn)列車、水陸路運(yùn)輸產(chǎn)生的各種視輸產(chǎn)生的各種視頻、文本類數(shù)據(jù)，頻、文本類數(shù)據(jù)，每年保存下來的每年保存下來的也達(dá)到也達(dá)到數(shù)十?dāng)?shù)十PB。 添加標(biāo)題醫(yī)療衛(wèi)生公共安全、醫(yī)療、交通領(lǐng)域大數(shù)據(jù)分類按數(shù)據(jù)來源劃分氣象與地理 中國氣象局保中國氣象局保存的數(shù)據(jù)約存的數(shù)據(jù)約45PB，每年，每年約增約增數(shù)百個(gè)數(shù)百個(gè)TB 各種地圖和地各種地圖和地理位置信息每理位置信息每年年約數(shù)十約數(shù)十PB 北京市政務(wù)數(shù)據(jù)北京市政務(wù)數(shù)據(jù)資源網(wǎng)涵蓋旅游、資源網(wǎng)涵蓋旅游、教育、交通、醫(yī)教育、交通、醫(yī)療等門類，一年療等門類，一年上線公布了上線公布了余個(gè)余個(gè)數(shù)據(jù)包數(shù)據(jù)包

7、政務(wù)數(shù)據(jù)多為結(jié)政務(wù)數(shù)據(jù)多為結(jié)構(gòu)化數(shù)據(jù)構(gòu)化數(shù)據(jù)政務(wù)與教育氣象、教育、地理、政務(wù)等領(lǐng)域大數(shù)據(jù)分類按數(shù)據(jù)來源劃分商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域大數(shù)據(jù)分類按數(shù)據(jù)來源劃分其他傳統(tǒng)行業(yè)線下商業(yè)銷售、農(nóng)林牧漁業(yè)、線下餐飲、食品、科研、物流運(yùn)輸?shù)刃袠I(yè)數(shù)據(jù)量劇增行業(yè)數(shù)據(jù)量還處于積累期，整個(gè)體量都不算大，多則達(dá)到PB級(jí)別，少則百TB甚至數(shù)十TB級(jí)別。制造業(yè)制造業(yè)的存儲(chǔ)數(shù)據(jù)類型：產(chǎn)品設(shè)計(jì)數(shù)據(jù)：以文件為主，非結(jié)構(gòu)化，共享要求較高，保存時(shí)間較長。企業(yè)生產(chǎn)環(huán)節(jié)的業(yè)務(wù)數(shù)據(jù)：數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)生產(chǎn)監(jiān)控?cái)?shù)據(jù)：數(shù)據(jù)量非常大大數(shù)據(jù)分類按存儲(chǔ)形式劃分 大數(shù)據(jù)不僅僅體現(xiàn)在數(shù)據(jù)量大，也體現(xiàn)在數(shù)據(jù)類型多。如此海量的數(shù)據(jù)中，僅有20

8、%左右屬于結(jié)構(gòu)化的數(shù)據(jù)，80%的數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等領(lǐng)域的非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)。大數(shù)據(jù)分類按存儲(chǔ)形式劃分結(jié)構(gòu)化數(shù)據(jù)即行數(shù)據(jù)，可用二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)主要存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中先有結(jié)構(gòu)再有數(shù)據(jù)，結(jié)構(gòu)一般不變處理起來較方便大數(shù)據(jù)分類按存儲(chǔ)形式劃分非結(jié)構(gòu)化數(shù)據(jù)相對(duì)于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)非純文本類數(shù)據(jù)，沒有標(biāo)準(zhǔn)格式包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息存儲(chǔ)在非結(jié)構(gòu)數(shù)據(jù)庫中非結(jié)構(gòu)化WEB數(shù)據(jù)庫：突破了關(guān)系數(shù)據(jù)庫結(jié)構(gòu)定義不易改變和數(shù)據(jù)定長的限制大數(shù)據(jù)分類按存儲(chǔ)形式劃分半結(jié)構(gòu)化數(shù)據(jù)介于完全結(jié)構(gòu)化數(shù)據(jù)和完全

9、無結(jié)構(gòu)的數(shù)據(jù)之間格式較為規(guī)范，一般都是純文本數(shù)據(jù)包括日志數(shù)據(jù)、XML、JSON等格式的數(shù)據(jù)一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起，沒有明顯的區(qū)分?jǐn)?shù)據(jù)模型主要為樹和圖的形式。新周刊微博案例分享作為國內(nèi)新銳媒體代表的“新周刊”是新浪微博的第一批受益媒體，他們開通了新浪微博后，截止到2010年11月19日，粉絲數(shù)已經(jīng)達(dá)到了878966人，發(fā)表微博6488條。封新城新周刊主編、媒體微博交相呼應(yīng)截止到2010年11月，封新城的微博粉絲數(shù)已接近36萬都市快報(bào)微博案例分享微博話題征集：都市快報(bào)通過在新浪微博上進(jìn)行寫給100歲新中國的信，并通過整版選取內(nèi)容刊登，極富新意版面整體合作：推出微生活欄目，此欄目是都市快報(bào)和新浪網(wǎng)合作推出