大數(shù)據(jù)概述-大數(shù)據(jù)概念-大數(shù)據(jù)的特點課件

1、大數(shù)據(jù)概述大數(shù)據(jù)的特點大數(shù)據(jù)概述大數(shù)據(jù)的特點大數(shù)據(jù)的特點大數(shù)據(jù)的特點大數(shù)據(jù)的特點從對象角度看，大數(shù)據(jù)是大小超出典型數(shù)據(jù)庫軟件采集、儲存、管理和分析等能力的數(shù)據(jù)集合。大數(shù)據(jù)并非大量數(shù)據(jù)的簡單無意義的堆積，數(shù)據(jù)量大并不意味著一定具有可觀的利用前景。數(shù)據(jù)間是否具有結(jié)構(gòu)性和關(guān)聯(lián)性，是 “大數(shù)據(jù)”與“大規(guī)模數(shù)據(jù)”的重要差別。大數(shù)據(jù)的特點從對象角度看，大數(shù)據(jù)是大小超出典型數(shù)據(jù)庫軟件采集大數(shù)據(jù)的特點從技術(shù)角度看，大數(shù)據(jù)技術(shù)是從各種各樣類型的大數(shù)據(jù)中，快速獲得有價值信息的技術(shù)及其集成?！按髷?shù)據(jù)”與“大規(guī)模數(shù)據(jù)”、“海量數(shù)據(jù)”等類似概念間的最大區(qū)別，就在于“大數(shù)據(jù)”這一概念中包含著對數(shù)據(jù)對象的處理行為。為了能夠

2、完成這一行為，從大數(shù)據(jù)對象中快速挖掘更多有價值的信息，使大數(shù)據(jù)“活起來”，就需要綜合運用靈活的、多學(xué)科的方法，包括數(shù)據(jù)聚類、數(shù)據(jù)挖掘、分布式處理等，而這就需要擁有對各類技術(shù)、各類軟硬件的集成應(yīng)用能力?？梢?，大數(shù)據(jù)技術(shù)是使大數(shù)據(jù)中所蘊含的價值得以發(fā)掘和展現(xiàn)的重要工具。大數(shù)據(jù)的特點從技術(shù)角度看，大數(shù)據(jù)技術(shù)是從各種各樣類型的大數(shù)據(jù)大數(shù)據(jù)的特點從應(yīng)用角度看，大數(shù)據(jù)是對特定的大數(shù)據(jù)集合、集成應(yīng)用大數(shù)據(jù)技術(shù)、獲得有價值信息的行為。正由于與具體應(yīng)用緊密聯(lián)系，甚至是一對一的聯(lián)系，才使得“應(yīng)用”成為大數(shù)據(jù)不可或缺的內(nèi)涵之一。 大數(shù)據(jù)的特點從應(yīng)用角度看，大數(shù)據(jù)是對特定的大數(shù)據(jù)集合、集成應(yīng)1. 數(shù)據(jù)量大1. 數(shù)據(jù)量

3、大1. 數(shù)據(jù)量大根據(jù)IDC作出的估測，數(shù)據(jù)一直都在以每年50%的速度增長，也就是說每兩年就增長一倍（大數(shù)據(jù)摩爾定律）人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量預(yù)計到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，相較于2010年，數(shù)據(jù)量將增長近30倍1. 數(shù)據(jù)量大根據(jù)IDC作出的估測，數(shù)據(jù)一直都在以每年502. 數(shù)據(jù)類型繁多大數(shù)據(jù)是由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成的10%的結(jié)構(gòu)化數(shù)據(jù)，存儲在數(shù)據(jù)庫中90%的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相關(guān)2. 數(shù)據(jù)類型繁多大數(shù)據(jù)是由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成的2. 數(shù)據(jù)類型繁多Web 1.0數(shù)據(jù)文本圖像視頻Web 2.0數(shù)據(jù)查詢?nèi)罩?點擊流Twitter/

4、Blog / SNSWiki非結(jié)構(gòu)化數(shù)據(jù)類型多樣 郵件、視頻、微博 位置信息、鏈接信息 手機呼叫、網(wǎng)頁點擊 “長微博”2. 數(shù)據(jù)類型繁多Web 1.0數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)類型多樣2. 數(shù)據(jù)類型繁多科學(xué)研究基因組LHC 加速器地球與空間探測企業(yè)應(yīng)用Email、文檔、文件應(yīng)用日志交易記錄2. 數(shù)據(jù)類型繁多科學(xué)研究3. 處理速度快從數(shù)據(jù)的生成到消耗，時間窗口非常小，可用于生成決策的時間非常少1秒定律：這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同3. 處理速度快從數(shù)據(jù)的生成到消耗，時間窗口非常小，可用于3. 處理速度快Google Dremel數(shù)據(jù)模型3. 處理速度快Google Dremel數(shù)據(jù)模型4. 價值密度低價值密度低，商業(yè)價值高以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒，但是具有很高的商業(yè)價