《第一章》課件-第七章第三節(jié)：大數(shù)據(jù)技術(shù)與應(yīng)用-大數(shù)據(jù)相關(guān)知識(shí)

目錄7.1以匠心致創(chuàng)新7.27.3應(yīng)用場(chǎng)景應(yīng)用實(shí)例：天貓大數(shù)據(jù)大數(shù)據(jù)相關(guān)知識(shí)7.3大數(shù)據(jù)相關(guān)知識(shí)目標(biāo)1、大數(shù)據(jù)的特征2、大數(shù)據(jù)關(guān)鍵技術(shù)3、大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系重點(diǎn)1、大數(shù)據(jù)的特征2、大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)的關(guān)系難點(diǎn)無(wú)1、大數(shù)據(jù)的特征大數(shù)據(jù)的價(jià)值1)對(duì)大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營(yíng)銷2)做小而美模式的中小微企業(yè)可以利用大數(shù)據(jù)做服務(wù)轉(zhuǎn)型3)面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)需要與時(shí)俱進(jìn)充分利用大數(shù)據(jù)的價(jià)值什么是大數(shù)據(jù)？大家比較認(rèn)可關(guān)于大數(shù)據(jù)的4個(gè)“V”，或者說(shuō)是大數(shù)據(jù)的4個(gè)特點(diǎn)，包含4個(gè)層面：數(shù)據(jù)量大（Volume）、數(shù)據(jù)類型繁多（Variety）、處理速度快（Velocity）和價(jià)值密度低（Value）。1、大數(shù)據(jù)的特征數(shù)據(jù)量大從1986年到2010年的20多年時(shí)間里，全球的數(shù)據(jù)量增長(zhǎng)了100倍。人類社會(huì)產(chǎn)生的數(shù)據(jù)一直都在以每年50%的速度增長(zhǎng)，預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，與2010年相比，數(shù)據(jù)量將增長(zhǎng)到近30倍。數(shù)據(jù)存儲(chǔ)單位之間的換算關(guān)系單位換算關(guān)系Byte（字節(jié)）1Byte=8bitKB（Kilobyte，千字節(jié)）1KB=1024ByteMB（Megabyte，兆字節(jié)）1MB=1024KBGB（Gigabyte，吉字節(jié)）1GB=1024MBTB（Trillionbyte，太字節(jié)）1TB=1024GBPB（Petabyte，拍字節(jié)）1PB=1024TBEB（Exabyte，艾字節(jié)）1EB=1024PBZB（Zettabyte，澤字節(jié)）1ZB=1024EB1、大數(shù)據(jù)的特征大數(shù)據(jù)存儲(chǔ)方式（1）分布式系統(tǒng)：分布式系統(tǒng)包含多個(gè)自主的處理單元，通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)互連來(lái)協(xié)作完成分配的任務(wù)，其分而治之的策略能夠更好的處理大規(guī)模數(shù)據(jù)問(wèn)題。（2）NoSQL數(shù)據(jù)庫(kù)：關(guān)系型的數(shù)據(jù)庫(kù)無(wú)法滿足海量數(shù)據(jù)的管理需求，無(wú)法滿足數(shù)據(jù)高并發(fā)的需求、高可擴(kuò)展性和高可用性的功能太低。而NoSQL數(shù)據(jù)庫(kù)則具有很大的優(yōu)勢(shì)，可以支持超大規(guī)模數(shù)據(jù)存儲(chǔ)，靈活的數(shù)據(jù)模型可以很好地支持Web2.0應(yīng)用，具有強(qiáng)大的橫向擴(kuò)展能力。（3）云數(shù)據(jù)庫(kù)：云數(shù)據(jù)庫(kù)是基于云計(jì)算技術(shù)發(fā)展的一種共享基礎(chǔ)架構(gòu)的方法，是部署和虛擬化在云計(jì)算環(huán)境中的數(shù)據(jù)庫(kù)。云數(shù)據(jù)庫(kù)并非一種全新的數(shù)據(jù)庫(kù)技術(shù)，而只是以服務(wù)的方式提供數(shù)據(jù)庫(kù)功能。1、大數(shù)據(jù)的特征大數(shù)據(jù)的數(shù)據(jù)來(lái)源眾多，科學(xué)研究、企業(yè)應(yīng)用和Web應(yīng)用等都在源源不斷地產(chǎn)生數(shù)據(jù)，大數(shù)據(jù)的數(shù)據(jù)類型豐富，包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)種類繁多結(jié)構(gòu)化數(shù)據(jù)：占10%左右，主要指存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)：占90%左右，種類繁多，包括郵件、音頻、視頻、微信、微博、位置信息、鏈接信息、手機(jī)呼叫信息、網(wǎng)絡(luò)日志等。存儲(chǔ)在非關(guān)系型數(shù)據(jù)庫(kù)（NotOnlySQL，NoSQL）中。1、大數(shù)據(jù)的特征處理速度快大數(shù)據(jù)時(shí)代的數(shù)據(jù)增長(zhǎng)速度快，處理速度也快，時(shí)效性要求高。很多應(yīng)用都需要基于快速生成的數(shù)據(jù)給出實(shí)時(shí)分析結(jié)果，用于指導(dǎo)生產(chǎn)和生活實(shí)踐。因此，數(shù)據(jù)處理和分析的速度通常要達(dá)到秒級(jí)響應(yīng)。價(jià)值密度低在大數(shù)據(jù)時(shí)代，很多有價(jià)值的信息都是分散在海量數(shù)據(jù)中的。例如：小區(qū)監(jiān)控視頻，如果沒(méi)有意外事件發(fā)生，連續(xù)不斷產(chǎn)生的數(shù)據(jù)都是沒(méi)有任何價(jià)值的，當(dāng)發(fā)生偷盜等意外情況時(shí)，也只有記錄了事件過(guò)程的那一小段視頻是有價(jià)值的。假設(shè)一個(gè)電子商務(wù)網(wǎng)站想通過(guò)微博數(shù)據(jù)進(jìn)行有針對(duì)性的營(yíng)銷，為了實(shí)現(xiàn)這個(gè)目的，就必須構(gòu)建能存儲(chǔ)和分析新浪微博數(shù)據(jù)的大數(shù)據(jù)平臺(tái)，使之能根據(jù)用戶的微博內(nèi)容進(jìn)行有針對(duì)性的需求趨勢(shì)預(yù)測(cè)。愿景很美好，但現(xiàn)實(shí)代價(jià)很大，需要耗費(fèi)幾百萬(wàn)構(gòu)建大數(shù)據(jù)團(tuán)隊(duì)和平臺(tái)，而最終的利潤(rùn)增加額可能會(huì)比投入低許多。大數(shù)據(jù)技術(shù)：伴隨著大數(shù)據(jù)的采集、預(yù)處理、存儲(chǔ)、分析和應(yīng)用的相關(guān)技術(shù)，是一系列使用非傳統(tǒng)的工具來(lái)對(duì)大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，從而獲得分析和預(yù)測(cè)結(jié)果的一系列數(shù)據(jù)處理和分析技術(shù)。其技術(shù)框架如圖所示。2、大數(shù)據(jù)關(guān)鍵技術(shù)2、大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)計(jì)算模式大數(shù)據(jù)計(jì)算模式解決問(wèn)題功能批處理計(jì)算針對(duì)大規(guī)模數(shù)據(jù)的批量處理MapReduce、Spark等流計(jì)算針對(duì)流數(shù)據(jù)的實(shí)時(shí)計(jì)算Strom、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數(shù)據(jù)處理平臺(tái)等圖計(jì)算針對(duì)大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計(jì)算大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢分析Dremel、Hive、Cassandra、Impala等2、大數(shù)據(jù)關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù)的不同層面及其功能如下表所示：技術(shù)層面功能數(shù)據(jù)采集與預(yù)處理利用ETL工具將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)，如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等，抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ);也可以利用日志采集工具(如Flume、Kafka等)把實(shí)時(shí)采集的數(shù)據(jù)作為流計(jì)算系統(tǒng)的輸入，進(jìn)行實(shí)時(shí)處理分析數(shù)據(jù)存儲(chǔ)和管理利用分布式文件系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)等，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)的存儲(chǔ)和管理數(shù)據(jù)處理與分析利用分布式并行編程模型和計(jì)算框架，結(jié)合機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法,實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和分析;對(duì)分析結(jié)果進(jìn)行可視化呈現(xiàn)，幫助人們更好地理解數(shù)據(jù)、分析數(shù)據(jù)數(shù)據(jù)安全和隱私保護(hù)在從大數(shù)據(jù)中挖掘潛在的巨大商業(yè)價(jià)值和學(xué)術(shù)價(jià)值的同時(shí)，構(gòu)建隱私數(shù)據(jù)保護(hù)體系和數(shù)據(jù)安全體系，有效保護(hù)個(gè)人隱私和數(shù)據(jù)安全2、大數(shù)據(jù)與云計(jì)算