計(jì)算機(jī)網(wǎng)絡(luò)通信技術(shù)第09章 大數(shù)據(jù)編

第09章大數(shù)據(jù)第09章大數(shù)據(jù)內(nèi)容提要：大數(shù)據(jù)的特征大數(shù)據(jù)原理和構(gòu)成大數(shù)據(jù)分析工具h(yuǎn)adoop大數(shù)據(jù)在各方面的應(yīng)用9.1大數(shù)據(jù)時(shí)代的背景“大數(shù)據(jù)〞的誕生21世紀(jì)是數(shù)據(jù)信息大開(kāi)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并急劇增多?；ヂ?lián)網(wǎng)〔社交、搜索、電商〕、移動(dòng)互聯(lián)網(wǎng)〔微博〕、物聯(lián)網(wǎng)〔傳感器，智慧地球〕、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、平安監(jiān)控、金融、電信〔通話、短信〕都在瘋狂產(chǎn)生著數(shù)據(jù)。大數(shù)據(jù)大數(shù)據(jù)的思考9.1.2數(shù)據(jù)大爆炸地球上至今總共的數(shù)據(jù)量：2006年，個(gè)人用戶才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；2021年，這個(gè)數(shù)字到達(dá)了1.8ZB。而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：到2021年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，到達(dá)35.2ZB〔1ZB=10億TB〕。表9.1是數(shù)據(jù)計(jì)量單位9.1.3大數(shù)據(jù)的特征大數(shù)據(jù)：指那些超過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)處理能力的數(shù)據(jù)。數(shù)據(jù)規(guī)模很大：對(duì)傳輸速度要求很高、結(jié)構(gòu)復(fù)雜、不適于原本的數(shù)據(jù)庫(kù)系統(tǒng)。大數(shù)據(jù)特征9.1.3大數(shù)據(jù)的特征大數(shù)據(jù)〔BigData〕：指“無(wú)法用現(xiàn)有的軟件工具提取、存儲(chǔ)、搜索、共享、分析和處理的海量的、復(fù)雜的數(shù)據(jù)集合〞。通常用4個(gè)V〔即Volume、Variety、Value、Velocity〕來(lái)概括大數(shù)據(jù)的特征。大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)的特點(diǎn)包括〔4V〕：海量、高速、多樣、精確。

大數(shù)據(jù)的4個(gè)“V〞，或者說(shuō)特點(diǎn)有四個(gè)層面：第一，數(shù)據(jù)體量巨大。第二，數(shù)據(jù)類型繁多。第三，處理速度快第四，合理利用數(shù)據(jù)會(huì)帶來(lái)很高的回報(bào)。大數(shù)據(jù)的特點(diǎn)業(yè)界將其歸納為4個(gè)“V〞Volume〔數(shù)據(jù)體量大〕Variety〔數(shù)據(jù)類型繁多〕Velocity〔處理速度快〕Value〔價(jià)值密度低〕。9.2大數(shù)據(jù)原理和構(gòu)成〔1〕大數(shù)據(jù)的核心工作思路〔2〕傳統(tǒng)數(shù)據(jù)系統(tǒng)工作原理〔3〕大數(shù)據(jù)平臺(tái)架構(gòu)〔4〕大數(shù)據(jù)VS云計(jì)算〔5〕大數(shù)據(jù)VS物聯(lián)網(wǎng)〔6〕精準(zhǔn)營(yíng)銷是大數(shù)據(jù)的應(yīng)用之一〔7〕理解和管理大數(shù)據(jù)〔1〕大數(shù)據(jù)的核心工作思路大數(shù)據(jù)系統(tǒng)顛覆了傳統(tǒng)數(shù)據(jù)中心的工作邏輯。傳統(tǒng)數(shù)據(jù)系統(tǒng)工作邏輯：運(yùn)算系統(tǒng)調(diào)動(dòng)數(shù)據(jù)庫(kù)的數(shù)據(jù)，產(chǎn)生數(shù)據(jù)的移動(dòng)。大數(shù)據(jù)系統(tǒng)工作邏輯：運(yùn)算系統(tǒng)直接部署至數(shù)據(jù)處，數(shù)據(jù)僅在架構(gòu)內(nèi)移動(dòng)?！?〕傳統(tǒng)數(shù)據(jù)系統(tǒng)工作原理傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)是關(guān)系型數(shù)據(jù)庫(kù)，開(kāi)發(fā)這種數(shù)據(jù)庫(kù)的目的，是處理永久、穩(wěn)定的數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)系統(tǒng)工作原理〔3〕大數(shù)據(jù)平臺(tái)架構(gòu)大數(shù)據(jù)：指的是需要新處理模式具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。海量數(shù)據(jù)期望與其相關(guān)的平臺(tái)架構(gòu)，能為大數(shù)據(jù)提供分析、挖掘、處理能力。大數(shù)據(jù)平臺(tái)架構(gòu)IBM提出了“大數(shù)據(jù)平臺(tái)〞架構(gòu)。該平臺(tái)的四大核心能力包括Hadoop系統(tǒng)、流計(jì)算、數(shù)據(jù)倉(cāng)庫(kù)和信息整合與治理?！?〕大數(shù)據(jù)VS云計(jì)算云計(jì)算是將計(jì)算和存儲(chǔ)，由本地轉(zhuǎn)移到了云端；大數(shù)據(jù)提供了一套新的計(jì)算和存儲(chǔ)工作原理。二者有著本質(zhì)的不同，但卻是一個(gè)完整的體系。大數(shù)據(jù)是云計(jì)算的心臟，云計(jì)算是大數(shù)據(jù)效勞的通路。大數(shù)據(jù)是落地的云〔5〕大數(shù)據(jù)VS物聯(lián)網(wǎng)〔6〕精準(zhǔn)營(yíng)銷是大數(shù)據(jù)的應(yīng)用之一對(duì)用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是大數(shù)據(jù)的典型應(yīng)用，大數(shù)據(jù)在各行各業(yè)，特別是公共效勞領(lǐng)域具有廣闊的應(yīng)用前景。設(shè)計(jì)并實(shí)現(xiàn)企業(yè)進(jìn)行低本錢精準(zhǔn)營(yíng)銷的平臺(tái)，非常有意義。大數(shù)據(jù)應(yīng)用前景如下圖。大數(shù)據(jù)應(yīng)用前景〔7〕理解和管理大數(shù)據(jù)非結(jié)構(gòu)化海量信息的智能化處理。自然語(yǔ)言理解、多媒體內(nèi)容理解、機(jī)器學(xué)習(xí)等。大數(shù)據(jù)管理模式9.4大數(shù)據(jù)在企業(yè)管理和

營(yíng)銷中的滲透〔1〕行業(yè)拓展者，打造大數(shù)據(jù)行業(yè)基石〔2〕滲透眾多行業(yè)〔3〕能加強(qiáng)企業(yè)與客戶相互溝通大數(shù)據(jù)價(jià)值潛力指數(shù)〔1〕具體案例如圖〔2〕難點(diǎn)分析

〔存儲(chǔ)和檢索是大數(shù)據(jù)關(guān)聯(lián)圖〕〔3〕移動(dòng)用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)

9.5大數(shù)據(jù)分析工具h(yuǎn)adoopHadoop在可伸縮性、健壯性、計(jì)算性能和本錢上具有無(wú)可替代的優(yōu)勢(shì)，事實(shí)上已成為當(dāng)前互聯(lián)網(wǎng)企業(yè)主流的大數(shù)據(jù)分析平臺(tái)?！?〕什么是hadoop〔2〕為什么hadoop很重要〔3〕hadoop與大數(shù)據(jù)hadoop與大數(shù)據(jù)Hadoop是處理“大數(shù)據(jù)〞處理的最重要平臺(tái)之一數(shù)據(jù)存儲(chǔ)：能夠擴(kuò)展到PB級(jí)別處理規(guī)模：帶有高度容錯(cuò)能力的并行處理架構(gòu)硬件本錢低廉：用內(nèi)置格式存儲(chǔ)/處理數(shù)據(jù)代碼來(lái)源豐富：傳統(tǒng)廠商對(duì)其的支持，它已經(jīng)成為重要的并行處理架構(gòu)標(biāo)準(zhǔn)之一。Hadoop應(yīng)用界面

9.6大數(shù)據(jù)在各方面的應(yīng)用1.大數(shù)據(jù)在政府的應(yīng)用2.大數(shù)據(jù)在智慧城市應(yīng)用1.大數(shù)據(jù)在政府的應(yīng)用

2.大數(shù)據(jù)在智慧城