大數(shù)據(jù)的意義課件

計(jì)算機(jī)學(xué)院計(jì)10-6班2013年6月大數(shù)據(jù)的意義|李重輝|大數(shù)據(jù)的意義大數(shù)據(jù)的意義計(jì)算機(jī)學(xué)院計(jì)10-6班2013年9月|李重輝|大數(shù)據(jù)的意義大數(shù)據(jù)的意義【目錄】什么是大數(shù)據(jù)大數(shù)據(jù)不同領(lǐng)域的意義大數(shù)據(jù)的發(fā)展未來(lái)大數(shù)據(jù)的意義什么是大數(shù)據(jù)

大數(shù)據(jù)(bigdata)或稱(chēng)巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，具有數(shù)據(jù)量大、查詢(xún)分析復(fù)雜等特點(diǎn)。大數(shù)據(jù)的意義四個(gè)特征海量多樣高速易變

企業(yè)面臨著數(shù)據(jù)量的大規(guī)模增長(zhǎng)。

目前，大數(shù)據(jù)的規(guī)模尚是一個(gè)不斷變化的指標(biāo)，單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡(jiǎn)而言之，存儲(chǔ)1PB數(shù)據(jù)將需要兩萬(wàn)臺(tái)配備50GB硬盤(pán)的個(gè)人電腦。此外，各種意想不到的來(lái)源都能產(chǎn)生數(shù)據(jù)。一個(gè)普遍觀點(diǎn)認(rèn)為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因，這一看法部分正確。然而，數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù)，以及包括網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話(huà)記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類(lèi)型造成。其中，部分傳感器安裝在火車(chē)、汽車(chē)和飛機(jī)上，每個(gè)傳感器都增加了數(shù)據(jù)的多樣性。高速描述的是數(shù)據(jù)被創(chuàng)建和移動(dòng)的速度。在高速網(wǎng)絡(luò)時(shí)代，通過(guò)基于實(shí)現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實(shí)時(shí)數(shù)據(jù)流已成為流行趨勢(shì)。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù)，還必須知道如何快速處理、分析并返回給用戶(hù)，以滿(mǎn)足他們的實(shí)時(shí)需求。根據(jù)IMSResearch關(guān)于數(shù)據(jù)創(chuàng)建速度的調(diào)查，據(jù)預(yù)測(cè)，到2020年全球?qū)碛?20億部互聯(lián)網(wǎng)連接設(shè)備。大數(shù)據(jù)具有多層結(jié)構(gòu)，這意味著大數(shù)據(jù)會(huì)呈現(xiàn)出多變的形式和類(lèi)型。相較傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難甚至無(wú)法使用傳統(tǒng)的應(yīng)用軟件進(jìn)行分析。傳統(tǒng)業(yè)務(wù)數(shù)據(jù)隨時(shí)間演變已擁有標(biāo)準(zhǔn)的格式，能夠被標(biāo)準(zhǔn)的商務(wù)智能軟件識(shí)別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復(fù)雜數(shù)據(jù)中挖掘價(jià)值。大數(shù)據(jù)的意義大數(shù)據(jù)在不同領(lǐng)域的意義宏觀經(jīng)濟(jì)領(lǐng)域農(nóng)業(yè)領(lǐng)域商業(yè)領(lǐng)域金融領(lǐng)域醫(yī)療保健領(lǐng)域社會(huì)安全領(lǐng)域Themore大數(shù)據(jù)的意義1宏觀經(jīng)濟(jì)領(lǐng)域IBM日本公司建立經(jīng)濟(jì)指標(biāo)預(yù)測(cè)系統(tǒng)，從互聯(lián)網(wǎng)新聞中搜索影響制造業(yè)的480項(xiàng)經(jīng)濟(jì)數(shù)據(jù)，計(jì)算采購(gòu)經(jīng)理人指數(shù)的預(yù)測(cè)值。印第安納大學(xué)利用谷歌公司提供的心情分析工具，從近千萬(wàn)條網(wǎng)民留言中歸納出六種心情，進(jìn)而對(duì)道瓊斯工業(yè)指數(shù)的變化進(jìn)行預(yù)測(cè)，準(zhǔn)確率達(dá)到87%。華爾街對(duì)沖基金依據(jù)購(gòu)物網(wǎng)站的顧客評(píng)論，分析企業(yè)產(chǎn)品銷(xiāo)售狀況；一些企業(yè)利用大數(shù)據(jù)分析實(shí)現(xiàn)對(duì)采購(gòu)和合理庫(kù)存量的管理，通過(guò)分析網(wǎng)上數(shù)據(jù)了解客戶(hù)需求、掌握市場(chǎng)動(dòng)向。有資料顯示，全球零售商因盲目進(jìn)貨導(dǎo)致的銷(xiāo)售損失每年達(dá)1000億美元，這方面的數(shù)據(jù)分析大有作為。2農(nóng)業(yè)領(lǐng)域大數(shù)據(jù)的意義2農(nóng)業(yè)領(lǐng)域農(nóng)業(yè)是大數(shù)據(jù)理念、技術(shù)和方法在農(nóng)業(yè)的實(shí)踐。農(nóng)業(yè)大數(shù)據(jù)涉及到耕地、播種、施肥、殺蟲(chóng)、收割、存儲(chǔ)、育種等各環(huán)節(jié)，是跨行業(yè)、跨專(zhuān)業(yè)、跨業(yè)務(wù)的數(shù)據(jù)分析與挖掘，以及數(shù)據(jù)可視化。國(guó)內(nèi)第一個(gè)農(nóng)業(yè)大數(shù)據(jù)的研究和應(yīng)用推廣機(jī)構(gòu)"農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟"于2013年6月18日在山東農(nóng)業(yè)大學(xué)正式成立，標(biāo)志著國(guó)內(nèi)大數(shù)據(jù)技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用又有了實(shí)質(zhì)性突破。3商業(yè)領(lǐng)域大數(shù)據(jù)的意義3商業(yè)領(lǐng)域商務(wù)智能可有效提高企業(yè)運(yùn)營(yíng)活動(dòng)的效率。零售企業(yè)需要根據(jù)銷(xiāo)售有特色的本地化商品并增加流行款式和生命周期短的產(chǎn)品，零售企業(yè)需要運(yùn)用最先進(jìn)的計(jì)算機(jī)和各種通信技術(shù)對(duì)變化中的消費(fèi)需求迅速做出反應(yīng)。通過(guò)對(duì)大數(shù)據(jù)的挖掘，零售企業(yè)在選擇上架產(chǎn)品時(shí)，為確保提供式樣新穎的商品，需要對(duì)消費(fèi)者的消費(fèi)行為以及趨勢(shì)進(jìn)行分析；在制定定價(jià)、廣告等策略時(shí)，需進(jìn)行節(jié)假日、天氣等大數(shù)據(jù)分析；在穩(wěn)定收入源時(shí)，需要對(duì)消費(fèi)群體進(jìn)行大數(shù)據(jù)分析，零售企業(yè)可以利用電話(huà)、Web、電子郵件等所有聯(lián)絡(luò)渠道的客戶(hù)的數(shù)據(jù)進(jìn)行分析，并結(jié)合客戶(hù)的購(gòu)物習(xí)慣，提供一致的個(gè)性化購(gòu)物體驗(yàn)，以提高客戶(hù)忠誠(chéng)度。同時(shí)，從微博等社交媒體中挖掘?qū)崟r(shí)數(shù)據(jù)，再將它們同實(shí)際銷(xiāo)售信息進(jìn)行整合，能夠?yàn)槠髽I(yè)提供真正意義上的智能，了解市場(chǎng)發(fā)展趨勢(shì)、理解客戶(hù)的消費(fèi)行為并為將來(lái)制定更加有針對(duì)性的策略4金融領(lǐng)域大數(shù)據(jù)的意義4金融領(lǐng)域國(guó)內(nèi)金融業(yè)開(kāi)始進(jìn)入大數(shù)據(jù)競(jìng)爭(zhēng)時(shí)代大數(shù)據(jù)為金融機(jī)構(gòu)提供了客戶(hù)全方位信息，通過(guò)分析和挖掘客戶(hù)的交易和消費(fèi)信息掌握客戶(hù)消費(fèi)習(xí)慣，并準(zhǔn)確預(yù)測(cè)客戶(hù)行為，有針對(duì)性地推銷(xiāo)產(chǎn)品和服務(wù)，滿(mǎn)足銀行對(duì)潛在客戶(hù)量身定制服務(wù)的需求。另外，在品牌管理和客戶(hù)服務(wù)反饋方面，大數(shù)據(jù)通過(guò)對(duì)人們?cè)谒枷?、情緒和通信方面的數(shù)據(jù)化情感分析，獲取并匯總顧客的反饋意見(jiàn)并對(duì)營(yíng)銷(xiāo)活動(dòng)效果做出準(zhǔn)確判斷。金融機(jī)構(gòu)最為關(guān)注的是風(fēng)險(xiǎn)管理，而大數(shù)據(jù)在管理交易、信貸風(fēng)險(xiǎn)和合規(guī)方面大顯神通。許多金融機(jī)構(gòu)早已采用大數(shù)據(jù)防治欺詐，保持交易方面的合規(guī)，如在龐大的數(shù)據(jù)庫(kù)中核對(duì)黑名單中的名字，區(qū)別同名同姓。信用卡公司用大數(shù)據(jù)分析客戶(hù)大規(guī)模的交易規(guī)律，大大降低了風(fēng)險(xiǎn)。雖然大數(shù)據(jù)時(shí)代為金融業(yè)帶來(lái)的潛力和新商機(jī)還有待人們的捕捉，但毋庸置疑的是，大數(shù)據(jù)正在成為金融業(yè)運(yùn)作的最有價(jià)值、最強(qiáng)大的決策輔助工具。5醫(yī)療保健領(lǐng)域大數(shù)據(jù)的意義5醫(yī)療保健領(lǐng)域大數(shù)據(jù)讓專(zhuān)業(yè)醫(yī)療保健走入尋常百姓家“谷歌流感趨勢(shì)”項(xiàng)目依據(jù)網(wǎng)民搜索內(nèi)容分析全球范圍內(nèi)流感等病疫傳播狀況，與美國(guó)疾病控制和預(yù)防中心提供的報(bào)告對(duì)比，追蹤疾病的精確率達(dá)到97%。社交網(wǎng)絡(luò)為許多慢性病患者提供臨床癥狀交流和診治經(jīng)驗(yàn)分享平臺(tái)，醫(yī)生借此可獲得在醫(yī)院通常得不到的臨床效果統(tǒng)計(jì)數(shù)據(jù)。基于對(duì)人體基因的大數(shù)據(jù)分析，可以實(shí)現(xiàn)對(duì)癥下藥的個(gè)性化治療。6社會(huì)安全領(lǐng)域大數(shù)據(jù)的意義6社會(huì)安全領(lǐng)域大數(shù)據(jù)提供更多破案途徑通過(guò)對(duì)手機(jī)數(shù)據(jù)的挖掘，可以分析實(shí)時(shí)動(dòng)態(tài)的流動(dòng)人口來(lái)源、出行，實(shí)時(shí)交通客流信息及擁堵情況。利用短信、微博、微信和搜索引擎，可收集熱點(diǎn)事件，挖掘輿情，還可追蹤造謠信息的源頭。美國(guó)麻省理工學(xué)院通過(guò)對(duì)十萬(wàn)多人手機(jī)的通話(huà)、短信和空間位置等信息進(jìn)行處理，提取人們行為的時(shí)空規(guī)律性，進(jìn)行犯罪預(yù)測(cè)。大數(shù)據(jù)的意義大數(shù)據(jù)的發(fā)展未來(lái)預(yù)測(cè)一:大數(shù)據(jù)平臺(tái)Hadoop，將會(huì)在未來(lái)兩三年當(dāng)中，會(huì)有一個(gè)很明顯的商業(yè)化的過(guò)程。預(yù)測(cè)二:很早期的Hadoop項(xiàng)目也面臨著種種挑戰(zhàn)。預(yù)測(cè)三:開(kāi)源軟件的發(fā)展會(huì)給很多相關(guān)市場(chǎng)帶來(lái)更多的機(jī)會(huì)。預(yù)測(cè)四:大數(shù)據(jù)會(huì)帶來(lái)更多的軟件公司之間的收購(gòu)。預(yù)測(cè)五:大數(shù)據(jù)將在未來(lái)一兩年從我們看到的傳統(tǒng)的互聯(lián)網(wǎng)和電信方面的應(yīng)用，現(xiàn)在看到大數(shù)據(jù)都集中在互聯(lián)網(wǎng)，現(xiàn)在看到聯(lián)通、電信也在著手