大數(shù)據(jù)-公共通識(shí)課件1第1章大數(shù)據(jù)時(shí)代

第1章大數(shù)據(jù)時(shí)代

學(xué)習(xí)任務(wù)數(shù)據(jù)時(shí)代

大數(shù)據(jù)

大數(shù)據(jù)技術(shù)基礎(chǔ)

Clicktoaddtitleinhere123大數(shù)據(jù)的社會(huì)價(jià)值

大數(shù)據(jù)的商業(yè)應(yīng)用45學(xué)習(xí)任務(wù)案例之一：男女嘉賓《非誠(chéng)勿擾》牽手?jǐn)?shù)據(jù)分析61.1數(shù)據(jù)時(shí)代1.1.1大數(shù)據(jù)時(shí)代的到來(lái)2012年以來(lái)，大數(shù)據(jù)(bigdata)一詞越來(lái)越多地被提及，人們用它來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。“大數(shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時(shí)日，卻因?yàn)榻陙?lái)互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。1.1數(shù)據(jù)時(shí)代統(tǒng)計(jì)數(shù)據(jù)顯示，2015年我國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模已達(dá)2800億元。截止至2017年我國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模增長(zhǎng)至4700億，同比增長(zhǎng)是30.6%。初步測(cè)算2018年我國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模達(dá)到5400億元左右，同比增長(zhǎng)15%。預(yù)測(cè)在2020年我國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將突破萬(wàn)億元。

1.1數(shù)據(jù)時(shí)代1.1.2數(shù)據(jù)、信息與知識(shí)的演進(jìn)1.數(shù)據(jù)應(yīng)用的四個(gè)步驟

數(shù)據(jù)里面包含一個(gè)很重要的東西，就是“信息（Information）”。信息會(huì)包含很多規(guī)律，我們需要從信息中將規(guī)律總結(jié)出來(lái)，稱(chēng)為知識(shí)（Knowledge），而知識(shí)能改變命運(yùn)。信息是很多的，但有人看到了信息相當(dāng)于白看，但有人就從信息中看到了電商的未來(lái)，有人看到了直播的未來(lái)，所以人家就牛了。如果你沒(méi)有從信息中提取出知識(shí)，天天看朋友圈也只能在互聯(lián)網(wǎng)滾滾大潮中做個(gè)看客。1.1數(shù)據(jù)時(shí)代數(shù)據(jù)的應(yīng)用分這四個(gè)步驟：數(shù)據(jù)、信息、知識(shí)、智慧。1.1數(shù)據(jù)時(shí)代2.數(shù)據(jù)如何升華為智慧數(shù)據(jù)的處理分幾個(gè)步驟，完成了才最后會(huì)有智慧。1.1數(shù)據(jù)時(shí)代（1）第一個(gè)步驟第一個(gè)步驟叫數(shù)據(jù)的收集,有兩種方式：

①第一個(gè)方式是拿，專(zhuān)業(yè)點(diǎn)的說(shuō)法叫抓取或者爬取。例如搜索引擎就是這么做的：它把網(wǎng)上的所有的信息都下載到它的數(shù)據(jù)中心，然后你搜索相關(guān)內(nèi)容才能搜索出來(lái)。②第二個(gè)方式是推送，有很多終端可以幫我收集數(shù)據(jù)。比如說(shuō)小米手環(huán)，可以將你每天跑步的數(shù)據(jù)，心跳的數(shù)據(jù)，睡眠的數(shù)據(jù)都上傳到數(shù)據(jù)中心里面。1.1數(shù)據(jù)時(shí)代（2）第二個(gè)步驟第二個(gè)步驟是數(shù)據(jù)的傳輸。一般會(huì)通過(guò)隊(duì)列方式進(jìn)行，因?yàn)閿?shù)據(jù)量實(shí)在是太大了，數(shù)據(jù)必須經(jīng)過(guò)處理才會(huì)有用。可系統(tǒng)處理不過(guò)來(lái)，只好排好隊(duì)，慢慢處理。（3）第三個(gè)步驟第三個(gè)步驟是數(shù)據(jù)的存儲(chǔ)。淘寶、京東、亞馬遜的網(wǎng)站怎么知道你想買(mǎi)什么？就是因?yàn)樗心氵^(guò)去的交易的數(shù)據(jù)，這個(gè)信息可不能給別人，十分寶貴，所以需要存儲(chǔ)下來(lái)。1.1數(shù)據(jù)時(shí)代（4）第四個(gè)步驟第四個(gè)步驟是數(shù)據(jù)的處理和分析。原始數(shù)據(jù)大多是雜亂無(wú)章的，有很多垃圾數(shù)據(jù)在里面，因而需要清洗和過(guò)濾，得到一些高質(zhì)量的數(shù)據(jù)。對(duì)于高質(zhì)量的數(shù)據(jù)，就可以進(jìn)行分析，從而對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，發(fā)現(xiàn)數(shù)據(jù)之間的相互關(guān)系，得到知識(shí)。比如盛傳的沃爾瑪超市的啤酒和尿布的故事，就是通過(guò)對(duì)人們的購(gòu)買(mǎi)數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)了男人一般買(mǎi)尿布的時(shí)候，會(huì)同時(shí)購(gòu)買(mǎi)啤酒，將啤酒和尿布的柜臺(tái)弄的很近，以便促銷(xiāo)相關(guān)商品。1.1數(shù)據(jù)時(shí)代（5）第五個(gè)步驟第五個(gè)步驟是對(duì)于數(shù)據(jù)的檢索和挖掘。檢索就是搜索，就象古書(shū)三國(guó)演義里描述的，現(xiàn)代社會(huì)是是所謂“外事不決問(wèn)Google，內(nèi)事不決問(wèn)百度”。內(nèi)外兩大搜索引擎都是將分析后的數(shù)據(jù)放入搜索引擎，因此人們想尋找信息的時(shí)候，搜一搜就有了。另外就是挖掘，僅僅搜索出來(lái)已經(jīng)不能滿(mǎn)足人們的要求了，還需要從信息中挖掘出相互的關(guān)系。

1.1數(shù)據(jù)時(shí)代通過(guò)各種算法挖掘數(shù)據(jù)中的關(guān)系，形成知識(shí)庫(kù)，十分重要。整體來(lái)看，知識(shí)的演進(jìn)層次，可以雙向演進(jìn)。從噪音中分揀出來(lái)數(shù)據(jù)，轉(zhuǎn)化為信息，升級(jí)為知識(shí)，升華為智慧。這樣一個(gè)過(guò)程，是信息的管理和分類(lèi)過(guò)程，讓信息從龐大無(wú)序到分類(lèi)有序，各取所需。這就是一個(gè)知識(shí)管理的過(guò)程。反過(guò)來(lái)，隨著信息生產(chǎn)與傳播手段的極大豐富，知識(shí)生產(chǎn)的過(guò)程其實(shí)也是一個(gè)不斷衰退的過(guò)程，從智慧傳播為知識(shí)，從知識(shí)普及為信息，從信息變?yōu)橛涗浀臄?shù)據(jù)。1.1數(shù)據(jù)時(shí)代知識(shí)、信息與數(shù)據(jù)的雙向演進(jìn)1.1數(shù)據(jù)時(shí)代

需要明確的是，大數(shù)據(jù)分析處理的最終目標(biāo)，是從復(fù)雜的數(shù)據(jù)集合中發(fā)現(xiàn)新的關(guān)聯(lián)規(guī)則，繼而進(jìn)行深度挖掘，得到有效用的新信息。我們最終目的是從數(shù)據(jù)到知識(shí)，從知識(shí)到智慧型的決策，如何從數(shù)據(jù)中形成智慧是我們今天的目標(biāo)，見(jiàn)下圖所示。1.1數(shù)據(jù)時(shí)代1.1.3數(shù)據(jù)時(shí)代1.數(shù)據(jù)的單位一個(gè)二進(jìn)制位稱(chēng)為一個(gè)比特，一般用小寫(xiě)b表示；而8個(gè)二進(jìn)制位稱(chēng)一個(gè)字節(jié)，用大寫(xiě)B(tài)表示。簡(jiǎn)言之：1B=8b。計(jì)算數(shù)據(jù)量或數(shù)據(jù)所需存儲(chǔ)空間大小時(shí)，習(xí)慣用字節(jié)為單位(用B表示)。1KB=1024B，1MB=1024KB，1GB=1024MB，1TB=1024GB，1PB=1024TB，1EB=1024PB，1ZB=1024EB。1EB約等于10億GB，而1ZB約等于1萬(wàn)億GB。1.1數(shù)據(jù)時(shí)代假設(shè)有一首長(zhǎng)為3分鐘的歌曲錄制成MP3文件(44K/320kbps音質(zhì))，大小約為8MB，那么1ZB的數(shù)據(jù)存儲(chǔ)空間可存儲(chǔ)MP3格式的140萬(wàn)億首歌曲，如果全部聽(tīng)一遍，需要8億多年。計(jì)算網(wǎng)絡(luò)傳輸速率時(shí)習(xí)慣上用比特每秒為單位(用b/s表示)。1Pb/S和1Gb/S分別代表1秒鐘傳輸?shù)臄?shù)據(jù)是1P(1000萬(wàn)億)比特和1G(10億)比特。網(wǎng)絡(luò)速率1Gb/S(此處是小寫(xiě)b)的情況下，下載一個(gè)2GB(此處是大寫(xiě)B(tài))的電影，需要16秒；而網(wǎng)絡(luò)速率1Pb/S的情況下，僅需要0.016毫秒。1.1數(shù)據(jù)時(shí)代2.數(shù)據(jù)類(lèi)型整體上我們將數(shù)據(jù)類(lèi)型分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。（1）結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)能夠用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)加以表示，如數(shù)字、文字、符號(hào)。結(jié)構(gòu)化數(shù)據(jù)嚴(yán)格地遵循數(shù)據(jù)格式與長(zhǎng)度規(guī)范，可以是由二維表（有行有列，就像工資表、課程表）結(jié)構(gòu)來(lái)邏輯表達(dá)和實(shí)現(xiàn)。主要通過(guò)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和管理。1.1數(shù)據(jù)時(shí)代

比如我們做一個(gè)職工工資系統(tǒng)，要保存員工基本信息：工號(hào)、姓名、應(yīng)付薪酬、代扣項(xiàng)目等等；我們就會(huì)建立一個(gè)對(duì)應(yīng)的工資表。1.1數(shù)據(jù)時(shí)代（2）半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)是介于完全結(jié)構(gòu)化數(shù)據(jù)（如傳統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)）和完全無(wú)結(jié)構(gòu)的數(shù)據(jù)（如聲音、圖像文件等）之間的數(shù)據(jù)，網(wǎng)頁(yè)中使用的文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起，沒(méi)有明顯的區(qū)分。比如存儲(chǔ)員工的簡(jiǎn)歷。有的員工的簡(jiǎn)歷很簡(jiǎn)單，比如只包括教育情況；有的員工的簡(jiǎn)歷卻很復(fù)雜，比如包括工作情況、婚姻情況、出入境情況、戶(hù)口遷移情況、黨籍情況、技術(shù)技能等等。還有可能有一些我們沒(méi)有預(yù)料的信息。1.1數(shù)據(jù)時(shí)代（3）非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒(méi)有預(yù)定義的數(shù)據(jù)模型，不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)。包括圖像和音頻/視頻信息等等。地圖、圖片、音頻和視頻數(shù)據(jù)就屬于非結(jié)構(gòu)化數(shù)據(jù)。在很多知識(shí)庫(kù)系統(tǒng)中，為了查詢(xún)大量積累下來(lái)的文檔，需要從PDF、Word、Rtf、Excel和PowerPoint等格式的文檔中提取可以描述文檔的文字，這些描述性的信息包括文檔標(biāo)題、作者、主要內(nèi)容等等。這樣一個(gè)過(guò)程就是非結(jié)構(gòu)化數(shù)據(jù)的采集過(guò)程。1.1數(shù)據(jù)時(shí)代

非結(jié)構(gòu)化數(shù)據(jù)有如下幾個(gè)特點(diǎn)：①有大量的數(shù)據(jù)需要處理非結(jié)構(gòu)化數(shù)據(jù)在任何地方都可以得到。這些數(shù)據(jù)可以在你公司內(nèi)部的郵件信息、聊天記錄以及搜集到的調(diào)查結(jié)果中得到，也可以是你對(duì)個(gè)人網(wǎng)站上的評(píng)論、對(duì)客戶(hù)關(guān)系管理系統(tǒng)中的評(píng)論或者是從你使用的個(gè)人應(yīng)用程序中得到的文本字段。而且也可以在公司外部的社會(huì)媒體、你監(jiān)控的論壇以及來(lái)自于一些你很感興趣的話題的評(píng)論。1.1數(shù)據(jù)時(shí)代②蘊(yùn)藏著大量的價(jià)值有些企業(yè)現(xiàn)在正投資幾十億美金分析結(jié)構(gòu)化數(shù)據(jù)，卻對(duì)非結(jié)構(gòu)化數(shù)據(jù)置之不理，在非結(jié)構(gòu)化數(shù)據(jù)中蘊(yùn)藏著有用的信息寶庫(kù)，利用數(shù)據(jù)可視化工具分析非結(jié)構(gòu)化數(shù)據(jù)能夠幫助企業(yè)快速地了解現(xiàn)狀、顯示趨勢(shì)并且識(shí)別新出現(xiàn)的問(wèn)題。1.1數(shù)據(jù)時(shí)代③不需要依靠數(shù)據(jù)科學(xué)家團(tuán)隊(duì)分析數(shù)據(jù)不需要一個(gè)專(zhuān)業(yè)性很強(qiáng)的數(shù)學(xué)家或數(shù)據(jù)科學(xué)團(tuán)隊(duì)，公司也不需要專(zhuān)門(mén)聘請(qǐng)IT精英去做。真正的分析發(fā)生在用戶(hù)決策階段，即管理一個(gè)特殊產(chǎn)品細(xì)分市場(chǎng)的部門(mén)經(jīng)理，可能是負(fù)責(zé)尋找最優(yōu)活動(dòng)方案的市場(chǎng)營(yíng)銷(xiāo)者，也可能是負(fù)責(zé)預(yù)測(cè)客戶(hù)群體需求的總經(jīng)理。終端用戶(hù)有能力、也有權(quán)利和動(dòng)機(jī)去改善商業(yè)實(shí)踐，并且視覺(jué)文本分析工具可以幫助他們快速識(shí)別最相關(guān)的問(wèn)題，及時(shí)采取行動(dòng)，而這都不需要依靠數(shù)據(jù)科學(xué)家。1.1數(shù)據(jù)時(shí)代④終端用戶(hù)授權(quán)正確的分析需要機(jī)器計(jì)算和人類(lèi)解釋相結(jié)合。機(jī)器進(jìn)行大量的信息處理，而終端客戶(hù)利用他們的商業(yè)頭腦，在已發(fā)生的事實(shí)基礎(chǔ)上決策出最好的實(shí)施方案。終端客戶(hù)必須清楚的知道哪一個(gè)數(shù)據(jù)集是有價(jià)值的，他們應(yīng)該如何采集并將他們獲取的信息更好地應(yīng)用到他們的商業(yè)領(lǐng)域。此外，一個(gè)公司的工作就是使終端用戶(hù)盡可能地收集到更多相關(guān)的數(shù)據(jù)并盡可能地根據(jù)這些數(shù)據(jù)中的信息做出最好的決策。1.2大數(shù)據(jù)1.2.1什么是大數(shù)據(jù)大數(shù)據(jù)（bigdata）是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新的處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)一般認(rèn)可的定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類(lèi)型和價(jià)值密度低四大特征。1.2大數(shù)據(jù)

大數(shù)據(jù)具有4V特征：大量（Volume）、多樣（Variety）、高速（Velocity）、價(jià)值（Value）。Volume（數(shù)據(jù)體量巨大）：大量交互數(shù)據(jù)被記錄和保存，數(shù)據(jù)規(guī)模從TB到PB數(shù)量級(jí)。Velocity（數(shù)據(jù)類(lèi)型繁多）：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。Variety（流動(dòng)速度快）：數(shù)據(jù)自身的狀態(tài)與價(jià)值隨著時(shí)空變化而不斷發(fā)生演變。Value（價(jià)值巨大但密度低）：數(shù)據(jù)的價(jià)值沒(méi)有隨數(shù)據(jù)量的指數(shù)增長(zhǎng)呈現(xiàn)出同比例上升。1.2大數(shù)據(jù)大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越成為數(shù)據(jù)的主要部分。據(jù)調(diào)查報(bào)告顯示：企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長(zhǎng)60%。

大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，在以“云計(jì)算”為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本看起來(lái)很難收集和使用的數(shù)據(jù)開(kāi)始容易被利用起來(lái)了，通過(guò)各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐步為人類(lèi)創(chuàng)造更多的價(jià)值。1.2大數(shù)據(jù)

想要系統(tǒng)的認(rèn)知大數(shù)據(jù)，必須要全面而細(xì)致的分解它，需要著手從三個(gè)層面來(lái)展開(kāi)，見(jiàn)圖1.5所示：第一層面是理論，從大數(shù)據(jù)的特征定義來(lái)理解行業(yè)對(duì)大數(shù)據(jù)的整體描繪和定性；從對(duì)大數(shù)據(jù)價(jià)值的探討來(lái)深入解析大數(shù)據(jù)的珍貴所在；從大數(shù)據(jù)的現(xiàn)在和未來(lái)洞悉大數(shù)據(jù)的發(fā)展趨勢(shì)；從大數(shù)據(jù)隱私的視角審視人和數(shù)據(jù)之間的長(zhǎng)久博弈。1.2大數(shù)據(jù)第二層面是技術(shù)，分別從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的整個(gè)過(guò)程。第三層面是實(shí)踐，分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個(gè)人的大數(shù)據(jù)四個(gè)方面來(lái)描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實(shí)現(xiàn)的藍(lán)圖。1.2大數(shù)據(jù)大數(shù)據(jù)的三個(gè)層面

1.2大數(shù)據(jù)1.2.2大數(shù)據(jù)發(fā)展歷史與現(xiàn)狀在大數(shù)據(jù)整個(gè)發(fā)展過(guò)程當(dāng)中，我們按照進(jìn)程將它分為4個(gè)階段，分別是大數(shù)據(jù)的萌芽階段、突破階段、成熟階段、應(yīng)用階段。1.大數(shù)據(jù)萌芽階段（1980--2008年）1980年[美]著名未來(lái)學(xué)家阿爾文·托夫勒著的《第三次浪潮》書(shū)中將“大數(shù)據(jù)”稱(chēng)為“第三次浪潮的華彩樂(lè)章”；上世紀(jì)末，是大數(shù)據(jù)的萌芽期，處于數(shù)據(jù)挖掘技術(shù)階段。隨著數(shù)據(jù)挖掘理論和數(shù)據(jù)庫(kù)技術(shù)的成熟，一些商業(yè)智能工具和知識(shí)管理技術(shù)開(kāi)始被應(yīng)用。2008年9月英國(guó)《自然-Nature》雜志推出了名為“大數(shù)據(jù)”的封面專(zhuān)欄。1.2大數(shù)據(jù)2.大數(shù)據(jù)突破階段（2009--2011年）2009-2010年“大數(shù)據(jù)”成為互聯(lián)網(wǎng)技術(shù)行業(yè)中的熱門(mén)詞匯。2011年6月世界級(jí)領(lǐng)先的全球管理咨詢(xún)公司麥肯錫發(fā)布了關(guān)于“大數(shù)據(jù)”的報(bào)告，正式定義了大數(shù)據(jù)的概念，后逐漸受到了各行各業(yè)關(guān)注；這個(gè)階段非結(jié)構(gòu)化的數(shù)據(jù)大量出現(xiàn)，傳統(tǒng)的數(shù)據(jù)庫(kù)處理難以應(yīng)對(duì)，也稱(chēng)非結(jié)構(gòu)化數(shù)據(jù)階段。1.2大數(shù)據(jù)3.大數(shù)據(jù)成熟階段（2012--2016年）隨著2012年《大數(shù)據(jù)時(shí)代》一書(shū)出版，“大數(shù)據(jù)”這一概念乘著互聯(lián)網(wǎng)的浪潮在各行各業(yè)中扮演了舉足輕重的角色。2013年大數(shù)據(jù)技術(shù)開(kāi)始向商業(yè)、科技、醫(yī)療、政府、教育、經(jīng)濟(jì)、交通、物流及社會(huì)的各個(gè)領(lǐng)域滲透，因此2013年也被稱(chēng)為大數(shù)據(jù)元年，大數(shù)據(jù)時(shí)代悄然開(kāi)啟。1.2大數(shù)據(jù)4.大數(shù)據(jù)應(yīng)用階段（2017--2022年）從2017年開(kāi)始，大數(shù)據(jù)已經(jīng)滲透到人們生活的方方面面，在政策、法規(guī)、技術(shù)、應(yīng)用等多重因素的推動(dòng)下，大數(shù)據(jù)行業(yè)迎來(lái)了發(fā)展的爆發(fā)期。全國(guó)至少有已有13個(gè)省成立了21家大數(shù)據(jù)管理機(jī)構(gòu)，同時(shí)大數(shù)據(jù)也成為高校的熱門(mén)專(zhuān)業(yè)，申報(bào)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)本科專(zhuān)業(yè)的學(xué)校達(dá)到293所。近年來(lái)，數(shù)據(jù)規(guī)模呈幾何級(jí)數(shù)高速成長(zhǎng)。據(jù)國(guó)際信息技術(shù)咨詢(xún)企業(yè)國(guó)際數(shù)據(jù)公司(IDC)的報(bào)告，2020年全球數(shù)據(jù)存儲(chǔ)量將達(dá)到44ZB，到2030年將達(dá)到2500ZB。1.2大數(shù)據(jù)

作為人口大國(guó)和制造大國(guó)，我國(guó)數(shù)據(jù)產(chǎn)生能力巨大，大數(shù)據(jù)資源極為豐富。預(yù)計(jì)到2020年，我國(guó)數(shù)據(jù)總量有望達(dá)到8000EB，占全球數(shù)據(jù)總量的21%，將成為名列前茅的數(shù)據(jù)資源大國(guó)和全球數(shù)據(jù)中心。據(jù)有關(guān)統(tǒng)計(jì)，截至2019年上半年，我國(guó)已有82個(gè)省級(jí)、副省級(jí)和地級(jí)政府上線了數(shù)據(jù)開(kāi)放平臺(tái)，涉及41.93%的省級(jí)行政區(qū)、66.67%的副省級(jí)城市和18.55%的地級(jí)城市。1.2大數(shù)據(jù)1.2.3大數(shù)據(jù)能做和不能做的事1.大數(shù)據(jù)可以做到的事情（1）診斷分析

:我們每天都在做這個(gè)事情，機(jī)器更擅長(zhǎng)做這個(gè)。當(dāng)一個(gè)事件發(fā)生的時(shí)候，我們發(fā)現(xiàn)對(duì)尋找起因感興趣。比如，設(shè)想在沙漠A掛起了沙暴，我們有沙漠A地區(qū)的各種參數(shù)：溫度，氣壓，駱駝，道路，汽車(chē)等等。如果我們能將這些參數(shù)跟該地區(qū)的沙暴聯(lián)系起來(lái)，如果我們知道一些因果關(guān)系，我們可能就會(huì)避免沙暴。1.2大數(shù)據(jù)（2）預(yù)測(cè)分析：

我們經(jīng)常做這個(gè)事情，預(yù)測(cè)分析是根植在我們的基因DNA里的。比如，我們?cè)谌蛴幸粋€(gè)酒店連鎖，現(xiàn)在我們需要找出那些酒店是沒(méi)有達(dá)到銷(xiāo)售目標(biāo)的。如果我們查出來(lái)的話，我們就可以將盡力對(duì)它們進(jìn)行整改。這成為了預(yù)測(cè)分析的經(jīng)典問(wèn)題。（3）在未知元素間尋找關(guān)聯(lián)：進(jìn)行分析，在未知元素間尋找關(guān)聯(lián)。比方說(shuō)銷(xiāo)售雇員的數(shù)量跟銷(xiāo)售額真的沒(méi)有關(guān)系嗎。你可能會(huì)減少一些雇員來(lái)看看是否真的對(duì)銷(xiāo)售額沒(méi)有損失。1.2大數(shù)據(jù)（4）規(guī)范的分析

:這是分析學(xué)的未來(lái)。比如說(shuō)我們嘗試著預(yù)測(cè)一個(gè)以大眾為目標(biāo)的恐怖襲擊，然后安全的將人們轉(zhuǎn)移的策略。做出這個(gè)預(yù)測(cè)，你需要做出在那個(gè)時(shí)候那個(gè)地點(diǎn)的游客人數(shù)，可能會(huì)被爆炸所影響到的地區(qū)等各種預(yù)測(cè)。（5）監(jiān)控發(fā)生的事件

:行業(yè)中的大部分人都在做監(jiān)控事件的工作。比如，你需要檢測(cè)一個(gè)活動(dòng)的反饋找到強(qiáng)烈和不強(qiáng)烈的部分。這些分析成為運(yùn)營(yíng)一個(gè)企業(yè)的關(guān)鍵。1.2大數(shù)據(jù)2.大數(shù)據(jù)做不到的事情（1）預(yù)測(cè)一個(gè)確定的未來(lái)

:使用機(jī)器學(xué)習(xí)的工具我們可以達(dá)到90%的精度。但是我們無(wú)法達(dá)到100%的準(zhǔn)確。如果我們可以做到的話，我可以確切的告訴你誰(shuí)才是目標(biāo)以及每一次100%的響應(yīng)率。但可惜的是這絕不會(huì)發(fā)生。（2）無(wú)法擺脫無(wú)聊的數(shù)據(jù)分析

:在任何分析上，數(shù)據(jù)處理耗費(fèi)了大部分時(shí)間。相信這就是你的創(chuàng)造力和商業(yè)理解的來(lái)源?？赡艿氖牵銦o(wú)法擺脫在你的分析中最無(wú)聊的部分。1.2大數(shù)據(jù)（3）找到一個(gè)商業(yè)問(wèn)題的創(chuàng)新的解決方案

:創(chuàng)造力是人類(lèi)永遠(yuǎn)的專(zhuān)利。沒(méi)有機(jī)器可以找到問(wèn)題的創(chuàng)新的解決方法。這是因?yàn)榧词故侨斯ぶ悄芤彩怯扇藗內(nèi)ゾ幋a的產(chǎn)物，創(chuàng)造力是不會(huì)從算法自己學(xué)習(xí)而來(lái)的。（4）找到定義不是很明確的問(wèn)題的解決方法

:分析學(xué)最大的挑戰(zhàn)就是從業(yè)務(wù)問(wèn)題中形成一個(gè)分析問(wèn)題模型。如果你能做得很好，你正在成為一個(gè)分析明星。這種角色是機(jī)器無(wú)法取代你的。1.2大數(shù)據(jù)（5）數(shù)據(jù)管理/簡(jiǎn)化新數(shù)據(jù)源的數(shù)據(jù)

:隨著數(shù)據(jù)量的增長(zhǎng)，數(shù)據(jù)的管理正在成為一個(gè)難題。我們正在處理各種不同結(jié)構(gòu)化的數(shù)據(jù)。比如，圖表數(shù)據(jù)可能更適合網(wǎng)絡(luò)分析但是對(duì)活動(dòng)數(shù)據(jù)是沒(méi)用的。這部分信息也是機(jī)器無(wú)法分析的。1.2大數(shù)據(jù)1.2.4大數(shù)據(jù)產(chǎn)業(yè)大數(shù)據(jù)產(chǎn)業(yè)是現(xiàn)代新型服務(wù)業(yè)的一種，其主要內(nèi)容主要分為三部分：1.數(shù)據(jù)軟、硬件制造業(yè)大數(shù)據(jù)產(chǎn)業(yè)可以認(rèn)為是信息產(chǎn)業(yè)，其主要內(nèi)容包括一些硬件制造、軟件開(kāi)發(fā)、軟硬件相結(jié)合的相關(guān)數(shù)據(jù)服務(wù)業(yè)，涉及范圍為數(shù)據(jù)相關(guān)軟件制造到數(shù)據(jù)服務(wù)等一系列相關(guān)業(yè)務(wù)。1.2大數(shù)據(jù)2.數(shù)據(jù)服務(wù)業(yè)通常是指用專(zhuān)業(yè)知識(shí)和技能給客戶(hù)提供解決方案的服務(wù)業(yè)。3.數(shù)據(jù)內(nèi)容業(yè)數(shù)據(jù)內(nèi)容業(yè)主要指以信息為主，涉及到市場(chǎng)的各個(gè)領(lǐng)域，通常這些領(lǐng)域主要從事數(shù)據(jù)的整理、采集、加工、傳播等數(shù)據(jù)服務(wù)產(chǎn)業(yè)群。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念1.3.1傳統(tǒng)的大數(shù)據(jù)處理流程具體的大數(shù)據(jù)處理方法其實(shí)有很多，但是根據(jù)長(zhǎng)時(shí)間的實(shí)踐，總結(jié)了一個(gè)基本的大數(shù)據(jù)處理流程，并且這個(gè)流程應(yīng)該能夠?qū)Υ蠹依眄槾髷?shù)據(jù)的處理有所幫助。整個(gè)處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計(jì)和分析，以及數(shù)據(jù)挖掘。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念1.采集大數(shù)據(jù)的采集是指利用多個(gè)數(shù)據(jù)庫(kù)來(lái)接收發(fā)自客戶(hù)端的數(shù)據(jù)，并且用戶(hù)可以通過(guò)這些數(shù)據(jù)庫(kù)來(lái)進(jìn)行簡(jiǎn)單的查詢(xún)和處理工作。比如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和Oracle等來(lái)存儲(chǔ)每一筆事務(wù)數(shù)據(jù)，除此之外，MongoDB這樣的NoSQL非傳統(tǒng)數(shù)據(jù)庫(kù)也常用于數(shù)據(jù)的采集。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念在大數(shù)據(jù)的采集過(guò)程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶(hù)來(lái)進(jìn)行訪問(wèn)和操作。比如火車(chē)票售票網(wǎng)站和淘寶，它們并發(fā)的訪問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，所以需要在采集端進(jìn)行部署大量數(shù)據(jù)庫(kù)才能支撐。并且要在如何在這些數(shù)據(jù)庫(kù)之間進(jìn)行負(fù)載均衡和分片需要深入的思考和設(shè)計(jì)。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念2.統(tǒng)計(jì)/分析統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)，或者分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類(lèi)匯總等，以滿(mǎn)足大多數(shù)常見(jiàn)的分析需求，在這方面，一些實(shí)時(shí)性需求會(huì)用到Oracle數(shù)據(jù)庫(kù)系統(tǒng)，以及基于MySQL的列式存儲(chǔ)等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念3.導(dǎo)入/預(yù)處理雖然采集端的本身會(huì)有很多數(shù)據(jù)庫(kù)，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來(lái)自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。也有一些用戶(hù)會(huì)在導(dǎo)入時(shí)使用來(lái)自推特（Twitter）的信息來(lái)對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算，來(lái)滿(mǎn)足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。導(dǎo)入與預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量通常會(huì)達(dá)到百兆，甚至千兆級(jí)別。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念4.數(shù)據(jù)挖掘與前面統(tǒng)計(jì)和分析過(guò)程不同的是，數(shù)據(jù)挖掘一般沒(méi)有什么預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。該過(guò)程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，還有，常用數(shù)據(jù)挖掘算法都以單線程為主。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念1.3.2大數(shù)據(jù)核心技術(shù)

今天我們常說(shuō)的大數(shù)據(jù)技術(shù)，其實(shí)起源于Google在2004年前后發(fā)表的三篇論文，也就是我們經(jīng)常聽(tīng)到的“三駕馬車(chē)”，分別是分布式文件系統(tǒng)GFS、大數(shù)據(jù)分布式計(jì)算框架MapReduce和NoSQL數(shù)據(jù)庫(kù)系統(tǒng)BigTable，見(jiàn)下圖1.6。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念大數(shù)據(jù)平臺(tái)1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念上圖中的所有這些框架、平臺(tái)以及相關(guān)的算法共同構(gòu)成了大數(shù)據(jù)的技術(shù)體系，形成大數(shù)據(jù)技術(shù)原理和應(yīng)用算法構(gòu)建的完整的知識(shí)體系。“三駕馬車(chē)”其實(shí)就是一個(gè)文件系統(tǒng)、一個(gè)計(jì)算框架、一個(gè)數(shù)據(jù)庫(kù)系統(tǒng)。Google的思路是部署一個(gè)大規(guī)模的服務(wù)器集群，通過(guò)分布式的方式將海量數(shù)據(jù)存儲(chǔ)在這個(gè)集群上，然后利用集群上的所有機(jī)器進(jìn)行數(shù)據(jù)計(jì)算。這樣，Google其實(shí)不需要買(mǎi)很多很貴的服務(wù)器，它只要把這些普通的機(jī)器組織到一起，就非常厲害了。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念當(dāng)時(shí)的天才程序員們啟動(dòng)了一個(gè)獨(dú)立的項(xiàng)目專(zhuān)門(mén)開(kāi)發(fā)維護(hù)大數(shù)據(jù)技術(shù)，這就是后來(lái)赫赫有名的Hadoop，主要包括Hadoop分布式文件系統(tǒng)HDFS和大數(shù)據(jù)計(jì)算引擎MapReduce。2012年，美國(guó)加州大學(xué)伯克利分校開(kāi)發(fā)的Spark開(kāi)始嶄露頭角，Spark一經(jīng)推出，立即受到業(yè)界的追捧，并逐步替代MapReduce在企業(yè)應(yīng)用中的地位。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念一般說(shuō)來(lái)，像MapReduce、Spark這類(lèi)計(jì)算框架處理的業(yè)務(wù)場(chǎng)景都被稱(chēng)作批處理計(jì)算，因?yàn)樗鼈兺ǔａ槍?duì)以“天”為單位產(chǎn)生的數(shù)據(jù)進(jìn)行一次計(jì)算，然后得到需要的結(jié)果，這中間計(jì)算需要花費(fèi)的時(shí)間大概是幾十分鐘甚至更長(zhǎng)的時(shí)間。因?yàn)橛?jì)算的數(shù)據(jù)是非在線得到的實(shí)時(shí)數(shù)據(jù)，而是歷史數(shù)據(jù)，所以這類(lèi)計(jì)算也被稱(chēng)為大數(shù)據(jù)離線計(jì)算。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念而在大數(shù)據(jù)領(lǐng)域，還有另外一類(lèi)應(yīng)用場(chǎng)景，它們需要對(duì)實(shí)時(shí)產(chǎn)生的大量數(shù)據(jù)進(jìn)行即時(shí)計(jì)算，比如對(duì)于遍布城市的監(jiān)控?cái)z像頭進(jìn)行人臉識(shí)別和嫌犯追蹤。這類(lèi)計(jì)算稱(chēng)為大數(shù)據(jù)流計(jì)算。流式計(jì)算要處理的數(shù)據(jù)是實(shí)時(shí)在線產(chǎn)生的數(shù)據(jù)，所以這類(lèi)計(jì)算也被稱(chēng)為大數(shù)據(jù)實(shí)時(shí)計(jì)算。在典型的大數(shù)據(jù)的業(yè)務(wù)場(chǎng)景下，數(shù)據(jù)業(yè)務(wù)最通用的做法是，采用批處理的技術(shù)處理歷史全量數(shù)據(jù)，采用流式計(jì)算處理實(shí)時(shí)新增數(shù)據(jù)。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念除了大數(shù)據(jù)批處理和流處理，NoSQL系統(tǒng)處理的主要也是大規(guī)模海量數(shù)據(jù)的存儲(chǔ)與訪問(wèn)，所以也被歸為大數(shù)據(jù)技術(shù)。2011年前后，NoSQL非常火爆，各種NoSQL數(shù)據(jù)庫(kù)也是層出不群。上面講的這些基本上都可以歸類(lèi)為大數(shù)據(jù)引擎或者大數(shù)據(jù)框架。而大數(shù)據(jù)處理的主要應(yīng)用場(chǎng)景包括數(shù)據(jù)分析、數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)。此外，大數(shù)據(jù)要存入分布式文件系統(tǒng)（HDFS），要有序調(diào)度MapReduce和Spark作業(yè)執(zhí)行，并能把執(zhí)行結(jié)果寫(xiě)入到各個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)，還需要有一個(gè)大數(shù)據(jù)平臺(tái)整合所有這些大數(shù)據(jù)組件和企業(yè)應(yīng)用系統(tǒng)。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念3.3大數(shù)據(jù)技術(shù)分類(lèi)我們把大數(shù)據(jù)技術(shù)歸納為五大類(lèi),如表1.2中所示。（1）基礎(chǔ)架構(gòu)支持主要包括為支撐大數(shù)據(jù)處理的基礎(chǔ)架構(gòu)級(jí)數(shù)據(jù)中心管理、云計(jì)算平臺(tái)、云存儲(chǔ)設(shè)備及技術(shù)、網(wǎng)絡(luò)技術(shù)、資源監(jiān)控等技術(shù)。大數(shù)據(jù)處理需要擁有大規(guī)模物理資源的云數(shù)據(jù)中心和具備高效的調(diào)度管理功能的云計(jì)算平臺(tái)的支撐。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念（2）數(shù)據(jù)采集技術(shù)數(shù)據(jù)采集技術(shù)是數(shù)據(jù)處理的必備條件,首先需要有數(shù)據(jù)采集的手段,把信息收集上來(lái),才能應(yīng)用上層的數(shù)據(jù)處理技術(shù)。數(shù)據(jù)采集除了各類(lèi)傳感設(shè)備等硬件軟件設(shè)施之外,主要涉及到的是數(shù)據(jù)的ETL(采集、轉(zhuǎn)換、加載)過(guò)程,能對(duì)數(shù)據(jù)進(jìn)行清洗、過(guò)濾、校驗(yàn)、轉(zhuǎn)換等各種預(yù)處理,將有效的數(shù)據(jù)轉(zhuǎn)換成適合的格式和類(lèi)型。同時(shí),為了支持多源異構(gòu)的數(shù)據(jù)采集和存儲(chǔ)訪問(wèn),還需設(shè)計(jì)企業(yè)的數(shù)據(jù)總線,方便企業(yè)各個(gè)應(yīng)用和服務(wù)之間數(shù)據(jù)的交換和共享。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念（3）數(shù)據(jù)存儲(chǔ)技術(shù)數(shù)據(jù)經(jīng)過(guò)采集和轉(zhuǎn)換之后,需要存儲(chǔ)歸檔.針對(duì)海量的大數(shù)據(jù),一般可以采用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)的存儲(chǔ)方式,把數(shù)據(jù)分布到多個(gè)存儲(chǔ)節(jié)點(diǎn)上,同時(shí)還需提供備份、安全、訪問(wèn)接口及協(xié)議等機(jī)制。（4）數(shù)據(jù)計(jì)算

我們把與數(shù)據(jù)查詢(xún)、統(tǒng)計(jì)、分析、預(yù)測(cè)、挖掘、圖譜處理、BI商業(yè)智能等各項(xiàng)相關(guān)的技術(shù)統(tǒng)稱(chēng)為數(shù)據(jù)計(jì)算技術(shù).數(shù)據(jù)計(jì)算技術(shù)涵蓋數(shù)據(jù)處理的方方面面,也是大數(shù)據(jù)技術(shù)的核心。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念（5）數(shù)據(jù)展現(xiàn)與交互

數(shù)據(jù)展現(xiàn)與交互在大數(shù)據(jù)技術(shù)中也至關(guān)重要,因?yàn)閿?shù)據(jù)最終需要為人們所使用,為生產(chǎn)、運(yùn)營(yíng)、規(guī)劃提供決策支持。選擇恰當(dāng)?shù)?、生?dòng)直觀的展示方式能夠幫助我們更好地理解數(shù)據(jù)及其內(nèi)涵和關(guān)聯(lián)關(guān)系,也能夠更有效地解釋和運(yùn)用數(shù)據(jù),發(fā)揮其價(jià)值。在展現(xiàn)方式上,除了傳統(tǒng)的報(bào)表、圖形之外,我們還可以結(jié)合現(xiàn)代化的可視化工具及人機(jī)交互手段,甚至是基于最新的如Google眼鏡等增強(qiáng)現(xiàn)實(shí)手段,來(lái)實(shí)現(xiàn)數(shù)據(jù)與現(xiàn)實(shí)的無(wú)縫接口。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念1.3.4大數(shù)據(jù)分析的方法理論越來(lái)越多的應(yīng)用涉及到大數(shù)據(jù)，這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，所以，大數(shù)據(jù)的分析方法是決定最終信息是否有價(jià)值的決定性因素?；诖?，大數(shù)據(jù)分析的方法理論有五個(gè)基本方面：1.預(yù)測(cè)性分析能力（PredictiveAnalyticCapabilities）數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預(yù)測(cè)性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測(cè)性的判斷。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念2.數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理（DataQualityandDataManagement）

數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理是一些管理方面的最佳實(shí)踐。通過(guò)標(biāo)準(zhǔn)化的流程和工具對(duì)數(shù)據(jù)進(jìn)行處理可以保證一個(gè)預(yù)先定義好的高質(zhì)量的分析結(jié)果。3.可視化分析（AnalyticVisualizations）

不管是對(duì)數(shù)據(jù)分析專(zhuān)家還是普通用戶(hù)，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說(shuō)話，讓觀眾聽(tīng)到結(jié)果。1.3大數(shù)據(jù)技術(shù)基礎(chǔ)概念4.語(yǔ)義引擎（SemanticEngines）

我們知道由于非結(jié)構(gòu)化數(shù)據(jù)的多樣性帶來(lái)了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語(yǔ)義引擎需要被設(shè)計(jì)成能夠從“文檔”中智能提取信息。5.數(shù)據(jù)挖掘算法（DataMiningAlgorithms）

可視化是給人看的，數(shù)據(jù)挖掘就是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法讓我們深入數(shù)據(jù)內(nèi)部，挖掘價(jià)值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。1.4大數(shù)據(jù)的社會(huì)價(jià)值2015年9月，國(guó)務(wù)院發(fā)布《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，其中重要任務(wù)之一就是“加快政府?dāng)?shù)據(jù)開(kāi)放共享，推動(dòng)資源整合，提升治理能力”，并明確了時(shí)間節(jié)點(diǎn)：2017年跨部門(mén)數(shù)據(jù)資源共享共用格局基本形成；2018年建成政府主導(dǎo)的數(shù)據(jù)共享開(kāi)放平臺(tái)，打通政府部門(mén)、企事業(yè)單位間的數(shù)據(jù)壁壘，并在部分領(lǐng)域開(kāi)展應(yīng)用試點(diǎn)；2020年實(shí)現(xiàn)政府?dāng)?shù)據(jù)集的普遍開(kāi)放，見(jiàn)圖1.7所示。1.4大數(shù)據(jù)的社會(huì)價(jià)值1.4大數(shù)據(jù)的社會(huì)價(jià)值大數(shù)據(jù)技術(shù)的出現(xiàn)實(shí)現(xiàn)了巨大的社會(huì)價(jià)值，主要表現(xiàn)在如下幾個(gè)方面：1、能夠推動(dòng)實(shí)現(xiàn)巨大經(jīng)濟(jì)效益大數(shù)據(jù)技術(shù)的出現(xiàn)能夠推動(dòng)社會(huì)實(shí)現(xiàn)巨大經(jīng)濟(jì)效益，比如對(duì)中國(guó)零售業(yè)凈利潤(rùn)增長(zhǎng)的貢獻(xiàn)，降低制造業(yè)產(chǎn)品開(kāi)發(fā)、組裝成本等。在2013年全球大數(shù)據(jù)直接和間接拉動(dòng)信息技術(shù)支出達(dá)1200億美元。1.4大數(shù)據(jù)的社會(huì)價(jià)值2、能夠推動(dòng)增強(qiáng)社會(huì)管理水平大數(shù)據(jù)在公共服務(wù)領(lǐng)域的應(yīng)用，可有效推動(dòng)相關(guān)工作開(kāi)展，提高相關(guān)部門(mén)的決策水平、服務(wù)效率和社會(huì)管理水平，產(chǎn)生巨大社會(huì)價(jià)值。歐洲多個(gè)城市通過(guò)分析實(shí)時(shí)采集的交通流量數(shù)據(jù)，指導(dǎo)駕車(chē)出行者選擇最佳路徑，從而改善城市交通狀況。1.4大數(shù)據(jù)的社會(huì)價(jià)值3、如果沒(méi)有高性能的分析工具，大數(shù)據(jù)的價(jià)值就得不到釋放（1）由于各種原因，所分析處理的數(shù)據(jù)對(duì)象中不可避免地會(huì)包括各種錯(cuò)誤數(shù)據(jù)、無(wú)用數(shù)據(jù)，加之作為大數(shù)據(jù)技術(shù)核心的數(shù)據(jù)分析、人工智能等技術(shù)尚未完全成熟，所以對(duì)計(jì)算機(jī)完成的大數(shù)據(jù)分析處理的結(jié)果，無(wú)法要求其完全準(zhǔn)確。例如，谷歌通過(guò)分析億萬(wàn)用戶(hù)搜索內(nèi)容能夠比專(zhuān)業(yè)機(jī)構(gòu)更快地預(yù)測(cè)流感暴發(fā)，但由于微博上無(wú)用信息的干擾，這種預(yù)測(cè)也曾多次出現(xiàn)不準(zhǔn)確的情況。1.4大數(shù)據(jù)的社會(huì)價(jià)值（2）必須清楚定位的是，大數(shù)據(jù)作用與價(jià)值的重點(diǎn)在于能夠引導(dǎo)和啟發(fā)大數(shù)據(jù)應(yīng)用者的創(chuàng)新思維，輔助決策。簡(jiǎn)單而言，若是處理一個(gè)問(wèn)題，通常人能夠想到一種方法，而大數(shù)據(jù)能夠提供十種參考方法，哪怕其中只有三種可行，也將解決問(wèn)題的思路拓展了三倍。1.5大數(shù)據(jù)的商業(yè)應(yīng)用1.5.1商業(yè)大數(shù)據(jù)的類(lèi)型和價(jià)值挖掘方法1、商業(yè)大數(shù)據(jù)的類(lèi)型（1）傳統(tǒng)企業(yè)數(shù)據(jù)：包括CRMsystems的消費(fèi)者數(shù)據(jù)，傳統(tǒng)的ERP數(shù)據(jù)，庫(kù)存數(shù)據(jù)以及賬目數(shù)據(jù)等。（2)機(jī)器和傳感器數(shù)據(jù)：包括呼叫記錄，智能儀表，工業(yè)設(shè)備傳感器，物聯(lián)網(wǎng)傳感設(shè)備，設(shè)備日志，交易數(shù)據(jù)等。（3）社交數(shù)據(jù)（Socialdata）：包括用戶(hù)行為記錄，反饋數(shù)據(jù)等。如推特（Twitter），臉書(shū)（Facebook）這樣的社交媒體平臺(tái)。1.4大數(shù)據(jù)的社會(huì)價(jià)值2、大數(shù)據(jù)挖掘商業(yè)價(jià)值的方法大數(shù)據(jù)挖掘商業(yè)價(jià)值的方法主要分為四種：（1)客戶(hù)群體細(xì)分，為每個(gè)群體量定制特別的服務(wù)。（2)模擬現(xiàn)實(shí)環(huán)境，發(fā)掘新的需求同時(shí)提高投資的回報(bào)率。（3)加強(qiáng)部門(mén)聯(lián)系，提高整條管理鏈條和產(chǎn)業(yè)鏈條的效率。（4)降低服務(wù)成本，發(fā)現(xiàn)隱藏線索進(jìn)行產(chǎn)品和服務(wù)的創(chuàng)新。1.4大數(shù)據(jù)的社會(huì)價(jià)值3.傳統(tǒng)商業(yè)智能技術(shù)與大數(shù)據(jù)應(yīng)用的比較傳統(tǒng)的傳統(tǒng)商業(yè)智能技術(shù)，包括數(shù)據(jù)挖掘，主要任務(wù)是建立比較復(fù)雜的數(shù)據(jù)倉(cāng)庫(kù)模型、數(shù)據(jù)挖掘模型，來(lái)進(jìn)行分析和處理不太多的數(shù)據(jù)。由于云計(jì)算模式、分布式技術(shù)和云數(shù)據(jù)庫(kù)技術(shù)的應(yīng)用，我們不需要這么復(fù)雜的模型，不用考慮復(fù)雜的計(jì)算算法，就能夠處理大數(shù)據(jù)，對(duì)于不斷增長(zhǎng)的業(yè)務(wù)數(shù)據(jù)，用戶(hù)也可以通過(guò)添加低成本服務(wù)器甚至是PC機(jī)也可以處理海量數(shù)據(jù)記錄的掃描、統(tǒng)計(jì)、分析、預(yù)測(cè)。1.4大數(shù)據(jù)的社會(huì)價(jià)值如果商業(yè)模式變化了，需要一分為二，那么新商業(yè)智能系統(tǒng)也可以很快地、相應(yīng)地一分為二，繼續(xù)強(qiáng)力支撐商業(yè)智能的需求。大數(shù)據(jù)蘊(yùn)含的商機(jī)見(jiàn)下圖。

1.4大數(shù)據(jù)的社會(huì)價(jià)值1.5.2大數(shù)據(jù)給中國(guó)帶來(lái)的十大商業(yè)應(yīng)用場(chǎng)景在未來(lái)的幾十年里，大數(shù)據(jù)影響著每一個(gè)人。大數(shù)據(jù)沖擊著許多主要行業(yè)，包括零售業(yè)、金融行業(yè)、醫(yī)療行業(yè)等，大數(shù)據(jù)也在徹底地改變著我們的生活。1、智慧城市如今，世界超過(guò)一半的人口生活在城市里，到2050年這一數(shù)字會(huì)增長(zhǎng)到75%。政府需要利用一些技術(shù)手段來(lái)管理好城市，使城市里的資源得到良好配置。大數(shù)據(jù)作為其中的一項(xiàng)技術(shù)可以有效幫助政府實(shí)現(xiàn)資源科學(xué)配置，精細(xì)化運(yùn)營(yíng)城市，打造智慧城市。1.4大數(shù)據(jù)的社會(huì)價(jià)值2、金融行業(yè)大數(shù)據(jù)在金融行業(yè)應(yīng)用范圍較廣，很多金融行業(yè)建立了大數(shù)據(jù)平臺(tái)，對(duì)金融行業(yè)的交易數(shù)據(jù)進(jìn)行采集和處理。大數(shù)據(jù)在金融行業(yè)的應(yīng)用主要應(yīng)用于精準(zhǔn)營(yíng)銷(xiāo)、風(fēng)險(xiǎn)管控、決策支持、效率提升、金融產(chǎn)品設(shè)計(jì)等五個(gè)方面。3、醫(yī)療行業(yè)醫(yī)療行業(yè)擁有大量病例、病理報(bào)告、醫(yī)療方案、藥物報(bào)告等。如果這些數(shù)據(jù)進(jìn)行整理和分析，將會(huì)極大地幫助醫(yī)生和病人。在未來(lái)，借助于大數(shù)據(jù)平臺(tái)我們可以收集疾病的基本特征、病例和治療方案，建立針對(duì)疾病的數(shù)據(jù)庫(kù)，幫助醫(yī)生進(jìn)行疾病診斷。1.4大數(shù)據(jù)的社會(huì)價(jià)值4、農(nóng)牧業(yè)農(nóng)產(chǎn)品不容易保存，合理種植和養(yǎng)殖農(nóng)產(chǎn)品對(duì)農(nóng)民非常重要。借助于大數(shù)據(jù)提供的消費(fèi)能力和趨勢(shì)報(bào)告，政府將為農(nóng)牧業(yè)生產(chǎn)進(jìn)行合理引導(dǎo)，依據(jù)需求進(jìn)行生產(chǎn)，避免產(chǎn)能過(guò)剩，造成不必要的資源和社會(huì)財(cái)富浪費(fèi)。大數(shù)據(jù)技術(shù)可以幫助政府實(shí)現(xiàn)農(nóng)業(yè)的精細(xì)化管理，實(shí)現(xiàn)科學(xué)決策。在數(shù)據(jù)驅(qū)動(dòng)下，結(jié)合無(wú)人機(jī)技術(shù)，農(nóng)民可以采集農(nóng)產(chǎn)品生長(zhǎng)信息，病蟲(chóng)害信息。1.4大數(shù)據(jù)的社會(huì)價(jià)值5、零售行業(yè)零售行業(yè)可以通過(guò)客戶(hù)購(gòu)買(mǎi)記錄，了解客戶(hù)關(guān)聯(lián)產(chǎn)品購(gòu)買(mǎi)喜好，將相關(guān)的產(chǎn)品放到一起增加產(chǎn)品銷(xiāo)售額。零售行業(yè)還可以記錄客戶(hù)購(gòu)買(mǎi)習(xí)慣，對(duì)于必備生活用品，在客戶(hù)即將用完之前，通過(guò)精準(zhǔn)廣告的方式提醒客戶(hù)進(jìn)行購(gòu)買(mǎi)?；蛘叨ㄆ谕ㄟ^(guò)網(wǎng)上商城進(jìn)行送貨，既幫助客戶(hù)解決了問(wèn)題，又提高了客戶(hù)體驗(yàn)。利用大數(shù)據(jù)的技術(shù)，零售行業(yè)將至少會(huì)提高30%左右的銷(xiāo)售額，并提高客戶(hù)購(gòu)買(mǎi)體驗(yàn)。1.4大數(shù)據(jù)的社會(huì)價(jià)值6、大數(shù)據(jù)技術(shù)產(chǎn)業(yè)進(jìn)入移動(dòng)互聯(lián)網(wǎng)之后，非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)呈指數(shù)方式增長(zhǎng)?，F(xiàn)在人類(lèi)社會(huì)每?jī)赡戤a(chǎn)生的數(shù)據(jù)將超過(guò)人類(lèi)歷史過(guò)去所有數(shù)據(jù)的總量。這些大數(shù)據(jù)為大數(shù)據(jù)技術(shù)產(chǎn)業(yè)提供了巨大的商業(yè)機(jī)會(huì)。據(jù)估計(jì)全世界在大數(shù)據(jù)采集、存儲(chǔ)、處理、清晰、分析所產(chǎn)生的商業(yè)機(jī)會(huì)將會(huì)超過(guò)2000億美金，包括政府和企業(yè)在大數(shù)據(jù)計(jì)算和存儲(chǔ)，數(shù)據(jù)挖掘和處理等方面等投資。未來(lái)中國(guó)的大數(shù)據(jù)產(chǎn)業(yè)將會(huì)呈幾何級(jí)數(shù)增長(zhǎng)，在5年之內(nèi)，中國(guó)的大數(shù)據(jù)產(chǎn)業(yè)將會(huì)形成萬(wàn)億規(guī)模的市場(chǎng)。1.4大數(shù)據(jù)的社會(huì)價(jià)值7、物流行業(yè)物流行業(yè)借助于大數(shù)據(jù)，可以建立全國(guó)物流網(wǎng)絡(luò)，了解各個(gè)節(jié)點(diǎn)的運(yùn)貨需求和運(yùn)力，合理配置資源，降低貨車(chē)的返程空載率，降低超載率，減少重復(fù)路線運(yùn)輸，降低小規(guī)模運(yùn)輸比例。通過(guò)大數(shù)據(jù)技術(shù)，及時(shí)了解各個(gè)路線貨物運(yùn)送需求，同時(shí)建立基于地理位置和產(chǎn)業(yè)鏈的物流港口，實(shí)現(xiàn)貨物和運(yùn)力的實(shí)時(shí)配比，提高物流行業(yè)的運(yùn)輸效率。借助于大數(shù)據(jù)技術(shù)對(duì)物流行業(yè)進(jìn)行的優(yōu)化資源配置，至少可以增加物流行業(yè)10％左右的收入，其市場(chǎng)價(jià)值將在5000億左右。1.4大數(shù)據(jù)的社會(huì)價(jià)值8、房地產(chǎn)業(yè)借助于大數(shù)據(jù)，房地產(chǎn)業(yè)可以了解開(kāi)發(fā)土地所在范圍常駐人口數(shù)量、流動(dòng)人口數(shù)量、消費(fèi)能力、消費(fèi)特點(diǎn)、年齡階段、人口特征等重要信息。這些信息將會(huì)幫助房地商在商業(yè)地產(chǎn)開(kāi)發(fā)、商戶(hù)招商、房屋類(lèi)型、小區(qū)規(guī)模進(jìn)行科學(xué)規(guī)劃。利用大數(shù)據(jù)技術(shù)，房地產(chǎn)行業(yè)將會(huì)降低房地產(chǎn)開(kāi)發(fā)前的規(guī)劃風(fēng)險(xiǎn)，合理制定房?jī)r(jià)，合理制定開(kāi)發(fā)規(guī)模，合理進(jìn)行商業(yè)規(guī)劃。已經(jīng)有房地產(chǎn)公司將大數(shù)據(jù)技術(shù)應(yīng)用于用戶(hù)畫(huà)像、土地規(guī)劃、商業(yè)地產(chǎn)開(kāi)發(fā)等領(lǐng)域，并取得了良好的效果。1.4大數(shù)據(jù)的社會(huì)價(jià)值9、制造業(yè)制造業(yè)過(guò)去面臨生產(chǎn)過(guò)剩的壓力，很多產(chǎn)品包括家電、紡織產(chǎn)品、鋼材、水泥、電解鋁等都沒(méi)有按照市場(chǎng)實(shí)際需要生產(chǎn)，造成了資源的極大浪費(fèi)。利用電商數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)、零售數(shù)據(jù)，我們可以了解未來(lái)產(chǎn)品市場(chǎng)都需求，合理規(guī)劃產(chǎn)品生產(chǎn)，避免生產(chǎn)過(guò)剩。大數(shù)據(jù)技術(shù)還可以根據(jù)社交數(shù)據(jù)和購(gòu)買(mǎi)數(shù)據(jù)來(lái)了解客戶(hù)需求，幫助廠商進(jìn)行產(chǎn)品開(kāi)發(fā)，設(shè)計(jì)和生產(chǎn)出滿(mǎn)足客戶(hù)需要的產(chǎn)品。1.4大數(shù)據(jù)的社會(huì)價(jià)值10、互聯(lián)網(wǎng)廣告業(yè)大數(shù)據(jù)技術(shù)可以將客戶(hù)在互聯(lián)網(wǎng)上的行為記錄下來(lái)，對(duì)客戶(hù)的行為進(jìn)行分析，打上標(biāo)簽并進(jìn)行用戶(hù)畫(huà)像。利用移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)進(jìn)行的精準(zhǔn)營(yíng)銷(xiāo)將會(huì)提高十倍以上的客戶(hù)轉(zhuǎn)化率，廣告行業(yè)的程序化購(gòu)買(mǎi)正在逐步替代廣播式廣告投放。大數(shù)據(jù)技術(shù)將幫助廣告主和廣告公司直接將廣告投放給目標(biāo)用戶(hù)，其將會(huì)降低廣告投入，提高廣告的轉(zhuǎn)化率。1.4大數(shù)據(jù)的社會(huì)價(jià)值1.5.3.成為“大數(shù)據(jù)企業(yè)”基于以上分析，企業(yè)內(nèi)部大數(shù)據(jù)的焦點(diǎn)，在于業(yè)務(wù)流程信息與知識(shí)及溝通信息的融合；企業(yè)外部大數(shù)據(jù)的焦點(diǎn)，在于供應(yīng)鏈信息與市場(chǎng)及社會(huì)環(huán)境信息的融合。進(jìn)而，大數(shù)據(jù)時(shí)代企業(yè)組織的基本內(nèi)涵，在于內(nèi)部大數(shù)據(jù)與外部大數(shù)據(jù)的全方位融合。如下圖所示，大數(shù)據(jù)企業(yè)立足于內(nèi)外部業(yè)務(wù)與社交媒體數(shù)據(jù)的集成交匯。1.4大數(shù)據(jù)的社會(huì)價(jià)值大數(shù)據(jù)企業(yè)的內(nèi)外融合

1.4大數(shù)據(jù)的社會(huì)價(jià)值在這四大類(lèi)型的數(shù)據(jù)之間，致力于大數(shù)據(jù)管理的企業(yè)可以有兩種不同的發(fā)展策略。第一種策略是以社交媒體與業(yè)務(wù)數(shù)據(jù)的融合為主導(dǎo)，以期快速發(fā)現(xiàn)并應(yīng)對(duì)內(nèi)外部環(huán)境中的變化和機(jī)遇。在這種策略下，面向高速數(shù)據(jù)流的實(shí)時(shí)數(shù)據(jù)采集和分析方法，將成為大數(shù)據(jù)管理的主要支撐手段。1.4大數(shù)據(jù)的社會(huì)價(jià)值第二種策略是以?xún)?nèi)外部數(shù)據(jù)融合為主導(dǎo)，以期通過(guò)全面匯集內(nèi)外部信息，對(duì)中長(zhǎng)期發(fā)展趨勢(shì)做出準(zhǔn)確的預(yù)判，從而實(shí)現(xiàn)高度優(yōu)化的業(yè)務(wù)決策，并通過(guò)對(duì)信息環(huán)境的掌控，獲取企業(yè)網(wǎng)絡(luò)生態(tài)系統(tǒng)中的領(lǐng)導(dǎo)地位。在這種策略下，大規(guī)模多源異構(gòu)數(shù)據(jù)的采集、清洗和整合方法，將成為大數(shù)據(jù)管理的核心支撐。1.6大數(shù)據(jù)應(yīng)用案例之一：

1.6大數(shù)據(jù)應(yīng)用案例之一：男女嘉賓《非誠(chéng)勿擾》牽手?jǐn)?shù)據(jù)分析《非誠(chéng)勿擾》是由中國(guó)大陸江蘇衛(wèi)視制作的一檔以婚戀交友為核心的社會(huì)生活服務(wù)真人秀節(jié)目，于2010年1月15日開(kāi)播，由江蘇電視臺(tái)的新聞節(jié)目主持人孟非主持。1.6大數(shù)據(jù)應(yīng)用案例之一：

截止到2015年Q3為止，一共做了539期節(jié)目，至少1508名女嘉賓和2382名男嘉賓參與節(jié)目，成功促成了其中419對(duì)牽手男女嘉賓