大數(shù)據(jù)入門.docx

大數(shù)據(jù)：落地正當(dāng)時(shí)我們正處于一個(gè)信息大爆炸的時(shí)代：寬帶普及帶來(lái)的巨量日志和通訊記錄，社交網(wǎng)絡(luò)每天不斷更新的個(gè)人信息，視頻通訊、醫(yī)療影像、地理信息、監(jiān)控錄像等視頻記錄，傳感器、導(dǎo)航設(shè)備等非傳統(tǒng) IT 設(shè)備產(chǎn)生的數(shù)據(jù)信息，以及持續(xù)增加的各種智能終端產(chǎn)生的圖片及信息，這些爆炸性增長(zhǎng)的數(shù)據(jù)正在充斥整個(gè)網(wǎng)絡(luò)。據(jù)權(quán)威市場(chǎng)調(diào)查機(jī)構(gòu)IDC預(yù)測(cè)，未來(lái)每隔 18 個(gè)月，整個(gè)世界的數(shù)據(jù)總量就會(huì)翻倍；到 2020 年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng) 44 倍，達(dá)到 35.2ZB(1ZB=10億TB)?！按髷?shù)據(jù)”時(shí)代正在來(lái)臨！“大數(shù)據(jù)”的價(jià)值所謂“大數(shù)據(jù)”，一般具有幾個(gè)特點(diǎn)：首先是數(shù)據(jù)量很大，已經(jīng)從 TB 級(jí)躍升至 PB 級(jí)；其次是區(qū)別于傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu)，“大數(shù)據(jù)”時(shí)代的數(shù)據(jù)結(jié)構(gòu)比較復(fù)雜，超過(guò) 80% 都是非結(jié)構(gòu)化數(shù)據(jù)，比如道路上的視頻監(jiān)控?cái)?shù)據(jù)、網(wǎng)上的流媒體數(shù)據(jù)、物聯(lián)網(wǎng)中 RFID 的感應(yīng)數(shù)據(jù)，以及社交網(wǎng)絡(luò)上產(chǎn)生的各種數(shù)據(jù)等。這兩個(gè)特點(diǎn)，給數(shù)據(jù)存儲(chǔ)、管理和挖掘帶來(lái)了困難。第三，數(shù)據(jù)更新快，比如視頻監(jiān)控每秒鐘都在進(jìn)行，微博隨時(shí)都有人在更新；最后，是對(duì)數(shù)據(jù)的隨機(jī)訪問(wèn)，這些更個(gè)人化的數(shù)據(jù)在存儲(chǔ)后被再次訪問(wèn)的時(shí)間是不確定的。這兩點(diǎn)就要求新的IT系統(tǒng)更夠更快地處理數(shù)據(jù)，并且能夠更智能地保存和管理數(shù)據(jù)。比如在某一天，你需要從監(jiān)控錄像中找出某個(gè)人，那么就需要能夠迅速地查找、調(diào)用、分析之前保存的海量數(shù)據(jù)。“大數(shù)據(jù)”的這些特點(diǎn)，對(duì)數(shù)據(jù)搜索及管理提出了更高要求，因?yàn)樵凇按髷?shù)據(jù)”時(shí)代只有經(jīng)過(guò)分析提煉的關(guān)鍵數(shù)據(jù)才有價(jià)值。全球知名咨詢機(jī)構(gòu)麥肯錫在關(guān)于“大數(shù)據(jù)”時(shí)代的研究報(bào)告中指出，數(shù)據(jù)已經(jīng)滲透到了每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。在互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)本身就是資產(chǎn)，而“大數(shù)據(jù)”則意味著這些資產(chǎn)正在變得龐大無(wú)比。雖然云計(jì)算可以為數(shù)據(jù)資產(chǎn)提供保管的場(chǎng)所和訪問(wèn)的渠道，但如何盤活數(shù)據(jù)資產(chǎn)，使其為國(guó)家治理、企業(yè)決策乃至個(gè)人生活服務(wù)，則是“大數(shù)據(jù)”時(shí)代的核心問(wèn)題。這就好比一座日益膨脹的礦山，雖然其中蘊(yùn)含著大量的貴金屬，但是要想獲得這些價(jià)值，就必須解決篩選冶煉的問(wèn)題?！按髷?shù)據(jù)”對(duì)IT解決方案提出更高要求在“大數(shù)據(jù)”時(shí)代，超過(guò) 80% 的數(shù)據(jù)都呈現(xiàn)非結(jié)構(gòu)化狀態(tài)，這些數(shù)據(jù)正在持續(xù)不斷地增加，并且需要長(zhǎng)時(shí)間存儲(chǔ)，非熱點(diǎn)數(shù)據(jù)也會(huì)被隨機(jī)訪問(wèn)。這種情況與傳統(tǒng)的、基于關(guān)系型數(shù)據(jù)庫(kù)的核心數(shù)據(jù)存儲(chǔ)方式有顯著的差異。這種差異，使得傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理解決方案無(wú)法勝任“大數(shù)據(jù)”時(shí)代的分析、管理和挖掘工作。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)以及數(shù)據(jù)分析軟件處理的結(jié)構(gòu)化數(shù)據(jù)通常是GB級(jí)別的，很難適應(yīng)“大數(shù)據(jù)”時(shí)代 TB、PB 級(jí)復(fù)雜數(shù)據(jù)類型的檢索分析。同時(shí)，因?yàn)椤按髷?shù)據(jù)”時(shí)代數(shù)據(jù)每時(shí)每刻都在快速增長(zhǎng)，傳統(tǒng)解決方案也無(wú)法適應(yīng)這種近乎無(wú)限的擴(kuò)張性。為了適應(yīng)“大數(shù)據(jù)”時(shí)代的到來(lái)，企業(yè)需要從技術(shù)、應(yīng)用、硬件等各個(gè)層面做好準(zhǔn)備，采用更新的IT解決方案，才能滿足“大數(shù)據(jù)”收集、存儲(chǔ)、管理和分析的要求?！按髷?shù)據(jù)”時(shí)代的IT解決方案，需要容納數(shù)量龐大的用戶和數(shù)據(jù)生產(chǎn)者，能夠從企業(yè)及社區(qū)網(wǎng)絡(luò)、移動(dòng)智能終端、傳感器及物聯(lián)網(wǎng)、定位及地理信息設(shè)備中獲得大量的視頻、語(yǔ)音、圖片、文字、產(chǎn)品信息、地理信息、時(shí)間信息等非結(jié)構(gòu)化數(shù)據(jù)，并對(duì)這些海量復(fù)雜數(shù)據(jù)進(jìn)行分析和挖掘，從而獲得真正有價(jià)值的數(shù)據(jù)用于后續(xù)的經(jīng)營(yíng)。這種應(yīng)用模式，要求“大數(shù)據(jù)”時(shí)代的IT解決方案具備可變的數(shù)據(jù)接口和高效的數(shù)據(jù)導(dǎo)入、管理、分析、統(tǒng)計(jì)技術(shù)；能夠支持PB級(jí)別的數(shù)據(jù)、支持非結(jié)構(gòu)化以及結(jié)構(gòu)化數(shù)據(jù)、支持每秒萬(wàn)次級(jí)查詢，擁有更高的系統(tǒng)可靠性以及更高的統(tǒng)計(jì)分析效率，這就對(duì)計(jì)算能力、內(nèi)存數(shù)據(jù)處理能力和管理能力提出了非常高的要求。對(duì)于企業(yè)而言，“大數(shù)據(jù)”時(shí)代爆炸性增長(zhǎng)的數(shù)據(jù)既是巨大的機(jī)遇，也將是巨大的挑戰(zhàn)。在“大數(shù)據(jù)”時(shí)代，IT解決方案既要能夠更高效、低成本的存儲(chǔ)和管理，也要能夠更快速、靈活及穩(wěn)定的檢索和分析。而在這些方面，已經(jīng)有不少?gòu)S商在努力圍繞大數(shù)據(jù)整合解決方案，英特爾就是其中的佼佼者。首先，IA 架構(gòu)廣泛的普及率可以為企業(yè)提供更高的一致性，是承載和應(yīng)對(duì)“大數(shù)據(jù)”的理想平臺(tái)。英特爾 至強(qiáng) 處理器擁有更高的計(jì)算性能和內(nèi)存數(shù)據(jù)處理能力，以其為核心的服務(wù)器和存儲(chǔ)系統(tǒng)具備開放式、普及性、易優(yōu)化、靈活等特點(diǎn)，具備無(wú)可比擬的擴(kuò)展性，非常適合應(yīng)對(duì)“大數(shù)據(jù)”的挑戰(zhàn)。除此之外，英特爾還有包括 Hadoop 這種開源架構(gòu)等軟件方案（如編譯器、函數(shù)庫(kù)等），也將對(duì)“大數(shù)據(jù)”的處理提供了更高的效能。這些軟件方案通過(guò)優(yōu)化底層算法，可實(shí)現(xiàn)更高的應(yīng)用效率和更均衡的計(jì)算存儲(chǔ)分布；與英特爾硬件技術(shù)相結(jié)合，可以提供更高的平臺(tái)性能。同時(shí)，還能提供跨數(shù)據(jù)中心的HBase數(shù)據(jù)庫(kù)虛擬大表功能，并且實(shí)現(xiàn)了 HBase 數(shù)據(jù)庫(kù)復(fù)制和備份功能，在功能方面也更適應(yīng)“大數(shù)據(jù)”時(shí)代管理分析的需要。這一切，都為收集數(shù)據(jù)、分析數(shù)據(jù)、優(yōu)化數(shù)據(jù)、利用數(shù)據(jù)提供了堅(jiān)實(shí)的基礎(chǔ)。中國(guó)的“大數(shù)據(jù)”時(shí)代“大數(shù)據(jù)”時(shí)代的核心應(yīng)用就是對(duì)已知的數(shù)據(jù)進(jìn)行分析來(lái)為未來(lái)發(fā)展和企業(yè)經(jīng)營(yíng)提供參考。作為一個(gè)人口大國(guó)，中國(guó)在“大數(shù)據(jù)”時(shí)代擁有巨大的機(jī)會(huì)和挑戰(zhàn)。機(jī)會(huì)在于，我國(guó)擁有世界上最多的人，從而可以提供最多的數(shù)據(jù)以供分析挖掘。而挑戰(zhàn)則是，我們?cè)鯓硬拍軓暮Ａ康臄?shù)據(jù)中找出價(jià)值。憑借龐大的人口基數(shù)和市場(chǎng)，我國(guó)各行各業(yè)的規(guī)模都在不斷擴(kuò)大，從而制造出龐大的數(shù)據(jù)。電商、快遞、企業(yè)的網(wǎng)站和IT系統(tǒng)都承載了大量的數(shù)據(jù)；傳統(tǒng)的大型超市、賣場(chǎng)、商場(chǎng)也集聚了大量的信息。特別是移動(dòng)互聯(lián)浪潮下各種手持智能終端的普及和定位設(shè)備的應(yīng)用，也在不斷產(chǎn)生大量的數(shù)據(jù)。如果能夠?qū)@些數(shù)據(jù)進(jìn)行分析挖掘，找出有價(jià)值的信息，就能夠大大促進(jìn)中國(guó)企業(yè)的發(fā)展。比如，電信運(yùn)營(yíng)商可以對(duì)客服中心的數(shù)據(jù)進(jìn)行分析來(lái)建立客服中心智能輔助平臺(tái)，幫助運(yùn)營(yíng)商把客服中心從成本中心轉(zhuǎn)變成營(yíng)銷中心；汽車廠商可以分析各大汽車論壇用戶的海量評(píng)論來(lái)監(jiān)控品牌口碑及輿情；電商企業(yè)可以分析用戶的各種歷史數(shù)據(jù)來(lái)挖掘用戶的喜好，從而實(shí)現(xiàn)精準(zhǔn)營(yíng)銷。面對(duì)“大數(shù)據(jù)”帶來(lái)的機(jī)遇和挑戰(zhàn)，我國(guó)政府在物聯(lián)網(wǎng)“十二五”規(guī)劃上把信息處理技術(shù)作為 4 項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一提出，其中就包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析等“大數(shù)據(jù)”相關(guān)的重要技術(shù)。而另外 3 項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也都與“大數(shù)據(jù)”密切相關(guān)?！按髷?shù)據(jù)”的未來(lái)“大數(shù)據(jù)”的到來(lái)已經(jīng)無(wú)可阻擋，這將考驗(yàn)我們的技術(shù)是否跟得上數(shù)據(jù)的爆炸。比如，智慧城市的建立將改變現(xiàn)在的城市生態(tài)，但是作為信息采集源頭的數(shù)萬(wàn)個(gè)攝像頭，如果通過(guò)實(shí)時(shí)高效的圖像分析而實(shí)現(xiàn)有機(jī)結(jié)合，就是我們需要解決的問(wèn)題。英特爾作為IT上游領(lǐng)導(dǎo)廠商，通過(guò)深入了解 OEM 廠商、ISV、SI 甚至用戶的需求，將產(chǎn)業(yè)鏈上的每一環(huán)都緊緊扣在生態(tài)系統(tǒng)周圍，使之發(fā)揮最大的能動(dòng)性，來(lái)應(yīng)對(duì)“大數(shù)據(jù)”時(shí)代的挑戰(zhàn)。在電信、石油、交通、醫(yī)療以及制造等行業(yè)，英特爾以開發(fā)的架構(gòu)支持新型的商業(yè)智能，將這一生態(tài)系統(tǒng)的力量發(fā)揮到極致。信息就是資源，誰(shuí)掌握了“數(shù)據(jù)”，誰(shuí)就掌握了未來(lái)。掌握大數(shù)據(jù)，就在當(dāng)下。英特爾將利用各種軟硬件技術(shù)資源，幫助合作伙伴發(fā)掘數(shù)據(jù)價(jià)值，從而應(yīng)對(duì)“大數(shù)據(jù)”時(shí)代的挑戰(zhàn)。迎接大數(shù)據(jù) 數(shù)據(jù)顯示，工業(yè)革命以后，書籍等以文字為載體的知識(shí)大約每十年翻一番；1970 年以后，該數(shù)據(jù)大約每三年翻一番；而今，全球信息總量每?jī)赡昃头环?010 年互聯(lián)網(wǎng)所產(chǎn)生的數(shù)據(jù)量，比之前所有年份的總和還要多。另?yè)?jù)專業(yè)機(jī)構(gòu)預(yù)測(cè)，2020 年，全球數(shù)據(jù)量將暴增 40 多倍而達(dá)到約 35 ZB（1ZB=10億TB）。更為重要的是，以圖像、網(wǎng)頁(yè)、各類報(bào)表等為主導(dǎo)的非結(jié)構(gòu)化數(shù)據(jù)占比近幾年一直保持著連續(xù)飚升的態(tài)勢(shì)，其結(jié)構(gòu)也從先前較為純粹的結(jié)構(gòu)化數(shù)據(jù)變成當(dāng)前的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)并存的格局。據(jù)統(tǒng)計(jì)，非結(jié)構(gòu)數(shù)據(jù)目前在企業(yè)中已占到 80%。具體到中國(guó)市場(chǎng)，由于中國(guó)人口眾多，眾多行業(yè)都呈現(xiàn)出極快的增長(zhǎng)速度，隨之而來(lái)的自然是相關(guān)信息數(shù)據(jù)的急速增長(zhǎng)。比如互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)的增加及頻繁更新（例如微博）產(chǎn)生的大量數(shù)據(jù)。據(jù)統(tǒng)計(jì)，大數(shù)據(jù)正在引領(lǐng)中國(guó)互聯(lián)網(wǎng)行業(yè)新一輪的技術(shù)浪潮，截至 2011 年年底，中國(guó)互聯(lián)網(wǎng)行業(yè)持有的數(shù)據(jù)總量已達(dá)到 1.9EB。而 IDC 預(yù)計(jì)，這一規(guī)模到 2015 年將增長(zhǎng)到 8.2EB 以上。此外，傳統(tǒng)的零售行業(yè)，大型超市、賣場(chǎng)、商場(chǎng)等也是信息數(shù)據(jù)的重要來(lái)源。有了大數(shù)據(jù)之后，唯有對(duì)于數(shù)據(jù)的智能分析方能體現(xiàn)大數(shù)據(jù)的價(jià)值。例如對(duì)來(lái)自于互聯(lián)網(wǎng)通過(guò)網(wǎng)民自身在網(wǎng)絡(luò)中的足跡、點(diǎn)擊、瀏覽、反饋，直接真實(shí)地展示個(gè)人的性格、偏好、意愿等的一系列數(shù)據(jù)進(jìn)行分析，可以幫助企業(yè)擁有感知市場(chǎng)