大數(shù)據(jù)處理技術(shù)現(xiàn)狀及其應用展望

大數(shù)據(jù)處理技術(shù)發(fā)展現(xiàn)狀及其應用展望著名的管理咨詢公司麥肯錫曾預測到：〃數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！边@是大數(shù)據(jù)的最早定義。業(yè)界（于2012年，高德納修改了對大數(shù)據(jù)的定義）將大數(shù)據(jù)的特征歸納為4個"V”（量Volume，多樣Variety，價值Value，速Velocity）,或者說特點有四個層面:第一，海量數(shù)據(jù)量。大數(shù)據(jù)計量單位至少是PB級別；第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡日志、視頻、圖片、地理位置信息等等都是囊括進來。第三，商業(yè)價值高。第四，處理速度快。在大數(shù)據(jù)時代，三分技術(shù)，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。在大數(shù)據(jù)時代已經(jīng)到來的時候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價值。Google利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價值，比如預測某地流感爆發(fā)的趨勢;Amazon利用用戶的購買和瀏覽歷史數(shù)據(jù)進行有針對性的書籍購買推薦，以此有效提升銷售量；Farecast利用過去十年所有的航線機票價格打折數(shù)據(jù)，來預測用戶購買機票的時機是否合適。大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉庫應用，具有數(shù)據(jù)量大、查詢分析復雜等特點。對于〃大數(shù)據(jù)”（Bigdata）研究機構(gòu)Gartner給出了這樣的定義?！ù髷?shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。二大數(shù)據(jù)的技術(shù)技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。我將分別從云計算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。2.1、云技術(shù)大數(shù)據(jù)常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要分布式處理框架來向數(shù)十、數(shù)百或甚至數(shù)萬的電腦分配工作?？梢哉f，云計算充當了工業(yè)革命時期的發(fā)動機的角色，而大數(shù)據(jù)則是電。云計算思想的起源是麥卡錫在上世紀60年代提出的：把計算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領下，一種行之有效的模式出現(xiàn)了：云計算提供基礎架構(gòu)平臺，大數(shù)據(jù)應用運行在這個平臺上。業(yè)內(nèi)是這么形容兩者的關系：沒有大數(shù)據(jù)的信息積淀，則云計算的計算能力再強大，也難以找到用武之地；沒有云計算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。那么大數(shù)據(jù)到底需要哪些云計算技術(shù)呢？這里暫且列舉一些，比如虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存儲和管理技術(shù)，NoSQL、實時流數(shù)據(jù)處理、智能分析技術(shù)（類似模式識別以及自然語言理解）等。2.2、分布式處理技術(shù)分布式處理系統(tǒng)可以將不同地點的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機用通信網(wǎng)絡連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務一這就是分布式處理系統(tǒng)的定義。以Hadoop（Yahoo）為例進行說明，Hadoop是一個實現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進行處理的。而MapReduce是Google提出的一種云計算的核心計算模式，是一種分布式運算技術(shù)，也是簡化的分布式編程模式，MapReduce模式的主要思想是將自動分割要執(zhí)行的問題（例如程序）拆解成map（映射）和reduce（化簡）的方式，在數(shù)據(jù)被分割后通過Map函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計算機機群處理達到分布式運算的效果，在通過Reduce函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開發(fā)者需要的結(jié)果。再來看看Hadoop的特性，第一，它是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。其次，Hadoop是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理PB級數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務器，因此它的成本比較低，任何人都可以使用。你也可以這么理解Hadoop的構(gòu)成，Hadoop=HDFS（文件系統(tǒng)，數(shù)據(jù)存儲技術(shù)相關）+HBase（數(shù)據(jù)庫）+MapReduce（數(shù)據(jù)處理）2.3、存儲技術(shù)大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析，這兩者的關系是：大數(shù)據(jù)存儲的目的是支撐大數(shù)據(jù)分析。到目前為止，還是兩種截然不同的計算機技術(shù)領域:大數(shù)據(jù)存儲致力于研發(fā)可以擴展至PB甚至EB級別的數(shù)據(jù)存儲平臺；大數(shù)據(jù)分析關注在最短時間內(nèi)處理大量不同類型的數(shù)據(jù)集。提到存儲，有一個著名的摩爾定律相信大家都聽過：18個月集成電路的復雜性就增加一倍。所以，存儲器的成本大約每18-24個月就下降一半。成本的不斷下降也造就了大數(shù)據(jù)的可存儲性。比如，Google大約管理著超過50萬臺服務器和100萬塊硬盤，而且Google還在不斷的擴大計算能力和存儲能力，其中很多的擴展都是基于在廉價服務器和普通存儲硬盤的基礎上進行的，這大大降低了其服務成本，因此可以將更多的資金投入到技術(shù)的研發(fā)當中。以Amazon舉例，AmazonS3是一種面向Internet的存儲服務。該服務旨在讓開發(fā)人員能更輕松的進行網(wǎng)絡規(guī)模計算°AmazonS3提供一個簡明的Web服務界面，用戶可通過它隨時在Web上的任何位置存儲和檢索的任意大小的數(shù)據(jù)。此服務讓所有開發(fā)人員都能訪問同一個具備高擴展性、可靠性、安全性和快速價廉的基礎設施，Amazon用它來運行其全球的網(wǎng)站網(wǎng)絡。再看看S3的設計指標：在特定年度內(nèi)為數(shù)據(jù)元提供99.999999999%的耐久性和99.99%的可用性，并能夠承受兩個設施中的數(shù)據(jù)同時丟失。S3很成功也確實卓有成效，S3云的存儲對象已達到萬億級別，而且性能表現(xiàn)相當良好。S3云已經(jīng)擁萬億跨地域存儲對象，同時AWS的對象執(zhí)行請求也達到百萬的峰值數(shù)量。目前全球范圍內(nèi)已經(jīng)有數(shù)以十萬計的企業(yè)在通過AWS運行自己的全部或者部分日常業(yè)務。這些企業(yè)用戶遍布190多個國家，幾乎世界上的每個角落都有Amazon用戶的身影。2.4、預測技術(shù)大數(shù)據(jù)的核心在于〃預測”，而云計算使數(shù)據(jù)從〃小樣本”轉(zhuǎn)變成有機會對所有可能的數(shù)據(jù)進行分析，預測將基于〃數(shù)據(jù)之間的關聯(lián)性”而非〃為什么是這樣的因果性”，我們只需要按照預測出來的趨勢去響應，使用這些結(jié)果。比如預測機票價格的走勢，并給出可信度，幫助用戶來決定什么時間購買機票最省錢。它不用關心為什么機票會有差異，是因為季節(jié)性還是因為其他什么原因，它僅僅是預測當前的機票未來一段時間會上漲還是下降。如果機票價格有上漲的趨勢，系統(tǒng)就系統(tǒng)用戶立即購買機票。而原始的數(shù)據(jù)可以從機票預訂數(shù)據(jù)庫或者行業(yè)網(wǎng)站上扒下來。這項預測技術(shù)可以用在類似的相關領域。比如賓館預訂，商品購買等。比如通過汽車弓I擎的散熱和振動來預測引擎是否會出現(xiàn)故障。亞馬遜的推薦系統(tǒng)是很好的例子：亞馬遜從每一個客戶身上捕獲了大量的數(shù)據(jù)歷史購買了什么，哪些商品只是瀏覽卻沒有購買，瀏覽停留的時間，哪些商品是合并購買的，它要做的是找到產(chǎn)品之間的關聯(lián)性。在零售行業(yè)，銷售數(shù)據(jù)的統(tǒng)計分析，可以讓供應商監(jiān)控銷售速率、數(shù)量、以及存貨情況，可以知道什么貨物和什么貨物擺在一起，放在什么位置銷量最好，特定的季節(jié)，什么產(chǎn)品銷量最高。公共設施領域，不再是隨機的巡檢，而是針對設施上報的數(shù)據(jù)以及故障發(fā)生的歷史數(shù)據(jù)、環(huán)境數(shù)據(jù)進行分析和預測，集中人力和物力優(yōu)先檢查最有可能出現(xiàn)問題的那些設施，減少整體平均的故障發(fā)生率。最近的”棱鏡計劃〃，從音視頻、圖片、郵件、文檔以及連接信息中分析個人可能對國家安全造成威脅的行動。大數(shù)據(jù)處理技術(shù)的展望3.1、對于企業(yè)對于企業(yè)的大數(shù)據(jù)，隨著數(shù)據(jù)逐漸成為企業(yè)的一種資產(chǎn)，數(shù)據(jù)產(chǎn)業(yè)會向傳統(tǒng)企業(yè)的供應鏈模式發(fā)展，最終形成〃數(shù)據(jù)供應鏈”。這里尤其有兩個明顯的現(xiàn)象：1）夕卜部數(shù)據(jù)的重要性日益超過內(nèi)部數(shù)據(jù)。在互聯(lián)互通的互聯(lián)網(wǎng)時代，單一企業(yè)的內(nèi)部數(shù)據(jù)與整個互聯(lián)網(wǎng)數(shù)據(jù)比較起來只是滄海一粟；2）能提供包括數(shù)據(jù)供應、數(shù)據(jù)整合與加工、數(shù)據(jù)應用等多環(huán)節(jié)服務的公司會有明顯的綜合競爭優(yōu)勢。以IBM舉例，上一個十年，他們拋棄了PC,成功轉(zhuǎn)向了軟件和服務，而這次將遠離服務與咨詢，更多地專注于因大數(shù)據(jù)分析軟件而帶來的全新業(yè)務增長點°IBM執(zhí)行總裁羅睿蘭認為，〃數(shù)據(jù)將成為一切行業(yè)當中決定勝負的根本因素，最終數(shù)據(jù)將成為人類至關重要的自然資源?！盜BM積極的提出了〃大數(shù)據(jù)平臺”架構(gòu)。該平臺的四大核心能力包括Hadoop系統(tǒng)、流計算(StreamComputingX數(shù)據(jù)倉庫(DataWarehouse)和信息、整合與治理(InformationIntegrationandGovernance)3.2、對于個人個人的大數(shù)據(jù)，與個人相關聯(lián)的各種有價值數(shù)據(jù)信息被有效采集后，可由本人授權(quán)提供第三方進行處理和使用，并獲得第三方提供的數(shù)據(jù)服務。未來，每個用戶可以在互聯(lián)網(wǎng)上注冊個人的數(shù)據(jù)中心，以存儲個人的大數(shù)據(jù)信息。用戶可確定哪些個人數(shù)據(jù)可被采集，并通過可穿戴設備或植入芯片等感知技術(shù)來采集捕獲個人的大數(shù)據(jù)，比如，牙齒監(jiān)控數(shù)據(jù)，心率數(shù)據(jù)，體溫數(shù)據(jù)，視力數(shù)據(jù)，記憶能力，地理位置信息，社會關系數(shù)據(jù)，運動數(shù)據(jù)，飲食數(shù)據(jù)，購物數(shù)據(jù)等等。用戶可以將其中的牙齒監(jiān)測數(shù)據(jù)授權(quán)給XX牙科診所使用，由他們監(jiān)控和使用這些數(shù)據(jù)，進而為用戶制定有效的牙齒防治和維護計劃；也可以將個人的運動數(shù)據(jù)授權(quán)提供給某運動健身機構(gòu)，由他們監(jiān)測自己的身體運動機能，并有針對的制定和調(diào)整個人的運動計劃；還可以將個人的消費數(shù)據(jù)授權(quán)給金融理財機構(gòu)，由他們幫你制定合理的理財計劃并對收益進行預測。當然，其中有一部分個人數(shù)據(jù)是無需個人授權(quán)即可提供給國家相關部門進行實時監(jiān)控的，比如罪案預防監(jiān)控中心可以實時的監(jiān)控本地區(qū)每個人的情緒和心理狀態(tài)，以預防自殺和犯罪的發(fā)生。3.3、對于政府奧巴馬政府此前宣布投資2億美元拉動大數(shù)據(jù)相關產(chǎn)業(yè)發(fā)展，將〃大數(shù)據(jù)戰(zhàn)略”上升為國家意志。奧巴馬政府將數(shù)據(jù)定義為〃未來的新石油”，并表示一個國家擁有數(shù)據(jù)的規(guī)模、活性及解釋運用的能力將成為綜合國力的重要組成部分，未來，對數(shù)據(jù)的占有和控制甚至將成為陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心資產(chǎn)。在國內(nèi)，政府各個部門都握有構(gòu)成社會基礎的原始數(shù)據(jù)，比如，氣象數(shù)據(jù)，金融數(shù)據(jù)，信用數(shù)據(jù)，電力數(shù)據(jù)，煤氣數(shù)據(jù)，自來水數(shù)據(jù)，道路交通數(shù)據(jù)，客運數(shù)據(jù)，安全刑事案件數(shù)據(jù)，住房數(shù)據(jù)，海關數(shù)據(jù)，出入境數(shù)據(jù)，旅游數(shù)據(jù)，醫(yī)療數(shù)據(jù)，教育數(shù)據(jù)，環(huán)保數(shù)據(jù)等等。這些數(shù)據(jù)在每個政府部門里面看起來是單一的，靜態(tài)的。但是，如果政府可以將這些數(shù)據(jù)關聯(lián)起來，并對這些數(shù)據(jù)進行有效的關聯(lián)分析和統(tǒng)一管理，這些數(shù)據(jù)必定將獲得新生，其價值是無法估量的。具體來說，現(xiàn)在城市都在走向智能和智慧，比如，智能電網(wǎng)、智慧交通、智慧醫(yī)療、智慧環(huán)保、智慧城市，這些都依托于大數(shù)據(jù)，可以說大數(shù)據(jù)是智慧的核心能源。從國內(nèi)整體投資規(guī)模來看，到2012年底全國開建智慧城市的城市數(shù)超過180個，通信網(wǎng)絡和數(shù)據(jù)平臺等基礎設施建設投資規(guī)模接近5000億元。“十二五”期間智慧城市建設拉動的設備投資規(guī)模將達1萬億元人民幣。大數(shù)據(jù)為智慧城市的各個領域提供決策支持。在城市規(guī)劃方面，通過對城市地理、氣象等自然信息和經(jīng)濟、社會、文化、人口等人文社會信息的挖掘，可以為城市規(guī)劃提供決策，強化城市管理服務的科學性和前瞻性。在交通管理方面，通過對道路交通信息的實時挖掘，能有效緩解交通擁堵，并快速響應突發(fā)狀況，為城市交通的良性運轉(zhuǎn)提供科學的決策依據(jù)。在輿情監(jiān)控方面，通過網(wǎng)絡關鍵詞搜索及語義智能分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務能力，應對網(wǎng)絡突發(fā)的公共事件，打擊違法犯罪。在安防與防災領域，通過大數(shù)據(jù)的挖掘，可以及時發(fā)現(xiàn)人為或自然災害、恐怖事件，提高應急處理能力和安全防范能力。、大數(shù)據(jù)的應用4.1、大數(shù)據(jù)在電子政務中的應用大數(shù)據(jù)的發(fā)展，將極大改變政府現(xiàn)有管理模式和服務模式.具體而言,就是依托大數(shù)據(jù)的發(fā)展，節(jié)約政府投入、及時有效進行社會監(jiān)管和治理，提升公共服務能力.以大數(shù)據(jù)應用支撐政務活動為例，美國積極運用大數(shù)據(jù)推動政府管理方式變革和管理能力提升，越來越多的政府部門依托數(shù)據(jù)及數(shù)據(jù)分析進行決策，將之用于公共政策、輿情監(jiān)控、犯罪預測、反恐等活動.例如，作為大數(shù)據(jù)的強力倡導者，奧巴馬及其團隊創(chuàng)新性地將大數(shù)據(jù)應用到競選活動中，通過對近2年搜集、存儲的海量數(shù)據(jù)進行分析挖掘，尋找和鎖定潛在的己方選民，運用數(shù)字化策略定位拉攏中間派選民及籌集選舉資金，成為將大數(shù)據(jù)價值與魅力發(fā)揮到淋漓盡致的典型.借助大數(shù)據(jù)，還能逐步實現(xiàn)立體化、多層次、全方位的電子政務公共服務體系，推進信息公開，促進網(wǎng)上電子政務開展，創(chuàng)新社會管理和服務應用，增強政府和社會、百姓的雙向交流、互動。4.2、大數(shù)據(jù)在網(wǎng)絡通信業(yè)的應用大數(shù)據(jù)與云計算相結(jié)合所釋放出的巨大能量，幾乎波及到所有的行業(yè)，而信息、互聯(lián)網(wǎng)和通信產(chǎn)業(yè)將首當其沖.特別是通信業(yè)，在傳統(tǒng)話音業(yè)務低值化、增值業(yè)務互聯(lián)網(wǎng)化的趨勢中，大數(shù)據(jù)與云計算有望成為其加速轉(zhuǎn)型的動力和途徑.對于大數(shù)據(jù)而言，信息已經(jīng)成為企業(yè)戰(zhàn)略資產(chǎn)，市場競爭要求越來越多的數(shù)據(jù)被長期保存，每天都會從管道、業(yè)務平臺、支撐系統(tǒng)中產(chǎn)生海量有價值的數(shù)據(jù)，基于這些大數(shù)據(jù)的商業(yè)智能應用將為通信運營商帶來巨大機遇和豐厚利潤.例如，電信業(yè)者可通過數(shù)以千萬計的客戶資料，分析出多種使用者行為和趨勢，賣給需要的企業(yè)，這是全新的資料經(jīng)濟.中國移動通過大數(shù)據(jù)分析，對企業(yè)運營的全業(yè)務進行針對性的監(jiān)控、預警、跟蹤，系統(tǒng)在第一時間自動捕捉市場變化，再以最快捷的方式推送給指定負責人，使他在最短時間內(nèi)獲知市場行情.據(jù)計世資訊預測，到2015年，電信業(yè)大數(shù)據(jù)應用市場規(guī)模預計將達到18.3億元。4.3、大數(shù)據(jù)在醫(yī)療行業(yè)的應用伴隨醫(yī)療衛(wèi)生行業(yè)信息化進程的發(fā)展，在醫(yī)療業(yè)務活動、健康體檢、公共衛(wèi)生、傳染病監(jiān)測、人類基因分析等醫(yī)療衛(wèi)生服務過程中將產(chǎn)生海量高價值的數(shù)據(jù)。數(shù)據(jù)內(nèi)容主要包括醫(yī)院的PACS影像、B超、病理分析、大量電子病歷、區(qū)域衛(wèi)生信息平臺采集的居民健康檔案、疾病監(jiān)控系統(tǒng)實時采集的數(shù)據(jù)等對大數(shù)據(jù)，醫(yī)療行業(yè)遇到前所未有的挑戰(zhàn)和機遇.例如，Set。nHealthcare是采用IBM最新沃森技術(shù)醫(yī)療保健內(nèi)容分析預測的首個戶。該技術(shù)允許企業(yè)找到大量病人相關的臨床醫(yī)療信息，通過大數(shù)據(jù)處理，更好地分析病人的信息.在加拿大多倫多的一家醫(yī)院，針對早產(chǎn)嬰兒，每秒鐘有超過3000次的數(shù)據(jù)讀取。通過這些數(shù)據(jù)分析，醫(yī)院能夠提前知道哪些早產(chǎn)兒出現(xiàn)問題并且有針對性地采取措施，避免早產(chǎn)嬰兒夭折.大數(shù)據(jù)讓更多的創(chuàng)業(yè)者更方便地開發(fā)產(chǎn)品，比如通過社交網(wǎng)絡來收集數(shù)據(jù)的健康類App。也許在數(shù)年后，它們搜集的數(shù)據(jù)能讓醫(yī)生給你的診斷變得更為精確，比方說不是通用的成人每日3次，1次1片，而是檢測到你的血液中藥劑已經(jīng)代謝完成會自動提醒你再次服藥.社交網(wǎng)絡為許多慢性病患者提供臨床癥狀交流和診治經(jīng)驗分享平臺，醫(yī)生借此可獲得在醫(yī)院通常得不到的臨床效果統(tǒng)計數(shù)據(jù)?；趯θ梭w基因的大數(shù)據(jù)分析，可以實現(xiàn)對癥下藥的個性化治療。對于公共衛(wèi)生部門，可以通過全國聯(lián)網(wǎng)的患者電子病歷庫，快速檢測傳染病，進行全面疫情監(jiān)測，并通過集成的疾病監(jiān)測和響應程序，快速進行響應。4.4、大數(shù)據(jù)在能源行業(yè)的應用能源勘探開發(fā)數(shù)據(jù)的類型眾多，不同類型數(shù)據(jù)包含的信息各具特點，只有綜合各種數(shù)據(jù)所包含的信息才能得出真實的地質(zhì)狀況.能源行業(yè)企業(yè)對大數(shù)據(jù)產(chǎn)品和解決方案的需求集中體現(xiàn)在：可擴展性、高帶寬、可處理不同格式數(shù)據(jù)的分析方案.智能電網(wǎng)現(xiàn)在歐洲已經(jīng)做到了終端，也就是所謂的智能電表.在德國，為了鼓勵利用太陽能，會在家庭安裝太陽能，除了賣電給你，當你的太陽能有多余電的時候還可以買回來.通過電網(wǎng)收集每隔5min或10min收集一次數(shù)據(jù)，收集來的這些數(shù)據(jù)可以用來預測客戶的用電習慣等，從而推斷出在未來2~3個月時間里，整個電網(wǎng)大概需要多少電.預測后，就可以向發(fā)電或者供電企業(yè)購買一定數(shù)量的電.因為電有點像期貨一樣，如果提前買就會比較便宜，買現(xiàn)貨就比較貴.通過預測可以降低采購成本.維斯塔斯風力系統(tǒng)，依靠的是Biginsights軟件和IBM超級計算機，然后對氣象數(shù)據(jù)進行分析，找出安裝風力渦輪機和整個風電場最佳的地點.利用大數(shù)據(jù)，以往需要數(shù)周的分析工作，現(xiàn)在僅需要不足lh便可完成.4.5、大數(shù)據(jù)在零售行業(yè)的應用從商業(yè)價值來看，大數(shù)據(jù)究竟能往哪些方面挖掘出巨大的商業(yè)價值呢？根據(jù)IDC和麥肯錫的大數(shù)據(jù)研究結(jié)果的總結(jié)，大數(shù)據(jù)主要能在以下4個方面挖掘出巨大的商業(yè)價值：對顧客群體細分，然后對每個群體量體裁衣般地采取獨特的行動；運用大數(shù)據(jù)模擬實境，發(fā)掘新的需求和提高投入的回報率；提高大數(shù)據(jù)成果在各相關部門的分享程度，提高整個管理鏈條和產(chǎn)業(yè)鏈條的投入回報率；進行商業(yè)模式、產(chǎn)品和服務的創(chuàng)新.在商業(yè)領域，沃爾瑪公司每天通過6000多個商店，向全球客戶銷售超過2.67億件商品，為了對這些數(shù)據(jù)進行分析，HP公司為沃爾瑪公司建造了大型數(shù)據(jù)倉庫系統(tǒng)，數(shù)據(jù)規(guī)模達到4PB,并且仍在不斷擴大.沃爾瑪公司通過分析銷售數(shù)據(jù)，了解顧客購物習慣，得出適合搭配在一起出售的商品，還可從中細分顧客群體，提供個性化服務.在金融領域，華爾街德溫特資本市場公司通過分析3.4億微博賬戶留言，判斷民眾情緒，依據(jù)人們高興時買股票、焦慮時拋售股票的規(guī)律，決定公司股票的買入或賣出.阿里巴巴公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財務健康和講究誠信的企業(yè)，對他們發(fā)放無需擔保的貸款.當我們?nèi)ベ徫飼r，我們的數(shù)據(jù)會結(jié)合歷史購買記錄和社交媒體數(shù)據(jù)來為我們提供優(yōu)惠券、折扣和個性化優(yōu)惠.零售企業(yè)也監(jiān)控客戶的店內(nèi)走動情況以及與商品的互動，它們將這些數(shù)據(jù)與交易記錄相結(jié)合來展開分析，從而在銷售哪些商品、如何擺放貨品以及何時調(diào)整售價上給出意見，此類方法已經(jīng)幫助某領先零售企業(yè)減少了17%的存貨，同時在保持市場份額的前提下，增加了高利潤率自有品牌商品的比例.4.6、大數(shù)據(jù)在氣象行業(yè)的應用與世界大數(shù)據(jù)時代的進程相同，氣象數(shù)據(jù)量不斷翻番.目前，每年的氣象數(shù)據(jù)已接近PB量級(1O24GB=1TB,1O24TB=1PB)。以氣象衛(wèi)星數(shù)據(jù)為例：雖然氣象衛(wèi)星是用來獲取與氣象要素相關的各類信息的，然而在森林草場火災、船舶航道浮冰分布等方面，氣象衛(wèi)星卻同樣也能發(fā)揮出跨行業(yè)的實時監(jiān)測服務價值.氣象衛(wèi)星、天氣雷達等非常規(guī)遙感遙測數(shù)據(jù)中包含的信息十分豐富，有可能挖掘出新的應用價值，從而拓展氣象行業(yè)新的業(yè)務領域和服務范圍.比如，可以利用氣象大數(shù)據(jù)為農(nóng)業(yè)生產(chǎn)服務.美國硅谷有家專門從事氣候數(shù)據(jù)分析處理的公司，從美國氣象局等數(shù)據(jù)庫中獲得數(shù)十年來的天氣數(shù)據(jù)，然后將各地降雨、氣溫、土壤狀況與歷年農(nóng)作物產(chǎn)量的相關度做成精密圖表，可預測各地農(nóng)場來年產(chǎn)量和適宜種植品種，同時向農(nóng)戶出售個性化保險服務.氣象大數(shù)據(jù)應用還可在林業(yè)、海洋、氣象災害等方面拓展新的業(yè)務領域.除了上述行業(yè)應用外，大數(shù)據(jù)在教育科研、生產(chǎn)制造、金融保險、交通運輸?shù)刃袠I(yè)也有密切應用.大數(shù)據(jù)在金融行業(yè)可用于客戶洞察、運營洞察和市場洞察.大數(shù)據(jù)在智能交通、智慧城市建設方面也有出色表現(xiàn).隨著社會、經(jīng)濟的發(fā)展，各行業(yè)各類用戶對于智能化的要求將越來越高，今后大數(shù)據(jù)技術(shù)會在越來越多領域得到廣泛應用，通過大數(shù)據(jù)的采集、存儲、挖掘與分析，大數(shù)據(jù)在營銷、行業(yè)管理、數(shù)據(jù)標準化與情報分析和決策等領域?qū)⒋笥凶鳛?，將極大提升企事業(yè)單位的信息化服務水平.隨著云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等技術(shù)的快速發(fā)展，大數(shù)據(jù)未來發(fā)展空間將更加廣闊。五、總論大數(shù)據(jù)應用六大模式捧著金飯碗第三方大數(shù)據(jù)公司是如何在數(shù)據(jù)堆中覓得金塊”的呢？〃數(shù)據(jù)挖掘公司的規(guī)模不同，影響力不同導致數(shù)據(jù)挖掘公司的商業(yè)模式也有所不伺。目前比較盛行的數(shù)據(jù)挖掘公司多為兩大運營模式:第一種是直接為企業(yè)用戶提供其所需求的數(shù)據(jù)；第二種則是為不同的企業(yè)或企業(yè)不同的需求，對數(shù)據(jù)進行分析，提供針對性的信息，以此獲利，如天相投顧就是此類公司之一。數(shù)據(jù)挖掘公司一般有六種商業(yè)模式值得參考：第一種是以廣聯(lián)達等公司為代表的租售數(shù)據(jù)模式，它們通過出售廣泛收集、精心過濾時效性強的數(shù)據(jù)，成為各自行業(yè)的翹楚。而龐大