對大數(shù)據的展望

對大數(shù)據的展望陳明陽Q14010119隨著計算機、互聯(lián)網技術的飛速發(fā)展，我們的社會不斷地產生龐大的數(shù)據流。這些數(shù)據雜亂而細碎，看似無所關聯(lián)，但正是這大量的碎片化數(shù)據，昭示著我們進入了一個前景無限光明的新數(shù)據時代一一大數(shù)據時代。首先來看看大數(shù)據的一般定義。對于“大數(shù)據"(Bigdata)研究機構Gartner給出了這樣的定義?！按髷?shù)據”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。大數(shù)據技術的戰(zhàn)略意義不在于掌握龐大的數(shù)據信息，而在于對這些含有意義的數(shù)據進行專業(yè)化處理。換言之，如果把大數(shù)據比作一種產業(yè)，那么這種產業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據的“加工能力”，通過“加工”實現(xiàn)數(shù)據的“增值”。從技術上看，大數(shù)據與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數(shù)據必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數(shù)據進行分布式數(shù)據挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據庫和云存儲、虛擬化技術。隨著云時代的來臨，大數(shù)據(Bigdata)也吸引了越來越多的關注?！吨婆_》的分析師團隊認為，大數(shù)據(Bigdata)通常用來形容一個公司創(chuàng)造的大量非結構化數(shù)據和半結構化數(shù)據，這些數(shù)據在下載到關系型數(shù)據庫用于分析時會花費過多時間和金錢。大數(shù)據分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據集分析需要像MapReduce—樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據需要特殊的技術，以有效地處理大量的容忍經過時間內的數(shù)據。適用于大數(shù)據的技術，包括大規(guī)模并行處理(MPP)數(shù)據庫、數(shù)據挖掘電網、分布式文件系統(tǒng)、分布式數(shù)據庫、云計算平臺、互聯(lián)網和可擴展的存儲系統(tǒng)。由此可見，大數(shù)據并不只局限于一個龐大的數(shù)據流量，而是以這個龐大的數(shù)據量為基礎的一連串處理、分析、利用的過程，其牽扯的學科、行業(yè)、技術也十分豐富，像是數(shù)學、計算機、經濟等。那么，在這看起來十分高大上的大數(shù)據技術上有哪些新的應用呢？—.倉儲物流調配調用與貨物跟蹤售后。這項技術不光用上了大數(shù)據技術，也用上了時下流行的物聯(lián)網技術。這一應用主要是透過對運輸記錄的分析調配運貨頻率、數(shù)量進行合理化調配，對市場需求量和購買力進行預測，達到最大化凈收益。梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基于SAS的系統(tǒng)對多達7300萬種貨品進行實時調價?？觳蜆I(yè)的視頻分析。該公司通過視頻分析等候隊列的長度，然后自動變化電子菜單顯示的內容。如果隊列較長，則顯示可以快速供給的食物;如果隊列較短，則顯示那些利潤較高但準備時間相對長的食品。TescoPLC（特易購）和運營效率。這家超市連鎖在其數(shù)據倉庫中收集了700萬部冰箱的數(shù)據。通過對這些數(shù)據的分析，進行更全面的監(jiān)控并進行主動的維修以降低整體能耗。二.智能學習與識別這是一項科幻風味濃厚的應用。其實質是通過對用戶信息的分析完成對一類關鍵詞的統(tǒng)一識別。這項應用涉及了人工智能的TOP-TO-DOWN類型，也就是大量數(shù)據擬合型。Morton牛排店的品牌認知。當一位顧客開玩笑地通過推特向這家位于芝加哥的牛排連鎖店訂餐送到紐約Newark機場（他將在一天工作之后抵達該處）時，Morton就開始了自己的社交秀。首先，分析推特數(shù)據，發(fā)現(xiàn)該顧客是本店的?？?，也是推特的常用者。根據客戶以往的訂單，推測出其所乘的航班，然后派出一位身著燕尾服的侍者為客戶提供晚餐。沃爾瑪?shù)乃阉?。這家零售業(yè)寡頭為其網站W自行設計了最新的搜索引擎Polaris，利用語義數(shù)據進行文本分析、機器學習和同義詞挖掘等。根據沃爾瑪?shù)恼f法，語義搜索技術的運用使得在線購物的完成率提升了10%到15%?！皩ξ譅柆攣碚f，這就意味著數(shù)十億美元的金額°，Laney說。三.通過建模和數(shù)據擬合實現(xiàn)的未來預測這項技術主要通過概率數(shù)學分析和建模完成對將來一定時間范圍為內某些事件發(fā)生概率進行預測。這項技術雖然不能實現(xiàn)完全的預知未來，但是對減少盲目投資和風險有很大的作用。Tipp24AG針對歐洲博彩業(yè)構建的下注和預測平臺。該公司用戶進行動態(tài)的營銷活動。這項舉措減少了90%的預測模型構建時間。SAP公司正在試圖收購KXEN。PredPolInc.。PredPol公司通過與洛杉磯和圣克魯斯的警方以及一群研究人員合作，基于地震預測算法的變體和犯罪數(shù)據來預測犯罪發(fā)生的幾率，可以精確到500平方英尺的范圍內。在洛杉磯運用該算法的地區(qū)，盜竊罪和暴力犯罪分布下降了33%和21%。AmericanExpress（美國運通，AmEx）和商業(yè)智能。以往，AmEx只能實現(xiàn)事后諸葛式的報告和滯后的預測?！皞鹘y(tǒng)的BI已經無法滿足業(yè)務發(fā)展的需要°”Laney認為。于是，AmEx開始構建真正能夠預測忠誠度的模型，基于歷史交易數(shù)據，用115個變量來進行分析預測。該公司表示，對于澳大利亞將于之后四個月中流失的客戶，已經能夠識別出其中的24%。大數(shù)據雖然才剛剛興起，卻已經造就了大量的財富與機遇。但是，大數(shù)據是否能夠完全成為未來的風向標，神的使者，這一點我表示懷疑。從現(xiàn)在的企業(yè)動向上看，似乎有不少企業(yè)覺得通過大數(shù)據取得用戶傾向是一種非常準確客觀的方法并且推出一系列所謂的滿足大數(shù)據調查的產品。拋去可能有些商家拿大數(shù)據作為噱頭外，那些真的靠大數(shù)據推出產品的公司我覺得還是要好好考慮一下。前些日子，舊M公司推出了由大數(shù)據技術調查出來的新硬件方向報告，報告中列舉了舊M對未來電腦硬件的構想，對X86和AMD平臺的對比（顯然單方面偏袒X86），對未來電腦功能的列舉等等。對于這種預測的可靠性我持有較深的懷疑。大數(shù)據的數(shù)據是來自現(xiàn)代生活的，對未來的預測顯然顯得有點無力。這和上面提到的概率預測有不同之處，在于公司推出的產品是會對人們的購買欲產生影響的。我們就拿蘋果的iphone來說，在iphone5之前，蘋果公司一直強調的是手機帶來的新功能，漂亮的外形，流暢的使用體驗，而不是它高端的配置。雖說當時蘋果手機的配置實在說不上是好，但是這種制作理念卻領導者人們去購買這款產品，這就是公司對客戶的影響作用。對于這個社會上大部分的用戶來說，購買的時候不會特意考慮這款產品的硬件特征，而是會去考慮易用性，實用性，新奇的功能。而現(xiàn)在我們只是對著一大堆硬件參數(shù)去猜測這款產品的實用性，為什么？現(xiàn)在的廠商過度依賴市場調查和大數(shù)據分析，對已有的數(shù)據分析告訴公司“人們喜歡高配”這一結果，導致現(xiàn)在市場上出現(xiàn)的堆硬件的亂象。其實用戶不知道想要什么，只要制造方設計者告訴我們就好了?？纯慈亲罱目谔枴叭藗兿矚g靚麗的屏幕”，這一口號確實引領著人們關注屏幕的色彩，亮度等特征，而不是之前一味地追求分辨率和可視角度。這種對客戶的引導是大數(shù)據所不能計算出來的，畢竟我們都不知道想要什么，怎么提供這類數(shù)據進行分析呢？所以，盡管大數(shù)據給公司經營帶來了巨大便利，但它也還是具有一定的局限性。而怎么打破這種極鮮行，就成了這一技術接下來的挑戰(zhàn)方向了。就現(xiàn)在大數(shù)據的數(shù)據處理方面，主要還是靠機器輔助，人力思考的工作方式。計算機做的還是簡單的分類篩選識別，而真正的處理還是靠人類完成的。這就體現(xiàn)出了一定的弊端。再加上這些數(shù)據的碎片化無序性，使得現(xiàn)代的大數(shù)據技術仍存在許多問題，換句話說，發(fā)展的空間。下面列舉了幾條發(fā)展趨勢。趨勢一數(shù)據的資源化何謂資源化，是指大數(shù)據成為企業(yè)和社會關注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點。因而，企業(yè)必須要提前制定大數(shù)據營銷戰(zhàn)略計劃，搶占市場先機。趨勢二：與云計算的深度結合大數(shù)據離不開云處理，云處理為大數(shù)據提供了彈性可拓展的基礎設備，是產生大數(shù)據的平臺之一。自2013年開始，大數(shù)據技術已開始和云計算技術緊密結合，預計未來兩者關系將更為密切。除此之外，物聯(lián)網、移動互聯(lián)網等新興計算形態(tài)，也將一齊助力大數(shù)據革命，讓大數(shù)據營銷發(fā)揮出更大的影響力。趨勢三：科學理論的突破隨著大數(shù)據的快速發(fā)展，就像計算機和互聯(lián)網一樣，大數(shù)據很有可能是新一輪的技術革命。隨之興起的數(shù)據挖掘、機器學習和人工智能等相關技術，可能會改變數(shù)據世界里的很多算法和基礎理論，實現(xiàn)科學技術上的突破。趨勢四：數(shù)據科學和數(shù)據聯(lián)盟的成立未來，數(shù)據科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設立專門的數(shù)據科學類專業(yè)，也會催生一批與之相關的新的就業(yè)崗位。與此同時，基于數(shù)據這個基礎平臺，也將建立起跨領域的數(shù)據共享平臺，之后，數(shù)據共享將擴展到企業(yè)層面，并且成為未來產業(yè)的核心一環(huán)。另外，大數(shù)據作為一種重要的戰(zhàn)略資產，已經不同程度地滲透到每個行業(yè)領域和部門，其深度應用不僅有