“大數(shù)據(jù)”怎樣改變生活分析

精選優(yōu)質(zhì)文檔-----傾情為你奉上精選優(yōu)質(zhì)文檔-----傾情為你奉上專心---專注---專業(yè)專心---專注---專業(yè)精選優(yōu)質(zhì)文檔-----傾情為你奉上專心---專注---專業(yè)“大數(shù)據(jù)”怎樣改變生活新聞背景大數(shù)據(jù)，現(xiàn)在越來越成為了一個很時髦的詞匯。有人把大數(shù)據(jù)形容為未來世界的石油，有人宣稱掌握大數(shù)據(jù)的人可以像上帝一樣俯瞰整個世界，美國政府甚至已經(jīng)把對大數(shù)據(jù)的研究上升為國家戰(zhàn)略。日前，由中國科協(xié)舉辦的“科學(xué)家與媒體面對面——大數(shù)據(jù)離我們生活有多遠(yuǎn)”活動中，有關(guān)專家為我們介紹了大數(shù)據(jù)對未來生活的影響。我們生活在一個充滿“數(shù)據(jù)”的時代，這里的“數(shù)據(jù)”，并不僅僅指數(shù)字，理論上講，一切可以以文件形式儲存于計算機硬盤的東西，包括數(shù)字、文字、圖像、聲音、視頻等，均可稱為“數(shù)據(jù)”。我們打電話，使用微博、QQ、博客等社交工具，都是在不斷增加著社會總體數(shù)據(jù)量。據(jù)權(quán)威預(yù)測，未來每隔18個月，整個世界的數(shù)據(jù)總量就會翻倍。IBM的研究稱，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。數(shù)據(jù)，除了它第一次被使用時提供的價值以外，那些積累下來的數(shù)據(jù)海洋并不是無用的廢物，它還有著無窮無盡的“剩余價值”，關(guān)于這一點，人們已經(jīng)有了越來越多的認(rèn)識。事實上，大數(shù)據(jù)已經(jīng)開始并將繼續(xù)影響我們的生活，下面我們不妨試舉幾例。精準(zhǔn)廣告投放已很普遍很多女性可能有這樣的經(jīng)歷，使用某瀏覽器在淘寶、京東等購物網(wǎng)站上購買過一本關(guān)于懷孕的書籍后，在之后十個月左右的時間里，你的瀏覽器兩側(cè)的廣告欄里不斷出現(xiàn)懷孕所需要的東西，如營養(yǎng)食品、對胎兒無影響的孕婦用藥、胎心監(jiān)測儀、體溫計、血壓計等產(chǎn)品廣告，登錄原來的購物網(wǎng)站，也會在首頁向你推薦這類產(chǎn)品。而且，在十個月之后，你會發(fā)現(xiàn)，以上這些廣告開始變成嬰兒用品了。你以前可能對瀏覽器廣告非常討厭，但對這類廣告，你卻欣然接受，因為它推薦的產(chǎn)品正是你所需要的。這實際上就是大數(shù)據(jù)應(yīng)用的一個簡單案例。你的瀏覽經(jīng)歷已經(jīng)被瀏覽器和電商所記錄，通過對用戶瀏覽記錄進(jìn)行大數(shù)據(jù)分析，就可以推測出你目前是一種什么狀態(tài)，今后又將經(jīng)歷哪些狀態(tài)，于是，專為你定制的廣告就在你需要的時候出現(xiàn)在你的眼前。大數(shù)據(jù)最本質(zhì)的應(yīng)用就在于預(yù)測，即從海量數(shù)據(jù)中分析出一定的特征，進(jìn)而預(yù)測未來可能會發(fā)生什么。實際上，上述例子僅僅是大數(shù)據(jù)應(yīng)用的最初級階段。因為它所涉及的數(shù)據(jù)的范圍并不廣泛，其分析原理也非常簡單。而如前言所述，大數(shù)據(jù)有數(shù)據(jù)量大、數(shù)據(jù)多樣性等特征,實際是將各個維度的數(shù)據(jù)進(jìn)行綜合分析進(jìn)而進(jìn)行一定的預(yù)測。當(dāng)不同的數(shù)據(jù)流被整合到大型數(shù)據(jù)庫中后，預(yù)測的廣度和精度都會大規(guī)模的提高。例如，當(dāng)一個數(shù)據(jù)庫從不同的數(shù)據(jù)來源獲得了你使用手機的時間和地點、信用卡購物、銀行卡電子收費系統(tǒng)、使用QQ等聊天工具的對象、你的QQ好友關(guān)系圖、你在新浪微博、騰訊微博的收聽及被收聽關(guān)系圖譜、你交納的水、電、燃?xì)赓M等各方面的數(shù)據(jù)，數(shù)據(jù)分析師就能通過匹配獲得你生活的不同側(cè)面。通過大數(shù)據(jù)，數(shù)據(jù)分析可以發(fā)現(xiàn)各種各樣的關(guān)聯(lián)。通過分析，可以發(fā)現(xiàn)你多方面的需求，并不僅僅是諸如懷孕書籍和尿不濕之間的簡單關(guān)聯(lián)了。在數(shù)據(jù)足夠“大”的情況下，你生活中幾乎所有的需求都可能會被預(yù)測出來。例如，從數(shù)據(jù)分析出你可能會約會，于是會向你推薦衣服；從數(shù)據(jù)推測出你會出去旅游，于是向你推薦相關(guān)裝備及旅行方式等。醫(yī)療衛(wèi)生體系會更加精密通過分析大量用戶的搜索記錄，比如“咳嗽”、“發(fā)燒”等特定詞條，谷歌公司能準(zhǔn)確預(yù)測美國冬季流感傳播趨勢。和官方機構(gòu)相比，谷歌能提前一兩周預(yù)測流感爆發(fā)，預(yù)測結(jié)果與官方數(shù)據(jù)的相關(guān)性高達(dá)97%。2009年，在甲型H1N1流感爆發(fā)的幾周前，谷歌的工程師們公開發(fā)表了一篇論文，不僅預(yù)測流感即將爆發(fā)，并且其預(yù)測還精確到美國特定的地區(qū)和州。這讓人們感到十分震驚。準(zhǔn)確預(yù)測流感疫情，說起來并不復(fù)雜，谷歌一直致力于對用戶檢索數(shù)據(jù)的分析。用戶求醫(yī)問藥等搜索數(shù)據(jù)可謂海量，把這些數(shù)據(jù)再拿來與美國疾控中心往年記錄的實際流感病例信息相比對，就幫助谷歌作出了準(zhǔn)確預(yù)測。在日本也有相似的應(yīng)用，日本國內(nèi)有一個網(wǎng)站，你只要打開這個網(wǎng)站用自己的社交網(wǎng)站賬號登錄，就可以在短時間內(nèi)通過數(shù)萬條社交網(wǎng)站記錄找出可能感冒的人，并通過過去的感冒情況和今日的感冒情況進(jìn)行分析，另外該程序還會結(jié)合氣溫和濕度的變化來預(yù)測將來感冒的流行情況，并制作一個“易感冒日歷”。目前，此類服務(wù)正在日本陸續(xù)展開。對個體而言，大數(shù)據(jù)可以為個人提供個性化的醫(yī)療服務(wù)。過去我們?nèi)タ床?，醫(yī)生只能對我們的當(dāng)下身體情況做出判斷，而在大數(shù)據(jù)的幫助下，將來的診療可以對一個患者的累計歷史數(shù)據(jù)進(jìn)行分析，并結(jié)合遺傳變異、對特定疾病的易感性和對特殊藥物的反應(yīng)等關(guān)系，實現(xiàn)個性化的醫(yī)療。還可以在患者發(fā)生疾病癥狀前，提供早期的檢測和診斷。早期發(fā)現(xiàn)和治療可以顯著降低肺癌給衛(wèi)生系統(tǒng)造成的負(fù)擔(dān)，因為早期的手術(shù)費用是后期治療費用的一半。個性化教育可能真正實現(xiàn)在傳統(tǒng)教育模式下，分?jǐn)?shù)就是一切，一個班上幾十個人，使用同樣的教材，同一個老師上課，課后布置同樣的作業(yè)。然而，學(xué)生是千差萬別的，在這個模式下，不可能真正做到“因材施教”。舉例來說，一個學(xué)生考試得了88分，這個分?jǐn)?shù)僅僅是一個數(shù)字，它能代表什么呢？88分背后是家庭背景、努力程度、學(xué)習(xí)態(tài)度、智力水平等，把它們和88分聯(lián)系在一起，這就成了“數(shù)據(jù)”。大數(shù)據(jù)因其數(shù)據(jù)來源的廣度，有能力去關(guān)注每一個個體學(xué)生的微觀表現(xiàn)——他在什么時候開始看書，在什么樣的講課方式下效果最好，在什么時候?qū)W習(xí)什么科目效果最好，在不同類型的題目上停留多久等等。這些數(shù)據(jù)對其他個體都沒有意義，是高度個性化表現(xiàn)特征的體現(xiàn)。同時，這些數(shù)據(jù)的產(chǎn)生完全是過程性的：課堂的過程，作業(yè)的過程，師生或同學(xué)的互動過程……而最有價值的是，這些數(shù)據(jù)完全是在學(xué)生不自知的情況下被觀察、收集的，只需要一定的觀測技術(shù)與設(shè)備的輔助，而不影響學(xué)生任何的日常學(xué)習(xí)與生活，因此它的采集也非常的自然、真實。在大數(shù)據(jù)的支持下，教育將呈現(xiàn)另外的特征：彈性學(xué)制、個性化輔導(dǎo)、社區(qū)和家庭學(xué)習(xí)、每個人的成功……大數(shù)據(jù)支撐下的教育，就是要根據(jù)每一個人的特點，解放每一個人本來就有的學(xué)習(xí)能力和天分。延伸閱讀個人隱私保護(hù)一道能邁過的坎看了前面這些，讀者可能要擔(dān)心了，大數(shù)據(jù)包含有包羅萬象的數(shù)據(jù)，其中不少數(shù)據(jù)涉及個人的職位、年齡、身體狀況、消費水平、旅行習(xí)慣等隱私，那么，在大數(shù)據(jù)時代，個人隱私能夠得到保護(hù)嗎？答案是，只要國家相關(guān)部門實時推進(jìn)隱私保護(hù)，企業(yè)主動落實隱私保護(hù)責(zé)任，大數(shù)據(jù)產(chǎn)業(yè)在飛速發(fā)展的同時并不會對民眾隱私產(chǎn)生威脅。在大數(shù)據(jù)產(chǎn)業(yè)中，有兩個基本的作法，一是符號化。符號化是指識別用戶的時候，識別的僅僅是一個“符號”，這個符號與真實信息并不相關(guān)，系統(tǒng)通過一定的算法能夠知道多次登錄的是同一個用戶，但并沒有辦法反推出這個人是誰，因此，電話、住址等信息都沒法與本人關(guān)聯(lián)起來。二是用戶特征。用戶特征意味著在大數(shù)據(jù)時代企業(yè)感興趣的往往是這個用戶的特征，而不是家庭地址、電話號碼等真正敏感的信息。例如，系統(tǒng)需要了解本科以上學(xué)歷、月收入10000元以上、已婚等這樣一個群體，只需要找出符合這些特征的人的特性，并不關(guān)心這個人是誰。這樣也不會造成隱私的泄露。當(dāng)然，這些原則性問題有賴于政府推動、企業(yè)自律。但我們相信，為大數(shù)據(jù)產(chǎn)業(yè)的健康發(fā)展，相關(guān)部門，相關(guān)企業(yè)一定會高度重視這一問題。大數(shù)據(jù)：“挖”出你要的生活近來，一部名為《紙牌屋》的政治驚悚美劇火遍互聯(lián)網(wǎng)，不過，人們一定不知道，備受好評的男主角凱文·史派西并不是制片方?jīng)Q定的。該片的投資、制作方——美國視頻網(wǎng)站Netflix利用其在美國近2700萬訂閱用戶每天在網(wǎng)站產(chǎn)生的3000多萬個網(wǎng)絡(luò)點擊行為，通過分析這些海量數(shù)據(jù)，結(jié)果顯示擁有高點擊率的凱文·史派西最適合成為主角，而同時獲得數(shù)據(jù)“青睞”的還有鬼才導(dǎo)演大衛(wèi)·芬奇。事實上，早在2012年初，用來形容信息大爆炸時代產(chǎn)生的海量信息的詞語“大數(shù)據(jù)”就開始進(jìn)入普通人的視野，如今，大數(shù)據(jù)又開始注入電視劇行業(yè)。對這些海量數(shù)據(jù)的處理究竟給人們的生活帶去了多大的改變。大數(shù)據(jù)到底有多大全球每天通過Internet網(wǎng)絡(luò)傳輸?shù)碾娮余]件多達(dá)2100億封；Facebook每月新增10億照片和1000萬個視頻；騰訊公司注冊用戶超過7億，同時在線人數(shù)超過1億......根據(jù)互聯(lián)網(wǎng)數(shù)據(jù)中心的報告，2012年全球的數(shù)據(jù)總量為2.7Zb（1Zb相當(dāng)于十萬億億字節(jié)），預(yù)計到2020年，全球的數(shù)據(jù)總量將達(dá)到35Zb。中國科學(xué)院信息工程所副研究員王偉平說，目前為止，沒有誰能準(zhǔn)確說出大數(shù)據(jù)到底有多大，但可以肯定是的，這些海量數(shù)據(jù)的規(guī)模已經(jīng)讓目前主流的數(shù)據(jù)庫軟件無法承受。除此之外，大數(shù)據(jù)的數(shù)據(jù)類型和來源眾多，又高速流轉(zhuǎn)，同時，相較于數(shù)據(jù)的數(shù)量，它們所含有的價值卻是相對稀疏的，獲取有用信息猶如大海撈針。因此，這一切都要求開發(fā)新的數(shù)據(jù)處理模式對海量信息進(jìn)行擷取、管理和處理等。2012年3月29日，奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”，美國政府已經(jīng)把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面。華爾街日報更是將大數(shù)據(jù)、智能制造和無線網(wǎng)絡(luò)并列為當(dāng)代三大技術(shù)變革?！霸谶@個數(shù)據(jù)為王的時代，如何挖掘、利用數(shù)據(jù)顯然已經(jīng)成為了各個行業(yè)、企業(yè)競爭的焦點。”王偉平坦言。關(guān)鍵詞檢索預(yù)測流感全球規(guī)模最大的搜索引擎Google一直是大數(shù)據(jù)處理技術(shù)研發(fā)的引領(lǐng)者。王偉平告訴《中國科學(xué)報》記者，2009年H1N1流感暴發(fā)之前的幾周，Google公司的工程師們在《自然》雜志上發(fā)表了一篇論文，它令公共衛(wèi)生官員們和計算機科學(xué)家都感到震驚。原來，他們在文中解釋了谷歌預(yù)測到冬季流感的傳播，并且具體到特定的地區(qū)和州，而這種預(yù)測比美國疾控中心要提前一到兩周。其實，這是Google在2008年底推出的一項大數(shù)據(jù)處理的應(yīng)用服務(wù)——“流感趨勢”。該服務(wù)可以幫助人們了解自己所在地區(qū)（限美國境內(nèi)）的流感病例暴發(fā)情況，從而提前采取預(yù)防措施，避免感染。而“流感趨勢”正是通過搜索引擎對關(guān)鍵詞的監(jiān)測來實現(xiàn)的。王偉平解釋，官方發(fā)布的疾病流行信息往往要經(jīng)過層層上報，而老百姓很可能在去往醫(yī)療機構(gòu)之前就已經(jīng)將“咳嗽”、“發(fā)燒”等與流感有關(guān)的信息放到了互聯(lián)網(wǎng)上。Google通過對這些關(guān)鍵詞進(jìn)行監(jiān)測，并通過地圖將這些關(guān)鍵詞被檢索的趨勢顯示在其所對應(yīng)的地區(qū)。相應(yīng)的關(guān)鍵詞密度越高、越頻繁，該地區(qū)暴發(fā)流感的可能性就越大。這就不難理解，通過Google的“流感趨勢”對流感進(jìn)行的預(yù)測，其速度甚至比美國疾控中心還要快。盡管，這類預(yù)測服務(wù)可能存在誤差，美國疾控中心表示，這將是對現(xiàn)有監(jiān)測工具的一種補充。尿布與啤酒放在一起更好賣而要說到大數(shù)據(jù)挖掘在商業(yè)中的應(yīng)用，就不得不提到零售巨頭沃爾瑪?shù)慕?jīng)典案例。在一家實體超市，通過怎樣的物品擺放才能更有效地方便顧客采購，并讓顧客在不知不覺中多購買呢？王偉平說，這一切都要歸功于沃爾瑪?shù)慕灰讛?shù)據(jù)分析。沃爾瑪數(shù)據(jù)倉庫里集中了其各門店的詳細(xì)原始交易數(shù)據(jù)，在這些原始交易數(shù)據(jù)的基礎(chǔ)上，沃爾瑪利用NCR數(shù)據(jù)挖掘工具對這些數(shù)據(jù)進(jìn)行分析和挖掘。他們意外發(fā)現(xiàn)，跟尿布一起購買最多的商品竟然是啤酒。此后，市場調(diào)查人員、分析師在經(jīng)過調(diào)查分析之后明白了隱藏在“尿布與啤酒”背后的一種購物行為模式。在美國，一些年輕的父親下班后經(jīng)常要到超市去買嬰兒尿布，而他們中有30%～40%的人同時也為自己買一些啤酒。這是因為，美國的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們在買尿布后又隨手帶回了他們喜歡的啤酒。既然尿布與啤酒一起被購買的機會很多，于是沃爾瑪就在門店內(nèi)將尿布與啤酒并排擺放在一起，結(jié)果是尿布與啤酒的銷售量雙雙增長。數(shù)據(jù)左右美國大選不過，讓大數(shù)據(jù)成為2012年熱議焦點的最大“功臣”恐怕還是美國總統(tǒng)奧巴馬。就在奧巴馬成功擊敗對手羅姆尼，再次贏得美國總統(tǒng)選舉的當(dāng)天，《時代》雜志就發(fā)表文章稱，奧巴馬獲勝背后的秘密正是數(shù)據(jù)挖掘。相較于2008年的第一次選舉，這一回，競選團(tuán)隊在最初的一年半時間里就把各種數(shù)據(jù)合到一起，制作了一個包含各類信息的大數(shù)據(jù)庫。新的大數(shù)據(jù)庫并不會直接告訴競選團(tuán)隊如何尋找選民，但是數(shù)據(jù)挖掘團(tuán)隊卻能利用這個數(shù)據(jù)庫來進(jìn)行選情分析，并針對不同類型的選民測試不同的宣傳策略。他們通過4個來源的民調(diào)數(shù)據(jù)來詳細(xì)分析關(guān)鍵州的選民。比如，通過對俄亥俄州2.9萬選民的民調(diào)數(shù)據(jù)，他們可以深入分析各個族群的選民在任何時刻的趨勢。而在總統(tǒng)候選人的第一次辯論之后，他們分析出哪些選民倒戈，哪些沒有。在選舉期間，競選團(tuán)隊每晚要實施6.6萬次模擬選舉，正是這些模擬選舉推算出了奧巴馬在搖擺州的勝率，并讓他們得以通過這些數(shù)據(jù)來分配資源。此外，這次競選活動中，競選團(tuán)隊也首次嘗試在Facebook上復(fù)制傳統(tǒng)的上門宣傳活動。在最后幾周，下載相關(guān)應(yīng)用的人們會收到帶有他們在搖擺州的友人圖片的信息，告訴他們只需點擊一個按鈕，就能鼓勵這些朋友們登記參選、早點投票或是參與民調(diào)。收到信息的人們當(dāng)中有五分之一會有所響應(yīng)，這很大程度上是來自熟人效應(yīng)。與依賴傳統(tǒng)的外部媒體顧問的做法不同，競選團(tuán)隊還利用數(shù)據(jù)挖掘從而決定對廣告的購買。他們通過一些復(fù)雜的模型來精準(zhǔn)定位不同選民，出人意料地購買了一些冷門節(jié)目的廣告時段，而沒有采用在本地新聞時段購買廣告的傳統(tǒng)做法?？墒聦嵣希瑥V告效率相比2008年提高了14%。同時，奧巴馬當(dāng)初決定在社交新聞網(wǎng)站Reddit上與網(wǎng)民互動時，很多高級顧問對此也表示不解。可實際情況是，數(shù)據(jù)分析告訴了他們，Reddit上有很多動員對象。在王偉平看來，其實，奧巴馬獲勝的法寶，簡單概括就是利用數(shù)據(jù)挖掘了解他的每一個潛在支持者的個性化需求，并提供了精準(zhǔn)的服務(wù)。安全問題與生俱來大數(shù)據(jù)處理就像是一場新的革命，無論是在商業(yè)、政治還是公共服務(wù)領(lǐng)域。王偉平認(rèn)為，自己目前還很能看到被大數(shù)據(jù)所包圍的未來生活究竟會變成怎