大數(shù)據(jù)時代的機(jī)遇與挑戰(zhàn)

大數(shù)據(jù)時代的機(jī)遇與挑戰(zhàn)什么是大數(shù)據(jù)時代？“大數(shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時日，卻因為近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?！贝髷?shù)據(jù)時代是怎樣產(chǎn)生的？物聯(lián)網(wǎng)、云計算、社交網(wǎng)絡(luò)、社會媒體以及信息獲取技術(shù)的飛速發(fā)展，數(shù)據(jù)正以前所未有的速度迅速增長和積累，數(shù)據(jù)是人類社會最重要的財富大數(shù)據(jù)時代的到來大數(shù)據(jù)時代的特點?1.數(shù)據(jù)量大（Volume）第一個特征是數(shù)據(jù)量大。大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。2.類型繁多（Variety）第二個特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。3.價值密度低（Value）第三個特征是數(shù)據(jù)價值密度相對較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價值密度較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。4.速度快、時效高（Velocity）第四個特征是處理速度快，時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。既有的技術(shù)架構(gòu)和路線，已經(jīng)無法高效處理如此海量的數(shù)據(jù)，而對于相關(guān)組織來說，如果投入巨大采集的信息無法通過及時處理反饋有效信息，那將是得不償失的?？梢哉f，大數(shù)據(jù)時代對人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。大數(shù)據(jù)時代的機(jī)遇大數(shù)據(jù)技術(shù)通過對海量數(shù)據(jù)的快速收集與挖掘、及時研判與共享，成為支持社會治理科學(xué)決策和準(zhǔn)確預(yù)判的有力手段，為社會轉(zhuǎn)型期的社會治理創(chuàng)新帶來了機(jī)遇。建立大數(shù)據(jù)中心，及時搜集、實時處理數(shù)據(jù)信息，為科學(xué)決策提供堅實基礎(chǔ)。對社會大數(shù)據(jù)進(jìn)行歷時性和實時性分析，加強(qiáng)社會風(fēng)險控制，提高政府預(yù)測預(yù)警能力和應(yīng)急響應(yīng)能力。

在大數(shù)據(jù)概念出來之前，個人制造的數(shù)據(jù)往往被忽略，企業(yè)數(shù)據(jù)被談及的更多。企業(yè)內(nèi)部的數(shù)據(jù)多數(shù)都是結(jié)構(gòu)性數(shù)據(jù)，并被企業(yè)在或多或少地利用著，無論是數(shù)據(jù)挖掘還是商業(yè)智能化應(yīng)用都已經(jīng)初露端倪。隨著互聯(lián)網(wǎng)的快速發(fā)展，在企業(yè)數(shù)據(jù)還沒有井噴的時候，我們就發(fā)現(xiàn)個人用戶以及社會應(yīng)用產(chǎn)生的數(shù)據(jù)已經(jīng)開始爆發(fā)了，比如社交、交互式應(yīng)用帶來了大量的網(wǎng)絡(luò)數(shù)據(jù)。此時傳統(tǒng)的硬件設(shè)備開始顯得捉襟見肘，無法滿足這種龐雜數(shù)據(jù)帶來的應(yīng)用需求。很多時候，也許我們會認(rèn)為這些數(shù)據(jù)里會有價值，但是卻不知道如何挖掘這些數(shù)據(jù)的內(nèi)在價值，數(shù)據(jù)成為了堆砌。因此，對于數(shù)據(jù)精準(zhǔn)分析的需求正在呼喚做數(shù)據(jù)分析的廠商們拿出下一步的舉動。比如說，在淘寶龐大的用戶群中，淘寶賣家如何精準(zhǔn)掌握一個新用戶的需求？一家飯館如何利用細(xì)節(jié)滿足每一個食客對于美味的需求？越來越多的應(yīng)用需求推動著大數(shù)據(jù)的發(fā)展。更主要的是，未來可能各種傳感器會出現(xiàn)在社會的各個地方，數(shù)據(jù)會更多，比如交通、醫(yī)療等等，數(shù)據(jù)的采集已經(jīng)不是問題，難點已經(jīng)轉(zhuǎn)換為處理和分析。如此巨量的數(shù)據(jù)，處理難度可想而知。大數(shù)據(jù)給中國市場帶來什么？大數(shù)據(jù)應(yīng)用需求在中國更加明顯。中國人口眾多，各行各業(yè)都呈現(xiàn)出極快的增長速度，電商、快遞、微博、社交等都承載了大量的個人信息；大型超市、賣場、商場、銀行等集聚了大量交易信息，日新月異的城市建設(shè)中，連接著更多數(shù)據(jù)采集傳感器和嵌入式設(shè)備的物聯(lián)網(wǎng)開始成型……如何應(yīng)對機(jī)遇與挑戰(zhàn)大數(shù)據(jù)時代，人們能做些什么？大數(shù)據(jù)產(chǎn)生和存在于各行各業(yè)，盡管分析和處理困難，但也可以通過相關(guān)性的技術(shù)手段對大數(shù)據(jù)進(jìn)行統(tǒng)計分析，應(yīng)用其結(jié)果。例如：在教育領(lǐng)域使用大數(shù)據(jù)來分析學(xué)生的個性和愛好，真正做到因材施教，提高教學(xué)質(zhì)量；在企業(yè)管理領(lǐng)域應(yīng)用大數(shù)據(jù)分析，真正將粗放型管理變?yōu)榫?xì)型管理，提高效率，節(jié)省開支，并應(yīng)對公司在發(fā)展進(jìn)程中帶來的管理問題。在企業(yè)生產(chǎn)中應(yīng)用大數(shù)據(jù)分析，優(yōu)化各項生產(chǎn)、工作流程提高效率效益。在商業(yè)領(lǐng)域應(yīng)用大數(shù)據(jù)分析商品銷售熱點和了解顧客即時需求。今后，在大數(shù)據(jù)技術(shù)領(lǐng)域的競爭將直接關(guān)系到國家安全和未來，國家層面的競爭力將部分體現(xiàn)為一國擁有數(shù)據(jù)的規(guī)模、活性以及解釋、運(yùn)用的能力。美國已率先將大數(shù)據(jù)應(yīng)用從商業(yè)行為上升到國家意志：2012年3月29日，美國奧巴馬政府投資2億美元啟動“大數(shù)據(jù)研究與開發(fā)計劃”，提出“通過收集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，強(qiáng)化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式”。在我國，與大數(shù)據(jù)相關(guān)的產(chǎn)業(yè)剛剛起步，無疑將迎來很好的發(fā)展機(jī)遇！保障數(shù)據(jù)及應(yīng)對人隱私泄露的解決辦法有：①通過物理隔離以及與權(quán)限控制相結(jié)合，實現(xiàn)對數(shù)據(jù)的隔離，保證數(shù)據(jù)不被非法訪問并保證用戶數(shù)據(jù)的隱私。②通過信息加密的功能，防止用戶信息被盜取。用戶的關(guān)鍵信息，如登錄密碼和系統(tǒng)訪問等其他鑒權(quán)信息，無論是傳輸時還是在存儲時必須加密。③通過對硬盤實施有效的保護(hù)：保證即使硬盤被竊取，非法用戶也無法從硬盤中獲取有效的用戶數(shù)據(jù)。將數(shù)據(jù)切片存儲在不同的云存儲節(jié)點和硬盤上，數(shù)據(jù)無法通過單個硬盤恢復(fù)。故障硬盤無需進(jìn)行數(shù)據(jù)清除即可直接廢棄，用戶數(shù)據(jù)不會通過硬盤泄露。④通過立法來保障企業(yè)的商業(yè)機(jī)密及個人隱私不被非法應(yīng)用。大數(shù)據(jù)時代的挑戰(zhàn)大數(shù)據(jù)面臨的挑戰(zhàn)是多方面的：（1）數(shù)據(jù)的快速增長對存儲空間、存儲技術(shù)、數(shù)據(jù)壓縮技術(shù)、能源消耗的挑戰(zhàn)：大數(shù)據(jù)需要占用大量的存儲空間，盡管存儲性價比在提高，壓縮技術(shù)也在不斷發(fā)展，但保存數(shù)據(jù)所消耗能也在大量增長。解決辦法是研制出新一代高密度、低能耗存儲設(shè)備。（2）數(shù)據(jù)本身安全及個人隱私泄露面臨的挑戰(zhàn)：在海量數(shù)據(jù)洪流中，在線對話與在線交易活動日益增加，其安全威脅更為嚴(yán)峻。大數(shù)據(jù)環(huán)境下通過對用戶數(shù)據(jù)的深度分析，很容易了解用戶行為和喜好，嚴(yán)重的將導(dǎo)致企業(yè)的商業(yè)機(jī)密及個人隱私泄露。（3）網(wǎng)絡(luò)帶寬能力與對數(shù)據(jù)處理能力面臨的挑戰(zhàn)：網(wǎng)絡(luò)帶寬是瓶勁，尤其表現(xiàn)在各網(wǎng)絡(luò)接入商之間的互聯(lián)互通出口上；大數(shù)據(jù)時代網(wǎng)絡(luò)必須有足夠的帶寬支持，才能保證數(shù)據(jù)實時性。數(shù)據(jù)計算能力是應(yīng)對數(shù)據(jù)洪流時的又一挑戰(zhàn)，采用分布式計算可以解決其中的一些問題，但部署相對較復(fù)雜。（4）有效數(shù)據(jù)擷取面臨的挑戰(zhàn)：從海量數(shù)據(jù)中提取隱含在其中的、潛在有用信息和知識的過程十分復(fù)雜的，需要反復(fù)“去偽存真”。通常要經(jīng)過業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、建立挖掘模型、評估和部署等多個步驟。即在開始數(shù)據(jù)分析之前，我們必須了解業(yè)務(wù)需求，根據(jù)需求明確業(yè)務(wù)目標(biāo)和要求；接下來便是對現(xiàn)有數(shù)據(jù)進(jìn)行評估，并對原始數(shù)據(jù)進(jìn)行組織、清理、集成、變換等一系列數(shù)據(jù)收集和預(yù)處理工作；在搞好數(shù)據(jù)清理的基礎(chǔ)上，應(yīng)用相關(guān)算法和工具建立分析模型；之后對所建立的模型進(jìn)行評估，重點具體考慮得出的結(jié)果是否符合最初的業(yè)務(wù)目標(biāo)；最后，便可將發(fā)現(xiàn)的結(jié)果以及過程利用各種可視化技術(shù)（報表、報告、圖形等）呈現(xiàn)出來。大數(shù)據(jù)給人文社會科學(xué)帶來哪些挑戰(zhàn)？大數(shù)據(jù)時代的來臨,數(shù)據(jù)逐漸成為重要的生產(chǎn)要素。而傳統(tǒng)人文社科普遍數(shù)據(jù)采集能力不足,只有通過技術(shù)創(chuàng)新和方法上的創(chuàng)新,文科與理科、工科相結(jié)合,才能帶來質(zhì)的突破。大數(shù)據(jù)時代為突發(fā)公共事件的輿情帶來什么機(jī)遇和挑戰(zhàn)？數(shù)據(jù)的最終作用是為領(lǐng)導(dǎo)者決策或執(zhí)行部門的行動提供參考,如何有效整合大數(shù)據(jù),首先要做到快速分析、及時反應(yīng)和動態(tài)應(yīng)用,其次是在技術(shù)上實現(xiàn)對海量數(shù)據(jù)和信息的存儲、深度挖掘和實時監(jiān)測,實現(xiàn)精準(zhǔn)地采集和預(yù)警。目前人民網(wǎng)已建立了基于全網(wǎng)大數(shù)據(jù)內(nèi)容的突發(fā)公共事件輿情應(yīng)對方案,可通過信息化的手段對全網(wǎng)大數(shù)據(jù)信息進(jìn)行一小