淺談大數(shù)據(jù)及展望未來

XXX移動(dòng)互聯(lián)網(wǎng)、傳感器、物聯(lián)網(wǎng)、社交網(wǎng)站、云計(jì)算等的興起，我們這個(gè)社會(huì)的兒乎所有方面都已數(shù)字化，產(chǎn)生了大量新型、實(shí)時(shí)的數(shù)據(jù)。無疑，我們已身處在大數(shù)據(jù)的海洋。有兩個(gè)重要的趨勢(shì)使得目前的這個(gè)時(shí)代（大數(shù)據(jù)時(shí)代）與之前有顯著的差別：其一,社會(huì)生活的廣泛數(shù)字化,其產(chǎn)生數(shù)據(jù)的規(guī)模、復(fù)雜性及速度都已遠(yuǎn)遠(yuǎn)超過此前的任何時(shí)代：其二，人類的數(shù)據(jù)分析技術(shù)和工藝使得各機(jī)構(gòu)、組織和企業(yè)能夠以從前無法達(dá)到的復(fù)朵度、速度和精準(zhǔn)度從龐雜的數(shù)據(jù)中獲得史無前例的洞察力和預(yù)見性。大數(shù)據(jù)是技術(shù)進(jìn)步的產(chǎn)物，而其中的關(guān)鍵是云技術(shù)的進(jìn)步。在云技術(shù)中，虛擬化技術(shù)乃最基本、最核心的組成部份。計(jì)算虛擬化、存儲(chǔ)虛擬化和網(wǎng)絡(luò)虛擬化技術(shù)，使得大數(shù)據(jù)在數(shù)據(jù)存儲(chǔ)、挖掘、分析和應(yīng)用分享等方面不僅在技術(shù)上可行，在經(jīng)濟(jì)上也可接受。世界以及人類自身，試圖找到隱藏其中的深刻關(guān)聯(lián)、運(yùn)行規(guī)律及終極答案。大數(shù)據(jù)以其人類史上從未有過的龐大容量、極大的復(fù)雜性、快速的生產(chǎn)及經(jīng)濟(jì)可得性，使人類第一次試圖從總體而非樣本，從混雜性而非精確性，從相關(guān)關(guān)系而非因果關(guān)系來測(cè)量、計(jì)量我們這個(gè)世界。人類的思維方式、行為方式及社會(huì)生活的諸多形態(tài)（當(dāng)然包括商業(yè)活動(dòng)）正在開始發(fā)生新的變化?；蛟S是一場革命性、顛覆性的變化。從這個(gè)意義上講，大數(shù)據(jù)不僅是一場技術(shù)運(yùn)動(dòng),更是一次哲學(xué)創(chuàng)新。大數(shù)據(jù)（BigData）是指那些超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和轉(zhuǎn)輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫系統(tǒng)。為了獲取大數(shù)據(jù)中的價(jià)值,我們必須選擇另一種些信息。如沃爾瑪或谷歌這類領(lǐng)先企業(yè)都要付高昂的代價(jià)才能從大數(shù)據(jù)中挖掘信息。而當(dāng)今的各種資源，如硬件、云架構(gòu)和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價(jià)。即使是在車庫中創(chuàng)業(yè)的公司也可以用較低的價(jià)格租用云服務(wù)時(shí)間了“對(duì)于企業(yè)組織來講,大數(shù)據(jù)的價(jià)值體現(xiàn)在兩個(gè)方面：分析使用和二次開發(fā)。對(duì)大數(shù)據(jù)進(jìn)行分析能揭示隱藏其售、地理和社會(huì)信息的分析能提升對(duì)客戶的理解。對(duì)大數(shù)據(jù)的二次開發(fā)則是那些成功的網(wǎng)絡(luò)公司新的廣告模式。這種通過大數(shù)據(jù)創(chuàng)造出新產(chǎn)品和服務(wù)的商業(yè)行為并非巧合，谷歌、雅虎、亞馬遜舉行。英特爾公司中國研究院吳甘沙出席論壇并做了題U為“大數(shù)據(jù)的探索歷程一一回歸初心”的主題演講。吳甘沙談了做大數(shù)據(jù)研究一路走來著重處理的三個(gè)關(guān)系。的問題。做了兒十年的數(shù)據(jù)倉庫其至海量并行處理的數(shù)據(jù)庫都不能處理那么大的數(shù)據(jù)，怎么辦?需要范式切換。主要有三個(gè)方面，新型的數(shù)據(jù)與機(jī)器關(guān)系當(dāng)中的笫一條就是重新考慮架構(gòu)與算法,重新考慮舍得，有舍才能得，天下沒有免費(fèi)的午餐，所以必須要舍棄一些，得到一些新的。必須舍棄可水平擴(kuò)展服務(wù)器處理每兩年翻番的數(shù)據(jù)量的挑戰(zhàn)。笫二個(gè)舍得是舍棄碩件的可靠性和可用性，得統(tǒng)數(shù)據(jù)庫的強(qiáng)一致性,獲得更放松一致性、可擴(kuò)展架構(gòu)，如NoSQLo第四個(gè)舍得是傳統(tǒng)算法強(qiáng)調(diào)非常嚴(yán)格的精確性，現(xiàn)在要放棄一些精確性，通過近似、采樣這種方式來獲得更好的擴(kuò)展性。行處理,獲得實(shí)時(shí)性，接著在存儲(chǔ)和內(nèi)存之間現(xiàn)在乂出現(xiàn)了閃存，有閃存化棋至全閃存的存儲(chǔ)，也期，兩年以后出現(xiàn)新的非易失性的閃存，它的速度可能要比閃存快兒百倍，和內(nèi)存相似，這乂會(huì)極第二層關(guān)系:數(shù)據(jù)與人的關(guān)系。主要是價(jià)值的覺醒，如果數(shù)據(jù)不能產(chǎn)生價(jià)值它可能是負(fù)面資產(chǎn)。數(shù)據(jù)怎么能夠給人帶來價(jià)值?我們介紹一下它的價(jià)值維度，把它映射到二維的時(shí)空象限里，用六個(gè)關(guān)鍵詞來描述它。笫一是“V。1lime”，兩個(gè)關(guān)鍵詞，小數(shù)據(jù)見微對(duì)個(gè)人進(jìn)行刻劃，大數(shù)據(jù)知著能夠了解宏觀規(guī)律，它是空間概念，同時(shí)也是時(shí)間概念，數(shù)據(jù)剛剛產(chǎn)生的時(shí)候，它的個(gè)性化價(jià)值、見微的價(jià)值最大，而隨著時(shí)間的推移，它漸漸退化到只有集合價(jià)值。第二是Ve1ocity,時(shí)間明。第三是Variety,多源異質(zhì)的數(shù)據(jù)，能夠過濾噪聲、查漏補(bǔ)缺、去偽存真，就是辯訛。還有曉意，能夠從大量的非結(jié)構(gòu)化數(shù)據(jù)中獲得語意,從而能夠使機(jī)器窺探人的思維境界，這六個(gè)價(jià)值維度解讀數(shù)據(jù)并利用數(shù)據(jù)。首先看洞察數(shù)據(jù)，數(shù)據(jù)科學(xué)，人和機(jī)器作用發(fā)生了消長，講個(gè)例子，機(jī)器學(xué)習(xí)大家覺得是機(jī)器的問題，其實(shí)人在里面起到很重要的作用，尤其是機(jī)器學(xué)習(xí)是模型加特征，而特征工程是一個(gè)人力工程，你要有經(jīng)驗(yàn)非常豐富的特征團(tuán)隊(duì)去死磕特征，找出更好、更多的特知道黑客帝國描述了一個(gè)場景，人腦袋后面插一個(gè)插頭，給機(jī)器提供營養(yǎng)，我可能不會(huì)那么悲觀,但是像這樣的互動(dòng)關(guān)系以一種更良性的方式出現(xiàn)了，現(xiàn)在人的一言一行、社交行為、金融行為都已經(jīng)成為機(jī)器的養(yǎng)料、機(jī)器的數(shù)據(jù)，使得機(jī)器獲得更好的洞察。終端用戶需要更好地、更傻瓜化的分析工具和可視化工具，兩年前我去參加大數(shù)據(jù)的會(huì)，基具。大數(shù)據(jù)跟各行各業(yè)的化學(xué)作用正在發(fā)生。如果馬化騰說“互聯(lián)網(wǎng)+”是互聯(lián)網(wǎng)與各行各業(yè)的加法效應(yīng),那么大數(shù)據(jù)將與各行各業(yè)產(chǎn)生乘法效應(yīng)。據(jù)可能是黑暗的數(shù)據(jù)，在政府、在企業(yè)里大家看不到。我們?cè)趺崔k呢?必須讓數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)。只有讓數(shù)據(jù)能夠發(fā)現(xiàn)數(shù)據(jù)、遇到數(shù)據(jù),才能產(chǎn)生金風(fēng)玉露一相逢、便勝卻人間無數(shù)的效果。這里有三個(gè)數(shù)據(jù)的隱私權(quán)，什么數(shù)據(jù)不能給你看;數(shù)據(jù)的許可權(quán),什么數(shù)據(jù)是可以給你看的;數(shù)據(jù)的審計(jì)權(quán)，我給你看了以后，你是不是按照許可的范闔去看;數(shù)據(jù)的分紅權(quán)。數(shù)據(jù)像原油乂不同于原油,原油用完了就沒有了，數(shù)據(jù)可以反復(fù)地產(chǎn)生價(jià)值，因此數(shù)據(jù)的擁有者應(yīng)該得到分紅。我們要保證數(shù)據(jù)的年姚期智老先生提出了口萬富翁的窘境的問題，兩個(gè)白萬富翁他們想要比誰更富，但是誰都不愿意說出來自己都多少錢,在我們的數(shù)據(jù)共享當(dāng)中要通過各種各樣的技術(shù)達(dá)到這樣的效果。還有數(shù)據(jù)交互聯(lián)網(wǎng)能發(fā)展起來經(jīng)濟(jì)學(xué)理論和實(shí)踐是很重要的支撐,梅特卡夫定律決定了一個(gè)互聯(lián)網(wǎng)公司的價(jià)值,跟它用戶數(shù)的平方成正比，乂比如說谷歌請(qǐng)最好的經(jīng)濟(jì)學(xué)家，它的一個(gè)廣告業(yè)務(wù)的核心就是建立在一個(gè)非常先進(jìn)的拍賣經(jīng)濟(jì)學(xué)的模型基礎(chǔ)上。數(shù)據(jù)經(jīng)濟(jì)也需要這樣一些基礎(chǔ)的理論，比如數(shù)據(jù)定價(jià)和信息定價(jià)不一樣,信息做一個(gè)咨詢報(bào)告5000美金賣給你，可以賣給所有人。但數(shù)據(jù)對(duì)不同大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程率和多樣化的信息資產(chǎn)。這也是一個(gè)描述性的定義，在對(duì)數(shù)據(jù)描述的基礎(chǔ)上加入了處理此類數(shù)據(jù)的一些特征，用這些特征來描述大數(shù)據(jù)。當(dāng)前，較為統(tǒng)一的認(rèn)識(shí)是大數(shù)據(jù)有四個(gè)基本特征：數(shù)據(jù)規(guī)模人電腦。此外，各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。數(shù)據(jù)種類多（Variety）—個(gè)普遍觀點(diǎn)認(rèn)為，人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造成。其中，部分傳感器安裝在火車、汽車和飛機(jī)上，每個(gè)傳感器都增加了數(shù)據(jù)的多樣性。于實(shí)現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器，創(chuàng)建實(shí)時(shí)數(shù)據(jù)流已成為流行趨勢(shì)。企業(yè)不僅需要相較傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)，大數(shù)據(jù)存在不規(guī)則和模糊不清的特性，造成很難其至無法使用傳統(tǒng)的應(yīng)用軟企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現(xiàn)的復(fù)雜數(shù)據(jù)中挖掘價(jià)值。除了有四個(gè)特性之外，大數(shù)據(jù)時(shí)代的數(shù)據(jù)還呈現(xiàn)出其他三個(gè)特征。第一個(gè)特征是數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求.第二個(gè)特征是數(shù)據(jù)價(jià)值密度相對(duì)較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在,信息第三個(gè)特征是處理速度快，時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。支，另一方面它是人工智能(AI,ArtificialIntel1igence)的核心課題之一。析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測(cè)與殘差分析、嶺回歸、logistic回歸分析、曲線估計(jì)、因子分析、聚類分析、主成分分析、因子分析、快6.數(shù)據(jù)挖掘：分類(Classification)>估計(jì)(Estimation)、預(yù)測(cè)(Prediction)、相關(guān)性分組模型預(yù)測(cè):預(yù)測(cè)模型、機(jī)器學(xué)8.結(jié)果呈現(xiàn)：云計(jì)算、標(biāo)簽大數(shù)據(jù)的釆集是指利用多個(gè)數(shù)據(jù)庫來接收發(fā)自客戶端(Web.App或者傳感器形式等)的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進(jìn)行簡單的查詢和處理工作。比如，電商會(huì)使用傳統(tǒng)的關(guān)系在大數(shù)據(jù)的釆集過程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高,因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬的用戶來進(jìn)行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時(shí)達(dá)到上口萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片的確些來自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基據(jù)進(jìn)行流式計(jì)算,來滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫，或者分布式計(jì)算集群來對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面,一些實(shí)時(shí)性需求會(huì)用到EMCSQL的列式存儲(chǔ)Infobright等，而一些批統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源,特別是I/O會(huì)有據(jù)上面進(jìn)行基于各種算法的計(jì)?算,從而起到預(yù)測(cè)(Predict)的效果，從而實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析且計(jì)?算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。整個(gè)大數(shù)據(jù)處理的普遍流程至少應(yīng)該滿足這四個(gè)方面的步驟,才能算得上是一個(gè)比較完整的大醫(yī)藥、文化產(chǎn)業(yè)等。金融，作為現(xiàn)代經(jīng)濟(jì)中樞，其實(shí)也已透出了大數(shù)據(jù)金融的曙光。金融業(yè)者也或推出自己的電商平臺(tái)，或與互聯(lián)網(wǎng)企業(yè)聯(lián)手提供相應(yīng)的金融產(chǎn)品和服務(wù)。尚未有一個(gè)統(tǒng)一的、規(guī)范的概念。在我看來，互聯(lián)網(wǎng)金融本來就是一個(gè)不確切的概念，也不可能有一個(gè)明確的定義。嚴(yán)格說來，所謂互聯(lián)網(wǎng)金融只是大數(shù)據(jù)金融的一種展現(xiàn)或形態(tài)。換言之，前者是流量、客戶等數(shù)據(jù)（信息）是其涉足金融業(yè)的基石。對(duì)金融企業(yè)而言，提供中介服務(wù)，撮合金融交易也是以數(shù)據(jù)（信息）為基礎(chǔ)。其次，沒有大數(shù)據(jù)技術(shù)的支撐，所謂互聯(lián)網(wǎng)金融也難以快速、持續(xù)融卻發(fā)展緩慢。當(dāng)然，其中原因很多,但其主要原因則是大數(shù)據(jù)技術(shù)是近兒年才快速發(fā)展起來的。最后，從金融企業(yè)來看，在數(shù)據(jù)中心建設(shè),軟硬件系統(tǒng)建設(shè)，數(shù)據(jù)（信息）挖掘、分析等方面也是做積極探索。因此，要準(zhǔn)確反映近年新金融趨勢(shì)，“大數(shù)據(jù)金融”比“互聯(lián)網(wǎng)金融”更為貼切。3.2大數(shù)據(jù)金融有以下七大特征網(wǎng)絡(luò)化的呈現(xiàn)。在大數(shù)據(jù)金融時(shí)代,大量的金融產(chǎn)品和服務(wù)通過網(wǎng)絡(luò)來展現(xiàn)，包括固定網(wǎng)絡(luò)和移動(dòng)網(wǎng)絡(luò)。其中，移動(dòng)網(wǎng)絡(luò)將會(huì)逐漸成為大數(shù)據(jù)金融服務(wù)的一個(gè)主要通道。隨著法律、監(jiān)管政策的完善，隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，將會(huì)有更多、更加豐富的金融產(chǎn)品和服務(wù)通過網(wǎng)絡(luò)呈現(xiàn)。支付結(jié)品銷售、金融咨詢等都將主要通過網(wǎng)絡(luò)實(shí)現(xiàn)，金融實(shí)體店將大量減少，其功能也將逐漸轉(zhuǎn)型。在風(fēng)險(xiǎn)管理理念上，財(cái)務(wù)分析（第一還款來源）、可抵押財(cái)產(chǎn)或其他保證（第二還款來源）重要性將有所降低。交易行為的真實(shí)性、信用的可信度通過數(shù)據(jù)的呈現(xiàn)方式將會(huì)更加重要，風(fēng)險(xiǎn)定價(jià)方式將會(huì)出現(xiàn)革命性變化。對(duì)客戶的評(píng)價(jià)將是全方位、立體的、活生生的，而不再是一個(gè)抽象的、模糊的客戶構(gòu)圖?；跀?shù)據(jù)挖掘的客戶識(shí)別和分類將成為風(fēng)險(xiǎn)管理的主要手段，動(dòng)態(tài)、實(shí)時(shí)的監(jiān)測(cè)而非事后的回顧式評(píng)價(jià)將成為風(fēng)險(xiǎn)管理的常態(tài)性內(nèi)容。稱程度大大降低。對(duì)某項(xiàng)金融產(chǎn)品（服務(wù)）的支持和評(píng)價(jià)，消費(fèi)者可實(shí)時(shí)獲知該信息。高效率性。大數(shù)據(jù)金融無疑是高效率的。許多流程和動(dòng)作都是在線上發(fā)起和完成，有些動(dòng)作是強(qiáng)大的數(shù)據(jù)分析能力可以將金融業(yè)務(wù)做到極高的效率，交易成本也會(huì)大幅降低。金融企業(yè)服務(wù)邊界擴(kuò)大。首先，就單個(gè)金融企業(yè)而言，其最合適經(jīng)營規(guī)模擴(kuò)大了。山于效率提會(huì)更快來臨，也會(huì)更平坦更寬。其次，基于大數(shù)據(jù)技術(shù)，金融從業(yè)人員個(gè)體服務(wù)對(duì)象會(huì)更多。換言之，單個(gè)金融企業(yè)從業(yè)人員會(huì)有減少的趨勢(shì)，或至少其市場人員有降低的趨勢(shì)。普惠金融。大數(shù)據(jù)金融的高效率性及擴(kuò)展的服務(wù)邊界，使金融服務(wù)的對(duì)象和范圍也大大擴(kuò)展，受到。其至極小金額的融資服務(wù)也會(huì)普遍發(fā)展起來。傳統(tǒng)金融想也不敢想的金融深化在大數(shù)據(jù)金3.3大數(shù)據(jù)金融圖景盡管大數(shù)據(jù)技術(shù)還處于早期發(fā)展階段,但大數(shù)據(jù)金融已透出了一片曙光。我們結(jié)合多方面的文獻(xiàn)和事實(shí)，試圖勾勒出大數(shù)據(jù)金融圖景。泛金融化。金融供給也許不再是傳統(tǒng)金融業(yè)者的專屬領(lǐng)地，許多具備大數(shù)據(jù)技術(shù)應(yīng)用能力的企業(yè)都會(huì)或多或少涉足、介入金融行業(yè)。在未來的某一天,也許鯉I與非銀行間,證券公司與非證界融合成為常態(tài)。同時(shí)，金融企業(yè)在提供傳統(tǒng)金融服務(wù)的同時(shí),其服務(wù)范圍、內(nèi)容也會(huì)泛金融化，多層次的行業(yè)格局。大數(shù)據(jù)金融時(shí)代，金融服務(wù)層次將空前豐富,既有行業(yè)寡頭，也有區(qū)域金融服務(wù)企業(yè)。同時(shí),也存在大量的地方、社區(qū)金融企業(yè)，也會(huì)出現(xiàn)無實(shí)體店的金融企業(yè)。行業(yè)市場更加細(xì)分。不同層次的消費(fèi)者都能享受到特定的金融服務(wù)。在此過程中，會(huì)催生許多與大數(shù)據(jù)金網(wǎng)絡(luò)化加新型實(shí)體店。大數(shù)據(jù)金融將網(wǎng)絡(luò)化呈現(xiàn)和線下消費(fèi)者體驗(yàn)相互融合，以滿足金融消費(fèi) 者不同需求。網(wǎng)絡(luò)化尤其是移動(dòng)網(wǎng)絡(luò)的迅速發(fā)展，金融服務(wù)場景會(huì)發(fā)生很大變化，所謂"3A” 務(wù)、更多社會(huì)化服務(wù)會(huì)成為金融實(shí)體店的主要內(nèi)容。高度個(gè)性化金融。大數(shù)據(jù)金融時(shí)代，客戶已被高度數(shù)據(jù)化。大數(shù)據(jù)技術(shù)的進(jìn)步，使成千上萬的客戶都能被精準(zhǔn)細(xì)分與定位，真正實(shí)現(xiàn)以客戶為中心。金融企業(yè)的服務(wù)將是高度個(gè)性化的，能4大數(shù)據(jù)應(yīng)用中的三大未解難題近年來，大數(shù)據(jù)這個(gè)詞成為互聯(lián)網(wǎng)領(lǐng)域關(guān)注度最高的詞匯，時(shí)至今日，大數(shù)據(jù)已經(jīng)不再是IT圈的“專利”了,從去年的春晚，到剛剛過去的兩會(huì)，都能見到它的身影，但實(shí)際上春晚與兩會(huì)的數(shù)據(jù)都只能叫做小數(shù)據(jù)，它與真正的大數(shù)據(jù)還相差棋遠(yuǎn)。即便如此，數(shù)據(jù)所產(chǎn)生的價(jià)值已經(jīng)被人是結(jié)構(gòu)化的數(shù)據(jù)，我們一般將這些數(shù)據(jù)進(jìn)行分類、排序等操作，將相同類型的數(shù)據(jù)進(jìn)行對(duì)比、分析、挖掘，總而言之基本上都是統(tǒng)計(jì)工作。到了第二階段，數(shù)據(jù)的范圍擴(kuò)大到行業(yè)內(nèi)，各種各樣的據(jù)，在這一階段的特點(diǎn)就是非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)并存，且數(shù)據(jù)量巨大，要對(duì)這些數(shù)據(jù)進(jìn)行分析第三階段則是未來大數(shù)據(jù)發(fā)展的理想化狀態(tài)，首先它一定是跨行業(yè)的，且數(shù)據(jù)的范圉是整個(gè)社會(huì)。通過對(duì)這些數(shù)據(jù)進(jìn)行分析加以使用，將直接改變我們的生活方式，這也是現(xiàn)在很多企業(yè)所設(shè)想的未來交通、醫(yī)療、教育等領(lǐng)域的發(fā)展方向。第三個(gè)階段是我們所憧憬的，但在我們所處的第二階段面對(duì)的更多是問題。其中的一個(gè)問題就是“大”。大數(shù)據(jù)給人最直觀的感受就是大，它所帶來的問題不僅僅是存儲(chǔ)，更多的是龐大的這些設(shè)備每天所拍攝的視頻及照片產(chǎn)生的數(shù)據(jù)量是驚人的,僅照片每天就能產(chǎn)生2千萬張，而對(duì)嫌疑車輛的監(jiān)控，當(dāng)你想要使用這些數(shù)據(jù)的時(shí)候，傳統(tǒng)的數(shù)據(jù)庫以及系統(tǒng)架構(gòu)，放進(jìn)這么龐大的數(shù)據(jù)，是根本跑不動(dòng)的。這一問題導(dǎo)致很多企業(yè)對(duì)大數(shù)據(jù)望而卻步。西：分布式存儲(chǔ)(HDFS)和分布式計(jì)算(Mapreduc底層技術(shù)的復(fù)雜性。山此可見想要用好大數(shù)據(jù)又是一大考驗(yàn)。真想要用它來完成某些商業(yè)任務(wù)你還得是個(gè)“土豪”。在國外那些使用大數(shù)據(jù)的成功案例里，亞定制系統(tǒng)。從上面兩個(gè)案例來看用于商業(yè)用途的大數(shù)據(jù)現(xiàn)階段還是很費(fèi)錢的，隨著大數(shù)據(jù)軟件環(huán)境逐漸成熟，開發(fā)工具增多，價(jià)格在未來會(huì)逐漸降低。從上面羅列的這三點(diǎn)困難，其實(shí)并不是要給大數(shù)據(jù)潑冷水，而是想說大數(shù)據(jù)想要淘金并不簡確定了自己的能力之后，選擇一個(gè)能夠發(fā)揮你現(xiàn)有資源最大價(jià)值的項(xiàng)Uo如果你需要幫手，應(yīng)先考具，為以后的擴(kuò)充打好基礎(chǔ)。更重要的是——從小規(guī)模做起。5大數(shù)據(jù)創(chuàng)新的驅(qū)動(dòng)力計(jì)算機(jī)科學(xué)與技術(shù)的發(fā)展使得大規(guī)模信息處理基礎(chǔ)設(shè)施產(chǎn)生重要改變。在過去的30年中，經(jīng)在這個(gè)過程中，相關(guān)的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘分析技術(shù)也成為一個(gè)熱點(diǎn)研究方向;人們認(rèn)識(shí)到數(shù)據(jù)處理過程中的信息可以被有效整理和分析來支持以數(shù)據(jù)為中心的決策支持。數(shù)據(jù)庫管理系統(tǒng)在LI前的互聯(lián)網(wǎng)時(shí)代繼續(xù)占據(jù)了重要地位。在一個(gè)典型的互聯(lián)網(wǎng)服務(wù)系統(tǒng)在這個(gè)系統(tǒng)架構(gòu)中，人們期望系統(tǒng)能支持無限次和舟速的互聯(lián)網(wǎng)用戶訪問，這個(gè)時(shí)候數(shù)據(jù)庫層山很難提供良好的解決方案。另一個(gè)大數(shù)據(jù)相關(guān)的挑戰(zhàn)是服務(wù)器端數(shù)據(jù)中心的數(shù)據(jù)維護(hù)及安全隱私crosoft等公司也紛紛開發(fā)自己的云汁算系統(tǒng)。盡管云訃算在互聯(lián)網(wǎng)應(yīng)用中已經(jīng)體現(xiàn)出很多優(yōu)越性，其在系統(tǒng)成熟性、可用性等方面還有很大提高空間。包括數(shù)據(jù)獲取、組織管理、分析處理和應(yīng)用呈現(xiàn)等整個(gè)數(shù)據(jù)管理生命周期。針對(duì)數(shù)據(jù)管理和分析和流處理、通用數(shù)據(jù)處理等等。大數(shù)據(jù)不但給數(shù)據(jù)庫研究領(lǐng)域,同時(shí)也給體系結(jié)構(gòu)、存儲(chǔ)系統(tǒng)、系題的根本,并驅(qū)動(dòng)眾多新科技的發(fā)展。6大數(shù)據(jù)的發(fā)展前景大數(shù)據(jù)的概念來