大數(shù)據(jù)詳細(xì)介紹

大數(shù)據(jù)詳細(xì)介紹.隨著移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)和電子商務(wù)的普及，互聯(lián)網(wǎng)應(yīng)用領(lǐng)域不斷拓展，我們正在進(jìn)入一個(gè)數(shù)據(jù)爆炸的時(shí)代，即大數(shù)據(jù)時(shí)代。大數(shù)據(jù)對(duì)社會(huì)經(jīng)濟(jì)、政治、文化和人類生活等方面產(chǎn)生了深遠(yuǎn)的影響，同時(shí)也提出了新的挑戰(zhàn)和機(jī)遇。大數(shù)據(jù)是當(dāng)下最熱門的IT行業(yè)術(shù)語，圍繞著大數(shù)據(jù)的商業(yè)價(jià)值的利用，數(shù)據(jù)倉庫、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等已成為行業(yè)人士爭相追捧的利潤焦點(diǎn)。大數(shù)據(jù)時(shí)代的背景是信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，這一現(xiàn)象越來越受到關(guān)注。大數(shù)據(jù)時(shí)代的到來已經(jīng)出現(xiàn)在《紐約時(shí)報(bào)》和《華爾街時(shí)報(bào)》的專欄封面上，甚至進(jìn)入美國白宮網(wǎng)的新聞。在國內(nèi)，大數(shù)據(jù)時(shí)代也已經(jīng)成為一些互聯(lián)網(wǎng)主題的講座沙龍中的熱門話題。國君證券、國泰君安、銀河證券等也將大數(shù)據(jù)時(shí)代寫進(jìn)了投資推薦報(bào)告。大數(shù)據(jù)時(shí)代的到來得益于移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)和電子商務(wù)的發(fā)展，這些應(yīng)用拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域。然而，我們?cè)谙硎鼙憷耐瑫r(shí)，也無償貢獻(xiàn)了自己的個(gè)人信息。每個(gè)人在互聯(lián)網(wǎng)進(jìn)入到大數(shù)據(jù)時(shí)代，都將是透明性存在。各種數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展。雖然現(xiàn)在企業(yè)可能并沒有意識(shí)到數(shù)據(jù)爆炸性增長帶來的隱患，但是隨著時(shí)間的推移，人們將越來越多地意識(shí)到數(shù)據(jù)對(duì)企業(yè)的重要性。大數(shù)據(jù)時(shí)代對(duì)人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。大數(shù)據(jù)指的是海量的數(shù)據(jù)信息，它每年都在以驚人的速度增長。互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長50%，每兩年便將翻一番。此外，數(shù)據(jù)不僅僅是指人們?cè)诨ヂ?lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設(shè)備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時(shí)測量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。Gartner研究機(jī)構(gòu)定義了“大數(shù)據(jù)”的概念，即指海量、高增長率和多樣化的信息資產(chǎn)，需要新的處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力。最早引用“大數(shù)據(jù)”這個(gè)術(shù)語的是apacheorg的開源項(xiàng)目Nutch，用于描述更新網(wǎng)絡(luò)搜索索引需要同時(shí)進(jìn)行批量處理或分析的大量數(shù)據(jù)集。隨著谷歌MapReduce和GoogleFileSystem（GFS）的發(fā)布，“大數(shù)據(jù)”不再僅用來描述大量的數(shù)據(jù)，還包括處理數(shù)據(jù)的速度?！按髷?shù)據(jù)”是指超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)，其數(shù)據(jù)規(guī)模和傳輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫系統(tǒng)。為了獲取其中的價(jià)值，必須選擇另一種方式來處理它。數(shù)據(jù)中隱藏著有價(jià)值的模式和信息，而當(dāng)今的各種資源，如硬件、云架構(gòu)和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價(jià)。對(duì)企業(yè)組織來講，大數(shù)據(jù)的價(jià)值體現(xiàn)在分析使用和二次開發(fā)上。分析使用能揭示隱藏其中的信息，而二次開發(fā)則能創(chuàng)造出新產(chǎn)品和服務(wù)。隨著云計(jì)算時(shí)代的到來，大數(shù)據(jù)也吸引了越來越多的關(guān)注。大數(shù)據(jù)通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時(shí)會(huì)花費(fèi)過多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)，能夠從各種各樣類型的數(shù)據(jù)中快速獲得有價(jià)值信息。這一點(diǎn)促使該技術(shù)具備走向眾多企業(yè)的潛力。大數(shù)據(jù)是一個(gè)涵蓋多個(gè)領(lǐng)域的概念，包括大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等。目前，人們主要關(guān)注大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用，而大數(shù)據(jù)工程和科學(xué)問題則尚未受到足夠的重視。大數(shù)據(jù)工程涉及到大數(shù)據(jù)系統(tǒng)的規(guī)劃、建設(shè)、運(yùn)營和管理，而大數(shù)據(jù)科學(xué)則關(guān)注于發(fā)現(xiàn)和驗(yàn)證大數(shù)據(jù)規(guī)律，以及與自然和社會(huì)活動(dòng)之間的關(guān)系。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)具有四個(gè)特性。首先，數(shù)據(jù)量呈現(xiàn)出海量性，預(yù)計(jì)到2020年，全球數(shù)據(jù)量將擴(kuò)大50倍。其次，數(shù)據(jù)類型呈現(xiàn)出多樣性，包括新型多結(jié)構(gòu)數(shù)據(jù)，如網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話記錄和傳感器網(wǎng)絡(luò)等。第三，數(shù)據(jù)的高速性指的是數(shù)據(jù)被創(chuàng)建和移動(dòng)的速度，企業(yè)需要快速創(chuàng)建、處理和分析數(shù)據(jù)，以滿足用戶的實(shí)時(shí)需求。最后，數(shù)據(jù)易變性指的是數(shù)據(jù)具有多層結(jié)構(gòu)，呈現(xiàn)出多變的形式和類型，這對(duì)于傳統(tǒng)的應(yīng)用軟件進(jìn)行分析造成了很大的挑戰(zhàn)。除了以上四個(gè)特性之外，大數(shù)據(jù)還呈現(xiàn)出其他三個(gè)特征。首先，數(shù)據(jù)類型繁多，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片和地理位置信息等等，這對(duì)于數(shù)據(jù)的處理能力提出了更高的要求。其次，數(shù)據(jù)價(jià)值密度相對(duì)較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。最后，數(shù)據(jù)的價(jià)值隨時(shí)間演變，需要不斷地分析和挖掘，以獲取更多的價(jià)值。和挑戰(zhàn)隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，未來的發(fā)展方向和趨勢也變得越來越清晰。首先，大數(shù)據(jù)技術(shù)將更加普及和應(yīng)用于各個(gè)行業(yè)和領(lǐng)域，從而實(shí)現(xiàn)更多的商業(yè)價(jià)值。其次，人工智能和機(jī)器學(xué)習(xí)等技術(shù)將與大數(shù)據(jù)技術(shù)相結(jié)合，進(jìn)一步提高數(shù)據(jù)處理的效率和精度。同時(shí)，數(shù)據(jù)安全和隱私保護(hù)的挑戰(zhàn)也越來越嚴(yán)峻，需要加強(qiáng)技術(shù)和法律方面的保障。最后，大數(shù)據(jù)技術(shù)的發(fā)展還需要更多的人才和投資支持，以推動(dòng)其在各個(gè)領(lǐng)域的廣泛應(yīng)用和創(chuàng)新發(fā)展。雖然大數(shù)據(jù)目前在國內(nèi)還處于初級(jí)階段，但是商業(yè)價(jià)值已經(jīng)顯現(xiàn)出來。未來，數(shù)據(jù)可能成為最大的交易商品。但是，僅僅擁有大量數(shù)據(jù)并不能算是大數(shù)據(jù)，而是要滿足數(shù)據(jù)量大、數(shù)據(jù)種類多、非標(biāo)準(zhǔn)化數(shù)據(jù)的特征才能真正稱之為大數(shù)據(jù)。因此，大數(shù)據(jù)的價(jià)值是通過數(shù)據(jù)共享和交叉復(fù)用來獲取最大的數(shù)據(jù)價(jià)值。從長遠(yuǎn)來看，大數(shù)據(jù)將會(huì)與基礎(chǔ)設(shè)施一樣，有數(shù)據(jù)提供方、管理者、監(jiān)管者，數(shù)據(jù)的交叉復(fù)用將大數(shù)據(jù)變成一大產(chǎn)業(yè)。大數(shù)據(jù)的整體態(tài)勢和發(fā)展趨勢主要體現(xiàn)在幾個(gè)方面：大數(shù)據(jù)與學(xué)術(shù)、大數(shù)據(jù)與人類的活動(dòng)、大數(shù)據(jù)的安全隱私、關(guān)鍵應(yīng)用、系統(tǒng)處理以及整個(gè)產(chǎn)業(yè)的影響。隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)規(guī)模將變得更大，數(shù)據(jù)資源化、數(shù)據(jù)的價(jià)值凸顯、數(shù)據(jù)私有化出現(xiàn)和聯(lián)盟共享。大數(shù)據(jù)的發(fā)展也將催生許多新興職業(yè)，例如數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師。有非常豐富的數(shù)據(jù)經(jīng)驗(yàn)的人才將成為稀缺人才。隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)共享聯(lián)盟將逐漸壯大成為產(chǎn)業(yè)的核心一環(huán)。然而，隨著大數(shù)據(jù)的共享越來越大，隱私問題也隨之而來，例如每天手機(jī)產(chǎn)生的通話、位置等等。這給帶來了便利的同時(shí)也給帶來了個(gè)人隱私的問題。數(shù)據(jù)資源化，大數(shù)據(jù)在國家、企業(yè)和社會(huì)層面成為重要的戰(zhàn)略資源，成為新的戰(zhàn)略制高點(diǎn)和搶購的新焦點(diǎn)。隨著社會(huì)的不斷發(fā)展，大數(shù)據(jù)對(duì)IT技術(shù)架構(gòu)的挑戰(zhàn)、大數(shù)據(jù)的生態(tài)環(huán)境問題、大數(shù)據(jù)的應(yīng)用及產(chǎn)業(yè)鏈將日益突出。大數(shù)據(jù)提供了成功的新前線，企業(yè)數(shù)據(jù)本身就蘊(yùn)藏著價(jià)值，但是將有用的數(shù)據(jù)與沒有價(jià)值的數(shù)據(jù)進(jìn)行區(qū)分看起來可能是一個(gè)棘手的問題。除了掌握的人員情況、工資表和客戶記錄，其他數(shù)據(jù)也擁有轉(zhuǎn)化為價(jià)值的力量。例如，一段記錄人們?nèi)绾卧谀纳痰隇g覽購物的視頻、人們?cè)谫徺I您的服務(wù)前后的所作所為、如何通過社交網(wǎng)絡(luò)聯(lián)系您的客戶、是什么吸引合作伙伴加盟、客戶如何付款以及供應(yīng)商喜歡的收款方式等所有這些場景都提供了很多指向，將它們抽絲剝繭，透過特殊的棱鏡觀察，將其與其他數(shù)據(jù)集對(duì)照，或者以與眾不同的方式分析解剖，就能讓您的行事方式發(fā)生天翻地覆的轉(zhuǎn)變。很多公司仍然只是簡單地堆積信息，把它們當(dāng)作必須保存的信息，而不是將其作為戰(zhàn)略轉(zhuǎn)變的工具。然而，數(shù)據(jù)和人員是業(yè)務(wù)部門僅有的兩個(gè)無法被競爭對(duì)手復(fù)制的財(cái)富。在善用的人手中，好的數(shù)據(jù)是所有管理決策的基礎(chǔ)，帶來的是對(duì)客戶的深入了解和競爭優(yōu)勢。因此，數(shù)據(jù)是業(yè)務(wù)部門的生命線，必須讓數(shù)據(jù)在決策和行動(dòng)時(shí)無縫且安全地流到人們手中。數(shù)據(jù)應(yīng)該隨時(shí)為決策提供依據(jù)。政府公開道路和公共交通的使用信息為一些私營公司提供了巨大的價(jià)值，這些公司能夠善用這些數(shù)據(jù)，創(chuàng)造滿足潛在需求的新產(chǎn)品和服務(wù)。企業(yè)需要向創(chuàng)造和獲取數(shù)據(jù)方面的投入索取回報(bào)。有效管理來自新舊來源的數(shù)據(jù)以及獲取能夠破解龐大數(shù)據(jù)集含義的工具只是等式的一部分，但是這種挑戰(zhàn)不容低估。產(chǎn)生的數(shù)據(jù)在數(shù)量上持續(xù)膨脹，富媒體需要新的方法來發(fā)現(xiàn)，合作和交流系統(tǒng)以非結(jié)構(gòu)化文本的形式保存數(shù)據(jù)，必須用一種智能的方式來解讀。然而，應(yīng)該將這種復(fù)雜性看成是一種機(jī)會(huì)而不是問題。處理方法正確時(shí)，產(chǎn)生的數(shù)據(jù)越多，結(jié)果就會(huì)越成熟可靠。傳感器、GPS系統(tǒng)和社交數(shù)據(jù)的新世界將帶來轉(zhuǎn)變運(yùn)營的驚人新視角和機(jī)會(huì)。自從有了IT部門，董事會(huì)就一直在要求信息管理專家提供洞察力。商業(yè)智能穩(wěn)居CXO們的重中之重。在理想的世界中，IT是巨大的杠桿，改變了公司的影響力，帶來競爭差異、節(jié)省金錢、增加利潤、愉