網(wǎng)絡(luò)新技術(shù)大數(shù)據(jù)

大數(shù)據(jù)Bigdata大數(shù)據(jù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。(在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)的方法）大數(shù)據(jù)的4V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、veracity（真實(shí)性）。大數(shù)據(jù)“大數(shù)據(jù)”作為時(shí)下最火熱的IT行業(yè)的詞匯，隨之而來(lái)的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等等圍繞大數(shù)據(jù)的商業(yè)價(jià)值的利用逐漸成為行業(yè)人士爭(zhēng)相追捧的利潤(rùn)焦點(diǎn)。對(duì)于“大數(shù)據(jù)”（Bigdata）研究機(jī)構(gòu)Gartner給出了這樣的定義?！按髷?shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。“大數(shù)據(jù)”這個(gè)術(shù)語(yǔ)最早期的引用可追溯到apacheorg的開(kāi)源項(xiàng)目Nutch。當(dāng)時(shí)，大數(shù)據(jù)用來(lái)描述為更新網(wǎng)絡(luò)搜索索引需要同時(shí)進(jìn)行批量處理或分析的大量數(shù)據(jù)集。隨著谷歌MapReduce和GoogleFileSystem（GFS）的發(fā)布，大數(shù)據(jù)不再僅用來(lái)描述大量的數(shù)據(jù)，還涵蓋了處理數(shù)據(jù)的速度。大數(shù)據(jù)大數(shù)據(jù)早在1980年，著名未來(lái)學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書(shū)中，將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂(lè)章”。不過(guò)，大約從2009年開(kāi)始，“163大數(shù)據(jù)”才成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長(zhǎng)50%，每?jī)赡瓯銓⒎环?，而目前世界?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。此外，數(shù)據(jù)又并非單純指人們?cè)诨ヂ?lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設(shè)備、汽車、電表上有著無(wú)數(shù)的數(shù)碼傳感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。大數(shù)據(jù)大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘（SaaS），但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)（PaaS）和云存儲(chǔ)、虛擬化技術(shù)（IaaS）。大數(shù)據(jù)原理隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)（Bigdata）也吸引了越來(lái)越多的關(guān)注?！吨婆_(tái)》的分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)（Bigdata）通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。大數(shù)據(jù)原理最小的基本單位是Byte，，

它們按照進(jìn)率1024（2的十次方）來(lái)計(jì)算：

1Byte=8bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes

1GB=1,024MB=1,048,576KB1TB=1,024GB=1,048,576MB1PB=1,024TB=1,048,576GB1EB=1,024PB=1,048,576TB1ZB=1,024EB=1,048,576PB1YB=1,024ZB=1,048,576EB1BB=1,024YB=1,048,576ZB1NB=1,024BB=1,048,576YB1DB=1,024NB=1,048,576BB大數(shù)據(jù)原理大數(shù)據(jù)可分成大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等領(lǐng)域。目前人們談?wù)撟疃嗟氖谴髷?shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。工程和科學(xué)問(wèn)題尚未被重視。大數(shù)據(jù)工程指大數(shù)據(jù)的規(guī)劃建設(shè)運(yùn)營(yíng)管理的系統(tǒng)工程；大數(shù)據(jù)科學(xué)關(guān)注大數(shù)據(jù)網(wǎng)絡(luò)發(fā)展和運(yùn)營(yíng)過(guò)程中發(fā)現(xiàn)和驗(yàn)證大數(shù)據(jù)的規(guī)律及其與自然和社會(huì)活動(dòng)之間的關(guān)系。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。有些例子包括網(wǎng)絡(luò)日志，RFID，傳感器網(wǎng)絡(luò)，社會(huì)網(wǎng)絡(luò)，社會(huì)數(shù)據(jù)（由于數(shù)據(jù)革命的社會(huì)），互聯(lián)網(wǎng)文本和文件;互聯(lián)網(wǎng)搜索索引;呼叫詳細(xì)記錄，天文學(xué)，大氣科學(xué)，基因組學(xué)，生物地球化學(xué)，生物，和其他復(fù)雜和/或跨學(xué)科的科研，軍事偵察，醫(yī)療記錄;攝影檔案館視頻檔案;和大規(guī)模的電子商務(wù)。大數(shù)據(jù)用途簡(jiǎn)而言之，企業(yè)可以通過(guò)思考數(shù)據(jù)戰(zhàn)略的總體回報(bào)，來(lái)應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)，抓住大數(shù)據(jù)的機(jī)會(huì)。Informatica所指的‘?dāng)?shù)據(jù)回報(bào)率’，是為幫助高級(jí)IT和業(yè)務(wù)部門(mén)領(lǐng)導(dǎo)者進(jìn)行大數(shù)據(jù)基本的戰(zhàn)術(shù)和戰(zhàn)略含義的討論而設(shè)計(jì)的一個(gè)簡(jiǎn)單概念。等式非常簡(jiǎn)單：如果您提高數(shù)據(jù)對(duì)于業(yè)務(wù)部門(mén)的價(jià)值，同時(shí)降低管理數(shù)據(jù)的成本，從數(shù)據(jù)得到的回報(bào)就會(huì)增加--無(wú)論是用金錢衡量，還是更好的決策數(shù)據(jù)回報(bào)率=數(shù)據(jù)價(jià)值/數(shù)據(jù)成本在技術(shù)層面，數(shù)據(jù)回報(bào)率為數(shù)據(jù)集成、數(shù)據(jù)管理、商業(yè)智能和分析方面的投入提供了業(yè)務(wù)背景和案例。它還與解決業(yè)務(wù)的基礎(chǔ)有關(guān)：掙錢、省錢、創(chuàng)造機(jī)會(huì)和管理風(fēng)險(xiǎn)。它涉及對(duì)效率的考慮，同時(shí)推動(dòng)了改變游戲規(guī)則的洞察力。大數(shù)據(jù)數(shù)據(jù)回報(bào)容量問(wèn)題這里所說(shuō)的“大容量”通?？蛇_(dá)到PB級(jí)的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲(chǔ)系統(tǒng)也一定要有相應(yīng)等級(jí)的擴(kuò)展能力。與此同時(shí)，存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡(jiǎn)便，可以通過(guò)增加模塊或磁盤(pán)柜來(lái)增加容量，甚至不需要停機(jī)。在解決容量問(wèn)題上，不得不提LSI公司的全新Nytro?智能化閃存解決方案，采用Nytro產(chǎn)品，客戶可以將數(shù)據(jù)庫(kù)事務(wù)處理性能提高30倍，并且超過(guò)每秒4.0GB1的持續(xù)吞吐能力，非常適用于大數(shù)據(jù)分析。延遲問(wèn)題“大數(shù)據(jù)”應(yīng)用還存在實(shí)時(shí)性的問(wèn)題。特別是涉及到與網(wǎng)上交易或者金融類相關(guān)的應(yīng)用。有很多“大數(shù)據(jù)”應(yīng)用環(huán)境需要較高的IOPS性能，比如HPC高性能計(jì)算。此外，服務(wù)器虛擬化的普及也導(dǎo)致了對(duì)高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲(chǔ)設(shè)備應(yīng)運(yùn)而生，小到簡(jiǎn)單的在服務(wù)器內(nèi)部做高速緩存，大到全固態(tài)介質(zhì)可擴(kuò)展存儲(chǔ)系統(tǒng)通過(guò)高性能閃存存儲(chǔ)，自動(dòng)、智能地對(duì)熱點(diǎn)數(shù)據(jù)進(jìn)行讀/寫(xiě)高速緩存的LSINytro系列產(chǎn)品等等都在蓬勃發(fā)展。大數(shù)據(jù)相關(guān)問(wèn)題安全問(wèn)題某些特殊行業(yè)的應(yīng)用，比如金融數(shù)據(jù)、醫(yī)療信息以及政府情報(bào)等都有自己的安全標(biāo)準(zhǔn)和保密性需求。雖然對(duì)于IT管理者來(lái)說(shuō)這些并沒(méi)有什么不同，而且都是必須遵從的，但是，大數(shù)據(jù)分析往往需要多類數(shù)據(jù)相互參考，而在過(guò)去并不會(huì)有這種數(shù)據(jù)混合訪問(wèn)的情況，大數(shù)據(jù)應(yīng)用催生出一些新的、需要考慮的安全性問(wèn)題，這就充分體現(xiàn)出利用基于DuraClass?技術(shù)的LSISandForce®閃存處理器的優(yōu)勢(shì)了，實(shí)現(xiàn)了企業(yè)級(jí)閃存性能和可靠性，實(shí)現(xiàn)簡(jiǎn)單、透明的應(yīng)用加速，既安全又方便。大數(shù)據(jù)相關(guān)問(wèn)題成本問(wèn)題對(duì)于那些正在使用大數(shù)據(jù)環(huán)境的企業(yè)來(lái)說(shuō)，成本控制是關(guān)鍵的問(wèn)題。想控制成本，就意味著我們要讓每一臺(tái)設(shè)備都實(shí)現(xiàn)更高的“效率”，同時(shí)還要減少那些昂貴的部件。重復(fù)數(shù)據(jù)刪除等技術(shù)已經(jīng)進(jìn)入到主存儲(chǔ)市場(chǎng)，而且還可以處理更多的數(shù)據(jù)類型，這都可以為大數(shù)據(jù)存儲(chǔ)應(yīng)用帶來(lái)更多的價(jià)值，提升存儲(chǔ)效率。在數(shù)據(jù)量不斷增長(zhǎng)的環(huán)境中，通過(guò)減少后端存儲(chǔ)的消耗，哪怕只是降低幾個(gè)百分點(diǎn)，這種錙銖必較的服務(wù)器也只有LSI推出的Syncro?MX-B機(jī)架服務(wù)器啟動(dòng)盤(pán)設(shè)備都能夠獲得明顯的投資回報(bào)，當(dāng)今，數(shù)據(jù)中心使用的傳統(tǒng)引導(dǎo)驅(qū)動(dòng)器不僅故障率高，而且具有較高的維修和更換成本。如果用它替換數(shù)據(jù)中心的獨(dú)立服務(wù)器引導(dǎo)驅(qū)動(dòng)器，則能將可靠性提升多達(dá)100倍。并且對(duì)主機(jī)系統(tǒng)是透明的，能為每一個(gè)附加服務(wù)器提供唯一的引導(dǎo)鏡像，可簡(jiǎn)化系統(tǒng)管理，提升可靠性，并且節(jié)電率高達(dá)60%，真正做到了節(jié)省成本的問(wèn)題。大數(shù)據(jù)相關(guān)問(wèn)題數(shù)據(jù)的積累許多大數(shù)據(jù)應(yīng)用都會(huì)涉及到法規(guī)遵從問(wèn)題，這些法規(guī)通常要求數(shù)據(jù)要保存幾年或者幾十年。比如醫(yī)療信息通常是為了保證患者的生命安全，而財(cái)務(wù)信息通常要保存7年。而有些使用大數(shù)據(jù)存儲(chǔ)的用戶卻希望數(shù)據(jù)能夠保存更長(zhǎng)的時(shí)間，因?yàn)槿魏螖?shù)據(jù)都是歷史記錄的一部分，而且數(shù)據(jù)的分析大都是基于時(shí)間段進(jìn)行的。要實(shí)現(xiàn)長(zhǎng)期的數(shù)據(jù)保存，就要求存儲(chǔ)廠商開(kāi)發(fā)出能夠持續(xù)進(jìn)行數(shù)據(jù)一致性檢測(cè)的功能以及其他保證長(zhǎng)期高可用的特性。同時(shí)還要實(shí)現(xiàn)數(shù)據(jù)直接在原位更新的功能需求。靈活性大數(shù)據(jù)存儲(chǔ)系統(tǒng)的基礎(chǔ)設(shè)施規(guī)模通常都很大，因此必須經(jīng)過(guò)仔細(xì)設(shè)計(jì)，才能保證存儲(chǔ)系統(tǒng)的靈活性，使其能夠隨著應(yīng)用分析軟件一起擴(kuò)容及擴(kuò)展。在大數(shù)據(jù)存儲(chǔ)環(huán)境中，已經(jīng)沒(méi)有必要再做數(shù)據(jù)遷移了，因?yàn)閿?shù)據(jù)會(huì)同時(shí)保存在多個(gè)部署站點(diǎn)。一個(gè)大型的數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施一旦開(kāi)始投入使用，就很難再調(diào)整了，因此它必須能夠適應(yīng)各種不同的應(yīng)用類型和數(shù)據(jù)場(chǎng)景。大數(shù)據(jù)相關(guān)問(wèn)題應(yīng)用感知最早一批使用大數(shù)據(jù)的用戶已經(jīng)開(kāi)發(fā)出了一些針對(duì)應(yīng)用的定制的基礎(chǔ)設(shè)施，比如針對(duì)政府項(xiàng)目開(kāi)發(fā)的系統(tǒng)，還有大