大數(shù)據(jù)技術(shù)的變革

大數(shù)據(jù)技術(shù)的變革

大數(shù)據(jù)的特征現(xiàn)在，社會(huì)生活的各個(gè)方面都已高速數(shù)據(jù)化。在互聯(lián)網(wǎng)浪潮推動(dòng)下,搜索引擎、電子商務(wù)、定向廣告等建立在海量數(shù)據(jù)之上的互聯(lián)網(wǎng)應(yīng)用取得了巨大成功,這啟發(fā)人們?nèi)ブ匦聦徱晹?shù)據(jù)的價(jià)值。2011年麥肯錫、世界經(jīng)濟(jì)論壇等對(duì)當(dāng)前數(shù)據(jù)大爆炸的現(xiàn)象進(jìn)行了總結(jié),指出數(shù)據(jù)所蘊(yùn)含的巨大戰(zhàn)略價(jià)值,全世界迅速興起一股大數(shù)據(jù)熱潮。到目前為止對(duì)“大數(shù)據(jù)”并未形成公認(rèn)定義。維基百科將大數(shù)據(jù)定義為“無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的大量而復(fù)雜的數(shù)據(jù)集合”,Gartner認(rèn)為大數(shù)據(jù)是“需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)”。綜合來看,大數(shù)據(jù)兩個(gè)方面特征得到普遍認(rèn)同。一是從數(shù)據(jù)本身來看,大數(shù)據(jù)是具有體量大、產(chǎn)生和處理速度快、多樣化的信息資產(chǎn)。二是從分析處理的手段看,面對(duì)大數(shù)據(jù)的3V(Volume、Velocity和Variety)特征,傳統(tǒng)技術(shù)難以應(yīng)對(duì),需要采用新的技術(shù)加以處理。1對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)的技術(shù)難點(diǎn)大數(shù)據(jù)來源于互聯(lián)網(wǎng)、企業(yè)系統(tǒng)和物聯(lián)網(wǎng)等信息系統(tǒng),經(jīng)過大數(shù)據(jù)處理系統(tǒng)的分析挖掘產(chǎn)生新的知識(shí),用于支撐決策或業(yè)務(wù)的自動(dòng)智能化運(yùn)轉(zhuǎn)。從數(shù)據(jù)在信息系統(tǒng)中的生命周期看,大數(shù)據(jù)從數(shù)據(jù)源到最終應(yīng)用需要經(jīng)過5個(gè)主要環(huán)節(jié)(技術(shù)體系如圖1所示),每個(gè)環(huán)節(jié)都不同程度面臨技術(shù)上的挑戰(zhàn)。1)數(shù)據(jù)準(zhǔn)備環(huán)節(jié)。一般來說在進(jìn)行存儲(chǔ)和處理之前,需要對(duì)數(shù)據(jù)進(jìn)行清洗、整理,這個(gè)環(huán)節(jié)在傳統(tǒng)數(shù)據(jù)處理體系中稱為ETL(Extracting、Transforming、Loading,抽取、轉(zhuǎn)換、裝載)過程。與以往相比,大數(shù)據(jù)的來源多種多樣,既包括企業(yè)CRM/ERP等內(nèi)部數(shù)據(jù)庫(kù)、網(wǎng)頁(yè)索引庫(kù)或SNS等公眾互聯(lián)網(wǎng),也可能包括傳感網(wǎng)或M2M等物聯(lián)網(wǎng),不僅數(shù)量龐大,而且更加參差不齊、雜亂無章。這就要求系統(tǒng)在采集環(huán)節(jié)能夠?qū)?shù)據(jù)去粗取精,同時(shí),還能盡可能保留原有語(yǔ)義以便后續(xù)分析時(shí)參考。2)數(shù)據(jù)管理環(huán)節(jié)。進(jìn)入系統(tǒng)中的大數(shù)據(jù)在經(jīng)過ETL后需要先存儲(chǔ)下來。當(dāng)前,全球數(shù)據(jù)量正以每年超過50%的速度爆發(fā)式增長(zhǎng),未來存儲(chǔ)技術(shù)的成本和性能將面臨非常大的壓力。大數(shù)據(jù)存儲(chǔ)系統(tǒng)不僅需要以極低的成本存儲(chǔ)海量數(shù)據(jù),還要適應(yīng)多樣化的非結(jié)構(gòu)化數(shù)據(jù)管理需求,具備數(shù)據(jù)格式上的可擴(kuò)展性。3)計(jì)算處理環(huán)節(jié)。需要根據(jù)處理的數(shù)據(jù)類型和分析目標(biāo),采用適當(dāng)?shù)乃惴Ｐ涂焖偬幚頂?shù)據(jù)。海量數(shù)據(jù)處理要消耗大量的計(jì)算資源,就傳統(tǒng)單機(jī)或并行計(jì)算技術(shù)來說,速度、可擴(kuò)展性和成本上都適應(yīng)不了大數(shù)據(jù)的新需求。分而治之的分布式計(jì)算成為大數(shù)據(jù)的主流計(jì)算機(jī)構(gòu),但在實(shí)時(shí)性方面還需要大幅度提升。4)數(shù)據(jù)分析環(huán)節(jié)。此環(huán)節(jié)需要從紛繁復(fù)雜的數(shù)據(jù)中發(fā)現(xiàn)規(guī)律提取新的知識(shí),是大數(shù)據(jù)體現(xiàn)價(jià)值的關(guān)鍵。傳統(tǒng)數(shù)據(jù)挖掘?qū)ο蠖嗍墙Y(jié)構(gòu)化、單一對(duì)象的小數(shù)據(jù)集,挖掘更側(cè)重根據(jù)先驗(yàn)知識(shí)預(yù)先人工建立模型,然后依據(jù)既定模型進(jìn)行分析。對(duì)于非結(jié)構(gòu)化、多源異構(gòu)的大數(shù)據(jù)集的分析,往往缺乏先驗(yàn)知識(shí),很難建立顯式的數(shù)學(xué)模型,這就需要發(fā)展更加智能的數(shù)據(jù)挖掘技術(shù)。5)知識(shí)展現(xiàn)環(huán)節(jié)。在大數(shù)據(jù)服務(wù)于決策支撐的場(chǎng)景下,以直觀的便于理解的方式將分析結(jié)果呈現(xiàn)給用戶是大數(shù)據(jù)分析產(chǎn)生效果的最后一環(huán),如何讓復(fù)雜的分析結(jié)果易于理解是主要的問題。但多數(shù)嵌入在業(yè)務(wù)中的大數(shù)據(jù)應(yīng)用,由機(jī)器根據(jù)算法直接應(yīng)用分析結(jié)果而無需人工干預(yù),這種場(chǎng)景下知識(shí)展現(xiàn)環(huán)節(jié)不是必須的。總的來看,大數(shù)據(jù)對(duì)數(shù)據(jù)準(zhǔn)備環(huán)節(jié)和知識(shí)展現(xiàn)環(huán)節(jié)來說只是量的變化,并不需要根本性的變革。但大數(shù)據(jù)對(duì)數(shù)據(jù)分析、計(jì)算和存儲(chǔ)3個(gè)環(huán)節(jié)的影響巨大,需要對(duì)技術(shù)架構(gòu)和算法進(jìn)行重構(gòu),是當(dāng)前和未來一段時(shí)間大數(shù)據(jù)技術(shù)創(chuàng)新的焦點(diǎn)。下面簡(jiǎn)要分析上述3個(gè)環(huán)節(jié)面臨的挑戰(zhàn)及發(fā)展趨勢(shì)。2存儲(chǔ)架構(gòu)改進(jìn)量大和格式多樣是大數(shù)據(jù)最突出的兩個(gè)特征,為此大數(shù)據(jù)存儲(chǔ)技術(shù)首先要容量巨大。這要求底層硬件架構(gòu)和文件系統(tǒng)在性價(jià)比上要大大高于傳統(tǒng)技術(shù),并能夠彈性擴(kuò)展存儲(chǔ)容量。但以往網(wǎng)絡(luò)附著存儲(chǔ)系統(tǒng)(NAS)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)等體系,存儲(chǔ)和計(jì)算的物理設(shè)備分離,之間要通過網(wǎng)絡(luò)接口連接,這導(dǎo)致在進(jìn)行數(shù)據(jù)密集型計(jì)算(DataIntensiveComputing)時(shí)I/O容易成為瓶頸。同時(shí),傳統(tǒng)的單機(jī)文件系統(tǒng)(如NTFS)和網(wǎng)絡(luò)文件系統(tǒng)(如NFS)要求一個(gè)文件系統(tǒng)的數(shù)據(jù)必須存儲(chǔ)在一臺(tái)物理機(jī)器上,且不提供數(shù)據(jù)冗余性,可擴(kuò)展性、容錯(cuò)能力和并發(fā)讀寫能力難以滿足大數(shù)據(jù)需求。谷歌文件系統(tǒng)(GFS,GoogleFileSystem)和Hadoop的分布式文件系統(tǒng)(HDFS)將計(jì)算和存儲(chǔ)節(jié)點(diǎn)在物理上結(jié)合在一起,從而避免在數(shù)據(jù)密集計(jì)算中易形成的I/O吞吐量的制約,同時(shí),這類分布式存儲(chǔ)系統(tǒng)的文件系統(tǒng)(FileSystem)也采用了分布式架構(gòu),能達(dá)到較高的并發(fā)訪問能力。存儲(chǔ)架構(gòu)的變化如圖2所示。GFS和HDFS在大文件的追加(Append)寫入和讀取時(shí)能夠獲得很高的性能,但隨機(jī)訪問(RandomAccess)、海量小文件的頻繁寫入性能較低,其適應(yīng)范圍受限。業(yè)界當(dāng)前和下一步的研究重點(diǎn)主要是在硬件上基于SSD(SolidStateDisk,固態(tài)硬盤)等新型存儲(chǔ)介質(zhì)的存儲(chǔ)體系架構(gòu),同時(shí)對(duì)現(xiàn)有分布式存儲(chǔ)的文件系統(tǒng)進(jìn)行改進(jìn),提高隨機(jī)訪問、海量小文件存取等的性能。大數(shù)據(jù)對(duì)存儲(chǔ)技術(shù)提出的另一個(gè)挑戰(zhàn)是數(shù)據(jù)格式可擴(kuò)展。格式五花八門是大數(shù)據(jù)的主要特點(diǎn),要求存儲(chǔ)管理系統(tǒng)能夠適應(yīng)對(duì)各種非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效管理的需求。數(shù)據(jù)庫(kù)的一致性(Consistency)、可用性(Availability)和分區(qū)容錯(cuò)性(Partition-Tolerance)不可兼得,在實(shí)際的存儲(chǔ)系統(tǒng)設(shè)計(jì)時(shí),需要在三者之間做出最優(yōu)權(quán)衡。關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)以支持事務(wù)處理為主,采用了結(jié)構(gòu)化數(shù)據(jù)表的管理方式,為滿足強(qiáng)一致性要求而犧牲了可用性。非結(jié)構(gòu)化數(shù)據(jù)無法用關(guān)系模型表示,RDBMS難以支撐。谷歌BigTable和HadoopHBase等NoSQL(NotonlySQL)數(shù)據(jù)庫(kù)設(shè)計(jì)通過使用“鍵-值(Key-Value)”對(duì)、文件等非二維表的結(jié)構(gòu),使其具有很好的包容性,適應(yīng)了非結(jié)構(gòu)化數(shù)據(jù)多樣化的特點(diǎn)。同時(shí),這類NoSQL數(shù)據(jù)庫(kù)主要面向分析型業(yè)務(wù),一致性要求可以降低,只要保證最終一致性即可,從而給并發(fā)性能的提升讓出極大空間。谷歌公司2012年披露的Spanner數(shù)據(jù)庫(kù),通過原子鐘實(shí)現(xiàn)全局精確時(shí)鐘同步,可在全球任意位置部署,系統(tǒng)規(guī)模可達(dá)到100~1000萬臺(tái)機(jī)器。Spanner能夠提供較強(qiáng)的一致性,還支持SQL借口,代表了數(shù)據(jù)管理技術(shù)的新方向。總體上,下一步大數(shù)據(jù)的存儲(chǔ)管理技術(shù)將進(jìn)一步將關(guān)系型數(shù)據(jù)庫(kù)的操作便捷性特點(diǎn)和非關(guān)系型數(shù)據(jù)庫(kù)靈活性的特點(diǎn)結(jié)合起來,提出新的融合型的存儲(chǔ)管理技術(shù)。3mapcd中小型軟件平臺(tái)的提出和應(yīng)用大數(shù)據(jù)的分析挖掘需要巨大的計(jì)算能力,與傳統(tǒng)“數(shù)據(jù)簡(jiǎn)單,算法復(fù)雜”的高性能計(jì)算不同,大數(shù)據(jù)的計(jì)算是數(shù)據(jù)密集型計(jì)算,對(duì)系統(tǒng)的運(yùn)算架構(gòu),特別是計(jì)算域存儲(chǔ)單元的數(shù)據(jù)吞吐率要求極高。傳統(tǒng)上,應(yīng)對(duì)海量計(jì)算的主要做法是并行計(jì)算。但傳統(tǒng)的并行計(jì)算系統(tǒng),主要針對(duì)數(shù)據(jù)量不大但算法復(fù)雜的計(jì)算任務(wù)設(shè)計(jì),數(shù)據(jù)吞吐量較小,而且通常采用單機(jī)性能強(qiáng)大的硬件構(gòu)成,非常昂貴。當(dāng)業(yè)務(wù)量增大時(shí),若想提高系統(tǒng)性能,需要采取縱向擴(kuò)展(ScaleUp)的方式,即通過提升單機(jī)CPU性能、增加內(nèi)存、擴(kuò)展磁盤等達(dá)到性能提升。這種擴(kuò)展方式容易達(dá)到瓶頸,難以支撐計(jì)算能力跟隨業(yè)務(wù)量持續(xù)平滑擴(kuò)容,高昂的實(shí)現(xiàn)成本使很多企業(yè)難以承受。谷歌2004年公開的MapReduce分布式并行計(jì)算技術(shù)是新型分布式計(jì)算技術(shù)的代表。一個(gè)MapReduce系統(tǒng)由廉價(jià)的通用服務(wù)器構(gòu)成,通過添加服務(wù)器節(jié)點(diǎn)可線性擴(kuò)展系統(tǒng)的總處理能力(ScaleOut),在成本和可擴(kuò)展性上都有巨大優(yōu)勢(shì)。Google的MapReduce是其內(nèi)部網(wǎng)頁(yè)索引、廣告等核心系統(tǒng)的基礎(chǔ)。之后出現(xiàn)的開源實(shí)現(xiàn)ApacheHadoopMapReduce已經(jīng)成為目前應(yīng)用最廣泛的大數(shù)據(jù)計(jì)算軟件平臺(tái)。MapReduce架構(gòu)能夠滿足“先存后處理”的離線批量計(jì)算(batchprocessing)需求,但也存在局限性,最大的問題是時(shí)延過大,難以適用于機(jī)器學(xué)習(xí)迭代、流處理等實(shí)時(shí)計(jì)算任務(wù),也不適合針對(duì)大規(guī)模圖數(shù)據(jù)等特定數(shù)據(jù)結(jié)構(gòu)的快速運(yùn)算。為此,業(yè)界在MapReduce基礎(chǔ)上,提出了多種不同的并行計(jì)算架構(gòu)路線,如圖3所示。如Yahoo提出的S4系統(tǒng)、Twitter的Storm系統(tǒng)是針對(duì)“邊到達(dá)邊計(jì)算”的實(shí)時(shí)流計(jì)算(Realtimestreamingprocess)框架,可在一個(gè)時(shí)間窗口上對(duì)數(shù)據(jù)流進(jìn)行在線實(shí)時(shí)分析,已經(jīng)在實(shí)時(shí)廣告、微博等系統(tǒng)中得到應(yīng)用。谷歌2010年公布的Dremel系統(tǒng),是一種交互分析(InteractiveAnalysis)引擎,在PB級(jí)數(shù)據(jù)上的查詢操作幾秒鐘就可完成。此外,還出現(xiàn)了將MapReduce內(nèi)存化以提高實(shí)時(shí)性的Spark框架、針對(duì)大規(guī)模圖數(shù)據(jù)進(jìn)行優(yōu)化的Pregel系統(tǒng)等等。對(duì)不同計(jì)算場(chǎng)景,需要建立和維護(hù)不同的計(jì)算平臺(tái),這種做法硬件資源難以復(fù)用,管理運(yùn)維也很不方便,研發(fā)適合多種計(jì)算模型的通用架構(gòu)成為業(yè)界的普遍訴求。為此,ApacheHadoop社區(qū)在2013年10月剛剛發(fā)布的Hadoop2.0中推出了新一代的MapReduce架構(gòu)。新架構(gòu)的主要變化是將舊版本MapReduce中的任務(wù)調(diào)度和資源管理功能相分離,形成一層與任務(wù)無關(guān)的資源管理層(YARN)。如圖4所示,YARN負(fù)責(zé)對(duì)底層物理資源的統(tǒng)一管理,上層可支持批處理、流處理、圖計(jì)算等不同模型,為統(tǒng)一大數(shù)據(jù)平臺(tái)的建立提供了新的框架?；谛碌慕y(tǒng)一資源管理層開發(fā)適應(yīng)特定應(yīng)用的計(jì)算模型,仍將是未來計(jì)算技術(shù)發(fā)展的重點(diǎn)。4基于數(shù)據(jù)的分析在人類全部數(shù)字化數(shù)據(jù)中,僅有非常小的一部分?jǐn)?shù)值型數(shù)據(jù)得到了較好的分析和挖掘,如回歸、分類、聚類等。大型互聯(lián)網(wǎng)企業(yè)對(duì)網(wǎng)頁(yè)索引、社交數(shù)據(jù)等半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行了初步分析,到目前為止,占總量近60%的語(yǔ)音、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)還難以進(jìn)行有效的分析。因此,大數(shù)據(jù)分析技術(shù)的發(fā)展需要解決兩個(gè)方向的問題,一是對(duì)數(shù)量龐大的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高效率的深度分析,挖掘隱性知識(shí),如從自然語(yǔ)言構(gòu)成的文本的網(wǎng)頁(yè)中理解和識(shí)別語(yǔ)義、情感、意圖等;二是對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,將海量復(fù)雜多源的語(yǔ)音、圖像和視頻數(shù)據(jù)轉(zhuǎn)化為機(jī)器可識(shí)別的、具有明確語(yǔ)義的信息,進(jìn)而從中提取有用的知識(shí)。數(shù)據(jù)分析的技術(shù)路線有兩條,一是通過先驗(yàn)知識(shí)人工建立數(shù)學(xué)模型來分析數(shù)據(jù),二是通過建立人工智能系統(tǒng),使用大量樣本數(shù)據(jù)進(jìn)行訓(xùn)練,讓機(jī)器代替人工獲得從數(shù)據(jù)中提取知識(shí)的能力。占大數(shù)據(jù)主要部分的非結(jié)構(gòu)化數(shù)據(jù),往往模式不明顯,難以被機(jī)器處理,而且大數(shù)據(jù)需要挖掘深藏在數(shù)據(jù)中的隱含知識(shí),靠人工建立分析的數(shù)學(xué)模型幾乎不可能。5大數(shù)據(jù)的發(fā)展及其影響當(dāng)前,國(guó)際上大數(shù)據(jù)創(chuàng)新方面形成了獨(dú)特的“互聯(lián)網(wǎng)公司原創(chuàng)——開源擴(kuò)散——IT制造商產(chǎn)品化——其他企業(yè)使用”格局,如圖7所示?？偨Y(jié)谷歌等互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)技術(shù)創(chuàng)新方面的經(jīng)驗(yàn),初步來看,有幾點(diǎn)值得關(guān)注。1)豐富的數(shù)據(jù)和強(qiáng)大的平臺(tái)是大數(shù)據(jù)創(chuàng)新的基礎(chǔ)條件。以谷歌為例,它的數(shù)據(jù)資源極為豐富,擁有全球網(wǎng)頁(yè)索引庫(kù),掌握幾十億用戶的搜索行為數(shù)據(jù),建立了高分辨率的谷歌地圖數(shù)據(jù)數(shù)據(jù)庫(kù),擁有Google+社交數(shù)據(jù)和Youtube海量視頻數(shù)據(jù)。谷歌的基礎(chǔ)設(shè)施也十分強(qiáng)大,在全球擁有36個(gè)超大型數(shù)據(jù)中心,上百萬臺(tái)服務(wù)器。2)大數(shù)據(jù)的應(yīng)用不是飛躍型的,靠獲取長(zhǎng)期的累積效益。從搜索、廣告和推薦等成熟應(yīng)用來看,大數(shù)據(jù)的應(yīng)用效果并非立竿見影,其巨大的效益是在日積月累的微小進(jìn)步中逐漸形成的。3)累積效益的獲取,主要靠持續(xù)不斷的技術(shù)迭代?；ヂ?lián)網(wǎng)企業(yè)一直奉行敏捷開發(fā)、快速迭代的軟件開發(fā)理念,往往在一兩周內(nèi)就能完成一個(gè)“規(guī)劃、開發(fā)、測(cè)試、發(fā)布”的迭代周期。大型互聯(lián)網(wǎng)企業(yè),特別是谷歌等,通過這種長(zhǎng)期持續(xù)“小步快跑”的研發(fā)方式,支撐了大數(shù)據(jù)應(yīng)用效果的持續(xù)提升,建立了技術(shù)上領(lǐng)先業(yè)界普遍水平8~10年的巨大優(yōu)勢(shì)。4)技術(shù)和應(yīng)用一體化組織,是快速迭代的保障。互聯(lián)網(wǎng)企業(yè)之所以能夠保持高效率的持續(xù)技術(shù)演進(jìn),其研發(fā)和應(yīng)用一體化的組織方式是很重要的因素。與傳統(tǒng)行業(yè)“應(yīng)用者——解決方案提供商”分離的組織形態(tài)不同,互聯(lián)網(wǎng)省去了解決方案供應(yīng)商的環(huán)節(jié),這樣可以迅速將需求轉(zhuǎn)化為解決方案。谷歌、百度等大型互聯(lián)網(wǎng)企業(yè)的研發(fā)人員一般都在50%~70%,遠(yuǎn)遠(yuǎn)高于其他類型的公司,這為技術(shù)開發(fā)提供了強(qiáng)大的后盾。大數(shù)據(jù)技術(shù)發(fā)展與開源運(yùn)動(dòng)的結(jié)合也成為大數(shù)據(jù)技術(shù)創(chuàng)新中的一個(gè)鮮明特點(diǎn)。領(lǐng)先企業(yè)進(jìn)行前沿創(chuàng)新,創(chuàng)新成果能夠通過開源向全社會(huì)輻射,原創(chuàng)與開源相得益彰,在國(guó)際上形成了一套高效運(yùn)轉(zhuǎn)的的研發(fā)產(chǎn)業(yè)化體系。開源模式讓人們“不必重復(fù)發(fā)明輪子”,能夠降低36%研發(fā)成本,降低80%采購(gòu)成本,還能夠啟發(fā)新的創(chuàng)意,加快技術(shù)進(jìn)一步創(chuàng)新的步伐。特別ApacheHadoop實(shí)現(xiàn)了MapReduce技術(shù),大大加速了大數(shù)據(jù)處理技術(shù)發(fā)展,一大批互聯(lián)網(wǎng)公司和傳統(tǒng)IT企業(yè)都從這種技術(shù)擴(kuò)散體系中受益。應(yīng)注意到,很多企業(yè)針對(duì)開源采取“拿來主義”態(tài)度,不僅不符合開源精神,也不利于自身技術(shù)水平的提升。開源的游戲規(guī)則是