大數(shù)據(jù)的摩爾定律

1、“大數(shù)據(jù)”的摩爾定律測試和測量應用中，工程師和科學家們每一天每一秒都可收集到大量的數(shù)據(jù)。歐洲核子研究中心的大型強子對撞機每運行一秒鐘，就可以產(chǎn)生40兆兆字節(jié)(1E12)的數(shù)據(jù)。波音噴氣引擎每運行30分鐘就可產(chǎn)生10兆兆字節(jié)的運行信息。一架四引擎巨型噴氣式飛機單程飛越大 西洋可生成640兆兆字節(jié)的數(shù)據(jù)，將該數(shù)字乘以每天飛行的兩萬五千多架飛機，您就可以得 到一個非常龐大的數(shù)據(jù)。事實上，一個被稱之為“大數(shù)據(jù)”(Big Data)的時代已經(jīng)來臨，人們可能不關(guān)心使用什么型號的傳感器或者數(shù)據(jù)采集設備，唯一關(guān)心的是如何從這些“大數(shù) 據(jù)”中獲取能為他們所用的信息。數(shù)據(jù)生成量每兩年增長一倍這一事實與電子領域的一

2、個著名定律極其相似：摩爾定律。1965年，Gordon Moore提出：IC上可容納的晶體管數(shù)目大約每兩年便會增加一倍，這種 趨勢將持續(xù)“至少10年”。45年之后，摩爾定律仍在影響著整個信息和電子產(chǎn)業(yè)。該定律 引發(fā)的結(jié)果之一是，尖端科技產(chǎn)品的成本越來越低，逐步可以為廣大民眾所接受，而這些最新的技術(shù)更加能夠幫助工程師和科學家以前所未有的速度捕捉、分析和存儲數(shù)據(jù)。試想一下，1995年全球制造的總硬盤空間僅為 20拍字節(jié)(1E15)?，F(xiàn)在，Google每天就要處理超過24 拍字節(jié)的信息。當然，這些數(shù)據(jù)存儲本身的成本也呈指數(shù)下降，從1998年的228美元/千兆字節(jié)(1E9)下降到2010年的0.06美

3、元/千兆字節(jié)。如此變化加上摩爾定律引發(fā)的技術(shù)進步正在 不斷地加劇海量數(shù)據(jù)的出現(xiàn)。然而從如此大量的數(shù)據(jù)中得出精確且有意義的結(jié)論是一個日益嚴峻的挑戰(zhàn)，而“大數(shù)據(jù)”這個詞描述的正是這種現(xiàn)象。海量數(shù)據(jù)為數(shù)據(jù)分析、搜索、數(shù)據(jù)整合、報告生成和系統(tǒng)維護帶來了新的挑戰(zhàn)，必須解決這一挑戰(zhàn)才能跟上數(shù)據(jù)的指數(shù)增長步伐。技術(shù)調(diào)研公司IDC最近開展了一項關(guān)于數(shù)字數(shù)據(jù)的研究，包括測量文件、視頻、音樂文件等。該研究預計這些數(shù)據(jù)每兩年增長一倍。根據(jù)Adam Hadhazy于2010年5月在生活科學上發(fā)表的文章全球數(shù)據(jù)超載，需以澤字節(jié)為單位中寫到：僅僅是2011年就產(chǎn)生了 1.8澤字節(jié)(1E21字節(jié))的數(shù)據(jù)。要想了解這個數(shù)據(jù)量

4、的含義，我們假設：如果全球70億人口加入微博，并連續(xù)不斷地轉(zhuǎn)發(fā)并評論連續(xù)一百年，這樣產(chǎn)生的數(shù)據(jù)為1澤字節(jié)，然而僅僅2011年生成的數(shù)據(jù)就幾乎是該數(shù)據(jù)量的兩倍。Shawn Rogers于2011年9月在信息管理上發(fā)表的文章海量數(shù)據(jù) 正在改變商業(yè)智能和分析學中提到：應對海量模擬數(shù)據(jù)挑戰(zhàn)需要一個三層解決方案，包括:傳感器或執(zhí)行器、分布式自動化測試節(jié)點，以及IT基礎設施或海量數(shù)據(jù)分析/挖掘。圖1應對海量模擬數(shù)據(jù)挑戰(zhàn)三層解決方案：傳感器或執(zhí)行器、分布式自動化測試節(jié)點，以 及IT基礎設施或海量數(shù)據(jù)分析/挖掘從另一個角度來看，小型數(shù)據(jù)集通常會限制結(jié)論和預測的精確度。 這就好比一個金礦，你所 能知道的不過只是

5、目前所看到的，剩下的金礦都被埋藏在塵土里不得而知，甚至無法估量。倘若要了解整個金礦的價值，就需要繼續(xù)進行挖掘。數(shù)據(jù)領域是類似的，首先你要獲得足夠 多的原始數(shù)據(jù)，然后才是去粗取精， 去偽存真，將金礦上的塵土拂去， 獲得有用的有價值的 信息。海量數(shù)據(jù)有很多個來源。 但是，工程師和科學家們最感興趣的是來自于物理世界的數(shù)據(jù)。這些數(shù)據(jù)是捕捉到且經(jīng)過數(shù)字化的模擬數(shù)據(jù)；因此，它們可以被稱為“海量模擬數(shù)據(jù)”， 其來源可以是振動、RF信號、溫度、壓力、聲音、圖像、光、磁、電壓等測量值。在測試和測量領域，人類每天以高達數(shù)澤字節(jié)的速率進行數(shù)據(jù)采集。海量模擬數(shù)據(jù)問題對于自動化測試和分析系統(tǒng)來說是一個日益嚴峻的挑戰(zhàn)。如

6、果是多個待測設備的情況，則需要許多分布式自動化測試節(jié)點（DATN ），這些節(jié)點往往以并聯(lián)方式連接到計算機網(wǎng)絡。由于DATN是具有軟件驅(qū)動程序和圖像的高效計算機系統(tǒng)，因此基于遠程網(wǎng)絡的系統(tǒng)管理工具需要自動進行配置、維護和升級。PXI系統(tǒng)具有不斷演進的數(shù)據(jù)運算能力以及數(shù)據(jù)傳輸帶寬，是一個 非常理想的DATN的選擇方案。更進一步，各大儀器廠商都在 PXI平臺上持續(xù)投入，為PXI 提供了非常豐富的I/O板卡選擇。對于一些需要高密度運算的應用，美國 NI公司將FPGA 以及PXI分布式運算引入到 PXI平臺，大大強化了每一個 DATN節(jié)點的運算能力。不斷增長的測試和測量數(shù)據(jù)量迫使跨國公司需要不斷為更多的

7、工程師提供數(shù)據(jù)訪問權(quán)。這需要可滿足多用戶訪問需求的網(wǎng)絡設備和數(shù)據(jù)管理系統(tǒng)，進而刺激了根據(jù)地域來分布數(shù)據(jù)和訪問權(quán)的需求。提供分布式數(shù)據(jù)訪問權(quán)的一個日益普及的方法是使用云技術(shù)。海量模擬數(shù)據(jù)應用程序?qū)Ψ掌?、存儲空間和網(wǎng)絡等IT設備具有極大的依賴性。此外，管理、組織和分析數(shù)據(jù)均需要軟件。因此，傳統(tǒng)IT技術(shù)屬于用戶捕捉數(shù)據(jù)后整體解決方案的一部分，用于確保動態(tài)和靜態(tài)數(shù)據(jù)的高效傳送、備份以及分析和視覺化。Averna、Virinco、NI和OptimalTest等供應商已提供可幫助管理海量模擬數(shù)據(jù)解決方案的產(chǎn)品。為了分析和管理來自數(shù)百萬個文件的數(shù)十億個數(shù)據(jù)點，工程師和科學家可使用NI DIAdem來挖掘、檢查和生成相關(guān)測量數(shù)據(jù)的報告。他們還可以借助DIAdem來連接現(xiàn)有IT解決方案或創(chuàng)建可全局訪問的新服務器，以更快速地根據(jù)數(shù)據(jù)做出決策。對于制造業(yè)，Averna開發(fā)的Proligent和Virinco開發(fā)的WATS提供了產(chǎn)品質(zhì)量、測試設備、流程和操作的可視化和控制解決方案。Qualcomm成功利用了 OptimalT est開發(fā)的工具來優(yōu)化器測試流程，該測試流程每個季度可積累多達4澤字節(jié)的數(shù)據(jù)。（評估工程，2011年10月24日），并且將可執(zhí)行測試數(shù)據(jù)可視化 以幫助工程師確定趨勢并積極做出決策。隨著高速捕捉海量數(shù)據(jù)成為一種必然趨勢且越來越容易實現(xiàn)，