對大數(shù)據(jù)的認識

。-可編輯修改-對于大數(shù)據(jù)的認識和理解這學期選修了網(wǎng)絡工程這門課程，當時是抱著掃盲的態(tài)度選的這門課程，給自己定的目標不高，只需要對一些基礎的概念和網(wǎng)絡結(jié)構(gòu)有些認識就可以，以免以后在人前談論的時候不至于成為IT文盲，被一些專業(yè)性的技術(shù)人員所嚇倒。事實證明，態(tài)度決定一切，由于自己剛開始設定的目標就比較低，所以注定能夠上升到的水平也就不高。經(jīng)過這幾周的學習，對計算機網(wǎng)絡的基礎知識和大致結(jié)構(gòu)有了一個粗淺的認識。由于學生本身這方面的基礎不扎實，知識結(jié)構(gòu)在這方面比較薄弱，所以不能在技術(shù)方面進行深入的研究，只能對一些理論性的知識做一些了解和認識，建立起大概的知識框架。在學習過程中，魏忠老師所提及的知識中有一點印象最為深刻，關于大數(shù)據(jù)BigData方面的提及引起了我很大的興趣，越是自己私下里做了一些閱讀和查詢（主要是維克托·邁爾-舍恩伯格的《大數(shù)據(jù)時代》和網(wǎng)絡上查看的一些資料）。最后提交的這篇課程總結(jié)就著重報告一下自己在閱讀了他人關于大數(shù)據(jù)的一些理論后自身的認識。在這之前，我發(fā)現(xiàn)身邊很多人都提起過大數(shù)據(jù)，其中包括老師和同學。可是對于這些熱門的新技術(shù)、新趨勢人們往往趨之若鶩卻又很難說的透徹，如果你問他大數(shù)據(jù)和你有什么關系？估計很少同學能說出一二三來。究其原因，一是因為大家對新技術(shù)有著相同的原始渴求，至少知其然在聊天時不會顯得很“無知”，因為現(xiàn)在人們普遍都有以一種信息焦慮感，別人知道的東西我不知道，就會感到焦慮，無論這些信息對你有沒有用；二是在工作和生活環(huán)境中真正能參與實踐大數(shù)據(jù)的案例實在太少了，所以大家沒有必要花時間去知其所以然。當然我也一樣，雖然我希望能有些不一樣，但是自己實在欠缺IT這方面的知識，所以也只能查閱一些資料，翻閱了最新的專業(yè)書籍，在自己局限的認識下把這些些零散的資料碎片或不同理解論述綜合起來做一個類似于文獻綜述的報告，其實我很真誠的希望進入事物探尋本質(zhì)。下面就從理論、技術(shù)、實踐這三個層面寫一下大數(shù)據(jù)的認識大數(shù)據(jù)的一些相關理論：最早提出大數(shù)據(jù)時代到來的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！睒I(yè)界（IBM最早定義）將大數(shù)據(jù)的特征歸納為4個“V”（量Volume，多樣Variety，價值Value，速Velocity），或者說特點有四個層面：第一，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）；第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡日志、視頻、圖片、地理位置信息等等。第三，價值密度低，商業(yè)價值高。第四，處理速度快。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。很早就流傳著一句話：三分技術(shù)，七分數(shù)據(jù)，得數(shù)據(jù)者得天下。先不論這句話是誰說得，但是這句話的正確性已經(jīng)不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時代》一書中舉了很多例證，都是為了說明一個道理：在大數(shù)據(jù)時代已經(jīng)到來的時候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價值。書中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價值，比如預測某地流感爆發(fā)的趨勢；Amazon如何利用用戶的購買和瀏覽歷史數(shù)據(jù)進行有針對性的書籍購買推薦，以此有效提升銷售量；Farecast如何利用過去十年所有的航線機票價格打折數(shù)據(jù)，來預測用戶購買機票的時機是否合適。這里維克托·邁爾-舍恩伯格所認為的大數(shù)據(jù)思維是：1需要全部數(shù)據(jù)樣本而不是抽樣；2關注效率而不是精確度；3關注相關性而不是因果關系。大數(shù)據(jù)是什么？投資者眼里是金光閃閃的兩個字：資產(chǎn)。比如，F(xiàn)acebook上市時，評估機構(gòu)評定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)。如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。大數(shù)據(jù)的一些相關技術(shù)：1）云技術(shù)：大數(shù)據(jù)常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要分布式處理框架來向數(shù)十、數(shù)百或甚至數(shù)萬的電腦分配工作?？梢哉f，云計算充當了工業(yè)革命時期的發(fā)動機的角色，而大數(shù)據(jù)則是電。云計算思想的起源是麥卡錫在上世紀60年代提出的：把計算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領下，一種行之有效的模式出現(xiàn)了：云計算提供基礎架構(gòu)平臺，大數(shù)據(jù)應用運行在這個平臺上。業(yè)內(nèi)是這么形容兩者的關系：沒有大數(shù)據(jù)的信息積淀，則云計算的計算能力再強大，也難以找到用武之地；沒有云計算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。那么大數(shù)據(jù)到底需要哪些云計算技術(shù)呢？這里暫且列舉一些，比如虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存儲和管理技術(shù)，NOSQL、實時流數(shù)據(jù)處理、智能分析技術(shù)（類似模式識別以及自然語言理解）等。2）分布式技術(shù)：分布式處理系統(tǒng)可以將不同地點的或具有不同功能的或擁有不同數(shù)據(jù)的多臺計算機用通信網(wǎng)絡連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務—這就是分布式處理系統(tǒng)的定義。3）感知技術(shù)：大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。以傳感器技術(shù)，指紋識別技術(shù)，RFID技術(shù)，坐標定位技術(shù)等為基礎的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。全世界的工業(yè)設備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質(zhì)的變化，都會產(chǎn)生海量的數(shù)據(jù)信息。其實，這些感知被逐漸捕獲的過程就是就世界被數(shù)據(jù)化的過程，一旦世界被完全數(shù)據(jù)化了，那么世界的本質(zhì)也就是信息了大數(shù)據(jù)的實踐：政府各個部門都握有構(gòu)成社會基礎的原始數(shù)據(jù)，比如，氣象數(shù)據(jù)，金融數(shù)據(jù)，信用數(shù)據(jù)，電力數(shù)據(jù)，煤氣數(shù)據(jù)，自來水數(shù)據(jù)，道路交通數(shù)據(jù)，客運數(shù)據(jù)，安全刑事案件數(shù)據(jù)，住房數(shù)據(jù)，海關數(shù)據(jù)，出入境數(shù)據(jù)，旅游數(shù)據(jù)，醫(yī)療數(shù)據(jù)，教育數(shù)據(jù)，環(huán)保數(shù)據(jù)等等。這些數(shù)據(jù)在每個政府部門里面看起來是單一的，靜態(tài)的。但是，如果政府可以將這些數(shù)據(jù)關聯(lián)起來，并對這些數(shù)據(jù)進行有效的關聯(lián)分析和統(tǒng)一管理，這些數(shù)據(jù)必定將獲得新生，其價值是無法估量的。具體來說，現(xiàn)在城市都在走向智能和智慧，比如，智能電網(wǎng)、智慧交通、智慧醫(yī)療、智慧環(huán)保、智慧城市，這些都依托于大數(shù)據(jù)，可以說大數(shù)據(jù)是智慧的核心能源。從國內(nèi)整體投資規(guī)模來看，到2012年底全國開建智慧城市的城市數(shù)超過180個，通信網(wǎng)絡和數(shù)據(jù)平臺等基礎設施建設投資規(guī)模接近5000億元?！笆濉逼陂g智慧城市建設拉動的設備投資規(guī)模將達1萬億元人民幣。大數(shù)據(jù)為智慧城市的各個領域提供決策支持。在城市規(guī)劃方面，通過對城市地理、氣象等自然信息和經(jīng)濟、社會、文化、人口等人文社會信息的挖掘，可以為城市規(guī)劃提供決策，強化城市管理服務的科學性和前瞻性。在交通管理方面，通過對道路交通信息的實時挖掘，能有效緩解交通擁堵，并快速響應突發(fā)狀況，為城市交通的良性運轉(zhuǎn)提供科學的決策依據(jù)。在輿情監(jiān)控方面，通過網(wǎng)絡關鍵詞搜索及語義智能分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務能力，應對網(wǎng)絡突發(fā)的公共事件，打擊違法犯罪。在安防與防災領域，通過大數(shù)據(jù)的挖掘，可以及時發(fā)現(xiàn)人為或自然災害、恐怖事件，提高應急處理能力和安全防范能力。學生在閱讀了大數(shù)據(jù)相關的一些書籍和文章之后，提取出的一些觀點和理論，并稍加了自己對大數(shù)據(jù)的一些認識，寫成了這篇課程總結(jié)，因為自身的專業(yè)性不強，欠缺這方面的知識和