大數(shù)據(jù)與大系統(tǒng)

1、1大數(shù)據(jù)與大系統(tǒng)大數(shù)據(jù)與大系統(tǒng)2014年年9月月26日，上海日，上海周宏仁周宏仁國家信息化專家咨詢委員會 常務副主任中國計算機應用大會中國計算機應用大會 暨暨2014年智慧城市與大數(shù)據(jù)學術會議年智慧城市與大數(shù)據(jù)學術會議2一、什么是數(shù)據(jù)3“數(shù)據(jù)”人類歷史上從來就不乏數(shù)據(jù)，也不可否認數(shù)據(jù)的重要性，然而，數(shù)據(jù)從來沒有像今天這樣成為一種人類不可或缺的資源。今天所討論的“數(shù)據(jù)”，無論是小、中、大數(shù)據(jù)，都不是指儲存在任何其它物理介質(zhì)（紙張、報紙、書籍）中的數(shù)據(jù)，而是專指儲存在不同形態(tài)的計算機或信息系統(tǒng)中的數(shù)據(jù)，包括各種各樣的數(shù)字終端，如智能手機和平板電腦中的數(shù)據(jù)，各種網(wǎng)絡中的數(shù)據(jù)。無論這些數(shù)據(jù)代表的物理現(xiàn)

2、象（數(shù)字、文字、聲音、圖片、視頻、嗅覺、味覺）多么復雜，歸根結蒂只有1和0兩個代碼。就是這兩個代碼的無窮組合代表了極其復雜且變化萬千的物理世界！4數(shù)據(jù)時代數(shù)據(jù)之所以在今天能成為一種與能源、物質(zhì)并駕齊驅的資源，固然與數(shù)據(jù)可以表征現(xiàn)實的物理世界有關，更是由于現(xiàn)代信息通信技術可以方便地檢索、傳播、處理和利用數(shù)據(jù)。數(shù)據(jù)資源的開發(fā)利用之所以變得如此之重要，也歸因于信息的數(shù)字化和計算機化的結果。因此，數(shù)據(jù)時代，或者大數(shù)據(jù)時代，是信息時代固有的內(nèi)涵之一。大數(shù)據(jù)的重要意義和價值是毋庸置疑的。認識數(shù)據(jù)時代的來臨，比認識大數(shù)據(jù)本身更為重要。大數(shù)據(jù)時代的來臨，就是數(shù)據(jù)時代的來臨，也是“數(shù)據(jù)”真正作為“資源”的時代的

3、來臨。5數(shù)據(jù)：可再生、可自生資源奈斯比特：“我們第一次有了一種建立在不僅可以再生而且可以自生的重要資源（信息）上的經(jīng)濟。資源缺乏不成問題了，但被資源淹沒倒是問題。”當然，他所指的不僅僅是大數(shù)據(jù)資源，而是涵蓋了所有“尺寸”的“信息資源”。然而，大數(shù)據(jù)技術的出現(xiàn)，也推翻了奈斯比特的另一個觀點，“在信息社會中，沒有控制的和沒有組織的信息不再是一種資源。它倒反而成為信息工作者的敵人?！睂嶋H上，大數(shù)據(jù)要研究和利用的，正是這一類數(shù)據(jù)資源。約翰奈斯比特（John Naisbitt），大趨勢改變我們生活的十個新趨向6數(shù)據(jù)資源需要開發(fā)大數(shù)據(jù)技術最大的魅力，正是在于它可以從看似無關聯(lián)、無控制、無組織、非結構化的數(shù)

4、據(jù)資源中，提取有用的、甚至是極有價值的信息。60年前，控制論的創(chuàng)始人維納曾經(jīng)指出：信息是與物質(zhì)和能源同樣重要的、構成客觀世界的三大要素之一，是人類社會的三大資源之一。這個論斷的真諦，只有在大數(shù)據(jù)時代的今天才不難理解。然而，資源就是資源，需要開發(fā)。就像一座銅礦一樣，沒有開發(fā)，銅礦不會自動地變成銅。諾伯特維納，控制論，科學出版社，1963年。7二、數(shù)據(jù)資源的形成8信息化：開發(fā)信息資源信息化的過程，就是數(shù)據(jù)資源開發(fā)的過程。“數(shù)字化”和信息系統(tǒng)的構建，開啟了信息時代信息資源開發(fā)利用的新模式、新技術、新方法。60余年來信息化的發(fā)展進程中，數(shù)據(jù)資源的開發(fā)、管理和利用始終是一個重要的主題。今天人類社會的數(shù)據(jù)

5、資源，是一步一個腳印地發(fā)展和積累起來的。大數(shù)據(jù)是怎么來的？不是從天上掉下來的，正是60多年來信息化不斷發(fā)展的結果。9數(shù)字化的起步數(shù)據(jù)資源開發(fā)的過程，就是信息化的過程。信息化是從數(shù)據(jù)的管理和利用開始的。1950年，艾克特和莫克利在美國成功制造的世界上第一臺商用計算機UNIVAC，就是被美國普查局買去用作普查數(shù)據(jù)的處理。1954年，美國第一個聯(lián)邦公務員工資支付管理系統(tǒng)投入使用?，F(xiàn)實生活中的各種形式的數(shù)字和文字信息，開始以格式化的“數(shù)據(jù)”儲存在計算機信息系統(tǒng)之中。10信息系統(tǒng)在以后的幾十年中，信息系統(tǒng)首先作為單個的系統(tǒng)（System），在一個單位的內(nèi)部發(fā)展。所謂系統(tǒng)，是指一組部件按一定的方式結合在一

6、起，以完成特定功能，而這種功能是任何單個部件所不可能具備的。早期的信息系統(tǒng)，是比較簡單的批數(shù)據(jù)處理系統(tǒng)；而后，數(shù)據(jù)處理走向實時處理。隨后，信息系統(tǒng)開始向管理層發(fā)展，為業(yè)務活動的管理，提供各種信息系統(tǒng)的支撐。在數(shù)據(jù)處理系統(tǒng)和管理信息系統(tǒng)發(fā)展和積累大量數(shù)據(jù)的基礎上，決策支持系統(tǒng)開始發(fā)展。各單位信息系統(tǒng)的發(fā)展決策層信息系統(tǒng)發(fā)展由底向上管理層管理信息系統(tǒng)(MIS)操作層數(shù)據(jù)處理系統(tǒng)(DP)上世紀60、70年代，信息系統(tǒng)在各個單位，如政府部門或企業(yè)的內(nèi)部很快得到發(fā)展。大量數(shù)據(jù)開始在信息系統(tǒng)中積累，成為重要的數(shù)據(jù)資源。11決策支持系統(tǒng)（DSS）12信息系統(tǒng)的發(fā)展60余年來，信息系統(tǒng)經(jīng)歷了一個由小到大、由簡

7、單到復雜，由有組織到無組織的發(fā)展過程。信息系統(tǒng)簡單系統(tǒng)大系統(tǒng)系統(tǒng)的系統(tǒng)超巨系統(tǒng)無系統(tǒng)系統(tǒng)信息化的理論模型物理世界同態(tài)映射數(shù)字世界ITIICIISI逆變換ITI - Info. Technology IndustryICI - Info. Content IndustryISI - Info. Service Industry14“數(shù)字信息 vs. 模擬信息”15三、大系統(tǒng)的發(fā)展16信息系統(tǒng)向大系統(tǒng)的發(fā)展上世紀90年代初期，隨著互聯(lián)網(wǎng)在全球的普及和發(fā)展，數(shù)據(jù)資源的開發(fā)和積累大大加速。信息系統(tǒng)的構造，由點（一個地點）向線（一個政府部門、企事業(yè)、行業(yè)系統(tǒng)），進而向面（內(nèi)外部一體化、泛在）發(fā)展。政府部

8、門和企事業(yè)單位都利用互聯(lián)網(wǎng)將自己的信息系統(tǒng)向部門或企事業(yè)的關聯(lián)單位延伸，信息系統(tǒng)逐漸向大系統(tǒng)（LSS - Large Scale System），即系統(tǒng)的系統(tǒng)（System of Systems）發(fā)展。17大系統(tǒng)系統(tǒng)的系統(tǒng)賽奇和卡龐認為，“系統(tǒng)的系統(tǒng)”必須滿足下面五個主要特征：成員系統(tǒng)運行上相互獨立；管理上相互獨立；地理上分布在不同地點，之間僅有信息交互；突現(xiàn)任何成員系統(tǒng)所不具備的新的功能；系統(tǒng)處于不斷發(fā)展和進化之中。他們認為，“系統(tǒng)的系統(tǒng)”永遠不會完全建成，而是隨著時間的推移，不斷地增加、減少或進化至新的結構、功能和用途。因此，這類系統(tǒng)的成員系統(tǒng)在數(shù)目上遠遠超過一般意義上的系統(tǒng)，其主要特征為

9、系統(tǒng)維數(shù)巨大、非線性或不存在系統(tǒng)模型、具有強交互性等等。Sage, A.P. and C.D. Cuppan, Information, Knowledge, Systems Management, Vol. 2, No. 418大系統(tǒng)帶來大數(shù)據(jù)進入新世紀以來，信息系統(tǒng)的集成（一體化）成為“系統(tǒng)的系統(tǒng)”主要的研究領域之一。典型的“大系統(tǒng)”包括基于互聯(lián)網(wǎng)的系統(tǒng)、智能交通系統(tǒng)以及國防領域的綜合防空體系等等。淘寶、天貓、QQ、微信、百度、電信系統(tǒng)、銀行系統(tǒng)等等都成為典型的大系統(tǒng)。大系統(tǒng)使得數(shù)據(jù)的積累以海量的方式增長；信息資源的開發(fā)工具，則由數(shù)據(jù)庫（DB）走向業(yè)務智能（BI），進而由高端計算走向大數(shù)據(jù)

10、。在上述這些大系統(tǒng)中，實際上都建成了自己的大數(shù)據(jù)平臺，掌握了豐富的大數(shù)據(jù)資源，大大的“有寶可淘”。四個無處不在信息化的快速發(fā)展，催生了四個無處不在。計算、網(wǎng)絡、數(shù)據(jù)、軟件無處不在，成為信息時代的基本特征。計計算算網(wǎng)網(wǎng)絡絡數(shù)數(shù)據(jù)據(jù)軟軟件件計算、網(wǎng)絡、數(shù)據(jù)、軟件無處不在，實際上形成了信息系統(tǒng)的無處不在。1920數(shù)據(jù)量：新的增長因素主要的刺激因素包括：互聯(lián)網(wǎng)用戶的急遽增加；各種基于互聯(lián)網(wǎng)的應用系統(tǒng)，特別是電子商務和社交網(wǎng)絡的急遽發(fā)展；物聯(lián)網(wǎng)的快速興起；以及數(shù)據(jù)終端種類和數(shù)量的急遽增加，特別是智能手機和移動互聯(lián)網(wǎng)的快速發(fā)展等等。所有這些看似并無關聯(lián)的、數(shù)以億計的、大大小小的信息系統(tǒng)中所包含的信息，需要

11、超越政府部門、企事業(yè)、行業(yè)系統(tǒng)，另辟蹊徑，另構系統(tǒng)，開發(fā)和利用這類超大型的數(shù)據(jù)資源。21四、發(fā)展超巨系統(tǒng)22超巨系統(tǒng)與無系統(tǒng)系統(tǒng)在這樣的情況下，對超大數(shù)據(jù)的研究、分析和利用技術的需求應運而生。大數(shù)據(jù)的研究、分析和利用，首先需要構造大數(shù)據(jù)平臺。沒有大數(shù)據(jù)平臺，就沒有分析利用的數(shù)據(jù)基礎。因此，根據(jù)實際的應用需求，構造一類超巨型信息系統(tǒng)（HSIS - Huge Scale Information System），變得非常必要。這種系統(tǒng)往往是沒有系統(tǒng)的系統(tǒng)，即無系統(tǒng)系統(tǒng)（SWS - System without System），但又是基于無數(shù)信息系統(tǒng)的系統(tǒng)。無系統(tǒng)，是指其成員系統(tǒng)不是為這個超巨系統(tǒng)而特

12、意打造的系統(tǒng)。23超巨系統(tǒng)的主要特征這種系統(tǒng)與大系統(tǒng)的主要區(qū)別在于，它們是為完成特定的功能設計的，而實現(xiàn)其功能所基于的各種成員系統(tǒng)，無論在功能、運行、管理和地域上都是無關的，也不具有任何先驗的、人為設計的特征。不僅如此，其成員系統(tǒng)可能是隨機的、泛在的、動態(tài)遷移的。無線互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和智能終端的發(fā)展，使成員系統(tǒng)的泛在化特征大為增強。這類超巨系統(tǒng)充分利用全球現(xiàn)有的各種信息系統(tǒng)的功能和數(shù)據(jù)特征而構造，目的就是為了構造目的性極強的超大數(shù)據(jù)平臺，從而獲取、分析和利用所獲取的大數(shù)據(jù)，最終獲取情報或信息。24超巨系統(tǒng)的實例美國華盛頓郵報2013年12月5日在頭版頭條位置報道，美國國安局每天收集全球各地近50

13、億條手機通信記錄，并對其位置和活動進行跟蹤。這個監(jiān)聽系統(tǒng)就是一個典型的超巨型的信息系統(tǒng)，一個典型的無系統(tǒng)系統(tǒng)。其主要功能就是發(fā)現(xiàn)可疑的情報目標人物的活動路線、相關行動及社會關系網(wǎng)絡。這個系統(tǒng)的構成，包括相關的光纖電纜、移動電話、蜂窩網(wǎng)絡、無線上網(wǎng)信號、全球定位系統(tǒng)、以及竊聽裝備等等，是無數(shù)個不是成員系統(tǒng)的成員系統(tǒng)。25超巨系統(tǒng)的實例這個超巨系統(tǒng)所處理的數(shù)據(jù)的重要特征，當然是以典型的音頻大數(shù)據(jù)為主。顯然，這個超巨系統(tǒng)是需要精心設計的，需要設定系統(tǒng)目標、功能、體系結構、數(shù)據(jù)源、數(shù)據(jù)采集方法和分析利用、系統(tǒng)運行維護等等。超巨信息系統(tǒng)的設計和構建理論，完全不同于傳統(tǒng)意義上的信息系統(tǒng)的一般理論，需要有新

14、的信息系統(tǒng)方法學做支撐。26大數(shù)據(jù)：發(fā)展超巨系統(tǒng)綜上所述，從信息系統(tǒng)的觀點來看，至少存在著兩種不同形態(tài)的大數(shù)據(jù)：從大系統(tǒng)中獲得大數(shù)據(jù)和從超巨系統(tǒng)/從無系統(tǒng)系統(tǒng)中獲得大數(shù)據(jù)。從大系統(tǒng)中獲得大數(shù)據(jù)，一般可由政府部門、企事業(yè)、行業(yè)等等，在其信息化的進程中“水到渠成”地解決；而要從無系統(tǒng)系統(tǒng)中獲得大數(shù)據(jù)，則需要根據(jù)目標和功能，通過構造特定的超巨型信息系統(tǒng)來解決。前者一般而言結構性可能比較好一點，后者則可能非結構化的特征更明顯，甚至完全不具有結構性，大數(shù)據(jù)分析的難度也可能更大一些。27應對大數(shù)據(jù)時代的挑戰(zhàn)不難看出，對于許多真正的跨企業(yè)、跨行業(yè)、跨部門、跨地域的大數(shù)據(jù)分析利用而言，沒有超巨型信息系統(tǒng)，就沒有大數(shù)據(jù)平臺，也就談不上這類大數(shù)據(jù)的分析利用。因此，應對大數(shù)據(jù)時代的來臨，一方面，需要從長遠的角度發(fā)展數(shù)據(jù)科學，培養(yǎng)數(shù)據(jù)科學家和一大批數(shù)據(jù)科學和技術的人才；另一方面，需要從應用的角度，研究國民經(jīng)濟和社會發(fā)展、國家安全和國家信息安全的大數(shù)據(jù)應用需求。在當前和可預見的未來，必須明確，什么樣的信息是現(xiàn)有的各種大系統(tǒng)所無法