大數(shù)據(jù)時代信息化發(fā)展趨勢

“大數(shù)據(jù)時代”信息化發(fā)展趨勢2023/1/19雷揚(yáng)主要內(nèi)容

大數(shù)據(jù)的由來和發(fā)展

信息技術(shù)為大數(shù)據(jù)開辟了前進(jìn)道路

大數(shù)據(jù)是走向信息時代的奠基石

大數(shù)據(jù)發(fā)展的關(guān)鍵環(huán)節(jié)電子政務(wù)發(fā)展中的大數(shù)據(jù)一、大數(shù)據(jù)的由來和發(fā)展大數(shù)據(jù)是一個自然形成的發(fā)展中、階段性概念

大數(shù)據(jù)是指具有數(shù)量巨大、多類型、不同結(jié)構(gòu)化程度、不均衡價值密度、不一致動態(tài)特征、不同應(yīng)用處理特征等特點(diǎn)信息集合。

本報告所稱大數(shù)據(jù)系統(tǒng)是指一個圍繞特定目的而形成的數(shù)據(jù)及其處理系統(tǒng)。并不是每一個大數(shù)據(jù)系統(tǒng)的信息集合都具有上述全部特征，一種或兩種類型，數(shù)量巨大，也是大數(shù)據(jù)。在計算機(jī)處理能力不斷發(fā)展、信息系統(tǒng)處理的信息日益增長，特別是互聯(lián)網(wǎng)（包括移動互聯(lián)網(wǎng)）的發(fā)展、傳感技術(shù)的廣泛應(yīng)用，大數(shù)據(jù)概念應(yīng)運(yùn)而生在這里，大數(shù)據(jù)和信息、信息資源是同義詞為什么叫大數(shù)據(jù)：一是數(shù)量大YB:2的80次方，ZB的1000倍ZB:2的70次方，EB的1000倍EB:2的60次方，PB的1000倍PB:2的50次方，TB的1000倍TB:2的40次方，GB的1000倍GB:2的30次方，MB的1000倍絕大部分應(yīng)用在這兩個數(shù)量級我們每個人都在制造和使用信息每秒發(fā)出290萬條短信每天Twitter上發(fā)布5000萬條微博每天Google處理的數(shù)據(jù)24PB2012年11月11日第一秒，用戶向阿里網(wǎng)購提出1千萬請求過去3年數(shù)據(jù)量比以往數(shù)萬年還多2020年數(shù)據(jù)產(chǎn)出量將比2009年的44倍還多2006年全球生成、復(fù)制的數(shù)字化信息量大約16.1萬PB，當(dāng)年的信息產(chǎn)生量約是歷史上圖書信息總量的3000倍二是類型多結(jié)構(gòu)特征：結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化擁有特征：私有、共有、公開形態(tài)特征：語音、文本、數(shù)值、圖像、視頻為什么叫大數(shù)據(jù)：二是類型多三是更接近把握信息資源的本質(zhì)大數(shù)據(jù)真正開始把信息變成資源有的文章將大數(shù)據(jù)看作石油，大數(shù)據(jù)研究與自然資源利用發(fā)現(xiàn)、開采、提煉存在一定的相似之處研究大數(shù)據(jù)，首先要研究各種有用的信息在何處，就是找礦其次是把滿足特定需求的信息收集過來，就是開礦第三是把收集的信息按應(yīng)用需求進(jìn)行結(jié)構(gòu)化處理，就是提煉，如同石油必須經(jīng)過煉化才能變成消費(fèi)用的汽油、柴油或作為原料用的聚乙烯、聚丙烯第四是將這樣的信息與具體的應(yīng)用結(jié)合，使之發(fā)揮作用，這就是基于大數(shù)據(jù)的應(yīng)用系統(tǒng)，或稱之為圍繞應(yīng)用的大數(shù)據(jù)管理系統(tǒng)，如同汽油通過加油站加到消費(fèi)者的汽車內(nèi)，石化原料變成衣服、設(shè)備或其部件。大數(shù)據(jù)是一個階段性的概念大數(shù)據(jù)是信息和信息資源開發(fā)利用這個穩(wěn)定概念在今天這個特定時期的代表名詞。關(guān)于大數(shù)據(jù)所有作用和意義的期待，都包含在1970年哈佛大學(xué)關(guān)于資源三角形的論述中。這個論述簡而言之就是材料、能源、信息是推動社會發(fā)展的三種基本資源。美國人相信它40多年了，并為之持續(xù)不斷地做了大量的工作，也是美國在IT領(lǐng)域，包括信息資源領(lǐng)域，一家獨(dú)大的一個原因。材料信息能源管理二、信息技術(shù)為大數(shù)據(jù)開辟了前進(jìn)道路信息技術(shù)進(jìn)展是大數(shù)據(jù)產(chǎn)生和發(fā)展的主要動力傳感技術(shù)：大數(shù)據(jù)的主要來源存儲技術(shù)：不僅數(shù)據(jù)量大，而且要有信息存儲模式傳輸技術(shù)：不僅提供傳輸能力，還是數(shù)據(jù)的創(chuàng)造者處理技術(shù)：不僅是處理能力，更是處理方法（結(jié)構(gòu)化語義處理）

11信息技術(shù)術(shù)繼續(xù)快快速發(fā)展展，技術(shù)術(shù)體系更更趨完善善1、處理、、傳輸、、存儲技技術(shù)延續(xù)續(xù)高速發(fā)發(fā)展2、感知、、顯示、、獲取技技術(shù)駛?cè)肴肟燔嚨赖?、內(nèi)容處處理、智智能系統(tǒng)統(tǒng)技術(shù)不不斷成熟熟4、技術(shù)體體系不斷斷完善傳輸技術(shù)術(shù)：走向向?qū)拵Х悍涸谄占凹?023/1/1傳輸輸人與人物與人物與物人與物走向G級從個位數(shù)數(shù)到T級P級甚至更高高超高速泛在新的體系系架構(gòu)更加深入入的融合合：三網(wǎng)網(wǎng)、固移移，工作作網(wǎng)、物物聯(lián)網(wǎng)、、互聯(lián)網(wǎng)網(wǎng)當(dāng)前的關(guān)關(guān)鍵技術(shù)術(shù)：端到到端G級、下一一代互聯(lián)聯(lián)網(wǎng)、新新技術(shù)條條件下的的城域網(wǎng)網(wǎng)和骨干干網(wǎng)體系系架構(gòu)，，……端到端數(shù)數(shù)百兆到到吉比特特，4個以上數(shù)數(shù)量級的的匯接帶帶寬，3D及虛擬現(xiàn)現(xiàn)實(shí)等傳傳輸要求求，許多多場景下下并發(fā)數(shù)數(shù)量急劇劇增加處理存儲儲技術(shù)：：20年內(nèi)提升升3個數(shù)量級級2023/1/1處理理/存儲儲集成成度度，，從從當(dāng)當(dāng)前前的的32/28nm，快快步步前前進(jìn)進(jìn)到到14/16nm及以以下下低功功耗耗、、嵌嵌入入式式、、可可靠靠性性、、小小型型、、可可移移動動高性性能能，，超超級級計計算算機(jī)機(jī)、、匯匯聚聚計計算算資資源源能能力力高性性能能，，一一些些重重要要的的應(yīng)應(yīng)用用，，需需要要繼繼續(xù)續(xù)沿沿摩摩爾爾定定律律提提升升3個以以上上數(shù)數(shù)量量級級處理理能能力力的的集集成成，，更更加加復(fù)復(fù)雜雜的的存存儲儲與與處處理理系系統(tǒng)統(tǒng)更加加復(fù)復(fù)雜雜和和智智能能化化的的應(yīng)應(yīng)用用，，需需要要尋尋找找新新的的技技術(shù)術(shù)感知知獲獲取取技技術(shù)術(shù)：：一組組需需求求驅(qū)驅(qū)動動快快速速發(fā)發(fā)展展的的技技術(shù)術(shù)2023/1/1感知知/獲取取RFID生物物/光磁磁轉(zhuǎn)轉(zhuǎn)換換聲音音/文字字轉(zhuǎn)轉(zhuǎn)換換遙感感技術(shù)術(shù)類類型型聲納納熱、、壓壓、、聲聲構(gòu)構(gòu)成成、、損損傷傷、、關(guān)關(guān)系系空間間、、地地球球、、生生物物、、生生命命、、社社會會等等全全方方位位、、細(xì)細(xì)粒粒度度的的感感知知各類感知知遠(yuǎn)、細(xì)細(xì)、清的的要求機(jī)器閱讀讀及其他他語義信信息的獲獲取感知什么么顯示反應(yīng)應(yīng)技術(shù)：：走向智智能2023/1/1顯示/反應(yīng)生物/光磁轉(zhuǎn)轉(zhuǎn)換聲音/文字轉(zhuǎn)轉(zhuǎn)換表情語言3D及多維維控制技技術(shù)機(jī)器人人文字與感知知、網(wǎng)網(wǎng)絡(luò)能能力并并行的的反應(yīng)應(yīng)、行行動能能力，，在不不同空空間范范圍信信息系系統(tǒng)的的物理理行為為無需需人來來執(zhí)行行虛擬現(xiàn)現(xiàn)實(shí)虛虛實(shí)結(jié)結(jié)合的的現(xiàn)實(shí)實(shí)三維空空間精精確行行為清晰色彩輕便節(jié)能適應(yīng)可靠打印機(jī)機(jī)、復(fù)復(fù)印機(jī)機(jī)、傳傳真機(jī)機(jī)、掃掃描儀儀軟件和和系統(tǒng)統(tǒng)集成成：承承載信信息社社會運(yùn)運(yùn)行控控制2023/1/1軟件和和系統(tǒng)統(tǒng)集成成建模技技術(shù)、、軟件件工程程技術(shù)術(shù)、自自動編編程技技術(shù)、、驗證證技術(shù)術(shù)設(shè)備和和技術(shù)術(shù)的多多樣復(fù)復(fù)雜、、非結(jié)結(jié)構(gòu)化化事務(wù)務(wù)和信信息的的處理理、2的50-100次方級級大數(shù)數(shù)據(jù)的的組織織與利利用、、跨領(lǐng)領(lǐng)域且且物理理世界界相對對松散散的事事務(wù)處處理、、設(shè)備備（系系統(tǒng)））控制制與事事務(wù)處處理的的融合合，復(fù)復(fù)雜系系統(tǒng)、、不同同類型型對象象的建建模重用、、測試試、可可靠性性、安安全性性、生生產(chǎn)率率、適適應(yīng)新新模式式使設(shè)備備和系系統(tǒng)變變成可可靠的的工作作系統(tǒng)統(tǒng)Saas及新新的的業(yè)業(yè)態(tài)態(tài)，，構(gòu)構(gòu)建建智智能能的的系系統(tǒng)統(tǒng)應(yīng)對對設(shè)設(shè)備備和和系系統(tǒng)統(tǒng)復(fù)復(fù)雜雜化化和和多多樣樣化化的的進(jìn)進(jìn)程程信息息內(nèi)內(nèi)容容的的技技術(shù)術(shù)：：走走向向智智能能的的核核心心2023/1/1信息息組組織織、、管管理理和和利利用用文字字聲聲音音的的轉(zhuǎn)轉(zhuǎn)化化、、聲聲音音處處理理、、圖圖像像處處理理機(jī)器器翻翻譯譯為為代代表表的的自自然然語語言言處處理理應(yīng)對對數(shù)數(shù)量量變變化化，，2的50-100次方方應(yīng)對對應(yīng)應(yīng)用用需需求求的的變變化化應(yīng)對對音音視視頻頻信信息息類類型型的的變變化化概念體系系為基礎(chǔ)礎(chǔ)、不同同粒度、、不同場場景的大規(guī)模信信息組織織、管理理和利用用信息技術(shù)體體系架構(gòu)不不斷完善，，信息、能能源、材料料技術(shù)融合合，以智能能技術(shù)為標(biāo)標(biāo)志的新一一代生產(chǎn)力力體系逐逐漸成形2023/1/1感知/獲取處理/存儲顯示/反應(yīng)傳輸輸軟件和系統(tǒng)統(tǒng)集成信息組織、、管理與利利用大數(shù)據(jù)技術(shù)術(shù)，從內(nèi)容角度度要重視三個個方面的來來源一是關(guān)于數(shù)據(jù)據(jù)管理和處處理研究，，包括物理理和語義兩兩個領(lǐng)域數(shù)數(shù)據(jù)管理。。數(shù)據(jù)結(jié)構(gòu)構(gòu)、算法和和數(shù)據(jù)庫相相關(guān)領(lǐng)域取取得的進(jìn)展展最為突出出，如文件件系統(tǒng)、數(shù)數(shù)據(jù)庫、數(shù)數(shù)據(jù)倉庫、、元數(shù)據(jù)、、數(shù)據(jù)模型型、內(nèi)存處處理、云存存儲的研究究。應(yīng)當(dāng)看看到近十年年來，關(guān)于于多維數(shù)據(jù)據(jù)結(jié)構(gòu)和算算法、機(jī)器器視覺和攝攝錄象研究究和技術(shù)，，對于大數(shù)數(shù)據(jù)研究具具有極其重重要的參考考意義。二是關(guān)于于數(shù)據(jù)據(jù)利用用及適適應(yīng)應(yīng)應(yīng)用需需求的的研究究，包包括用用戶視視圖、、聯(lián)機(jī)機(jī)數(shù)據(jù)據(jù)分析析、數(shù)數(shù)據(jù)挖挖掘、、檢索索等。大數(shù)數(shù)據(jù)據(jù)技技術(shù)術(shù)，，內(nèi)容容角角度度要重重視視三三個個方方面面的的來來源源三是關(guān)關(guān)于于語語義義上上理理解解信信息息的的研研究究，，幾幾乎乎可可以以將將人人工工智智能能研研究究的的全全部部成成果果作作為為大大數(shù)數(shù)據(jù)據(jù)研研究究的的基基礎(chǔ)礎(chǔ)，，因因為為從從語語義義角角度度理理解解信信息息是是人人工工智智能能的的基基礎(chǔ)礎(chǔ)。。從從圖圖靈靈測測試試到到專專家家系系統(tǒng)統(tǒng)，，從從五五代代機(jī)機(jī)到到cyc，從從模模式式識識別別到到神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)，，從從自自然然語語言言識識別別和和理理解解到到機(jī)機(jī)器器人人，，都都是是從從不不同同角角度度研研究究理理解解信信息息的的技技術(shù)術(shù)、、方方法法理理論論。IBM的DeepQA，通通過過針針對對廣廣泛泛收收集集特特定定應(yīng)應(yīng)用用領(lǐng)領(lǐng)域域的的信信息息和和知知識識，，在在適適度度結(jié)結(jié)構(gòu)構(gòu)化化、、一一系系列列規(guī)規(guī)則則和和算算法法的的基基礎(chǔ)礎(chǔ)上上，，具具備備這這一一領(lǐng)領(lǐng)域域人人的的智智能能。。其其代代表表作作““沃沃森森””，，已已經(jīng)經(jīng)擊擊敗敗了了美美國國電電視視臺臺““危危險險””這這個個具具有有之之力力競競賽賽性性質(zhì)質(zhì)的的娛娛樂樂節(jié)節(jié)目目的的冠冠軍軍，，今今天天，，又又落落戶戶紐紐約約州州的的倫倫斯斯勒勒里里工工學(xué)學(xué)院院，，與與學(xué)學(xué)生生一一起起學(xué)學(xué)習(xí)習(xí)，，英英語語和和數(shù)數(shù)學(xué)學(xué)。。Google的““谷谷歌歌大大腦腦””將將1.6萬個個處處理理器器構(gòu)構(gòu)成成當(dāng)當(dāng)前前世世界界上上最最大大的的人人工工腦腦，，模模擬擬人人類類腦腦神神經(jīng)經(jīng)系系統(tǒng)統(tǒng)，，通通過過算算法法從從互互聯(lián)聯(lián)網(wǎng)網(wǎng)中中提提取取信信息息識識別別貓貓。三、、大數(shù)數(shù)據(jù)據(jù)是走走向向信信息息時時代代的的奠奠基基石石35億年年前前開開始始生命命形形成成生生物物進(jìn)進(jìn)化化千萬萬年年猴子子到到人人的的進(jìn)進(jìn)化化約300萬年年人人的的進(jìn)進(jìn)化化約8000年文字字形形成成約2000年紙和和印印刷刷術(shù)術(shù)的的發(fā)發(fā)明明形形成成最近近幾幾十十年年計算算機(jī)機(jī)、、信信息息網(wǎng)網(wǎng)絡(luò)絡(luò)、、傳傳感感和和記記錄錄等等技技術(shù)術(shù)的的發(fā)發(fā)明明35億年年生生命命史史，，展展示示了了信息息是是智智能能進(jìn)進(jìn)化化的的主主要要因因素素感知知、、傳傳遞遞、、反反應(yīng)應(yīng)意識、思思維、概概念（更高層層次的抽抽象）模仿（抽抽象）、、記憶、、判斷、、反應(yīng)感知、傳傳遞、反反應(yīng)模仿（抽抽象）、、記憶、、判斷、、反應(yīng)意識、思思維、概概念（更更高層次次的抽象象）文字、記記錄感知、記記錄、傳傳輸、存存儲、處處理數(shù)億年動物的進(jìn)進(jìn)化語言、概概念體系系語言、概念體體系文字、記記錄感知、記記錄、傳傳輸、存存儲、處處理形成了當(dāng)當(dāng)今世界界的智能能體系和和水平2023/1/1有效信息總量知識總量和質(zhì)量使用者總量和質(zhì)量同一交流平臺人數(shù)發(fā)展環(huán)境系數(shù)設(shè)一個具有若若干個緊密聯(lián)聯(lián)系群體且有有一定相互關(guān)關(guān)聯(lián)地域，其其信息與社會會發(fā)展關(guān)系函函數(shù)為f(d)：令f(d)={∑Y+∑Z+∑S+∑T}x?其中Y=有效信息總量量Z=知識總量和質(zhì)質(zhì)量S=使用者總量和和質(zhì)量T=同一交流平臺臺參與人數(shù)?=發(fā)展環(huán)境系數(shù)數(shù)實(shí)際上，YZST是非獨(dú)立的，，最關(guān)鍵的因因子是T2023/1/1有效信息總量知識總量和質(zhì)量使用者總量和質(zhì)量同一交流平臺人數(shù)發(fā)展環(huán)境系數(shù)以T主線，我們可可以初步推論論信息交流平平臺和參與人人數(shù)與社會發(fā)發(fā)展的關(guān)系有效信息總量知識總量和質(zhì)量使用者總量和質(zhì)量同一交流平臺人數(shù)發(fā)展環(huán)境系數(shù)1--10百--千萬--十萬十萬--百萬千萬--億-幾十億原始社會農(nóng)業(yè)社會工業(yè)社會信息社會這是發(fā)展速度度的示意圖，，不是規(guī)模原始家族經(jīng)過約300萬年：語語言記憶思維概念念等能力的形形成約8000年文字形成約2000年紙和印刷術(shù)的的發(fā)明形成最近幾十年計算機(jī)、信息息網(wǎng)絡(luò)、傳感感和記錄等技技術(shù)的發(fā)明示意圖時間尺尺度不成比例例信息能力不僅僅是生命、智智能進(jìn)化的基基礎(chǔ)，也與產(chǎn)產(chǎn)業(yè)發(fā)展正相相關(guān)2023/1/1對歷史縱切面面的分析有兩兩點(diǎn)主要結(jié)論論歷史發(fā)展進(jìn)入入一個新的轉(zhuǎn)轉(zhuǎn)型期：從工工業(yè)社會走向向信息社會，，在這個歷史發(fā)展展轉(zhuǎn)型期，中國存在超超越的可能這個可能在于13億人的素質(zhì)：：知識、聰明明、勤奮，我我們會有5億以上的人口口進(jìn)入經(jīng)濟(jì)社社會發(fā)展的綜綜合平臺上，，形成強(qiáng)大的的發(fā)展動力，，遠(yuǎn)遠(yuǎn)超過其其他強(qiáng)國中國的IT夢與中國夢重合合的歷史必然然2023/1/1信息戰(zhàn)：顯示示了將所有戰(zhàn)戰(zhàn)爭要素集中中在一個信息息平臺上的力力量從人工細(xì)化分分工到自動化化生產(chǎn)線2023/1/1從大大規(guī)規(guī)模模生生產(chǎn)產(chǎn)到到個個性性化化生生產(chǎn)產(chǎn)主要要的的變變化化也也是是信信息息感感知知、、傳傳輸輸、、處處理理、、利利用用的的能能力力增增加加靈活活供供應(yīng)應(yīng)鏈鏈建模模與與仿仿真真智能能工工廠廠分銷銷配配送送用戶戶應(yīng)對對消消費(fèi)費(fèi)者者需需求求及及供供應(yīng)應(yīng)商商變變化化的的IT供應(yīng)應(yīng)鏈鏈連接接產(chǎn)產(chǎn)品品開開發(fā)發(fā)與與設(shè)設(shè)計計，，再再到到制制造造的的工工藝藝工廠廠工工人人用用知知識識為為基基礎(chǔ)礎(chǔ)的的技技術(shù)術(shù)，，優(yōu)優(yōu)化化生生產(chǎn)產(chǎn)、、降降低低成成本本簡化化產(chǎn)產(chǎn)品品移移動動的的工工廠廠與與配配送送中中心心的的實(shí)實(shí)時時信信息息流流用戶戶定定制制產(chǎn)產(chǎn)品品，，產(chǎn)產(chǎn)品品使使用用全全過過程程跟跟蹤蹤以以及及產(chǎn)產(chǎn)品品回回收收和和再再制制造造全球球先先進(jìn)進(jìn)制制造造業(yè)業(yè)發(fā)發(fā)展展新新趨趨勢勢先進(jìn)進(jìn)制制造造企企業(yè)業(yè)概概念念信息息資資源源成成為為現(xiàn)現(xiàn)代代化化發(fā)發(fā)展展的的基基礎(chǔ)礎(chǔ)資資源源在這這樣樣的的企企業(yè)業(yè)中中，，起起引引領(lǐng)領(lǐng)作作用用的的是是什什么么？？四、、大數(shù)數(shù)據(jù)據(jù)發(fā)發(fā)展展的的關(guān)關(guān)鍵鍵環(huán)節(jié)節(jié)：：收集集、、組組織織、、管管理理、、利利用用認(rèn)識識、、技技術(shù)術(shù)、、法法律律、、制制度度、、標(biāo)標(biāo)準(zhǔn)準(zhǔn)主體體、、商商業(yè)業(yè)模模式式或或運(yùn)運(yùn)行行機(jī)機(jī)制制信息的的結(jié)構(gòu)構(gòu)化大數(shù)據(jù)據(jù)管理理系統(tǒng)統(tǒng)（一））收集集、組織織、管管理、、利用找礦開礦煉礦用礦找礦：：發(fā)現(xiàn)現(xiàn)需要要的信信息資資源定義需需要的的信息息資源源確定的的信息息資源源在哪哪里是否已經(jīng)以以信息息形式式存在是否需需要采采集開礦：：收集集和獲獲取用何種種方法法收集集、獲取要用什什么樣樣的方方式采集已有的的怎么么獲?。海嘿徺I、、交換換、再再收集集沒有的的怎么么采集：：委托、、技術(shù)術(shù)方案案、自自采提煉：：變成成適用用信息息相對于信息，提煉的的本質(zhì)是是按應(yīng)用需求求進(jìn)行結(jié)結(jié)構(gòu)化處理按需求語義和物物理的機(jī)機(jī)構(gòu)化語義相對對于應(yīng)用用的目的物理相當(dāng)于處處理、存存儲、傳傳輸?shù)乃偎俣群统沙杀纠茫号c與具體應(yīng)應(yīng)用的結(jié)結(jié)合將結(jié)構(gòu)化的信息與具具體的應(yīng)用結(jié)合，使使之發(fā)揮揮作用這就是基于于大數(shù)據(jù)據(jù)的應(yīng)用用系統(tǒng)，，或稱之之為圍繞繞應(yīng)用的的大數(shù)據(jù)據(jù)管理系系統(tǒng)，如如同汽油油通過加加油站加加到消費(fèi)費(fèi)者的汽汽車內(nèi)，，石化原原料變成成衣服、、設(shè)備或或其部件件。企業(yè)信息息示意人員信息息：業(yè)務(wù)流信信息1：客戶信息息資金信息息：注冊信息息供應(yīng)鏈信息：法人、管管理層、、職工，，薪資、、崗位、、業(yè)績……供應(yīng)鏈信息：零零部件、、原材料料、能源源、供應(yīng)應(yīng)商……物流信息：研發(fā)設(shè)計計、生產(chǎn)產(chǎn)、庫存存、管理理、決策策、銷售售、服務(wù)務(wù)、統(tǒng)計計、年報報……業(yè)務(wù)流信信息2：業(yè)務(wù)流信信息n：承運(yùn)者、、工具、、地點(diǎn)、、計劃……注冊資本本、應(yīng)收收、應(yīng)付付、營收收、成本本、庫存存、固定定資產(chǎn)、、投資、、利息……機(jī)構(gòu)客戶戶：名稱、、法人代代表、貨貨品名稱稱、供貨貨時間、、聯(lián)系方方式、信信譽(yù)等級級……個人客戶戶：姓名、、貨品、、時間、、地點(diǎn)、、聯(lián)系方方式注銷信息息記錄文本本信息狀態(tài)信息音視頻場景因果果信息客戶信息息客戶信息息財富信息息：與應(yīng)用，，如質(zhì)量量管理的的要求一一致嗎？？還要做什什么？個人信息息示意獎懲信息息：工作信息息1：財富信息息：健康信息息：出生信息息學(xué)習(xí)信息息1：獎勵事項項、懲處處事項、、違法記記錄、失失信記錄錄學(xué)習(xí)信息息2：單位、崗崗位、職職務(wù)、職職稱、起起止時間間、工資資……工作信息2：工作信息n：學(xué)校、專專業(yè)、科科目、成成績、入入學(xué)畢業(yè)業(yè)時間、、活動……病歷、基基本健康康信息存款、證證卷、保保險、其其他投資資、不同同產(chǎn)……死亡信息息學(xué)習(xí)信息息n：生活信息：關(guān)系信息息：家人、親親戚、朋朋友、同同事、學(xué)學(xué)術(shù)、網(wǎng)網(wǎng)友……吃、睡、、行、休休閑，類類型、品品種、特特點(diǎn)……記錄文本本信息狀態(tài)信息音視頻場景因果果信息與應(yīng)用，，如質(zhì)量量管理的的要求一一致嗎？？還要做什什么？質(zhì)量信息息示意材料1信息：材料、部件檢測測信息：：生產(chǎn)工藝藝銷售環(huán)節(jié)節(jié)信息：產(chǎn)品質(zhì)量量信息部件1信息：材料生產(chǎn)產(chǎn)、運(yùn)輸輸、保管管信息，，略部件2信息：生產(chǎn)過程程信息……產(chǎn)品檢測測信息：：部件生產(chǎn)產(chǎn)、運(yùn)輸輸、保管管信息，，略運(yùn)輸、保保管、銷銷售、服服務(wù)見下圖部件n信息：執(zhí)行標(biāo)準(zhǔn)準(zhǔn)、檢測測方法、、將側(cè)工工具、檢檢測結(jié)果果……記錄文本本信息狀態(tài)信息音視頻材料2信息：材料n信息：執(zhí)行標(biāo)準(zhǔn)準(zhǔn)、檢測測方法、、檢測工工具、檢檢測結(jié)果果、生產(chǎn)過程程信息執(zhí)行標(biāo)準(zhǔn)準(zhǔn)生產(chǎn)裝備備生產(chǎn)班次次責(zé)任人生產(chǎn)過程檢測包裝可溯源的完完整信息流流與應(yīng)用，如如質(zhì)量管理理的要求一一致嗎？還要做什么么？（二）認(rèn)識、、技術(shù)、法律、制制度、標(biāo)準(zhǔn)認(rèn)識:走向透明的的社會、智智能的社會會、被數(shù)據(jù)據(jù)包圍的環(huán)環(huán)境，認(rèn)識識準(zhǔn)備好了了嗎？經(jīng)濟(jì)社會發(fā)發(fā)展模式管理：政府府與企業(yè)科技、教育育和文化人的發(fā)展與與生存生活方式認(rèn)識、技術(shù)、法律、制度度、標(biāo)準(zhǔn)技術(shù)：下面專門分分析傳感處理存儲數(shù)據(jù)管理數(shù)據(jù)分析認(rèn)識、技術(shù)術(shù)、法律、制制度、標(biāo)準(zhǔn)法律：收集利用管理權(quán)利義務(wù)認(rèn)識、技術(shù)術(shù)、法律、制制度、標(biāo)準(zhǔn)制度：相對于法律律的關(guān)于信信息資源的的制度國家層面：如資資產(chǎn)、責(zé)任任、利用、、安全機(jī)構(gòu)層面：如資資產(chǎn)、責(zé)任任、使用、、安全認(rèn)識、技術(shù)術(shù)、法律、制制度、標(biāo)準(zhǔn)標(biāo)準(zhǔn)：范圍，國家家、行業(yè)、、機(jī)構(gòu)類型，收集集、存儲、、處理、管管理、利用用；文本、、數(shù)值、圖圖像、音頻頻、視頻目的，保密、安安全、連接接、共享（三）信息息的結(jié)構(gòu)化信息的結(jié)構(gòu)化是是大數(shù)據(jù)技技術(shù)的核心、關(guān)鍵和難點(diǎn)大數(shù)據(jù)結(jié)構(gòu)化是是一個不斷發(fā)發(fā)展的漸進(jìn)過程追求結(jié)構(gòu)化是數(shù)據(jù)據(jù)管理的基本本動力和目的的。獲取、處理、、存儲、傳輸輸、利用的效效率，特別是是利用的有效效性基于信息息的機(jī)構(gòu)化程程度。數(shù)值及事務(wù)處理等等計算機(jī)信息息系統(tǒng)早期對對象結(jié)構(gòu)化已已經(jīng)成熟，成成為大數(shù)據(jù)結(jié)結(jié)構(gòu)化的基礎(chǔ)礎(chǔ)。其他相關(guān)關(guān)類型的信息息：文本、音音視頻、圖形形圖像等也在在數(shù)據(jù)庫或數(shù)數(shù)據(jù)管理發(fā)展展實(shí)踐中得到到不同程度的的關(guān)注，產(chǎn)生生了一些技術(shù)術(shù)方法，大數(shù)據(jù)正是在這樣的基礎(chǔ)礎(chǔ)上發(fā)展。結(jié)構(gòu)化的兩個個維度：內(nèi)在在邏輯完備度度和應(yīng)用完備備內(nèi)在邏輯的完備度度與應(yīng)用需求求的完備度之之間的約束。。這類約束超超越了一個具具體系統(tǒng)的范范疇。人類科科學(xué)和文明進(jìn)進(jìn)步的主要客客觀存在物是是概念體系，，概念體系的的主要載體又又是文本。即即使是嚴(yán)格定定義的科學(xué)著著作，也沒有有將其內(nèi)在語語義結(jié)構(gòu)表示示作為要求，，科學(xué)越發(fā)展展，積累的文文獻(xiàn)越多，文文本信息結(jié)構(gòu)構(gòu)化的難度越越大、任務(wù)越越重。學(xué)術(shù)界界及不少國家家已經(jīng)認(rèn)識到到這個問題對對科學(xué)研究和和提升創(chuàng)新能能力的重要性性，并著手部部署相應(yīng)的研研究計劃和工工程，著名的的有美國和英英國科學(xué)基礎(chǔ)礎(chǔ)設(shè)施計劃。（四）大數(shù)據(jù)管理系統(tǒng)關(guān)鍵流程分析析基本功能要求求體系架構(gòu)分析析比較與重點(diǎn)大數(shù)據(jù)管理系系統(tǒng)一般架構(gòu)構(gòu)示意圖第一層前置處處理體系：通通信、場景、、任務(wù)分配、、安全等第二層信息結(jié)結(jié)構(gòu)化處理體體系：場景分類、單單元劃分規(guī)則則、算法、單單元地址和語語義命名規(guī)則則、單元為基基礎(chǔ)的記錄數(shù)數(shù)據(jù)庫及其管管理系統(tǒng)、地地址函數(shù)庫、、語義特征函函數(shù)庫、物理理標(biāo)識庫和語語義標(biāo)識庫及及其管理系統(tǒng)統(tǒng)第三層信息存存儲體系：實(shí)體庫、規(guī)則則庫、函數(shù)庫庫、標(biāo)識庫、、算法庫、索索引庫的存儲儲結(jié)構(gòu)，中間間庫、原始庫庫、工作庫第四層信息處處理體系：信息獲取處理理、信息組織織處理、內(nèi)部部處理（包括括學(xué)習(xí)、反饋饋、整理等等等）、應(yīng)用處處理第五層軟硬硬件資源：：網(wǎng)絡(luò)、軟件件、計算機(jī)等體系架構(gòu)分分析目前已經(jīng)商商用的大數(shù)數(shù)據(jù)管理系系統(tǒng)或工具具，還沒有有全面應(yīng)對對大數(shù)據(jù)系系統(tǒng)的需要要，這正是是我們的機(jī)機(jī)遇所在（五）大數(shù)數(shù)據(jù)演進(jìn)方方向機(jī)構(gòu)事務(wù)服務(wù)研究是指一個機(jī)機(jī)構(gòu)（包括括企業(yè)）為為自身發(fā)展展目的而構(gòu)構(gòu)建大數(shù)據(jù)據(jù)系統(tǒng)，并并不斷推向向完善這樣的大數(shù)數(shù)據(jù)系統(tǒng)基于機(jī)構(gòu)，服務(wù)務(wù)于機(jī)構(gòu)?；跈C(jī)構(gòu)的大數(shù)據(jù)系統(tǒng)數(shù)量上構(gòu)成成全社會擁擁有量的主主體這樣的的大數(shù)數(shù)據(jù)系系統(tǒng)演進(jìn)，，特點(diǎn)點(diǎn)是目目的明明確、、類型型多樣樣、利利用已已有技技術(shù)和和方法法為主主要路路徑大數(shù)據(jù)據(jù)系統(tǒng)統(tǒng)演進(jìn)進(jìn)的領(lǐng)領(lǐng)域：：機(jī)構(gòu)構(gòu)是指基于一類事務(wù)或一類類重要要信息息類型型而收收集信信息、、組織織信息息、提提供服服務(wù)。人口、、企業(yè)業(yè)、空空間信信息、、交通通、水水務(wù)等等都是是基于于事務(wù)務(wù)的大大數(shù)據(jù)據(jù)系統(tǒng)統(tǒng)與基于于機(jī)構(gòu)構(gòu)的大大數(shù)據(jù)系系統(tǒng)顯顯著不不同就就是追追求一一類事事務(wù)或或一類類信息息的完完備度度，并并具有有跨機(jī)機(jī)構(gòu)性性質(zhì)。。事務(wù)大大數(shù)據(jù)據(jù)系統(tǒng)統(tǒng)演進(jìn)進(jìn)的主主要特特點(diǎn)是是對該該類信信息的的邏輯輯分析析在技技術(shù)上上要求求居于于領(lǐng)先先水平平大數(shù)據(jù)據(jù)系統(tǒng)統(tǒng)演進(jìn)進(jìn)的領(lǐng)領(lǐng)域：：事務(wù)務(wù)是指提提供基基于互互聯(lián)網(wǎng)網(wǎng)服務(wù)的大數(shù)數(shù)據(jù)系系統(tǒng)。顯著特特征是贏利為為目的的，演進(jìn)進(jìn)以商商業(yè)模模式要要求為為前提提要區(qū)分同同一企企業(yè)服服務(wù)型型和研研究型型的大大數(shù)據(jù)據(jù)系統(tǒng)統(tǒng)及相相關(guān)研研究工工作，，大型型互聯(lián)聯(lián)網(wǎng)和和信息息技術(shù)術(shù)企業(yè)業(yè)服務(wù)務(wù)企業(yè)業(yè)都可可能存存在這這兩種種類型型要區(qū)分一一個企企業(yè)商商業(yè)化化產(chǎn)品品、公公布的的研究究成果果與其其前沿沿研究究的差差別除了數(shù)據(jù)結(jié)構(gòu)構(gòu)、算法，也也就是本報告告所稱語義特特征函數(shù)的基基礎(chǔ)理論和方方法研究，以以科學(xué)研究為為基礎(chǔ)的信息息結(jié)構(gòu)化外，，該領(lǐng)域大數(shù)數(shù)據(jù)系統(tǒng)的研研究和服務(wù)均均處于領(lǐng)先水水平大數(shù)據(jù)系統(tǒng)演演進(jìn)的領(lǐng)域：：服務(wù)是指主要目的的是科學(xué)研究究，研究結(jié)果果為大數(shù)據(jù)系系統(tǒng)所用。三種主要類型：一是特定類型科科學(xué)研究，如如基因、地震震波、聲紋等二是人工智能及部分應(yīng)用系系統(tǒng)的研究，如“DeepQA”,“谷歌大腦””，感知識別別、自然語言言理解、機(jī)器器人等領(lǐng)域，聲紋庫、指紋庫、、交通監(jiān)視視視頻、安全監(jiān)監(jiān)視視頻，相相片集、計算算機(jī)輔助設(shè)計計集、自然事事件觀察集等等等。三是數(shù)學(xué)、計計算機(jī)科學(xué)的的基礎(chǔ)研究。主要貢獻(xiàn)在數(shù)數(shù)據(jù)結(jié)構(gòu)和算算法大數(shù)據(jù)系統(tǒng)演演進(jìn)的領(lǐng)域：：研究大數(shù)據(jù)系統(tǒng)演演進(jìn)的技術(shù)方方法研究如何提升升邏輯能力和和處理能力研究大數(shù)據(jù)特特有的演進(jìn)模模式，如何在在網(wǎng)絡(luò)環(huán)境下的互動動參與平臺，，開放與管理理的原則與方方法。交互式為主，適度采用計算或推推理是信息結(jié)結(jié)構(gòu)化的主要要模式通過內(nèi)部學(xué)習(xí)習(xí)和調(diào)整處理理，使系統(tǒng)具備自我演進(jìn)的功能。。大數(shù)據(jù)系統(tǒng)演演進(jìn)的技術(shù)方方法建立大數(shù)據(jù)管理系統(tǒng)最重要的技術(shù)術(shù)方法問題是信息結(jié)構(gòu)如如何形成。關(guān)系數(shù)據(jù)庫中實(shí)體和關(guān)系系的確立，即即單元的切分分和標(biāo)識的形形成是人為的的。但面對類類型多樣、來來源不一、數(shù)數(shù)量龐大的信信息，如何切切分單元，如如何給予成熟熟的、可處理理、可利用的的語義標(biāo)識，，人們會首先先傾向于通過過算法或推理理，實(shí)際上這這是行不通的的。五、電子政務(wù)發(fā)展展中的大數(shù)據(jù)以質(zhì)檢部門質(zhì)質(zhì)量管理應(yīng)用用為例信息化應(yīng)用已已經(jīng)延伸到質(zhì)質(zhì)檢各個領(lǐng)域域，在檢驗檢檢疫、質(zhì)量技技術(shù)監(jiān)督認(rèn)證證認(rèn)可、標(biāo)準(zhǔn)準(zhǔn)等工作中發(fā)發(fā)揮重要作用用，信息安全全保障能力逐逐步提升，大大數(shù)據(jù)對進(jìn)一一步提升質(zhì)檢檢系統(tǒng)信息化化水平具有十十分重要的作作用。利用信息技術(shù)術(shù)完善食品、、農(nóng)產(chǎn)品安全追溯體系推廣RFID、二維碼、條條形碼等技術(shù)術(shù)應(yīng)用，在供港澳牛奶、、豬肉、蔬菜菜等食品率先先建設(shè)食品安安全追溯體系系，實(shí)現(xiàn)食品、進(jìn)出口口農(nóng)產(chǎn)品安全全監(jiān)管“一一鍵溯源”。提供包括食品追溯溯相關(guān)記錄信信息查詢、統(tǒng)統(tǒng)計、分析等等功能。建立進(jìn)出口食品質(zhì)量安全全數(shù)據(jù)庫和服服務(wù)平臺，食品問題預(yù)警和事事后快速處理理提供支持。。推廣商品條條碼標(biāo)識在食食品安全追溯溯中的應(yīng)用，，制定標(biāo)準(zhǔn)，實(shí)實(shí)現(xiàn)食品安全監(jiān)管從粗粗放模糊型向向集約精確型型轉(zhuǎn)變。信息收集更好利用結(jié)構(gòu)化，質(zhì)量量需要進(jìn)一步完完善的工作：：信息是否滿滿足溯源需求求、信息來源源及質(zhì)量如何何保證、信息息如何支持預(yù)預(yù)警和事件處處置利用信息技術(shù)術(shù)加強(qiáng)質(zhì)量誠誠信體系進(jìn)一步完善質(zhì)質(zhì)量信用信息息管理制度，，規(guī)范信息的的記錄、歸集集、處理、使使用、公開等等工作。以組組織機(jī)構(gòu)代碼碼為基礎(chǔ)，有有效整合質(zhì)檢檢系統(tǒng)內(nèi)部質(zhì)質(zhì)量信用信息息資源，建立立質(zhì)量信用信信息數(shù)據(jù)庫。。搭建質(zhì)量信信用信息交換換和服務(wù)平臺臺，實(shí)現(xiàn)質(zhì)量量信用分類管管理，滿足各各級質(zhì)監(jiān)和檢檢驗檢疫部門門。。信息息收收集集更好好利利用用結(jié)構(gòu)構(gòu)化化，，質(zhì)質(zhì)量量需要要進(jìn)進(jìn)一一步步完完善善的的工工作作：：信信息息是是否否滿滿足足質(zhì)質(zhì)量量管管理理需需求求、、信信息息管管理理是是否否滿滿足足業(yè)業(yè)務(wù)務(wù)工工作作需需求求、、成成本本效效率率質(zhì)質(zhì)量量分分析析利用用信信息息技技術(shù)術(shù)提提升升出出入入境境檢檢驗驗檢檢疫疫業(yè)業(yè)務(wù)務(wù)監(jiān)監(jiān)管管水水平平實(shí)現(xiàn)現(xiàn)全面面實(shí)實(shí)時時掌掌握握全全國國出出入入境境檢檢驗驗檢檢疫疫業(yè)業(yè)務(wù)務(wù)情情況況，，加加快快監(jiān)監(jiān)管管指指令令的的下下達(dá)達(dá)速速度度，，提提高高科科學(xué)學(xué)決決策策和和統(tǒng)統(tǒng)一一指指揮揮能能力力；；實(shí)實(shí)現(xiàn)現(xiàn)各各地地檢檢驗驗檢檢疫疫機(jī)機(jī)構(gòu)構(gòu)對對進(jìn)進(jìn)出出口口貨貨物物全全程程跟跟蹤蹤，，全全面面提提升升口口岸岸局局與與內(nèi)內(nèi)地地局局之之間間業(yè)業(yè)務(wù)務(wù)協(xié)協(xié)作作和和執(zhí)執(zhí)法法能能力力，，提提高高檢檢驗驗檢檢疫疫嚴(yán)嚴(yán)密密監(jiān)監(jiān)管管的的能能力力；；實(shí)實(shí)現(xiàn)現(xiàn)企企業(yè)業(yè)、、產(chǎn)產(chǎn)品品、、證證書書等等信信息息的的高高度度共共享享，，促促進(jìn)進(jìn)出出入入境境檢檢驗驗檢檢疫疫業(yè)業(yè)務(wù)務(wù)協(xié)協(xié)同同監(jiān)監(jiān)管管水水平平的的提提升升。信息收集集更好利用用需要進(jìn)一一步完善善的工作作：如何何實(shí)現(xiàn)進(jìn)進(jìn)出口貨貨物全程程跟蹤，，全程如如何定義義、范圍圍是什么么、跟蹤蹤的