




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
第一章
大數(shù)據(jù)概述
1.1大數(shù)據(jù)的產(chǎn)生背景與概念
1.1.1大數(shù)據(jù)的產(chǎn)生背景大數(shù)據(jù)的產(chǎn)生可以分為三個(gè)階段:萌芽階段(20世紀(jì)90年代至21世紀(jì)初):1997年,NASA阿姆斯科研中心的大衛(wèi)?埃爾斯沃斯和邁克爾?考克斯在研究數(shù)據(jù)的可視化問題時(shí)首次使用“大數(shù)據(jù)”概念;1998年,美國《自然》雜志上發(fā)表的一篇名為《大數(shù)據(jù)科學(xué)的可視化》的文章,使大數(shù)據(jù)正式作為一個(gè)專有名詞出現(xiàn)在公共刊物之中。1.1.1大數(shù)據(jù)的產(chǎn)生背景發(fā)展階段(階段從21世紀(jì)初至2010年):數(shù)據(jù)分析的主要技術(shù)——Hadoop技術(shù)的誕生,使2005年成為大數(shù)據(jù)發(fā)展的重要里程碑。大數(shù)據(jù)技術(shù)先是在美國鋪開,2010年美國信息技術(shù)顧問委員會(huì)(PITAC)發(fā)布的一篇名為《規(guī)劃數(shù)字化未來》的報(bào)告,足以體現(xiàn)美國對(duì)發(fā)展大數(shù)據(jù)技術(shù)的重視。在這個(gè)階段,大數(shù)據(jù)技術(shù)作為一種新興技術(shù)初步出現(xiàn)在人們的視野中,但還并未在全球普及。1.1.1大數(shù)據(jù)的產(chǎn)生背景興盛階段(從2011年至今):2011年,擁有每秒掃描并分析4TB的數(shù)據(jù)量能力的IBM公司研制出的沃森超級(jí)計(jì)算機(jī)橫空出世,直接打破了世界紀(jì)錄,將大數(shù)據(jù)分析提升到新高度;不久后,麥肯錫發(fā)布了《海量數(shù)據(jù),創(chuàng)新、競(jìng)爭(zhēng)和提高生成率的下一個(gè)新領(lǐng)域》,詳細(xì)描述了大數(shù)據(jù)的技術(shù)架構(gòu),并且交代了大數(shù)據(jù)在各個(gè)領(lǐng)域中的應(yīng)用情況;2012年在瑞士達(dá)沃斯召開的世界經(jīng)濟(jì)論壇討論了與大數(shù)據(jù)相關(guān)的一系列問題,并發(fā)表了《大數(shù)據(jù),大影響》,至此,大數(shù)據(jù)的全球普及時(shí)代來臨。1.1.1大數(shù)據(jù)的產(chǎn)生背景
199719982005201020112012“大數(shù)據(jù)”概念的首次使用《大數(shù)據(jù)科學(xué)的可視化》文章的發(fā)表Hadoop技術(shù)誕生PITAC發(fā)布《規(guī)劃數(shù)字化未來》報(bào)告沃森超級(jí)計(jì)算機(jī)橫空出世瑞士達(dá)沃斯召開的世界經(jīng)濟(jì)論壇上發(fā)表《大數(shù)據(jù),大影響》大數(shù)據(jù)產(chǎn)生大事件年代表1.1.2大數(shù)據(jù)的概念大數(shù)據(jù)的概念從產(chǎn)生至今仍沒有一個(gè)公認(rèn)的解釋。以下是兩種被大眾普遍接受的對(duì)大數(shù)據(jù)的定義:麥肯錫的《大數(shù)據(jù):下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)率的前沿》:所謂大數(shù)據(jù),主要是指無法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫工具對(duì)其內(nèi)容進(jìn)行獲取、存儲(chǔ)、管理和分析的數(shù)據(jù)集。研究機(jī)構(gòu)Gartner:大數(shù)據(jù)是指需要新處理模式才能具有更強(qiáng)的決策力,洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量,高增長率和多樣化的信息資產(chǎn)。1.1.3數(shù)據(jù)的單位數(shù)據(jù)的單位有:bit,B,KB,MB,GB,TB等。其中,最小的存儲(chǔ)單位是bit。單位換算:1B=8bit
1KB=1024B
1MB=1024KB
1GB=1024MB
1TB=1024GB1.1.4大數(shù)據(jù)的分類按字段類型分類:文本類、數(shù)值類、時(shí)間類按數(shù)據(jù)結(jié)構(gòu)分類:結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)按事物描述分類:狀態(tài)類數(shù)據(jù)、事件類數(shù)據(jù)、混合類數(shù)據(jù)按數(shù)據(jù)處理分類:原始數(shù)據(jù)、衍生數(shù)據(jù)按數(shù)據(jù)粒度分類:明細(xì)數(shù)據(jù)、匯總數(shù)據(jù)按更新方式分類:批量數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)1.2大數(shù)據(jù)的特點(diǎn)和技術(shù)概述
1.2.1大數(shù)據(jù)的特點(diǎn)volume(海量)過去,MB的存儲(chǔ)容量就已經(jīng)能滿足很多人數(shù)據(jù)存儲(chǔ)的需求了,但隨著信息技術(shù)的不斷發(fā)展以及數(shù)據(jù)來源的不斷增多,數(shù)據(jù)呈現(xiàn)幾何指數(shù)爆發(fā)式的增長,人們?nèi)找嬖黾拥拇鎯?chǔ)需求促使存儲(chǔ)單位從過去的GB到TB,乃至現(xiàn)在的PB、EB級(jí)別,并不可避免的會(huì)增加到ZB級(jí)別。截至2020年,全球數(shù)據(jù)量達(dá)到了60ZB。variety(多樣)廣泛的數(shù)據(jù)來源決定了大數(shù)據(jù)的多樣性1.2.1大數(shù)據(jù)的特點(diǎn)velocity(高速)高速是區(qū)別大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)最顯著的特征。數(shù)據(jù)的增長速度和處理速度是大數(shù)據(jù)高速性的重要體現(xiàn)。大數(shù)據(jù)采用實(shí)時(shí)分析而非批量分析,而數(shù)據(jù)輸入、處理與丟棄立刻見效,幾乎不存在延遲。例:截至2019年,F(xiàn)acebook的日均上傳照片約有3億張;曾經(jīng)需要?dú)v經(jīng)10年破譯的人體基因30億對(duì)堿基數(shù)據(jù),現(xiàn)在僅需15分鐘即可完成;1.2.1大數(shù)據(jù)的特點(diǎn)value(價(jià)值)價(jià)值是大數(shù)據(jù)的核心特征;大數(shù)據(jù)作為重要的基礎(chǔ)型戰(zhàn)略資源,其核心價(jià)值在于應(yīng)用;數(shù)據(jù)雖然海量,但某一對(duì)象或者模塊數(shù)據(jù)的價(jià)值密度很低,有價(jià)值的數(shù)據(jù)所占比例很??;相比于傳統(tǒng)數(shù)據(jù),大數(shù)據(jù)最大的價(jià)值在于通過從大量不相關(guān)的各種類型的數(shù)據(jù)中,挖掘出對(duì)未來趨勢(shì)與模式預(yù)測(cè)分析有價(jià)值的數(shù)據(jù),并通過機(jī)器學(xué)習(xí)方法、人工智能方法或數(shù)據(jù)挖掘方法深度分析,發(fā)現(xiàn)新規(guī)律和新知識(shí),并運(yùn)用于各個(gè)領(lǐng)域。1.2.2大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)采集采集來源:智能硬件端、多種傳感器端、網(wǎng)頁端、移動(dòng)APP應(yīng)用端等;大數(shù)據(jù)采集的過程:將各種采集來源匯集到數(shù)據(jù)庫中,并使用數(shù)據(jù)庫進(jìn)行簡單的處理工作;采集的數(shù)據(jù):RFID數(shù)據(jù)、傳感器數(shù)據(jù)、用戶行為數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)等各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)。1.2.2大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)采集采集的主要方式數(shù)據(jù)抓?。鹤ト?duì)象通常為網(wǎng)絡(luò)數(shù)據(jù),通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上抓取數(shù)據(jù)信息。數(shù)據(jù)導(dǎo)入:導(dǎo)入對(duì)象通常為數(shù)據(jù)庫數(shù)據(jù)和系統(tǒng)日志數(shù)據(jù),企業(yè)通過在采集端部署大量數(shù)據(jù)庫(一般使用Redis、MongoDB和HBase等NoSQL數(shù)據(jù)庫),并在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片,來完成數(shù)據(jù)采集。物聯(lián)網(wǎng)傳感設(shè)備自動(dòng)信息采集:指通過物聯(lián)網(wǎng)傳感器將測(cè)量到的物理變量(如聲音、溫度、濕度、電流、距離等)的測(cè)量值轉(zhuǎn)化為數(shù)字信號(hào)并傳送到數(shù)據(jù)采集點(diǎn)的過程。,常見的物聯(lián)網(wǎng)傳感器包括:接近傳感器、溫度傳感器、化學(xué)傳感器、圖像傳感器和氣體傳感器等。1.2.2大數(shù)據(jù)技術(shù)概述數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理是指在對(duì)數(shù)據(jù)進(jìn)行挖掘以前,需要對(duì)原始數(shù)據(jù)進(jìn)行清理、集成與變換等一系列處理工作,以達(dá)到挖掘算法進(jìn)行知識(shí)獲取研究所要求的最低規(guī)模和標(biāo)準(zhǔn)。隨著數(shù)據(jù)量的爆發(fā)增長,很多數(shù)據(jù)都存在殘缺、混亂、冗余等問題,而數(shù)據(jù)預(yù)處理可以有效地規(guī)避這些問題,它能糾正錯(cuò)誤的數(shù)據(jù)、將殘缺的數(shù)據(jù)補(bǔ)充完整、將冗余的數(shù)據(jù)清除,挑出需要的數(shù)據(jù),再將這些數(shù)據(jù)集成。1.2.2大數(shù)據(jù)技術(shù)概述數(shù)據(jù)預(yù)處理預(yù)處理常見方法數(shù)據(jù)清洗:通過光滑噪聲、填充缺失值、識(shí)別或刪除離群點(diǎn)、糾正數(shù)據(jù)不一致的方法,以達(dá)到數(shù)據(jù)格式標(biāo)準(zhǔn)化、異常數(shù)據(jù)清除、數(shù)據(jù)錯(cuò)誤糾正、重復(fù)數(shù)據(jù)的清除的目的。數(shù)據(jù)集成:合并來自多個(gè)來自不同或者相同數(shù)據(jù)源的數(shù)據(jù),然后統(tǒng)一存儲(chǔ)在同一數(shù)據(jù)儲(chǔ)存(如數(shù)據(jù)倉庫)中。數(shù)據(jù)變換:數(shù)據(jù)變換的目的是將不同的數(shù)據(jù)變換成合適挖掘的形式,常用的方法有規(guī)范化、屬性構(gòu)造、概念分層。數(shù)據(jù)規(guī)約:通過尋找目標(biāo)數(shù)據(jù)的有用特征,在不損壞數(shù)據(jù)原貌的基礎(chǔ)上減小數(shù)據(jù)規(guī)模,從而達(dá)到精簡數(shù)據(jù)量的目標(biāo)。1.2.2大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)處理大數(shù)據(jù)處理是在進(jìn)行了預(yù)處理的基礎(chǔ)上對(duì)數(shù)據(jù)的進(jìn)一步處理,是將數(shù)據(jù)儲(chǔ)存到分布式環(huán)境后的深度處理。常用軟件:Hadoop分布式大數(shù)據(jù)處理系統(tǒng)Hadoop組成部分:用于分布式存儲(chǔ)大容量文件的HDFS(HadoopDistributedFileSystem)、用于對(duì)海量數(shù)據(jù)集(TB級(jí)別)進(jìn)行分布式計(jì)算的MapReduce、超大型數(shù)據(jù)表HBase1.2.2大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)處理MapReduce定義:大數(shù)據(jù)處理最重要的一種分布式計(jì)算模型模型本質(zhì):實(shí)現(xiàn)Map(映射)函數(shù)、Reduce(歸約)函數(shù)計(jì)算邏輯:“分治”1.2.2大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)處理MapReduce計(jì)算邏輯以計(jì)算1+2+3+4+5+6+7+8+9的結(jié)果為例子:1+2+34+5+67+8+96152445Map(映射)Reduce(歸約)1.2.2大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)分析大數(shù)據(jù)分析是通過對(duì)數(shù)據(jù)的分析,創(chuàng)建模型。步驟:先從問題的定義入手,明確數(shù)據(jù)分析的目的;緊接著進(jìn)行數(shù)據(jù)準(zhǔn)備工作,包括在大型數(shù)據(jù)庫和數(shù)據(jù)倉庫提取目標(biāo)數(shù)據(jù)集,并對(duì)提取到的目標(biāo)數(shù)據(jù)集進(jìn)行數(shù)據(jù)完整性以及一致性的檢查、去除噪音、填補(bǔ)丟失域、刪除無效數(shù)據(jù)等的一系列數(shù)據(jù)再加工過程;接著根據(jù)數(shù)據(jù)的類型以及數(shù)據(jù)的特點(diǎn)選擇算法,對(duì)進(jìn)行上一步加工后的數(shù)據(jù)集進(jìn)行數(shù)據(jù)分析;最終將數(shù)據(jù)分析的結(jié)果解釋成能被用戶理解的知識(shí),傳遞給用戶。常用方法:分類、聚類、關(guān)聯(lián)規(guī)則、預(yù)測(cè)模型等。1.2.2大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)分析常用方法分類:是根據(jù)重要數(shù)據(jù)類的特征向量值及約束條件,構(gòu)造分類函數(shù)或者分類模型的一種數(shù)據(jù)分析的形式。典型算法有:樸素貝葉斯算法、KNN、SVM等。聚類:是指將具有相似特征屬性的數(shù)據(jù)聚集在一起,從而使得不同的數(shù)據(jù)群有著分明的特征區(qū)別。通過聚類分析,我們能從中發(fā)現(xiàn)各種數(shù)據(jù)屬性之間存在的相互干系,以及相似數(shù)據(jù)屬性之間存在的分布模式。典型算法有:BIRCH算法、K-means算法、EM算法等。1.2.2大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)分析常用方法關(guān)聯(lián)規(guī)則:是指通過索引系統(tǒng)中的所有數(shù)據(jù),找出所有能把一組事件或數(shù)據(jù)項(xiàng)與另一組事件或數(shù)據(jù)項(xiàng)聯(lián)系起來的規(guī)則,以獲得預(yù)先未知的和被隱藏的,不能通過數(shù)據(jù)庫的邏輯操作或統(tǒng)計(jì)的方法得出的信息。關(guān)聯(lián)分析一般用支持度(Support)和置信度(Confidence)兩個(gè)閾值來度量關(guān)聯(lián)規(guī)則的相關(guān)性,并不斷引入興趣度、相關(guān)性等參數(shù),使得所挖掘到的關(guān)聯(lián)規(guī)則更符合需求,關(guān)聯(lián)規(guī)則挖掘算法是關(guān)聯(lián)規(guī)則挖掘研究的主要內(nèi)容,Apriori算法和FP-Growth(頻繁模式增長)算法都是比較著名的關(guān)聯(lián)規(guī)則算法。以Apriori算法為例:Apriori算法主要包括三個(gè)步驟:①用戶先指定一個(gè)最小支持度;②找到事務(wù)數(shù)據(jù)庫中所有大于還有等于最小支持度的數(shù)據(jù)項(xiàng)集;③利用頻繁項(xiàng)集生成我們所需要的關(guān)聯(lián)規(guī)則,并使用第一步已經(jīng)指定的最小支持度來進(jìn)行取舍,最后得到強(qiáng)關(guān)聯(lián)規(guī)則;1.2.2大數(shù)據(jù)技術(shù)概述大數(shù)據(jù)分析常用方法預(yù)測(cè)模型:是從歷史數(shù)據(jù)中找出變化規(guī)律,建立模型,并由這個(gè)模型預(yù)測(cè)未來數(shù)據(jù)的種類和特征的方法。包括可以在結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)中使用以確定未來結(jié)果的算法和技術(shù),可為預(yù)測(cè)、優(yōu)化、預(yù)報(bào)和模擬等許多業(yè)務(wù)系統(tǒng)所使用。而預(yù)測(cè)模型的建立著重關(guān)注于數(shù)據(jù)的精度和不確定性,因此通常會(huì)使用預(yù)測(cè)方差進(jìn)行度量。1.3大數(shù)據(jù)的應(yīng)用與價(jià)值體現(xiàn)
1.3.1大數(shù)據(jù)的應(yīng)用概述大數(shù)據(jù)的應(yīng)用領(lǐng)域電商行業(yè):利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營銷,是大數(shù)據(jù)技術(shù)最早應(yīng)用的行業(yè)。電商平臺(tái)會(huì)借助大數(shù)據(jù)技術(shù)對(duì)區(qū)域消費(fèi)特征、客戶消費(fèi)習(xí)慣、消費(fèi)熱點(diǎn)等進(jìn)行預(yù)測(cè)。例:淘寶、京東金融行業(yè):隨著信息技術(shù)在金融業(yè)的廣泛應(yīng)用,海量數(shù)據(jù)都存儲(chǔ)在金融機(jī)構(gòu)中,數(shù)據(jù)創(chuàng)造的利潤抵不上其管理成本迫使金融業(yè)不得不去尋找可以將這些數(shù)據(jù)轉(zhuǎn)換成可以創(chuàng)造實(shí)際價(jià)值的內(nèi)容的方法,而大數(shù)據(jù)的深度挖掘技術(shù)為其提供了有效的解決方案。大數(shù)據(jù)在金融業(yè)的應(yīng)用主要分布在三個(gè)領(lǐng)域:銀行:繪制客戶畫像、精準(zhǔn)營銷、風(fēng)險(xiǎn)管理與風(fēng)險(xiǎn)控制、運(yùn)營優(yōu)化保險(xiǎn):客戶細(xì)分和精準(zhǔn)營銷、產(chǎn)品設(shè)計(jì)、運(yùn)營優(yōu)化、欺詐行為分析證券:股價(jià)預(yù)測(cè)、客戶關(guān)系管理、智能投資顧問、投資景氣指數(shù)
1.3.1大數(shù)據(jù)的應(yīng)用概述大數(shù)據(jù)的應(yīng)用領(lǐng)域
醫(yī)療行業(yè):大量的病例、藥物報(bào)告、病情報(bào)告、治療方案,使得大數(shù)據(jù)的處理和分析技術(shù)在醫(yī)療保健領(lǐng)域的使用中非常有效。例:新冠疫情期間的健康寶和通行卡、遠(yuǎn)程診療系統(tǒng)智慧城市:城市的規(guī)模不斷擴(kuò)大,城市的人口不斷增長、城市的結(jié)構(gòu)越來越復(fù)雜、精細(xì)化的城市治理勢(shì)在必行。大數(shù)據(jù)對(duì)于提高公共管理和工共服務(wù)水平十分有效。在實(shí)現(xiàn)信息透明和信息共享、評(píng)估政府部門績效、政策制定與決策、智慧城市建設(shè)方面的應(yīng)用都是一次重大的突破。1.3.1大數(shù)據(jù)的應(yīng)用概述大數(shù)據(jù)的應(yīng)用領(lǐng)域教育行業(yè):大數(shù)據(jù)為用戶提供的個(gè)性化服務(wù)的功能也已經(jīng)在教育領(lǐng)域中實(shí)現(xiàn),從校長到老師,老師到家長,家長到學(xué)生,大數(shù)據(jù)都能根據(jù)不同角色所需,為他們提供個(gè)性化分析報(bào)告,不斷優(yōu)化教育機(jī)制、整合教育資源、明確教學(xué)方向、改進(jìn)教學(xué)方式等,而也正是這種應(yīng)用,讓鄉(xiāng)村的孩子也能通過網(wǎng)絡(luò)接受大城市更加優(yōu)秀的教育。大數(shù)據(jù)還可以幫助老師和家長找到不同孩子之間學(xué)習(xí)上存在的差距從而有針對(duì)性地為學(xué)生制定出適合他們的一套有效的學(xué)習(xí)方案;依賴大數(shù)據(jù)技術(shù),教育部門能做出更加合理、更加科學(xué)的決策,從而跟隨時(shí)代不斷地優(yōu)化教育機(jī)制,推動(dòng)教育改革。1.3.1大數(shù)據(jù)的應(yīng)用概述大數(shù)據(jù)的應(yīng)用領(lǐng)域農(nóng)業(yè)領(lǐng)域:農(nóng)業(yè)與大數(shù)據(jù)的結(jié)合應(yīng)用可以節(jié)約農(nóng)產(chǎn)品資源、增加農(nóng)產(chǎn)品流通率,促進(jìn)農(nóng)業(yè)生產(chǎn)力發(fā)展,有利于實(shí)現(xiàn)農(nóng)業(yè)可持續(xù)發(fā)展。農(nóng)業(yè)生產(chǎn)過程會(huì)產(chǎn)生大量的數(shù)據(jù),包括種植物的生長狀況信息的數(shù)據(jù)、植物生長所需要素(例如,土壤、溫度等)信息的數(shù)據(jù)、環(huán)境氣象信息的數(shù)據(jù)、農(nóng)藥化肥信息的數(shù)據(jù)等,這些數(shù)據(jù)通常通過遙感圖像以及傳感器獲取農(nóng)作物生長環(huán)境中的各項(xiàng)指數(shù)數(shù)據(jù),再把這些采集的數(shù)據(jù)傳送到本地或云端的數(shù)據(jù)中心,從而對(duì)農(nóng)業(yè)生產(chǎn)的歷史數(shù)據(jù)和實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)進(jìn)行分析,提高對(duì)農(nóng)作物各項(xiàng)相關(guān)數(shù)據(jù)的關(guān)聯(lián)監(jiān)測(cè)能力。1.3.1大數(shù)據(jù)的應(yīng)用概述大數(shù)據(jù)的應(yīng)用領(lǐng)域環(huán)境領(lǐng)域:大數(shù)據(jù)技術(shù)在環(huán)境保護(hù)領(lǐng)域的應(yīng)用有兩個(gè)亮點(diǎn)。第一個(gè)是實(shí)時(shí)且不間斷地檢測(cè)環(huán)境的變化,應(yīng)用大數(shù)據(jù)工具收集到大量關(guān)于各項(xiàng)環(huán)境質(zhì)量指標(biāo)的數(shù)據(jù)信息,并將這些數(shù)據(jù)信息傳輸?shù)街行臄?shù)據(jù)庫進(jìn)行數(shù)據(jù)的處理以及分析,用于環(huán)境治理方案的制定;第二個(gè)是實(shí)時(shí)檢測(cè)環(huán)境治理效果,動(dòng)態(tài)更新治理方案。技術(shù)人員采用可視化方法將環(huán)境數(shù)據(jù)分析結(jié)果和治理模型立體化展現(xiàn),為了檢測(cè)制定的環(huán)境保護(hù)方案是否是有效的,技術(shù)人員通過用于測(cè)試的模擬環(huán)境數(shù)據(jù),建立模型來模擬真實(shí)環(huán)境。社會(huì)安全領(lǐng)域:國家可以通過大數(shù)據(jù)技術(shù)監(jiān)控違法亂紀(jì)行為并且應(yīng)用大數(shù)據(jù)貢酒抓捕在逃罪犯,企業(yè)也可以利用大數(shù)據(jù)技術(shù)防御黑客惡意的網(wǎng)絡(luò)攻擊等。1.3.1大數(shù)據(jù)的應(yīng)用概述大數(shù)據(jù)的應(yīng)用領(lǐng)域交通領(lǐng)域:大數(shù)據(jù)技術(shù)在交通領(lǐng)域的應(yīng)用主要集中在兩方面。一方面我們可以利用大數(shù)據(jù)傳感器實(shí)時(shí)收集到各個(gè)路段車輛數(shù)量的數(shù)據(jù),從而了解到不同路段在不同時(shí)段的車輛通行密度情況,合理地根據(jù)這些信息對(duì)道路規(guī)劃(例如某個(gè)路段是否在某個(gè)時(shí)間段只能單行、某個(gè)路段是否在某個(gè)時(shí)段只能允許單號(hào)車輛同行等)進(jìn)行及時(shí)的調(diào)整;另一個(gè)方面,我們可以利用大數(shù)據(jù)來實(shí)現(xiàn)信號(hào)燈的合理安排,提高已有線路的運(yùn)行能力??挂哳I(lǐng)域:大數(shù)據(jù)在抗疫領(lǐng)域的應(yīng)用主要集中在兩方面。一方面是利用大數(shù)據(jù)進(jìn)行疫情的輿情分析,大數(shù)據(jù)技術(shù)已經(jīng)成為疫情背景下分析民情民意必不可少的一部分,它能精準(zhǔn)地分析出民眾的需求和問題;另一方面,大數(shù)據(jù)技術(shù)還可以通過收集用戶實(shí)時(shí)的位置信息或者在各種app鐘留存的地址信息實(shí)時(shí)追蹤感染者的移動(dòng)軌跡并記錄感染者的人群接觸史,通過建立知識(shí)圖譜,精準(zhǔn)定位疫情的傳播途徑,防止疫情的擴(kuò)散。1.4大數(shù)據(jù)時(shí)代的思維變革
1.4大數(shù)據(jù)時(shí)代的思維變革維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時(shí)代》一書中提出:“大數(shù)據(jù),一場(chǎng)生活、工作與思維的大變革?!贝髷?shù)據(jù)帶來信息風(fēng)暴正在變革我們的生活、工作以及思維方式。大數(shù)據(jù)時(shí)代的到來將會(huì)給我們帶來三個(gè)思維轉(zhuǎn)變,即從樣本思維轉(zhuǎn)變?yōu)榭傮w思維,從精確思維轉(zhuǎn)變?yōu)槿蒎e(cuò)思維,從因果思維轉(zhuǎn)變?yōu)橄嚓P(guān)思維,從自然思維轉(zhuǎn)變?yōu)橹悄芩季S。1.4大數(shù)據(jù)時(shí)代的思維變革更多不是隨機(jī)樣本,而是全體數(shù)據(jù)由于采集與分析大量的數(shù)據(jù)在以前是十分復(fù)雜與困難的,故我們常用隨機(jī)取樣是采集與分析大量數(shù)據(jù),但這個(gè)方法只能以將從小部分?jǐn)?shù)據(jù)中得來的規(guī)律推廣到總體,若是存在偏見,則結(jié)果也會(huì)存在偏差;并且也只能回答我們?cè)谠O(shè)計(jì)取樣之初提出的問題,無法解答我們?cè)诜治鰯?shù)據(jù)過程中產(chǎn)生的新問題,缺乏調(diào)查延展性。相比于小數(shù)據(jù),大數(shù)據(jù)更加強(qiáng)調(diào)數(shù)據(jù)的多樣性和整體性。大數(shù)據(jù)時(shí)代,采取全數(shù)據(jù)模式,即采用所有數(shù)據(jù),可以理解為“樣本=總體”,只有將思維方式從樣本思維轉(zhuǎn)變?yōu)榭傮w思維,才能更加全面并且系統(tǒng)地把握數(shù)據(jù)反映出來規(guī)律或者現(xiàn)實(shí);此外,基于大數(shù)據(jù)時(shí)代的全數(shù)據(jù)模式,我們收集到的數(shù)據(jù)從少量轉(zhuǎn)變?yōu)楹A?,并且我們收集的?shù)據(jù)也已經(jīng)不再僅僅局限于某一段特定的時(shí)間,而是擴(kuò)大到那些實(shí)時(shí)更新的數(shù)據(jù),得益于收集到的實(shí)時(shí)更新的海量數(shù)據(jù),大數(shù)據(jù)分析還具有即時(shí)性。1.4大數(shù)據(jù)時(shí)代的思維變革更雜不是精確性,而是混雜性混雜性:隨著數(shù)據(jù)量的增加,數(shù)據(jù)的錯(cuò)誤率也在增加;接受不同格式的數(shù)據(jù),只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能使用傳統(tǒng)數(shù)據(jù)庫,如果不接受混亂,剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法被利用。伴隨著數(shù)據(jù)的混雜性的不斷增長,數(shù)據(jù)的多樣性也同時(shí)在增長。小數(shù)據(jù)時(shí)代,我們追求數(shù)據(jù)的精確性;大數(shù)據(jù)時(shí)代,得益于大數(shù)據(jù)技術(shù)的不斷突破和發(fā)展,大量非結(jié)構(gòu)化的數(shù)據(jù)的分析和處理能力日趨增強(qiáng),數(shù)據(jù)量的爆發(fā)式增長及數(shù)據(jù)采集頻率的增加必然會(huì)造成結(jié)果的不準(zhǔn)確,一些錯(cuò)誤數(shù)據(jù)也會(huì)混入數(shù)據(jù)庫,但因?yàn)榇髷?shù)據(jù)的海量性,我們不需要擔(dān)心某個(gè)或某些數(shù)據(jù)點(diǎn)對(duì)結(jié)果的不利影響,仍可以利用這些數(shù)據(jù)預(yù)測(cè)趨。錯(cuò)誤數(shù)據(jù)的固有特性,是由測(cè)量、記錄和交流數(shù)據(jù)使用的工具所產(chǎn)生的問題。1.4大數(shù)據(jù)時(shí)代的思維變革更好不是因果關(guān)系,而是相關(guān)關(guān)系確定相關(guān)關(guān)系只是通過識(shí)別良好的關(guān)聯(lián)來幫助我們分析某一個(gè)現(xiàn)象,而不是用來揭示其內(nèi)部的運(yùn)作機(jī)制。找準(zhǔn)相關(guān)關(guān)系,我們必須聚焦于“是什么”而非“為什么”。相關(guān)關(guān)系分析法通過研究和分析數(shù)據(jù)之間存在的線性相關(guān)關(guān)系以及復(fù)雜的非線性相關(guān)關(guān)系,不僅能幫助人們很有效地解決了偏見可能會(huì)造成的偏差,還能幫助人們挖掘出更多隱藏在數(shù)據(jù)之中不容易被注意到的關(guān)聯(lián)性,這對(duì)于我們捕捉當(dāng)下情況和預(yù)測(cè)未來趨勢(shì)是非常有幫助的。相關(guān)關(guān)系的核心在于量化兩個(gè)數(shù)據(jù)值之間的數(shù)據(jù)關(guān)系,要明確相關(guān)關(guān)系,找到良好的關(guān)聯(lián)物便是關(guān)鍵所在。1.5國家大數(shù)據(jù)戰(zhàn)略
1.5.1國家大數(shù)據(jù)戰(zhàn)略的歷史沿革2012年11月,廣東省率先啟動(dòng)大數(shù)據(jù)戰(zhàn)略,根據(jù)《廣東省實(shí)施大數(shù)據(jù)戰(zhàn)略工作方案》,廣東省將建立省大數(shù)據(jù)戰(zhàn)略工作領(lǐng)導(dǎo)小組等,為保證大數(shù)據(jù)戰(zhàn)略有效實(shí)施,廣東省還將建設(shè)政務(wù)數(shù)據(jù)中心,并未高等院校和企業(yè)等成立大數(shù)據(jù)研究機(jī)構(gòu)提供支持。廣東省還將在政府各部門開展數(shù)據(jù)開放試點(diǎn),并通過部門網(wǎng)站向社會(huì)開放可供下載和分析使用的數(shù)據(jù),進(jìn)一步推進(jìn)政務(wù)公開。2014年3月,大數(shù)據(jù)首次寫入政府工作報(bào)告。2015年10月,黨的十八屆五中全會(huì)正式提出“實(shí)施國家大數(shù)據(jù)戰(zhàn)略,全面推進(jìn)我國大數(shù)據(jù)發(fā)展和應(yīng)用,加快建設(shè)數(shù)據(jù)強(qiáng)國,推動(dòng)數(shù)據(jù)資源開放共享,釋放技術(shù)紅利、制度紅利和創(chuàng)新紅利,促進(jìn)經(jīng)濟(jì)轉(zhuǎn)型升級(jí)”。這表明我國已將大數(shù)據(jù)視作戰(zhàn)略資源并上升為國家戰(zhàn)略,期望運(yùn)用大數(shù)據(jù)推動(dòng)經(jīng)濟(jì)發(fā)展、完善社會(huì)治理、提升政府服務(wù)和監(jiān)管能力。2016年12月,為貫徹落實(shí)《中華人民共和國國民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年規(guī)劃綱要》和《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,加快實(shí)施國家大數(shù)據(jù)戰(zhàn)略,推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)健康快速發(fā)展,工信部編制了《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》。1.5.1國家大數(shù)據(jù)戰(zhàn)略的歷史沿革2017年12月,習(xí)近平主席主持中央政治局就實(shí)施國家大數(shù)據(jù)戰(zhàn)略第二次集體學(xué)習(xí)。習(xí)近平總書記在主持學(xué)習(xí)時(shí)強(qiáng)調(diào),大數(shù)據(jù)發(fā)展日新月異,我們應(yīng)該審時(shí)度勢(shì)、精心謀劃、超前布局、力爭(zhēng)主動(dòng),深入了解大數(shù)據(jù)發(fā)展現(xiàn)狀和趨勢(shì)及其對(duì)經(jīng)濟(jì)社會(huì)發(fā)展的影響,分析我國大數(shù)據(jù)發(fā)展取得的成績和存在的問題,推動(dòng)實(shí)施國家大數(shù)據(jù)戰(zhàn)略,加快完善數(shù)字基礎(chǔ)設(shè)施,推進(jìn)數(shù)據(jù)資源整合和開放共享,保障數(shù)據(jù)安全,加快建設(shè)數(shù)字中國,更好服務(wù)我國經(jīng)濟(jì)社會(huì)發(fā)展和人民生活改善;
1.5.1國家大數(shù)據(jù)戰(zhàn)略的歷史沿革習(xí)近平總書記還強(qiáng)調(diào),要推動(dòng)大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展。我國網(wǎng)絡(luò)購物、移動(dòng)支付、共享經(jīng)濟(jì)等數(shù)字經(jīng)濟(jì)新業(yè)態(tài)新模式蓬勃發(fā)展,走在了世界前列。我們要瞄準(zhǔn)世界科技前沿,集中優(yōu)勢(shì)資源突破大數(shù)據(jù)核心技術(shù),加快構(gòu)建自主可控的大數(shù)據(jù)產(chǎn)業(yè)鏈、價(jià)值鏈和生態(tài)系統(tǒng)。要加快構(gòu)建高速、移動(dòng)、安全、泛在的新一代信息基礎(chǔ)設(shè)施,統(tǒng)籌規(guī)劃政務(wù)數(shù)據(jù)資源和社會(huì)數(shù)據(jù)資源,完善基礎(chǔ)信息資源和重要領(lǐng)域信息資源建設(shè),形成萬物互聯(lián)、人機(jī)交互、天地一體的網(wǎng)絡(luò)空間。要發(fā)揮我國制度優(yōu)勢(shì)和市場(chǎng)優(yōu)勢(shì),面向國家重大需求,面向國民經(jīng)濟(jì)發(fā)展主戰(zhàn)場(chǎng),全面實(shí)施促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng),完善大數(shù)據(jù)發(fā)展政策環(huán)境。要堅(jiān)持?jǐn)?shù)據(jù)開發(fā)、市場(chǎng)主導(dǎo),以數(shù)據(jù)為紐帶促進(jìn)產(chǎn)學(xué)研深度融合,形成數(shù)據(jù)驅(qū)動(dòng)型創(chuàng)新體系和發(fā)展模式,培育造就一批大數(shù)據(jù)領(lǐng)軍企業(yè),打造多層次、多類型的大數(shù)據(jù)人才隊(duì)伍;1.5.1國家大數(shù)據(jù)戰(zhàn)略的歷史沿革
另外,習(xí)近平總書記也指出了,要構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字
經(jīng)濟(jì)
。建設(shè)現(xiàn)代化經(jīng)濟(jì)體系離不開大數(shù)據(jù)發(fā)展和應(yīng)用。我們要堅(jiān)
持以供給側(cè)結(jié)構(gòu)性改革為主線,加快發(fā)展數(shù)字經(jīng)濟(jì),推動(dòng)實(shí)體經(jīng)濟(jì)
和數(shù)字經(jīng)濟(jì)融合發(fā)展,推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能同實(shí)體經(jīng)濟(jì)
深度融合,繼續(xù)做好信息化和工業(yè)化深度融合這篇大文章,推動(dòng)制
造業(yè)加速向數(shù)字化、網(wǎng)絡(luò)化、智能化發(fā)展。要深入實(shí)施工業(yè)互聯(lián)網(wǎng)
創(chuàng)新發(fā)展戰(zhàn)略,系統(tǒng)推進(jìn)工業(yè)互聯(lián)網(wǎng)基礎(chǔ)設(shè)施和數(shù)據(jù)資源管理體系
建設(shè),發(fā)揮數(shù)據(jù)的基礎(chǔ)資源作用和創(chuàng)新引擎作用,加快形成以創(chuàng)新
為主要引領(lǐng)和支撐的數(shù)字經(jīng)濟(jì)。2018年5月,習(xí)近平在向中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)的致辭中指出,我們秉持創(chuàng)新、協(xié)調(diào)、綠色、開放、共享的發(fā)展理念,圍繞建設(shè)網(wǎng)
絡(luò)強(qiáng)國、數(shù)字中國、智慧社會(huì),全面實(shí)施國家大數(shù)據(jù)戰(zhàn)略,助力中
國經(jīng)濟(jì)從高速增長轉(zhuǎn)向高質(zhì)量發(fā)展。1.5.1國家大數(shù)據(jù)戰(zhàn)略的歷史沿革2019年11月,黨的第十九屆四中全會(huì)召開為推進(jìn)國家治理體系和治理能力現(xiàn)代化進(jìn)行戰(zhàn)略布局。政府?dāng)?shù)字化轉(zhuǎn)型的成效,直接關(guān)乎國家治理現(xiàn)代化的成就。十九屆四中全會(huì)明確提出,“建立健全運(yùn)用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)手段進(jìn)行行政管理的制度規(guī)則,推進(jìn)數(shù)字政府建設(shè),加強(qiáng)數(shù)據(jù)有序共享,依法保護(hù)個(gè)人信息”,為政府?dāng)?shù)字化轉(zhuǎn)型規(guī)定了方向。2020年《關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見》的發(fā)表,大數(shù)據(jù)被正式列為新型生產(chǎn)要素。2021年11月30日,工業(yè)和信息化部發(fā)布《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》?!丁笆奈濉贝髷?shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》提出“十四五”時(shí)期的總體目標(biāo),到2025年我國大數(shù)據(jù)產(chǎn)業(yè)測(cè)算規(guī)模突破3萬億元,年均復(fù)合增長率保持25%左右,創(chuàng)新力強(qiáng)、附加值高、自主可控的現(xiàn)代化大數(shù)據(jù)產(chǎn)業(yè)體系基本形成。1.5.2國家大數(shù)據(jù)戰(zhàn)略的時(shí)代背景“全球化”的世界背景以及“一帶一路”總體戰(zhàn)略的提出在全球化的大背景下,世界各國之間相互聯(lián)系、相互依賴,相互滲透,關(guān)系越來越密切,已經(jīng)成為一個(gè)不可分割的有機(jī)整體,為了順應(yīng)時(shí)代潮流,我國提出“人類命運(yùn)共同體”理念,并據(jù)此提出“一帶一路”總體戰(zhàn)略。大數(shù)據(jù)時(shí)代的到來,更加拉近了國與國之間的距離,國家大數(shù)據(jù)戰(zhàn)略,需要立足于“人類命運(yùn)共同體”理念。因此,國家大數(shù)據(jù)戰(zhàn)略必須服務(wù)于“一帶一路”,實(shí)現(xiàn)以數(shù)字驅(qū)動(dòng)“一帶一路”,通過大數(shù)據(jù)技術(shù)的利用,來解決“一帶一路”建設(shè)中存在的風(fēng)險(xiǎn)。由于“一帶一路”涉及沿線國家的經(jīng)濟(jì)、政治、金融等多個(gè)領(lǐng)域,不僅涵蓋的領(lǐng)域眾多,涵蓋的國家、地區(qū)、企業(yè)、團(tuán)體甚至個(gè)人也很多,這導(dǎo)致了非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)混雜在一起,為了降低數(shù)據(jù)結(jié)構(gòu)復(fù)雜性來帶的風(fēng)險(xiǎn),我們必須應(yīng)用大數(shù)據(jù)技術(shù)對(duì)各個(gè)領(lǐng)域、各個(gè)對(duì)象涵蓋的海量數(shù)據(jù)進(jìn)行收集、清洗、處理和分析,構(gòu)建大數(shù)據(jù)指標(biāo)體系,為“一帶一路”提供智能決策支持,從而不斷推進(jìn)數(shù)字化的“一帶一路”的建設(shè)。1.5.2國家大數(shù)據(jù)戰(zhàn)略的時(shí)代背景國家安全面臨錯(cuò)綜復(fù)雜的形勢(shì)習(xí)總書記指出:“當(dāng)前我國國家安全內(nèi)涵和外延比歷史上任何時(shí)候都要豐富,時(shí)空領(lǐng)域比歷史上任何時(shí)候都要寬廣,內(nèi)外因素比歷史上任何時(shí)候都要復(fù)雜,必須堅(jiān)持總體國家安全觀,以人民安全為宗旨,以政治安全為根本,以經(jīng)濟(jì)安全為基礎(chǔ),以軍事、文化、社會(huì)安全為保障,以促進(jìn)國際安全為依托,走出一條中國特色國家安全道路。貫徹落實(shí)總體國家安全觀,必須既重視外部安全,又重視內(nèi)部安全,對(duì)內(nèi)求發(fā)展、求變革、求穩(wěn)定、建設(shè)平安中國,對(duì)外求和平、求合作、求共贏、建設(shè)和諧世界;既重視國土安全,又重視國民安全,堅(jiān)持以民為本、以人為本,堅(jiān)持國家安全一切為了人民、一切依靠人民,真正夯實(shí)國家安全的群眾基礎(chǔ);既重視傳統(tǒng)安全,又重視非傳統(tǒng)安全,構(gòu)建集政治安全、國土安全、軍事安全、經(jīng)濟(jì)安全、文化安全、社會(huì)安全、科技安全、信息安全、生態(tài)安全、資源安全、核安全等于一體的國家安全體系;既重視發(fā)展問題,又重視安全問題,發(fā)展是安全的基礎(chǔ),安全是發(fā)展的條件,富國才能強(qiáng)兵,強(qiáng)兵才能衛(wèi)國;既重視自身安全,又重視共同安全,打造命運(yùn)共同體,推動(dòng)各方朝著互利互惠、共同安全的目標(biāo)相向而行。1.5.2國家大數(shù)據(jù)戰(zhàn)略的時(shí)代背景國家安全面臨錯(cuò)綜復(fù)雜的形勢(shì)在當(dāng)下大數(shù)據(jù)時(shí)代,數(shù)據(jù)安全直接關(guān)乎于國家安全和公共利益,故而國家安全的重點(diǎn)將聚焦于數(shù)據(jù)安全。2021年6月11日,十三屆全國人大常委會(huì)第二十九次會(huì)議通過了我國第一部有關(guān)數(shù)據(jù)安全的專門法律——《數(shù)據(jù)安全法》,并且于2021年9月1日起開始施行?!稊?shù)據(jù)安全法》的通過,是我國首次將數(shù)據(jù)安全提升至國家安全層面。1.5.2國家大數(shù)據(jù)戰(zhàn)略的時(shí)代背景我國經(jīng)濟(jì)發(fā)展的不平衡不充分我國經(jīng)濟(jì)發(fā)展的不平衡不充分主要體現(xiàn)在兩方面:第一,我國供給和需求仍然存在不平衡的問題,隨著人們生活水平的不斷提高,其需求結(jié)構(gòu)正在轉(zhuǎn)向中高端產(chǎn)品,供給結(jié)構(gòu)仍然還停留在主要供給低端產(chǎn)品,導(dǎo)致低端供給過剩、中高端供給不足,因此供給結(jié)構(gòu)無法很好地適應(yīng)需求結(jié)構(gòu)的變化;第二,傳統(tǒng)產(chǎn)業(yè)利用大數(shù)據(jù)技術(shù)進(jìn)行產(chǎn)業(yè)重塑或者轉(zhuǎn)型的成效并不理想,數(shù)字經(jīng)濟(jì)與傳統(tǒng)產(chǎn)業(yè)的融合并不徹底,許多產(chǎn)業(yè)的創(chuàng)新能力依然無法適應(yīng)經(jīng)濟(jì)高質(zhì)量發(fā)展的要求,創(chuàng)新驅(qū)動(dòng)經(jīng)濟(jì)增長的新格局還未形成。因此,我國一方面需要利用大數(shù)據(jù)技術(shù)助力傳統(tǒng)產(chǎn)業(yè)的轉(zhuǎn)型升級(jí);另一方面需要大數(shù)據(jù)技術(shù)與實(shí)體經(jīng)濟(jì)進(jìn)行深度融合,開發(fā)出新產(chǎn)業(yè)、新業(yè)態(tài)、新模式;并且,我國還需要借助大數(shù)據(jù)技術(shù),不斷提升產(chǎn)業(yè)技術(shù)創(chuàng)新能力,從而不斷提高企業(yè)的生產(chǎn)效率和運(yùn)營效率,實(shí)現(xiàn)新舊產(chǎn)業(yè)的可持續(xù)發(fā)展。1.5.2國家大數(shù)據(jù)戰(zhàn)略的時(shí)代背景社會(huì)治理的迫切需求以前,我國的社會(huì)治理存在著一個(gè)不容忽視的問題——“數(shù)據(jù)孤島”問題?!皵?shù)據(jù)孤島”指的是政府與社會(huì)各個(gè)部分之間的數(shù)據(jù)無法連接互動(dòng),從而影響政府治理的效率。而大數(shù)據(jù)技術(shù)在社會(huì)治理中的應(yīng)用,很好地解決了這個(gè)問題。借助大數(shù)據(jù)體系,將現(xiàn)有數(shù)據(jù)通公布在一個(gè)開放的網(wǎng)絡(luò)平臺(tái)并允許社會(huì)各界無償使用。這些數(shù)據(jù)不僅可以直接給百姓提供服務(wù),還可以用于企業(yè)、科研機(jī)構(gòu)以及公益組織等的進(jìn)一步處理和分析;政府也可以通過平臺(tái)上的反饋信息,評(píng)估政策的施行效果,并對(duì)政策進(jìn)行及時(shí)的調(diào)整。至此,“數(shù)據(jù)孤島”問題迎刃而解的同時(shí),政府也提高了其基礎(chǔ)服務(wù)能力。除了數(shù)據(jù)的共享,政府還可以借助大數(shù)據(jù)技術(shù)將原始大數(shù)據(jù)進(jìn)行加工和分析,最終將這些分析好的數(shù)據(jù)用于預(yù)測(cè)未來可能發(fā)生的事件或者是找到一些潛藏的關(guān)聯(lián)關(guān)系,從而增強(qiáng)政府決策的科學(xué)性。1.5.3國家大數(shù)據(jù)戰(zhàn)略的內(nèi)涵必須堅(jiān)持以創(chuàng)新作為發(fā)展的驅(qū)動(dòng)力我國既是世界上擁有網(wǎng)民數(shù)量最多的國家,也是重要的大數(shù)據(jù)資源集散地,構(gòu)筑在網(wǎng)絡(luò)技術(shù)與數(shù)據(jù)開發(fā)利用基礎(chǔ)上的新技術(shù)、新產(chǎn)品、新服務(wù)以及新產(chǎn)業(yè)、新業(yè)態(tài),為吸引企業(yè)、社會(huì)組織以及公眾的參與提供了巨大的數(shù)據(jù)空間和大眾創(chuàng)業(yè)、萬眾創(chuàng)新的發(fā)展平臺(tái)。堅(jiān)持創(chuàng)新驅(qū)動(dòng)發(fā)展的大數(shù)據(jù)戰(zhàn)略不僅能夠成功激發(fā)企業(yè)和全社會(huì)運(yùn)用大數(shù)據(jù)的創(chuàng)新活力,為經(jīng)濟(jì)社會(huì)發(fā)展釋放潛能和創(chuàng)造力,而且有助于借用民智,營造跨地域、跨領(lǐng)域、跨行業(yè)集成融合的大數(shù)據(jù)應(yīng)用生態(tài),進(jìn)而實(shí)現(xiàn)大數(shù)據(jù)驅(qū)動(dòng)全社會(huì)創(chuàng)新發(fā)展的良好局面,增強(qiáng)大數(shù)據(jù)集成創(chuàng)新能力與國家大數(shù)據(jù)競(jìng)爭(zhēng)力。1.5.3國家大數(shù)據(jù)戰(zhàn)略的內(nèi)涵必須堅(jiān)持政府?dāng)?shù)字治理體系變革與經(jīng)濟(jì)社會(huì)發(fā)展方式整體改革相協(xié)調(diào)大數(shù)據(jù)是數(shù)字時(shí)代的新型戰(zhàn)略資源,其開發(fā)利用水平取決于大數(shù)據(jù)與政府公共管理、企業(yè)生產(chǎn)經(jīng)營與社會(huì)自我培育的深度融合。換句話說,既要高度重視大數(shù)據(jù)技術(shù)與政府?dāng)?shù)據(jù)治理雙重遞進(jìn)、疊加作用而帶來的國家治理體系與政府治理能力的現(xiàn)代化,充分運(yùn)用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等手段擴(kuò)大數(shù)據(jù)開放、優(yōu)化政府流程、改進(jìn)行政方式、提高決策科學(xué)化精準(zhǔn)化;也要統(tǒng)籌推進(jìn)大數(shù)據(jù)戰(zhàn)略與經(jīng)濟(jì)發(fā)展、社會(huì)治理的無縫對(duì)接。只有堅(jiān)持政府、企業(yè)和社會(huì)大數(shù)據(jù)戰(zhàn)略的整體化推進(jìn)和數(shù)據(jù)治理的國家統(tǒng)籌,才能形成完整的大數(shù)據(jù)開發(fā)利用合力。單獨(dú)強(qiáng)調(diào)某一方面,都會(huì)帶來數(shù)據(jù)治理的碎片化與數(shù)據(jù)綜合效用的衰減。1.5.3國家大數(shù)據(jù)戰(zhàn)略的內(nèi)涵必須堅(jiān)持速度、結(jié)構(gòu)與質(zhì)量效益相統(tǒng)一大數(shù)據(jù)是信息時(shí)代的新型戰(zhàn)略資源,其開發(fā)利用必須將速度、結(jié)構(gòu)與質(zhì)量效益相統(tǒng)一。大數(shù)據(jù)技術(shù)的應(yīng)用,通過對(duì)海量數(shù)據(jù)的挖掘和分析,及時(shí)反饋這些數(shù)據(jù)背后潛藏的信息,將這些分析出的信息與政府、各個(gè)行業(yè)以及百姓生活的深度融合,以此提高政府治理能力、促進(jìn)各個(gè)行業(yè)的產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化以及可持續(xù)發(fā)展、不斷改善人民的生活水平,從而形成完整的大數(shù)據(jù)開發(fā)利用鏈條。在這個(gè)過程中,大數(shù)據(jù)的速度、結(jié)構(gòu)與質(zhì)量效益缺一不可,否則可能會(huì)導(dǎo)致數(shù)據(jù)綜合效用的衰減。1.5.3國家大數(shù)據(jù)戰(zhàn)略的內(nèi)涵必須保證安全性與開放性的兼顧國家在進(jìn)行數(shù)據(jù)公開和共享的同時(shí)其實(shí)存在著極大的安全隱患(例如,數(shù)據(jù)遭受異常流量攻擊、數(shù)據(jù)泄露等),此時(shí)保障數(shù)據(jù)的安全性就極為重要了,沒有數(shù)據(jù)安全就不存在可持續(xù)的大數(shù)據(jù)開發(fā)利用。國家大數(shù)據(jù)戰(zhàn)略的有效實(shí)施,依賴于國家抵御數(shù)據(jù)風(fēng)險(xiǎn)的能力的不斷增強(qiáng),實(shí)現(xiàn)數(shù)據(jù)開放與數(shù)據(jù)安全之間的平衡,是建設(shè)數(shù)字中國的必由之路。1.5.4國家大數(shù)據(jù)戰(zhàn)略的意義大數(shù)據(jù)是推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展的關(guān)鍵要素大數(shù)據(jù)正在引領(lǐng)我國的經(jīng)濟(jì)發(fā)展進(jìn)入數(shù)字經(jīng)濟(jì)時(shí)代。中國工程院院長周濟(jì)在“第二屆IT2020高端論壇”上提出,“云計(jì)算和大數(shù)據(jù)時(shí)代已經(jīng)到來,而且以及深切改變了人們的工作和生活方式,這勢(shì)必重塑全球科技和經(jīng)濟(jì)競(jìng)爭(zhēng)格局,為中國經(jīng)濟(jì)引擎升級(jí)帶來新的挑戰(zhàn)和機(jī)遇”
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 公園維修合同范例
- 小學(xué)數(shù)學(xué)大單元教學(xué)的思考策略
- 五人股權(quán)合同范例
- 兼職工作合同范例
- 書委托代銷合同范例
- 公司網(wǎng)簽合同范例
- 企業(yè)投融資合同范例
- 企業(yè)借貸合同質(zhì)押合同范例
- AlMgB14-TiB2復(fù)合陶瓷材料在多環(huán)境中的摩擦學(xué)性能研究
- 關(guān)于配送合同范例
- 2024中華人民共和國學(xué)前教育法學(xué)習(xí)解讀課件
- 2024-2030年中國飾面板行業(yè)發(fā)展?fàn)顩r及前景趨勢(shì)研究報(bào)告
- 企業(yè)智能云盤方案之AI知識(shí)庫應(yīng)用
- 春季傳染病預(yù)防課件動(dòng)態(tài)課件
- 家居家具保養(yǎng)與清潔指導(dǎo)書
- 2023年員工手冊(cè)范本(適用于公司全體員工手冊(cè))
- 山東省2024年夏季普通高中學(xué)業(yè)水平合格考試地理試題02(解析版)
- 2024智慧城市數(shù)據(jù)分類標(biāo)準(zhǔn)規(guī)范
- 礦山挖機(jī)合作協(xié)議書范文
- 主題活動(dòng)一 奇妙的繩結(jié)(教學(xué)設(shè)計(jì))內(nèi)蒙古版六年級(jí)上冊(cè)綜合實(shí)踐活動(dòng)
- 2022新教材蘇教版科學(xué)5五年級(jí)下冊(cè)全冊(cè)教學(xué)設(shè)計(jì)
評(píng)論
0/150
提交評(píng)論