大數(shù)據(jù)管理與應(yīng)用概論 課件 第一章 大數(shù)據(jù)基礎(chǔ)知識(shí)

1.1大數(shù)據(jù)的時(shí)代與學(xué)科背景導(dǎo)言：大數(shù)據(jù)的廣泛應(yīng)用導(dǎo)言：大數(shù)據(jù)的廣泛應(yīng)用管理須要技術(shù)支撐！管理須要數(shù)據(jù)支撐！InGodWeTrust,AllOthersMustBringData.除了上帝，任何人都必須用數(shù)據(jù)說話。W．Edwards．Deming大數(shù)據(jù)已經(jīng)成為國(guó)家基礎(chǔ)性戰(zhàn)略資源2017年12月8日新聞聯(lián)播頭條重點(diǎn)報(bào)道了中共中央政治局在十九大后第二次集體學(xué)習(xí)的情況。習(xí)近平總書記在會(huì)議中強(qiáng)調(diào)，推動(dòng)實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略，加快完善數(shù)字基礎(chǔ)設(shè)施，推進(jìn)數(shù)據(jù)資源整合和開放共享，保障數(shù)據(jù)安全，加快建設(shè)數(shù)字中國(guó)，更好服務(wù)我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展和人民生活改善。大數(shù)據(jù)已經(jīng)成為國(guó)家基礎(chǔ)性戰(zhàn)略資源在2015年10月召開的中國(guó)共產(chǎn)黨十八屆五中全會(huì)上，首次提出實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略。旨在全面推進(jìn)我國(guó)大數(shù)據(jù)發(fā)展和應(yīng)用，加快建設(shè)數(shù)據(jù)強(qiáng)國(guó)，推動(dòng)數(shù)據(jù)資源開放共享，釋放技術(shù)紅利、制度紅利和創(chuàng)新紅利，促進(jìn)經(jīng)濟(jì)轉(zhuǎn)型升級(jí)。信息技術(shù)與經(jīng)濟(jì)社會(huì)的交匯融合引發(fā)了數(shù)據(jù)迅猛增長(zhǎng)，數(shù)據(jù)已成為國(guó)家基礎(chǔ)性戰(zhàn)略資源，大數(shù)據(jù)正日益對(duì)全球生產(chǎn)、流通、分配、消費(fèi)活動(dòng)以及經(jīng)濟(jì)運(yùn)行機(jī)制、社會(huì)生活方式和國(guó)家治理能力產(chǎn)生重要影響。政府?dāng)?shù)據(jù)資源共享開放工程國(guó)家大數(shù)據(jù)資源統(tǒng)籌發(fā)展工程政府治理大數(shù)據(jù)工程公共服務(wù)大數(shù)據(jù)工程工業(yè)和新興產(chǎn)業(yè)大數(shù)據(jù)工程現(xiàn)代農(nóng)業(yè)大數(shù)據(jù)工程萬眾創(chuàng)新大數(shù)據(jù)工程大數(shù)據(jù)關(guān)鍵技術(shù)及產(chǎn)品研發(fā)與產(chǎn)業(yè)化工程大數(shù)據(jù)產(chǎn)業(yè)支撐能力提升工程網(wǎng)絡(luò)和大數(shù)據(jù)安全保障工程大數(shù)據(jù)已經(jīng)成為國(guó)家基礎(chǔ)性戰(zhàn)略資源2017年《政府工作報(bào)告》中首次提出了“數(shù)字經(jīng)濟(jì)”戰(zhàn)略，并提出“推動(dòng)‘互聯(lián)網(wǎng)+’深入發(fā)展、促進(jìn)數(shù)字經(jīng)濟(jì)加快成長(zhǎng)，讓企業(yè)廣泛受益、群眾普遍受惠”的發(fā)展戰(zhàn)略?！皵?shù)字經(jīng)濟(jì)”寫入十九大報(bào)告，成為我國(guó)經(jīng)濟(jì)增長(zhǎng)新形態(tài)的重要內(nèi)容。數(shù)字經(jīng)濟(jì)是指人類通過大數(shù)據(jù)（數(shù)字化的知識(shí)與信息）的識(shí)別、選擇、過濾、存儲(chǔ)和使用，引導(dǎo)并實(shí)現(xiàn)資源的快速優(yōu)化配置與再生，實(shí)現(xiàn)經(jīng)濟(jì)高質(zhì)量發(fā)展的經(jīng)濟(jì)形態(tài)。大數(shù)據(jù)已經(jīng)成為國(guó)家基礎(chǔ)性戰(zhàn)略資源二、推進(jìn)土地要素市場(chǎng)化配置三、引導(dǎo)勞動(dòng)力要素合理暢通有序流動(dòng)四、推進(jìn)資本要素市場(chǎng)化配置五、加快發(fā)展技術(shù)要素市場(chǎng)六、加快培育數(shù)據(jù)要素市場(chǎng)《中共中央、國(guó)務(wù)院關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見》2020年3月30日正式發(fā)布實(shí)施大數(shù)據(jù)已經(jīng)成為國(guó)家基礎(chǔ)性戰(zhàn)略資源開放共享（二十）推進(jìn)政府?dāng)?shù)據(jù)開放共享。優(yōu)化經(jīng)濟(jì)治理基礎(chǔ)數(shù)據(jù)庫(kù)，加快推動(dòng)各地區(qū)各部門間數(shù)據(jù)共享交換，制定出臺(tái)新一批數(shù)據(jù)共享責(zé)任清單。研究建立促進(jìn)企業(yè)登記、交通運(yùn)輸、氣象等公共數(shù)據(jù)開放和數(shù)據(jù)資源有效流動(dòng)的制度規(guī)范。應(yīng)用驅(qū)動(dòng)

（二十一）提升社會(huì)數(shù)據(jù)資源價(jià)值。培育數(shù)字經(jīng)濟(jì)新產(chǎn)業(yè)、新業(yè)態(tài)和新模式，支持構(gòu)建農(nóng)業(yè)、工業(yè)、交通、教育、安防、城市管理、公共資源交易等領(lǐng)域規(guī)范化數(shù)據(jù)開發(fā)利用的場(chǎng)景。發(fā)揮行業(yè)協(xié)會(huì)商會(huì)作用，推動(dòng)人工智能、可穿戴設(shè)備、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)等領(lǐng)域數(shù)據(jù)采集標(biāo)準(zhǔn)化。安全匯聚

（二十二）加強(qiáng)數(shù)據(jù)資源整合和安全保護(hù)。探索建立統(tǒng)一規(guī)范的數(shù)據(jù)管理制度，提高數(shù)據(jù)質(zhì)量和規(guī)范性，豐富數(shù)據(jù)產(chǎn)品。研究根據(jù)數(shù)據(jù)性質(zhì)完善產(chǎn)權(quán)性質(zhì)。制定數(shù)據(jù)隱私保護(hù)制度和安全審查制度。推動(dòng)完善適用于大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分類分級(jí)安全保護(hù)制度，加強(qiáng)對(duì)政務(wù)數(shù)據(jù)、企業(yè)商業(yè)秘密和個(gè)人數(shù)據(jù)的保護(hù)。規(guī)范交易（二十六）健全要素市場(chǎng)化交易平臺(tái)。拓展公共資源交易平臺(tái)功能。……引導(dǎo)培育大數(shù)據(jù)交易市場(chǎng)，依法合規(guī)開展數(shù)據(jù)交易。支持各類所有制企業(yè)參與要素交易平臺(tái)建設(shè)，規(guī)范要素交易平臺(tái)治理，健全要素交易信息披露制度。合規(guī)流通

（二十七）完善要素交易規(guī)則和服務(wù)?！⒔∪珨?shù)據(jù)產(chǎn)權(quán)交易和行業(yè)自律機(jī)制。推進(jìn)全流程電子化交易。推進(jìn)實(shí)物資產(chǎn)證券化。鼓勵(lì)要素交易平臺(tái)與各類金融機(jī)構(gòu)、中介機(jī)構(gòu)合作，形成涵蓋產(chǎn)權(quán)界定、價(jià)格評(píng)估、流轉(zhuǎn)交易、擔(dān)保、保險(xiǎn)等業(yè)務(wù)的綜合服務(wù)體系。大數(shù)據(jù)已經(jīng)成為國(guó)家基礎(chǔ)性戰(zhàn)略資源數(shù)字經(jīng)濟(jì)第十五章打造數(shù)字經(jīng)濟(jì)新優(yōu)勢(shì)充分發(fā)揮海量數(shù)據(jù)和豐富應(yīng)用場(chǎng)景優(yōu)勢(shì)，促進(jìn)數(shù)字技術(shù)與實(shí)體經(jīng)濟(jì)深度融合，賦能傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，催生新產(chǎn)業(yè)新業(yè)態(tài)新模式，壯大經(jīng)濟(jì)發(fā)展新引擎。第一節(jié)加強(qiáng)關(guān)鍵數(shù)字技術(shù)創(chuàng)新應(yīng)用第二節(jié)加快推動(dòng)數(shù)字產(chǎn)業(yè)化第三節(jié)推進(jìn)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型數(shù)字社會(huì)第十六章加快數(shù)字社會(huì)建設(shè)步伐適應(yīng)數(shù)字技術(shù)全面融入社會(huì)交往和日常生活新趨勢(shì)，促進(jìn)公共服務(wù)和社會(huì)運(yùn)行方式創(chuàng)新，構(gòu)筑全民暢享的數(shù)字生活。第一節(jié)提供智慧便捷的公共服務(wù)第二節(jié)建設(shè)智慧城市和數(shù)字鄉(xiāng)村第三節(jié)構(gòu)筑美好數(shù)字生活新圖景數(shù)字政府第十七章提高數(shù)字政府建設(shè)水平將數(shù)字技術(shù)廣泛應(yīng)用于政府管理服務(wù)，推動(dòng)政府治理流程再造和模式優(yōu)化，不斷提高決策科學(xué)性和服務(wù)效率。第一節(jié)加強(qiáng)公共數(shù)據(jù)開放共享第二節(jié)推動(dòng)政務(wù)信息化共建共用第三節(jié)提高數(shù)字化政務(wù)服務(wù)效能第五篇加快數(shù)字化發(fā)展建設(shè)數(shù)字中國(guó)大數(shù)據(jù)已經(jīng)成為國(guó)家基礎(chǔ)性戰(zhàn)略資源加快農(nóng)業(yè)農(nóng)村現(xiàn)代化大力推進(jìn)數(shù)字鄉(xiāng)村建設(shè)推動(dòng)工業(yè)大數(shù)據(jù)應(yīng)用打造工業(yè)大數(shù)據(jù)生態(tài)體系發(fā)起“東數(shù)西算”工程構(gòu)建全國(guó)一體化算力網(wǎng)絡(luò)體系推進(jìn)數(shù)據(jù)交易中心布局完善數(shù)據(jù)流通交易體制機(jī)制數(shù)據(jù)二十條數(shù)據(jù)基礎(chǔ)制度建設(shè)事關(guān)國(guó)家發(fā)展和安全大局，要維護(hù)國(guó)家數(shù)據(jù)安全，保護(hù)個(gè)人信息和商業(yè)秘密，促進(jìn)數(shù)據(jù)高效流通使用、賦能實(shí)體經(jīng)濟(jì)，統(tǒng)籌推進(jìn)數(shù)據(jù)產(chǎn)權(quán)、流通交易、收益分配、安全治理，加快構(gòu)建數(shù)據(jù)基礎(chǔ)制度體系。數(shù)據(jù)作為新型生產(chǎn)要素，是數(shù)字化、網(wǎng)絡(luò)化、智能化的基礎(chǔ)，已快速融入生產(chǎn)、分配、流通、消費(fèi)和社會(huì)服務(wù)管理等各個(gè)環(huán)節(jié)，深刻改變著生產(chǎn)方式、生活方式和社會(huì)治理方式。2022年6月22日，中央全面深化改革委員會(huì)第二十六次會(huì)議，審議通過《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》。數(shù)據(jù)二十條數(shù)據(jù)二十條大數(shù)據(jù)已經(jīng)成為國(guó)家的基礎(chǔ)性戰(zhàn)略資源是經(jīng)濟(jì)加速發(fā)展的新引擎也是企業(yè)高質(zhì)量發(fā)展的使能器管理學(xué)子應(yīng)該成為高端數(shù)字人才加強(qiáng)全民數(shù)字技能教育和培訓(xùn)，普及提升公民數(shù)字素養(yǎng)。十四五規(guī)劃將“全民數(shù)字素養(yǎng)與技能提升行動(dòng)”作為十大優(yōu)先行動(dòng)之首十四五國(guó)家信息化規(guī)劃提升勞動(dòng)者數(shù)字工作能力、促進(jìn)全民終身數(shù)字學(xué)習(xí)、提高數(shù)字創(chuàng)新創(chuàng)業(yè)創(chuàng)造能力2022年提升全民數(shù)字素養(yǎng)與技能工作要點(diǎn)提升全民數(shù)字素養(yǎng)與技能，是順應(yīng)數(shù)字時(shí)代要求，提升國(guó)民素質(zhì)、促進(jìn)人的全面發(fā)展的戰(zhàn)略任務(wù)提升全民數(shù)字素養(yǎng)與技能行動(dòng)綱要到2035年，基本建成數(shù)字人才強(qiáng)國(guó)，全民數(shù)字素養(yǎng)與技能等能力達(dá)到更高水平，高端數(shù)字人才引領(lǐng)作用凸顯，數(shù)字創(chuàng)新創(chuàng)業(yè)繁榮活躍。實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略的關(guān)鍵是人，是具備數(shù)字素養(yǎng)的人。大數(shù)據(jù)時(shí)代的管理變革數(shù)字經(jīng)濟(jì)的高速發(fā)展推動(dòng)了生產(chǎn)方式、生活方式和治理方式的深刻變革，引發(fā)了管理對(duì)象、管理思想和管理方法的重大變化。管理類人才的數(shù)字素養(yǎng)數(shù)字經(jīng)濟(jì)時(shí)代管理對(duì)象、管理思想和管理方法的重大變化要求管理類人才應(yīng)該具備由數(shù)字意識(shí)、計(jì)算思維、創(chuàng)新能力、終身學(xué)習(xí)、社會(huì)責(zé)任等維度組成的數(shù)字素養(yǎng)。管理類人才應(yīng)具備的管理領(lǐng)域數(shù)字獲取、分析、使用、交易、創(chuàng)新、安全保障、倫理道德等一系列素質(zhì)和能力的集合。維度含義數(shù)字意識(shí)擁有數(shù)字意識(shí)，掌握數(shù)據(jù)知識(shí)計(jì)算思維掌握算法工具，具備落地能力創(chuàng)新能力運(yùn)用數(shù)字技術(shù)，開展創(chuàng)新創(chuàng)業(yè)終身學(xué)習(xí)緊跟前沿發(fā)展，強(qiáng)化終身學(xué)習(xí)社會(huì)責(zé)任提高安全能力，強(qiáng)化道德意識(shí)數(shù)字素養(yǎng)小結(jié)本節(jié)的主要內(nèi)容大數(shù)據(jù)的行業(yè)應(yīng)用國(guó)家大數(shù)據(jù)戰(zhàn)略國(guó)家大數(shù)據(jù)政策大數(shù)據(jù)的學(xué)科背景管理類人才的數(shù)字素養(yǎng)1.1大數(shù)據(jù)的時(shí)代背景1.2大數(shù)據(jù)的概念與特征從數(shù)據(jù)到大數(shù)據(jù)數(shù)據(jù)（Data）是對(duì)客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記錄和描述的物理符號(hào)或物理符號(hào)的組合，是事實(shí)或觀察的結(jié)果。與數(shù)據(jù)這一概念相關(guān)的還有信息、知識(shí)、智慧等。智慧知識(shí)信息數(shù)據(jù)對(duì)客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記載的物理符號(hào)或其組合。有規(guī)律的數(shù)據(jù)，表示物質(zhì)存在的一種方式、形式或運(yùn)動(dòng)狀態(tài)，用以減少不確定性。對(duì)信息的進(jìn)一步加工和應(yīng)用，對(duì)事物內(nèi)在規(guī)律和原理的認(rèn)識(shí)，體現(xiàn)了知識(shí)的價(jià)值。人基于知識(shí)所做出的推理、判斷和主張等，是創(chuàng)造性活動(dòng)。從數(shù)據(jù)到大數(shù)據(jù)全球信息化浪潮以來，智能硬件、網(wǎng)絡(luò)技術(shù)、軟件應(yīng)用及其創(chuàng)新集成得到了極大的發(fā)展，可以說大數(shù)據(jù)時(shí)代已經(jīng)到來。大數(shù)據(jù)的基本概念難以用現(xiàn)有的一般技術(shù)管理的大量數(shù)據(jù)的集合，即所涉及的資料規(guī)模巨大到無法通過目前主流軟件工具，在合理時(shí)間內(nèi)實(shí)現(xiàn)獲取、管理、處理、并使之成為有效的輔助企業(yè)經(jīng)營(yíng)決策的信息。狹義除了數(shù)據(jù)集合的含義外，還包括對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)、處理和分析的技術(shù)，以及從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升新動(dòng)能的新技術(shù)和新業(yè)態(tài)。其中，“存儲(chǔ)、處理和分析的技術(shù)”是指用于大規(guī)模數(shù)據(jù)分時(shí)處理的框架Hadoop等。廣義大數(shù)據(jù)所代表的不僅僅是重要的技術(shù)要素，更是一種戰(zhàn)略性資源，大數(shù)據(jù)服務(wù)業(yè)已成為前景廣闊的新技術(shù)產(chǎn)業(yè)。大數(shù)據(jù)的資源觀來源定義視角麥肯錫公司(McKinsey＆

Company)大數(shù)據(jù)是個(gè)大的數(shù)據(jù)池，其中的數(shù)據(jù)可以被采集、傳遞、聚集、存儲(chǔ)和分析。把大數(shù)據(jù)看作是一種與固定資產(chǎn)和人力資本類似的重要生產(chǎn)要素。高德納咨詢公司(GartnerGroup)大數(shù)據(jù)是大容量、高速度和形式多樣的信息資產(chǎn)。從技術(shù)特征、處理方法和應(yīng)用價(jià)值3個(gè)方面對(duì)大數(shù)據(jù)做出了界定。IBM公司用規(guī)模性(volume)、高速性(velocity)、多樣性(variety)和真實(shí)性(veracity)來描述大數(shù)據(jù)。將大數(shù)據(jù)定義為一種數(shù)據(jù)集合，指出了大數(shù)據(jù)4個(gè)方面的技術(shù)特征。維基百科(Wikipedia)大數(shù)據(jù)是指規(guī)模龐大且復(fù)雜的數(shù)據(jù)集合。從大數(shù)據(jù)的處理方法和處理工具的視角認(rèn)識(shí)大數(shù)據(jù)。美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)大數(shù)據(jù)是指由科學(xué)儀器等和/或所有其它現(xiàn)在或?qū)砜捎玫臄?shù)字源產(chǎn)生的大規(guī)模、多樣的、復(fù)雜的、縱向的和/或分布式的數(shù)據(jù)集。對(duì)開展大數(shù)據(jù)的科學(xué)研究沒有設(shè)置任何邊界。由于人們分析大數(shù)據(jù)的背景和應(yīng)用大數(shù)據(jù)的目的存在眾多差異，因此對(duì)大數(shù)據(jù)的定義也有所不同，下表總結(jié)了幾個(gè)基于不同視角的有代表性的定義。大數(shù)據(jù)的資源觀管理視角大數(shù)據(jù)是一類能夠反映物質(zhì)世界和精神世界運(yùn)動(dòng)狀態(tài)和狀態(tài)變化的信息資源，一般具有多種潛在價(jià)值。復(fù)雜性決策有用性可重復(fù)開采性高速增長(zhǎng)性價(jià)值稀疏性獲取問題加工問題應(yīng)用問題作為重要的戰(zhàn)略資源，大數(shù)據(jù)中包含諸多關(guān)鍵的管理問題，尤其是當(dāng)大數(shù)據(jù)被看作一類“資源”時(shí)，就不可忽略這種資源的管理問題。產(chǎn)權(quán)問題產(chǎn)業(yè)問題法規(guī)問題……管理特征功能多樣性大數(shù)據(jù)的發(fā)展過程摩爾定律的貢獻(xiàn)不僅是計(jì)算機(jī)硬件功能的指數(shù)增長(zhǎng)，還使硬件成本的急劇降低，使智能手機(jī)迅速普及，使傳感器成本極大下降，進(jìn)而使自動(dòng)化數(shù)據(jù)收集成本趨于微不足道，從而迎來大數(shù)據(jù)的爆發(fā)。摩爾定律奠定基礎(chǔ)網(wǎng)絡(luò)連接使得數(shù)據(jù)爆炸式增長(zhǎng)，并快速匯聚。隨著互聯(lián)網(wǎng)與各行各業(yè)的深度融合，工業(yè)互聯(lián)網(wǎng)、能源互聯(lián)網(wǎng)、醫(yī)聯(lián)網(wǎng)等使得各種機(jī)器和設(shè)備都在無時(shí)無刻不在接入網(wǎng)絡(luò)并產(chǎn)生大規(guī)模數(shù)據(jù)?；ヂ?lián)網(wǎng)推動(dòng)大連接大數(shù)據(jù)應(yīng)用的核心技術(shù)是軟件，軟件的作用不僅僅是大數(shù)據(jù)資源的數(shù)據(jù)挖掘，還是智能技術(shù)集成創(chuàng)新的粘合劑，軟件工程的發(fā)展與軟件工具的積累為大數(shù)據(jù)智能系統(tǒng)的大量涌現(xiàn)奠定了基礎(chǔ)。軟件與新技術(shù)的創(chuàng)新驅(qū)動(dòng)大數(shù)據(jù)體現(xiàn)的是多種信息技術(shù)共生的新生態(tài)環(huán)境?；A(chǔ)技術(shù)的出現(xiàn)為新技術(shù)、新應(yīng)用的創(chuàng)新提供了良好機(jī)會(huì)。新技術(shù)是已有技術(shù)的集成創(chuàng)新，積累的技術(shù)越多創(chuàng)新機(jī)會(huì)就越多，這是一個(gè)正反饋循環(huán)。大數(shù)據(jù)生態(tài)日漸完善大數(shù)據(jù)發(fā)展的技術(shù)背景大數(shù)據(jù)的發(fā)展過程概念解釋大數(shù)據(jù)大數(shù)據(jù)是一類能夠反映物質(zhì)世界和精神世界運(yùn)動(dòng)狀態(tài)和狀態(tài)變化的信息資源，它具有復(fù)雜性、決策有用性、高速增長(zhǎng)性、價(jià)值稀疏性和可重復(fù)開采性，一般具有多種潛在價(jià)值。海量數(shù)據(jù)規(guī)模量巨大的結(jié)構(gòu)性數(shù)據(jù)，規(guī)模量>1PB。小數(shù)據(jù)小數(shù)據(jù)是指以特定對(duì)象為中心、以回應(yīng)特定需求為導(dǎo)向、以解決特定問題為目的，具有多源性、異質(zhì)性、動(dòng)態(tài)性、全息性的數(shù)據(jù)集以及相關(guān)的數(shù)據(jù)采集、處理、分析和人機(jī)交互的思維方式及數(shù)據(jù)處理方法。大數(shù)據(jù)VS海量數(shù)據(jù)大數(shù)據(jù)VS小數(shù)據(jù)結(jié)構(gòu)性數(shù)據(jù)結(jié)構(gòu)性數(shù)據(jù)半結(jié)構(gòu)性數(shù)據(jù)非結(jié)構(gòu)性數(shù)據(jù)全部數(shù)據(jù)模糊數(shù)據(jù)關(guān)注相關(guān)性抽樣數(shù)據(jù)精確數(shù)據(jù)追究因果性相關(guān)概念的區(qū)分大數(shù)據(jù)的分類商務(wù)大數(shù)據(jù)是大數(shù)據(jù)技術(shù)賦能商業(yè)創(chuàng)新的重要技術(shù)支撐。醫(yī)療大數(shù)據(jù)結(jié)合人工智能技術(shù)可全面提升醫(yī)療領(lǐng)域的服務(wù)水平。能源大數(shù)據(jù)是支撐智慧能源管理和節(jié)能增效的重要資源。工業(yè)大數(shù)據(jù)融合智能制造新技術(shù)，創(chuàng)造工業(yè)新模式、新價(jià)值。金融大數(shù)據(jù)以提升金融領(lǐng)域資源配置效率等為目標(biāo)。政務(wù)大數(shù)據(jù)賦能數(shù)字政府建設(shè)，提升政務(wù)服務(wù)效能。準(zhǔn)確理解不同用戶不同場(chǎng)景下的大數(shù)據(jù)含義，針對(duì)不用領(lǐng)域的大數(shù)據(jù)應(yīng)用模式、商業(yè)模式的研究和探索將是大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展的關(guān)鍵。大數(shù)據(jù)的一般特征對(duì)大數(shù)據(jù)特征的認(rèn)識(shí)，也可以從不同視角展開，主要從一般特征、形態(tài)特征、分析特征和資源特征等不同維度，介紹大數(shù)據(jù)的特征。2001年道格·萊尼指出，數(shù)據(jù)增長(zhǎng)有4個(gè)方向的挑戰(zhàn)和機(jī)遇：大量（Volume）、多樣性（Variety）、速度（Velocity）和價(jià)值（Value）。在此理論基礎(chǔ)上，IBM提出的大數(shù)據(jù)的“4V”特征。大數(shù)據(jù)的形態(tài)特征多源性大數(shù)據(jù)來源的復(fù)雜性。需要將關(guān)聯(lián)的信息以整體的視覺思考整理，并打破原有垂直系統(tǒng)之間的信息孤島，構(gòu)造統(tǒng)一的數(shù)據(jù)平臺(tái)，做到多源數(shù)據(jù)的有效融合。大數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性。由于數(shù)據(jù)生成的多樣性，非結(jié)構(gòu)化數(shù)據(jù)成為主流，蘊(yùn)含著非常有價(jià)值的信息。實(shí)時(shí)性數(shù)據(jù)更新的實(shí)時(shí)性?；ヂ?lián)網(wǎng)中許多應(yīng)用都有實(shí)時(shí)更新的需求，比如如何在網(wǎng)頁(yè)中搜索幾分鐘之前的新聞結(jié)果，購(gòu)物時(shí)商品價(jià)格，庫(kù)存信息的實(shí)時(shí)更新。數(shù)據(jù)變化后通過其他服務(wù)的實(shí)時(shí)性。比如，作為一站式的旅游服務(wù)平臺(tái)的攜程網(wǎng)站，這些提供跨業(yè)務(wù)線的推薦和實(shí)時(shí)推薦，能有效滿足用戶的需求，也能為網(wǎng)站帶來更加豐富的回報(bào)。不確定性數(shù)據(jù)在不同尺度、不同維度上都表現(xiàn)出一定的不確定性。大數(shù)據(jù)的分析和挖掘面臨更多的細(xì)粒度數(shù)據(jù)，數(shù)據(jù)的采集、存儲(chǔ)、建模、挖掘等方面都需要新的方法來應(yīng)對(duì)不確定性帶來的挑戰(zhàn)。模型的不確定性。同時(shí)要把握模型的表達(dá)能力與復(fù)雜程度之間的平衡。學(xué)習(xí)的不確定性。在大數(shù)據(jù)環(huán)境下，傳統(tǒng)近似的、不確定的學(xué)習(xí)方法需要面對(duì)規(guī)模和時(shí)效的挑戰(zhàn)。由于大數(shù)據(jù)產(chǎn)生的過程中諸多的不確定性，使得大數(shù)據(jù)的表現(xiàn)形態(tài)多種多樣。大數(shù)據(jù)的分析特征非結(jié)構(gòu)性對(duì)比項(xiàng)定義結(jié)構(gòu)與內(nèi)容的關(guān)系示例結(jié)構(gòu)化數(shù)據(jù)具有數(shù)據(jù)結(jié)構(gòu)描述信息的數(shù)據(jù)。先有結(jié)構(gòu)，再有數(shù)據(jù)。各類表格。非結(jié)構(gòu)化數(shù)據(jù)不方便用固定結(jié)構(gòu)來表現(xiàn)的數(shù)據(jù)。只有數(shù)據(jù)，無結(jié)構(gòu)。圖形、圖像、音頻、視頻信息。半結(jié)構(gòu)化數(shù)據(jù)處于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)。先有數(shù)據(jù)，再有結(jié)構(gòu)。HTML文檔，它一般是自描述的，數(shù)據(jù)的內(nèi)容與結(jié)構(gòu)混在一起。如何將大數(shù)據(jù)轉(zhuǎn)化成一個(gè)結(jié)構(gòu)化的格式是一項(xiàng)重大挑戰(zhàn)，如何將數(shù)據(jù)組織成合理的結(jié)構(gòu)也是大數(shù)據(jù)管理中的一個(gè)重要問題。從大數(shù)據(jù)分析視角看，大數(shù)據(jù)在增長(zhǎng)、分布和處理方面具有更多復(fù)雜的性質(zhì)。大數(shù)據(jù)的分析特征不完備性所獲取的數(shù)據(jù)常常包含一些不完整的信息和錯(cuò)誤的數(shù)據(jù)，即臟數(shù)據(jù)。在數(shù)據(jù)分析階段之前，需要進(jìn)行抽取、清洗、集成，進(jìn)而得到高質(zhì)量的數(shù)據(jù)之后，再進(jìn)行挖掘和分析。時(shí)效性安全性可靠性數(shù)據(jù)規(guī)模越大，分析處理時(shí)間就會(huì)越長(zhǎng)，所以高速度進(jìn)行數(shù)據(jù)處理非常重要。在許多情況下，用戶要求立即得到數(shù)據(jù)的分析結(jié)果，需要在處理速度和規(guī)模的折中考慮尋求新的方法。大數(shù)據(jù)高度依賴數(shù)據(jù)存儲(chǔ)和共享，必須考慮尋找更好的方法來消除各種隱患和漏洞，才能有效地管控安全風(fēng)險(xiǎn)。大數(shù)據(jù)安全性問題是一個(gè)重要的研究方向?？梢酝ㄟ^數(shù)據(jù)清洗、去冗等技術(shù)來提取有價(jià)值數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量高效管理，以及對(duì)數(shù)據(jù)的安全訪問和隱私保護(hù)，這已成為大數(shù)據(jù)可靠性的關(guān)鍵需求。大數(shù)據(jù)的資源特征復(fù)雜性決策有用性高速增長(zhǎng)性大數(shù)據(jù)的形式和特征是極其復(fù)雜的。一方面表現(xiàn)在其數(shù)量規(guī)模之大、來源的廣泛性和形態(tài)結(jié)構(gòu)的多樣性，另一方面表現(xiàn)在其狀態(tài)變化和開發(fā)方式等方面的不確定性。大數(shù)據(jù)是客觀存在的大規(guī)模數(shù)據(jù)資源，其直接功用是有限的。通過分析、挖掘和發(fā)現(xiàn)其中蘊(yùn)藏的知識(shí)，可以為各種實(shí)際應(yīng)用提供其它資源難以提供的決策支持，大數(shù)據(jù)的價(jià)值也主要通過其決策有用性體現(xiàn)。隨著不斷的開采，大數(shù)據(jù)資源不僅不會(huì)減少，反而會(huì)迅速增加。大數(shù)據(jù)資源的增加是指數(shù)性的，甚至呈現(xiàn)爆發(fā)性態(tài)勢(shì)。利用大數(shù)據(jù)支持管理決策面臨的一個(gè)主要挑戰(zhàn)就是實(shí)效性問題。作為一種重要的戰(zhàn)略資源，大數(shù)據(jù)中包含諸多關(guān)鍵的管理問題。對(duì)大數(shù)據(jù)資源管理特征的準(zhǔn)確認(rèn)識(shí)是研究其中具體管理問題的前提。下面將從復(fù)雜性、決策有用性、高速增長(zhǎng)性、價(jià)值稀疏性、可重復(fù)開采性和功能多樣性等六個(gè)方面逐一分析大數(shù)據(jù)資源的管理特征。大數(shù)據(jù)的資源特征價(jià)值稀疏性可重復(fù)開采性功能多樣性大數(shù)據(jù)的數(shù)據(jù)量之大帶來了大數(shù)據(jù)價(jià)值的低密度問題，大數(shù)據(jù)資源的數(shù)量雖大，但其中蘊(yùn)藏的有用的價(jià)值卻是稀疏的，這就增加了開發(fā)和利用大數(shù)據(jù)資源的難度。相比自然資源，大數(shù)據(jù)資源可以被重復(fù)開采。對(duì)于給定的大數(shù)據(jù)資源，任何擁有該資源使用權(quán)的人或組織都可以對(duì)其進(jìn)行開采和挖掘。之后，該大數(shù)據(jù)資源仍可以被其他人或組織繼續(xù)開采和挖掘。對(duì)于特定的大數(shù)據(jù)資源，基于不同的開發(fā)目的和方式，具有多樣化的功能?；谏鐣?huì)管理的目的基于商務(wù)管理的目的基于企業(yè)管理的目的除了正面積極的功能，大數(shù)據(jù)還存在著諸多風(fēng)險(xiǎn)和潛在危害性。在采集、挖掘和分析數(shù)據(jù)時(shí)，可能面臨著嚴(yán)重的安全和隱私問題。因此，在開發(fā)利用大數(shù)據(jù)資源時(shí)，還應(yīng)該防范由于方式不當(dāng)或非法利用可能對(duì)個(gè)人、企業(yè)和組織以及國(guó)家和社會(huì)帶來的嚴(yán)重危害。小結(jié)本節(jié)的主要內(nèi)容大數(shù)據(jù)的概念大數(shù)據(jù)的發(fā)展過程大數(shù)據(jù)的分類大數(shù)據(jù)的特征1.2大數(shù)據(jù)的概念與特征1.3大數(shù)據(jù)全生命周期大數(shù)據(jù)全生命周期環(huán)節(jié)全生命周期是指從產(chǎn)生到消亡的整個(gè)過程。大數(shù)據(jù)是一種特殊的信息資源，也有其自身的生命周期。大數(shù)據(jù)全生命周期環(huán)節(jié)數(shù)據(jù)收集數(shù)據(jù)預(yù)處理數(shù)據(jù)存儲(chǔ)數(shù)據(jù)分析數(shù)據(jù)可視化數(shù)據(jù)遷移數(shù)據(jù)歸檔數(shù)據(jù)銷毀大數(shù)據(jù)的全生命周期數(shù)據(jù)收集比較項(xiàng)目傳統(tǒng)的數(shù)據(jù)收集大數(shù)據(jù)的數(shù)據(jù)收集數(shù)據(jù)來源數(shù)據(jù)來源單一數(shù)據(jù)來源廣泛數(shù)據(jù)量數(shù)據(jù)量相對(duì)較小數(shù)據(jù)量巨大數(shù)據(jù)類型結(jié)構(gòu)單一結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)使用數(shù)據(jù)庫(kù)關(guān)系數(shù)據(jù)庫(kù)和并行數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)在大數(shù)據(jù)的收集過程中，其面臨的主要挑戰(zhàn)是成千上萬的用戶同時(shí)進(jìn)行訪問和操作而引起的高并發(fā)數(shù)。12306火車票售票網(wǎng)站在2020年春運(yùn)火車票售賣的最高峰時(shí)，網(wǎng)絡(luò)點(diǎn)擊量高達(dá)1495億次。數(shù)據(jù)收集是大數(shù)據(jù)全生命周期的第一個(gè)環(huán)節(jié)，是在確定用戶目標(biāo)的基礎(chǔ)上，針對(duì)該范圍內(nèi)所有結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)的采集。數(shù)據(jù)收集商業(yè)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)……大數(shù)據(jù)主要來源系統(tǒng)日志采集方法。采用分布式架構(gòu)，能滿足高可用、高可靠和可擴(kuò)展的日志數(shù)據(jù)采集和傳輸系統(tǒng)的需求。網(wǎng)絡(luò)數(shù)據(jù)采集方法。將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁(yè)中抽取出來，將其存儲(chǔ)為統(tǒng)一的本地?cái)?shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲(chǔ)。感知設(shè)備數(shù)據(jù)采集方法。通過傳感器、攝像頭和其他智能終端自動(dòng)采集信號(hào)、圖片或錄像來獲取數(shù)據(jù)。數(shù)據(jù)收集方法數(shù)據(jù)預(yù)處理數(shù)據(jù)缺失包括數(shù)據(jù)記錄缺失和記錄中部分屬性值缺失。數(shù)據(jù)重復(fù)多重?cái)?shù)據(jù)結(jié)構(gòu)、名稱拼寫錯(cuò)誤、不通用的別名等。數(shù)據(jù)不一致數(shù)據(jù)記錄規(guī)范的不一致和數(shù)據(jù)邏輯的不一致。數(shù)據(jù)噪聲不正確的屬性值，出現(xiàn)錯(cuò)誤或存在偏離預(yù)期的離群值。在數(shù)據(jù)采集環(huán)節(jié)可能產(chǎn)生數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)、數(shù)據(jù)不一致和數(shù)據(jù)噪聲等問題，因此需要檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對(duì)其中的噪聲數(shù)據(jù)進(jìn)行平滑，對(duì)丟失的數(shù)據(jù)進(jìn)行填補(bǔ)，對(duì)重復(fù)的數(shù)據(jù)進(jìn)行消除等。數(shù)據(jù)預(yù)處理對(duì)缺失值的填補(bǔ)。常用的方法包括刪除對(duì)象方法、數(shù)據(jù)補(bǔ)齊方法和基于k-NN近鄰缺失數(shù)據(jù)的填充算法。不完整數(shù)據(jù)清洗數(shù)據(jù)來源于不同的類、自然變異、數(shù)據(jù)測(cè)量和收集誤差。異常值檢測(cè)方法包括統(tǒng)計(jì)方法和基于鄰近度的方法。異常數(shù)據(jù)清洗對(duì)重復(fù)性事物和概念，通過規(guī)范、規(guī)程和制度達(dá)到統(tǒng)一，以獲得最佳秩序和效益。常用的數(shù)據(jù)規(guī)范化方法有：最小—最大規(guī)范化方法、z分?jǐn)?shù)規(guī)范化方法和小數(shù)定標(biāo)規(guī)范化方法。數(shù)據(jù)規(guī)范化用更抽象（更高層次）的概念來取代低層次或數(shù)據(jù)層的數(shù)據(jù)對(duì)象。例如，將屬性值為“地鐵”、“出租車”和“公共汽車”的數(shù)據(jù)統(tǒng)一使用“交通工具”來代替。數(shù)據(jù)泛化處理數(shù)據(jù)預(yù)處理方法數(shù)據(jù)預(yù)處理數(shù)據(jù)去重。重復(fù)的數(shù)據(jù)是冗余數(shù)據(jù)，對(duì)于這一類數(shù)據(jù)應(yīng)刪除其冗余部分。重復(fù)數(shù)據(jù)清洗數(shù)據(jù)中存在某變量的隨機(jī)誤差或異常的數(shù)據(jù)。常用的技術(shù)包括分箱技術(shù)、回歸方法等。

噪聲數(shù)據(jù)處理在盡可能保持?jǐn)?shù)據(jù)原始特性的前提下，最大規(guī)模地精簡(jiǎn)數(shù)據(jù)量。特征約簡(jiǎn)、樣本約簡(jiǎn)、數(shù)據(jù)立方體聚集、維約簡(jiǎn)等。

數(shù)據(jù)約簡(jiǎn)利用數(shù)據(jù)編碼或數(shù)據(jù)轉(zhuǎn)換等手段將原數(shù)據(jù)集壓縮為一個(gè)較小規(guī)模的數(shù)據(jù)集。常用的兩種數(shù)據(jù)壓縮方法為小波變換和主成分分析都屬于有損壓縮。數(shù)據(jù)壓縮數(shù)據(jù)預(yù)處理方法數(shù)據(jù)存儲(chǔ)直接鏈接存儲(chǔ)中間環(huán)節(jié)少，磁盤的利用率高，成本也比較低。網(wǎng)絡(luò)連接存儲(chǔ)響應(yīng)速度快，數(shù)據(jù)傳輸速率高。存儲(chǔ)域網(wǎng)絡(luò)存儲(chǔ)傳輸速率和傳輸效率都非常高，適合大數(shù)據(jù)量高帶寬的傳輸要求。關(guān)系型數(shù)據(jù)結(jié)構(gòu)非關(guān)系型數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)MBGBPBZB數(shù)據(jù)量增長(zhǎng)大數(shù)據(jù)存儲(chǔ)是將收集的數(shù)據(jù)集持久化到計(jì)算機(jī)存儲(chǔ)系統(tǒng)中。數(shù)據(jù)分析大數(shù)據(jù)分析是指用準(zhǔn)確適宜的分析方法和工具來分析經(jīng)過預(yù)處理后的大數(shù)據(jù)，提取具有價(jià)值的信息，進(jìn)而形成有效的結(jié)論并通過可視化技術(shù)展現(xiàn)出來的過程。探索性數(shù)據(jù)分析以靈活的方式探究數(shù)據(jù)分布情況。證實(shí)性數(shù)據(jù)分析評(píng)估觀察到的模式或效應(yīng)的再現(xiàn)性。定性數(shù)據(jù)分析分析非數(shù)值型數(shù)據(jù)，總結(jié)對(duì)象特點(diǎn)。離線數(shù)據(jù)分析將數(shù)據(jù)存儲(chǔ)于磁盤，然后進(jìn)行分析。在線數(shù)據(jù)分析實(shí)時(shí)處理在線請(qǐng)求，響應(yīng)時(shí)間要求高。交互式分析快速數(shù)據(jù)分析，強(qiáng)調(diào)快速的數(shù)據(jù)探索。數(shù)據(jù)分析以分析結(jié)果分類以分析的方式分類數(shù)據(jù)分析數(shù)據(jù)挖掘是大數(shù)據(jù)分析的核心，占有重要的地位。數(shù)據(jù)挖掘是通過鍵名和構(gòu)造算法來獲取信息和知識(shí)。數(shù)據(jù)挖掘融合了數(shù)據(jù)庫(kù)技術(shù)、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、知識(shí)工程、面向?qū)ο蠓椒?、信息檢索、云計(jì)算、高性能計(jì)算以及數(shù)據(jù)可視化等最新技術(shù)的研究成果。樣本學(xué)習(xí)模型建立交叉驗(yàn)證模型測(cè)試關(guān)聯(lián)分析：發(fā)現(xiàn)數(shù)據(jù)集中聯(lián)系規(guī)則分類方法：從數(shù)據(jù)集中提取分類模型聚類方法：自動(dòng)對(duì)數(shù)據(jù)對(duì)象進(jìn)行分類時(shí)間序列挖掘：發(fā)現(xiàn)趨勢(shì)性與周期性數(shù)據(jù)可視化可視化旨在利用計(jì)算機(jī)自動(dòng)化分析能力的同時(shí)，充分挖掘人對(duì)于可視化信息的認(rèn)知能力優(yōu)勢(shì)，將人、機(jī)的各自強(qiáng)項(xiàng)進(jìn)行有機(jī)融合，借助人機(jī)交互式分析方法和交互技術(shù)，輔助人們更為直觀和高效地洞悉大數(shù)據(jù)背后的信息、知識(shí)與智慧。結(jié)構(gòu)化主要是統(tǒng)計(jì)圖表注重?cái)?shù)據(jù)及其結(jié)構(gòu)關(guān)系大數(shù)據(jù)可視化結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化多種表現(xiàn)形式發(fā)現(xiàn)數(shù)據(jù)中蘊(yùn)含的規(guī)律特征數(shù)據(jù)可視化數(shù)據(jù)可視化文本可視化網(wǎng)絡(luò)可視化時(shí)空數(shù)據(jù)可視化數(shù)據(jù)可視化可視分析是通過交互可視界面來進(jìn)行的分析、推理和決策?？梢暦治雠c各個(gè)領(lǐng)域的數(shù)據(jù)形態(tài)、大小及其應(yīng)用密切相關(guān)?？梢暦治鍪且环N通過交互式可視化界面來輔助用戶對(duì)大規(guī)模復(fù)雜數(shù)據(jù)集進(jìn)行分析與推理的技術(shù)。雷達(dá)圖氣泡圖熱力圖樹形圖數(shù)據(jù)遷移按照遷移條件分類全表遷移條件遷移自動(dòng)遷移按照遷移模式分類覆蓋追加按照數(shù)據(jù)來源分類文本源數(shù)據(jù)源遷移模塊架構(gòu)任務(wù)調(diào)度模塊Sqoop架構(gòu)日志管理數(shù)據(jù)遷移指的是在不同存儲(chǔ)格式、數(shù)據(jù)類型以及硬業(yè)件設(shè)備之間的數(shù)據(jù)移動(dòng)過程。數(shù)據(jù)遷移支持任意存儲(chǔ)系統(tǒng)之間的遷移，且成功率較高，支持聯(lián)機(jī)遷移?；谥鳈C(jī)的遷移方式可以有效縮短停機(jī)時(shí)間窗口，一旦備份完成，其數(shù)據(jù)的遷移過程完全不會(huì)影響生產(chǎn)系統(tǒng)。備份恢復(fù)的方式兼容主流存儲(chǔ)設(shè)備，支持不同廠商不同品牌間的數(shù)據(jù)遷移和容災(zāi)，適合于頻繁遷移數(shù)據(jù)的大型企業(yè)?；诖鎯?chǔ)的方式完全依賴于應(yīng)用軟件自身，與具體的主機(jī)、存儲(chǔ)種類則關(guān)系不大。應(yīng)用軟件提供的方式數(shù)據(jù)遷移方法的選擇是建立在對(duì)系統(tǒng)軟硬件以及業(yè)務(wù)系統(tǒng)的各環(huán)節(jié)的具體分析基礎(chǔ)之上。數(shù)據(jù)歸檔數(shù)據(jù)歸檔是將不經(jīng)常使用的數(shù)據(jù)移動(dòng)到單獨(dú)的存儲(chǔ)設(shè)備進(jìn)行長(zhǎng)期存儲(chǔ)的過程。數(shù)據(jù)歸檔具有索引和搜索功能，因此可以很容易地找到文件。數(shù)據(jù)對(duì)象主要是長(zhǎng)期積累的業(yè)務(wù)數(shù)據(jù)。對(duì)數(shù)據(jù)進(jìn)行定時(shí)的數(shù)據(jù)歸檔操作。定期數(shù)據(jù)歸檔數(shù)據(jù)對(duì)象主要是應(yīng)用系統(tǒng)中數(shù)據(jù)量較大的數(shù)據(jù)，或者使用非常頻繁的數(shù)據(jù)。采用不定期的集中化數(shù)據(jù)歸檔，以保證對(duì)系統(tǒng)和應(yīng)用資源的影響最小。不定期數(shù)據(jù)歸檔形成一套規(guī)范、一項(xiàng)制度，將數(shù)據(jù)歸檔納入日常操作，使數(shù)據(jù)清理自動(dòng)化、規(guī)范化、量化，成為一套完整的數(shù)據(jù)清理和歸檔規(guī)范系統(tǒng)。數(shù)據(jù)銷毀數(shù)據(jù)銷毀是指通過一定手段將指定的待刪除數(shù)據(jù)進(jìn)行有效刪除，使其被恢復(fù)的可能性足夠小甚至是不可被恢復(fù)?，F(xiàn)有的數(shù)據(jù)銷毀方法主要分為硬銷毀和軟銷毀。通常用于保密等級(jí)比較高的場(chǎng)合。如國(guó)家機(jī)密、軍事要?jiǎng)?wù)等。硬銷毀通常用于保密等級(jí)不是很高的場(chǎng)合。如一般的企業(yè)、個(gè)人文件等，存儲(chǔ)空間可以重復(fù)使用。軟銷毀數(shù)據(jù)銷毀不管是物理破壞方法還是化學(xué)破壞方法，被銷毀的存儲(chǔ)介質(zhì)不能重復(fù)使用，造成了一定的浪費(fèi)，并且有著一定的污染，所有基本上沒有得到廣泛地應(yīng)用。運(yùn)用化學(xué)試劑噴灑磁性存儲(chǔ)介質(zhì)的磁表面，腐蝕破壞其磁性結(jié)構(gòu)?；瘜W(xué)破壞方法焚燒、粉碎等，但是磁盤的碎片仍然可以被惡意用戶所利用，而且物理破壞方法需要特定的環(huán)境和設(shè)備。物理破壞方法數(shù)據(jù)硬銷毀是指采用物理、化學(xué)方法直接銷毀存儲(chǔ)介質(zhì)，從而徹底銷毀存儲(chǔ)在其中的用戶數(shù)據(jù)。數(shù)據(jù)硬銷毀數(shù)據(jù)銷毀數(shù)據(jù)軟銷毀即邏輯銷毀，是向準(zhǔn)備銷毀的數(shù)據(jù)塊區(qū)中反復(fù)寫入無意義的隨機(jī)數(shù)據(jù)。刪除與格式化操作是計(jì)算機(jī)用戶最常用的兩種清除數(shù)據(jù)的方式，但其實(shí)它們都不是真正意義上的數(shù)據(jù)銷毀方法。在硬件上借助可信計(jì)算技術(shù)，在軟件借助虛擬機(jī)監(jiān)控器，來實(shí)現(xiàn)可信數(shù)據(jù)銷毀。云端銷毀技術(shù)是使用云存儲(chǔ)環(huán)境下全生命周期可控的數(shù)據(jù)銷毀模型。云端數(shù)據(jù)銷毀數(shù)據(jù)刪格方式數(shù)據(jù)重寫方式數(shù)據(jù)軟銷毀小結(jié)本節(jié)的主要內(nèi)容數(shù)據(jù)收集數(shù)據(jù)預(yù)處理數(shù)據(jù)存儲(chǔ)數(shù)據(jù)分析數(shù)據(jù)可視化數(shù)據(jù)遷移數(shù)據(jù)歸檔數(shù)據(jù)銷毀1.3大數(shù)據(jù)全生命周期1.4大數(shù)據(jù)的經(jīng)濟(jì)社會(huì)影響大數(shù)據(jù)對(duì)經(jīng)濟(jì)社會(huì)的影響經(jīng)濟(jì)發(fā)展社會(huì)治理政務(wù)服務(wù)大數(shù)據(jù)在促進(jìn)產(chǎn)業(yè)結(jié)構(gòu)調(diào)整和優(yōu)化方面發(fā)揮了十分重要的作用，也是經(jīng)濟(jì)現(xiàn)代化提升與可持續(xù)發(fā)展的不竭動(dòng)力。大數(shù)據(jù)在公共安全、生態(tài)治理、信用管理等方面均發(fā)揮越來越重要的作用，是完善社會(huì)治理的有效工具。隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，政務(wù)服務(wù)在服務(wù)理念、服務(wù)模式以及服務(wù)水平等方面也發(fā)生了重要的變革。大數(shù)據(jù)對(duì)經(jīng)濟(jì)發(fā)展的影響大數(shù)據(jù)與經(jīng)濟(jì)發(fā)展結(jié)構(gòu)調(diào)整新業(yè)態(tài)產(chǎn)業(yè)融合數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)升級(jí)新產(chǎn)業(yè)在新一輪的科學(xué)技術(shù)革命浪潮下，大數(shù)據(jù)技術(shù)已經(jīng)成為了產(chǎn)業(yè)變革的重要途徑。對(duì)于傳統(tǒng)行業(yè)來說，大數(shù)據(jù)為傳統(tǒng)產(chǎn)業(yè)的升級(jí)改造提供了極大的空間。同時(shí)，大數(shù)據(jù)在創(chuàng)造新的產(chǎn)品需求，拓展新的產(chǎn)業(yè)領(lǐng)域等方面，有著不容忽視的作用。這種大數(shù)據(jù)的新浪潮推動(dòng)了產(chǎn)業(yè)間的融合發(fā)展，也催生了新的產(chǎn)業(yè)形態(tài)，在促進(jìn)產(chǎn)業(yè)結(jié)構(gòu)調(diào)整和優(yōu)化方面發(fā)揮了十分重要的作用。大數(shù)據(jù)對(duì)不同產(chǎn)業(yè)的影響現(xiàn)代服務(wù)業(yè)促進(jìn)服務(wù)業(yè)的商業(yè)創(chuàng)新在市場(chǎng)機(jī)制方面，大數(shù)據(jù)平臺(tái)輔助實(shí)現(xiàn)了非面對(duì)面交易；在渠道管理方面，大數(shù)據(jù)技術(shù)使信息發(fā)布、交易、物流、支付、客戶支持等都成為獨(dú)立的渠道，從而促進(jìn)渠道選擇的公平性和渠道控制的合理性；在營(yíng)銷策略方面，大數(shù)據(jù)環(huán)境使個(gè)性化、社會(huì)化和移動(dòng)化成為市場(chǎng)營(yíng)銷的重要特征；在商業(yè)模式創(chuàng)新方面，大數(shù)據(jù)為企業(yè)實(shí)現(xiàn)線上線下業(yè)務(wù)整合帶來了新的發(fā)展機(jī)遇。促進(jìn)服務(wù)業(yè)的金融創(chuàng)新對(duì)于銀行業(yè)來說，大數(shù)據(jù)技術(shù)使傳統(tǒng)銀行業(yè)向著業(yè)務(wù)無網(wǎng)點(diǎn)化、支付移動(dòng)化、服務(wù)便捷化和信用數(shù)據(jù)化的方向發(fā)展；對(duì)于證劵業(yè)來說，依托互聯(lián)網(wǎng)與大數(shù)據(jù)建立集交易和理財(cái)于一體的全功能智能賬戶，向客戶提供包括交易、理財(cái)、投融資等在內(nèi)的一站式綜合金融服務(wù)。促進(jìn)商融一體化發(fā)展傳統(tǒng)金融業(yè)正在積極探索互聯(lián)網(wǎng)金融，而互聯(lián)網(wǎng)企業(yè)正在全力向金融領(lǐng)域拓展。大數(shù)據(jù)對(duì)經(jīng)濟(jì)發(fā)展的影響高端裝備制造業(yè)在高端裝備研發(fā)和生產(chǎn)方面大數(shù)據(jù)技術(shù)深度滲透到產(chǎn)品的研發(fā)和生產(chǎn)過程中，形成的智能裝備提升了高端裝備的效能價(jià)值，拓展了高端裝備的應(yīng)用范圍；在高端裝備制造模式變革方面大數(shù)據(jù)技術(shù)廣泛應(yīng)用于供應(yīng)商、銷售商和協(xié)作商的協(xié)同過程中，形成的全球化網(wǎng)絡(luò)制造進(jìn)一步優(yōu)化了價(jià)值鏈和價(jià)值網(wǎng)絡(luò)；在高端裝備業(yè)務(wù)模式創(chuàng)新方面大數(shù)據(jù)技術(shù)顯著加速了制造業(yè)服務(wù)化進(jìn)程；在高端裝備制造業(yè)生態(tài)重構(gòu)方面高端裝備制造價(jià)值網(wǎng)絡(luò)的生態(tài)環(huán)境是由經(jīng)濟(jì)生態(tài)、社會(huì)生態(tài)和自然生態(tài)構(gòu)成的多層次結(jié)構(gòu)。大數(shù)據(jù)對(duì)經(jīng)濟(jì)發(fā)展的影響資源型產(chǎn)業(yè)農(nóng)業(yè)發(fā)展：生產(chǎn)技術(shù)和農(nóng)產(chǎn)品營(yíng)銷在農(nóng)業(yè)生產(chǎn)技術(shù)方面，能夠提升環(huán)境監(jiān)測(cè)、生命感知、病蟲害監(jiān)控防治的現(xiàn)代化水平，改變傳統(tǒng)農(nóng)業(yè)的作業(yè)方式，提高農(nóng)業(yè)資源的調(diào)配效率；在農(nóng)產(chǎn)品營(yíng)銷方面，促進(jìn)了農(nóng)產(chǎn)品的電子商務(wù)化流通，從而有利于建立可追溯的農(nóng)產(chǎn)品供應(yīng)鏈系統(tǒng)和農(nóng)產(chǎn)品質(zhì)量保證體系；在農(nóng)業(yè)經(jīng)營(yíng)模式方面，通過發(fā)展定制農(nóng)業(yè)、精細(xì)農(nóng)業(yè)和電商農(nóng)業(yè)，推動(dòng)傳統(tǒng)農(nóng)業(yè)的模式創(chuàng)新，提高農(nóng)產(chǎn)品附加值，延伸涉農(nóng)產(chǎn)業(yè)的價(jià)值鏈，促進(jìn)實(shí)現(xiàn)農(nóng)業(yè)現(xiàn)代化。石油、天然氣、煤炭產(chǎn)業(yè)發(fā)展：生產(chǎn)運(yùn)營(yíng)和安全管理在實(shí)地勘測(cè)與考察以及施工方案的制定過程中，大數(shù)據(jù)可以根據(jù)開采地的實(shí)地環(huán)境數(shù)據(jù)，輔助制定出優(yōu)化的方案，可以及時(shí)的應(yīng)對(duì)資源開采過程中遇到的難題。另外，在大數(shù)據(jù)技術(shù)的支持下，實(shí)現(xiàn)了大型設(shè)備的全過程自動(dòng)跟蹤與智能化分析。大數(shù)據(jù)對(duì)經(jīng)濟(jì)發(fā)展的影響2017年《政府工作報(bào)告》中首次提出了“數(shù)字經(jīng)濟(jì)”戰(zhàn)略，并提出“推動(dòng)‘互聯(lián)網(wǎng)+’深入發(fā)展、促進(jìn)數(shù)字經(jīng)濟(jì)加快成長(zhǎng)，讓企業(yè)廣泛受益、群眾普遍受惠”的發(fā)展戰(zhàn)略。大數(shù)據(jù)是發(fā)展數(shù)字經(jīng)濟(jì)的生產(chǎn)要素大數(shù)據(jù)已成為經(jīng)濟(jì)社會(huì)的基礎(chǔ)性戰(zhàn)略資源，蘊(yùn)藏著巨大潛力和能量。大數(shù)據(jù)資源與產(chǎn)業(yè)的交匯融合促使社會(huì)生產(chǎn)力發(fā)生新的飛躍，在生產(chǎn)過程中與其他生產(chǎn)要素協(xié)同創(chuàng)造經(jīng)濟(jì)價(jià)值，大數(shù)據(jù)成為社會(huì)經(jīng)濟(jì)發(fā)展的新興生產(chǎn)要素。大數(shù)據(jù)是發(fā)展數(shù)字經(jīng)濟(jì)的驅(qū)動(dòng)要素引導(dǎo)培育大數(shù)據(jù)交易市場(chǎng)，開展面向應(yīng)用的大數(shù)據(jù)交易市場(chǎng)試點(diǎn)，探索開展大數(shù)據(jù)衍生產(chǎn)品交易，鼓勵(lì)產(chǎn)業(yè)鏈各環(huán)節(jié)的市場(chǎng)主體參與到大數(shù)據(jù)交換和交易中。重點(diǎn)推進(jìn)數(shù)大據(jù)流通標(biāo)準(zhǔn)的制定，和大數(shù)據(jù)交易體系的規(guī)范化建設(shè)，以保證大數(shù)據(jù)要素在交易、共享、轉(zhuǎn)移等市場(chǎng)環(huán)節(jié)能夠規(guī)范有序。大數(shù)據(jù)是發(fā)展數(shù)字經(jīng)濟(jì)的創(chuàng)新要素大數(shù)據(jù)可以為傳統(tǒng)產(chǎn)業(yè)的創(chuàng)新轉(zhuǎn)型、優(yōu)化升級(jí)提供重要支撐。與大數(shù)據(jù)相關(guān)的新興產(chǎn)業(yè)與服務(wù)，已經(jīng)成為社會(huì)資本投入的熱點(diǎn)。數(shù)字經(jīng)濟(jì)大數(shù)據(jù)對(duì)經(jīng)濟(jì)發(fā)展的影響大數(shù)據(jù)催生數(shù)字經(jīng)濟(jì)大數(shù)據(jù)對(duì)社會(huì)治理的影響社會(huì)治安管理推動(dòng)治安管控提效，提升人民安全感；推動(dòng)數(shù)據(jù)處理優(yōu)化，積極預(yù)防犯罪。社會(huì)輿情管理推動(dòng)輿情管理從監(jiān)測(cè)轉(zhuǎn)向預(yù)測(cè)；推動(dòng)輿情管理由定性管理轉(zhuǎn)向定量管理。大數(shù)據(jù)對(duì)公共安全的影響大數(shù)據(jù)對(duì)環(huán)境治理的影響大數(shù)據(jù)對(duì)信用管理的影響大數(shù)據(jù)推動(dòng)環(huán)境治理立體化程度提升；大數(shù)據(jù)推動(dòng)環(huán)境治理監(jiān)管能力提升；大數(shù)據(jù)推動(dòng)環(huán)境治理預(yù)測(cè)能力提升。大數(shù)據(jù)有效擴(kuò)大征信數(shù)據(jù)來源；大數(shù)據(jù)有效轉(zhuǎn)變征信視角；大數(shù)據(jù)有效擴(kuò)大征信應(yīng)用范圍；優(yōu)化征信市場(chǎng)布局、促進(jìn)傳統(tǒng)征信業(yè)改造升級(jí)及推動(dòng)差異化競(jìng)爭(zhēng)格局。社會(huì)管控社會(huì)管理社會(huì)治理大數(shù)據(jù)對(duì)社會(huì)治理的影響社會(huì)治安管理大數(shù)據(jù)技術(shù)在治安防控、打擊犯罪、處理案件等方面能夠有效支撐案件處理，彌補(bǔ)傳統(tǒng)治安管理面臨的效率不高、執(zhí)行滯后等問題。大數(shù)據(jù)推動(dòng)治安管控提效，提升人民安全感。大數(shù)據(jù)推動(dòng)數(shù)據(jù)處理優(yōu)化，積極預(yù)防犯罪。大數(shù)據(jù)警務(wù)的根本目的在于發(fā)掘深藏于數(shù)據(jù)中的犯罪信息并做出治安決策。社會(huì)輿情管理對(duì)海量的網(wǎng)絡(luò)平臺(tái)和網(wǎng)絡(luò)信息進(jìn)行分析，有效開展網(wǎng)絡(luò)輿情管理，塑造積極向上的網(wǎng)絡(luò)空間。與人工智能等技術(shù)結(jié)合，挖掘核心觀點(diǎn)，對(duì)重點(diǎn)領(lǐng)域輿情進(jìn)行重點(diǎn)監(jiān)控和有效引導(dǎo)，提升網(wǎng)絡(luò)治理水平。大數(shù)據(jù)推動(dòng)輿情管理從監(jiān)測(cè)轉(zhuǎn)向預(yù)測(cè)。在大數(shù)據(jù)時(shí)代，通過挖掘數(shù)據(jù)相關(guān)性，在敏感消息進(jìn)行網(wǎng)絡(luò)傳播的初期就立即開始監(jiān)測(cè)，并仿真網(wǎng)絡(luò)輿情的演變過程，使網(wǎng)絡(luò)輿情突發(fā)事件發(fā)生的可能性和傾向性變得可以預(yù)測(cè)。公共安全大數(shù)據(jù)對(duì)社會(huì)治理的影響環(huán)境治理推動(dòng)環(huán)境治理立體化程度提升環(huán)境治理中大數(shù)據(jù)技術(shù)的廣泛應(yīng)用能夠通過數(shù)據(jù)公開等方式，拓寬公眾參與環(huán)境治理的途徑，增強(qiáng)公眾環(huán)境保護(hù)意識(shí)，同時(shí)也能夠給非政府性組織更多的環(huán)境治理權(quán)限，從而形成全社會(huì)共同參與環(huán)境治理的新模式。推動(dòng)環(huán)境治理監(jiān)管能力提升應(yīng)用大數(shù)據(jù)創(chuàng)新監(jiān)管模式，加強(qiáng)全程治理，為解決環(huán)境治理中的管理失靈問題提供了新的視角和途徑。推動(dòng)環(huán)境治理預(yù)測(cè)能力提升大數(shù)據(jù)的預(yù)測(cè)性分析是環(huán)境治理的技術(shù)基礎(chǔ)，通過對(duì)歷史環(huán)境數(shù)據(jù)隱藏規(guī)律的挖掘，預(yù)測(cè)未來環(huán)境數(shù)據(jù)的變化趨勢(shì)，并提前制定治理預(yù)案，防患于未然。環(huán)境檢測(cè)數(shù)據(jù)開放不足，大量監(jiān)測(cè)數(shù)據(jù)掌握在相關(guān)業(yè)務(wù)部門手中，只有部分?jǐn)?shù)據(jù)得以公開，開放數(shù)據(jù)的廣度和深度有待提升。部分公開數(shù)據(jù)中只有基本信息和統(tǒng)計(jì)信息，缺乏關(guān)鍵字段，沒有明細(xì)清單，時(shí)效性也有待提高。大量數(shù)據(jù)只在部門內(nèi)部保有，無法通過技術(shù)手段挖掘信息間的關(guān)聯(lián)關(guān)系，形成信息孤島，造成信息資源浪費(fèi)。存在的不足大數(shù)據(jù)對(duì)社會(huì)治理的影響信用管理大數(shù)據(jù)技術(shù)可整合匯聚分析多來源渠道、多類型的海量信用數(shù)據(jù)，搭建統(tǒng)一的公共信用信息平臺(tái)，將平臺(tái)歸集的數(shù)據(jù)進(jìn)行深度挖掘分析，準(zhǔn)確識(shí)別各主體信用水平，根據(jù)數(shù)據(jù)預(yù)測(cè)信用風(fēng)險(xiǎn)，快速識(shí)別風(fēng)險(xiǎn)較高的信用主體并提前預(yù)警，為建立健全完善的社會(huì)信用體系提供保障。擴(kuò)大征信數(shù)據(jù)來源轉(zhuǎn)變征信視角擴(kuò)大征信應(yīng)用范圍優(yōu)化征信市場(chǎng)布局促進(jìn)傳統(tǒng)征信業(yè)改造升級(jí)推動(dòng)差異化競(jìng)爭(zhēng)格局應(yīng)用在交通治理領(lǐng)域應(yīng)用在房產(chǎn)管理領(lǐng)域應(yīng)用在教育領(lǐng)域大數(shù)據(jù)對(duì)社會(huì)治理的影響擴(kuò)大征信數(shù)據(jù)來源大數(shù)據(jù)的應(yīng)用可以有效收集、分析任何個(gè)人、企業(yè)的互聯(lián)網(wǎng)記錄，基于全面信息的信用評(píng)級(jí)遠(yuǎn)比僅依靠金融機(jī)構(gòu)借貸記錄的信用評(píng)級(jí)可靠。轉(zhuǎn)變征信視角大數(shù)據(jù)征信更看重用戶的當(dāng)前信息，強(qiáng)調(diào)橫向及多維度拓展，注重對(duì)用戶信息評(píng)級(jí)的預(yù)測(cè)。擴(kuò)大征信應(yīng)用范圍大數(shù)據(jù)征信由于數(shù)據(jù)來源和信用評(píng)分的不同，可將應(yīng)用場(chǎng)景從金融領(lǐng)域擴(kuò)大到社會(huì)生活的方方面面。大數(shù)據(jù)在優(yōu)化征信市場(chǎng)布局、促進(jìn)傳統(tǒng)征信業(yè)改造升級(jí)及推動(dòng)差異化競(jìng)爭(zhēng)格局的形成方面具有重要價(jià)值。然而，當(dāng)前大數(shù)據(jù)征信仍有待進(jìn)一步完善，實(shí)際應(yīng)用中存在征信監(jiān)管水平不足、信息安全缺乏保障、信息主體的隱私權(quán)歸屬判定、信息孤島難以消除等問題。大數(shù)據(jù)對(duì)社會(huì)治理的影響其他社會(huì)治理領(lǐng)域大數(shù)據(jù)應(yīng)用在交通治理領(lǐng)域，可以改變當(dāng)前交通信息分散、信息內(nèi)容單一等問題，有效提升跨部門合作效率、交通狀況預(yù)判、智能化交通管理；大數(shù)據(jù)應(yīng)用在房產(chǎn)管理領(lǐng)域，可以全面掌握各地房產(chǎn)需求、供給情況，有效監(jiān)控房地產(chǎn)行業(yè)，抑制炒房、學(xué)區(qū)房等哄抬市價(jià)的不良行為；大數(shù)據(jù)應(yīng)用在教育領(lǐng)域，可以防止有過違法犯罪記錄的人進(jìn)入教育行業(yè)、提高學(xué)校周邊安全管控，切實(shí)保障教育安全。大數(shù)據(jù)對(duì)政務(wù)服務(wù)的影響政務(wù)是國(guó)家治理中的行政事務(wù)，是公共治理的重要工具和形式。政務(wù)服務(wù)是各級(jí)政府及其所屬部門、法律法規(guī)授權(quán)的組織，依法為公民、法人或者其他組織辦理行政權(quán)力事項(xiàng)和公共服務(wù)事項(xiàng)的活動(dòng)。大數(shù)據(jù)促進(jìn)政務(wù)服務(wù)理念的變革大數(shù)據(jù)塑造政務(wù)服務(wù)開放性理念大數(shù)據(jù)塑造政務(wù)服務(wù)共享性理念大數(shù)據(jù)塑造政務(wù)服務(wù)前瞻性理念大數(shù)據(jù)促進(jìn)政務(wù)服務(wù)模式的轉(zhuǎn)變從被動(dòng)服務(wù)轉(zhuǎn)向主動(dòng)服務(wù)新模式從單向服務(wù)轉(zhuǎn)向協(xié)同服務(wù)新模式從粗放管理轉(zhuǎn)向精細(xì)管理新模式大數(shù)據(jù)提升政務(wù)服務(wù)水平提高政務(wù)服務(wù)的效率提高政務(wù)服務(wù)的精準(zhǔn)性提高政務(wù)服務(wù)的規(guī)范性理