大數(shù)據(jù)管理與應(yīng)用概論 課件 第一章 大數(shù)據(jù)基礎(chǔ)知識

1.1大數(shù)據(jù)的時代與學(xué)科背景導(dǎo)言：大數(shù)據(jù)的廣泛應(yīng)用導(dǎo)言：大數(shù)據(jù)的廣泛應(yīng)用管理須要技術(shù)支撐！管理須要數(shù)據(jù)支撐！InGodWeTrust,AllOthersMustBringData.除了上帝，任何人都必須用數(shù)據(jù)說話。W．Edwards．Deming大數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)性戰(zhàn)略資源2017年12月8日新聞聯(lián)播頭條重點(diǎn)報道了中共中央政治局在十九大后第二次集體學(xué)習(xí)的情況。習(xí)近平總書記在會議中強(qiáng)調(diào)，推動實(shí)施國家大數(shù)據(jù)戰(zhàn)略，加快完善數(shù)字基礎(chǔ)設(shè)施，推進(jìn)數(shù)據(jù)資源整合和開放共享，保障數(shù)據(jù)安全，加快建設(shè)數(shù)字中國，更好服務(wù)我國經(jīng)濟(jì)社會發(fā)展和人民生活改善。大數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)性戰(zhàn)略資源在2015年10月召開的中國共產(chǎn)黨十八屆五中全會上，首次提出實(shí)施國家大數(shù)據(jù)戰(zhàn)略。旨在全面推進(jìn)我國大數(shù)據(jù)發(fā)展和應(yīng)用，加快建設(shè)數(shù)據(jù)強(qiáng)國，推動數(shù)據(jù)資源開放共享，釋放技術(shù)紅利、制度紅利和創(chuàng)新紅利，促進(jìn)經(jīng)濟(jì)轉(zhuǎn)型升級。信息技術(shù)與經(jīng)濟(jì)社會的交匯融合引發(fā)了數(shù)據(jù)迅猛增長，數(shù)據(jù)已成為國家基礎(chǔ)性戰(zhàn)略資源，大數(shù)據(jù)正日益對全球生產(chǎn)、流通、分配、消費(fèi)活動以及經(jīng)濟(jì)運(yùn)行機(jī)制、社會生活方式和國家治理能力產(chǎn)生重要影響。政府?dāng)?shù)據(jù)資源共享開放工程國家大數(shù)據(jù)資源統(tǒng)籌發(fā)展工程政府治理大數(shù)據(jù)工程公共服務(wù)大數(shù)據(jù)工程工業(yè)和新興產(chǎn)業(yè)大數(shù)據(jù)工程現(xiàn)代農(nóng)業(yè)大數(shù)據(jù)工程萬眾創(chuàng)新大數(shù)據(jù)工程大數(shù)據(jù)關(guān)鍵技術(shù)及產(chǎn)品研發(fā)與產(chǎn)業(yè)化工程大數(shù)據(jù)產(chǎn)業(yè)支撐能力提升工程網(wǎng)絡(luò)和大數(shù)據(jù)安全保障工程大數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)性戰(zhàn)略資源2017年《政府工作報告》中首次提出了“數(shù)字經(jīng)濟(jì)”戰(zhàn)略，并提出“推動‘互聯(lián)網(wǎng)+’深入發(fā)展、促進(jìn)數(shù)字經(jīng)濟(jì)加快成長，讓企業(yè)廣泛受益、群眾普遍受惠”的發(fā)展戰(zhàn)略?！皵?shù)字經(jīng)濟(jì)”寫入十九大報告，成為我國經(jīng)濟(jì)增長新形態(tài)的重要內(nèi)容。數(shù)字經(jīng)濟(jì)是指人類通過大數(shù)據(jù)（數(shù)字化的知識與信息）的識別、選擇、過濾、存儲和使用，引導(dǎo)并實(shí)現(xiàn)資源的快速優(yōu)化配置與再生，實(shí)現(xiàn)經(jīng)濟(jì)高質(zhì)量發(fā)展的經(jīng)濟(jì)形態(tài)。大數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)性戰(zhàn)略資源二、推進(jìn)土地要素市場化配置三、引導(dǎo)勞動力要素合理暢通有序流動四、推進(jìn)資本要素市場化配置五、加快發(fā)展技術(shù)要素市場六、加快培育數(shù)據(jù)要素市場《中共中央、國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機(jī)制的意見》2020年3月30日正式發(fā)布實(shí)施大數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)性戰(zhàn)略資源開放共享（二十）推進(jìn)政府?dāng)?shù)據(jù)開放共享。優(yōu)化經(jīng)濟(jì)治理基礎(chǔ)數(shù)據(jù)庫，加快推動各地區(qū)各部門間數(shù)據(jù)共享交換，制定出臺新一批數(shù)據(jù)共享責(zé)任清單。研究建立促進(jìn)企業(yè)登記、交通運(yùn)輸、氣象等公共數(shù)據(jù)開放和數(shù)據(jù)資源有效流動的制度規(guī)范。應(yīng)用驅(qū)動

（二十一）提升社會數(shù)據(jù)資源價值。培育數(shù)字經(jīng)濟(jì)新產(chǎn)業(yè)、新業(yè)態(tài)和新模式，支持構(gòu)建農(nóng)業(yè)、工業(yè)、交通、教育、安防、城市管理、公共資源交易等領(lǐng)域規(guī)范化數(shù)據(jù)開發(fā)利用的場景。發(fā)揮行業(yè)協(xié)會商會作用，推動人工智能、可穿戴設(shè)備、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)等領(lǐng)域數(shù)據(jù)采集標(biāo)準(zhǔn)化。安全匯聚

（二十二）加強(qiáng)數(shù)據(jù)資源整合和安全保護(hù)。探索建立統(tǒng)一規(guī)范的數(shù)據(jù)管理制度，提高數(shù)據(jù)質(zhì)量和規(guī)范性，豐富數(shù)據(jù)產(chǎn)品。研究根據(jù)數(shù)據(jù)性質(zhì)完善產(chǎn)權(quán)性質(zhì)。制定數(shù)據(jù)隱私保護(hù)制度和安全審查制度。推動完善適用于大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分類分級安全保護(hù)制度，加強(qiáng)對政務(wù)數(shù)據(jù)、企業(yè)商業(yè)秘密和個人數(shù)據(jù)的保護(hù)。規(guī)范交易（二十六）健全要素市場化交易平臺。拓展公共資源交易平臺功能?！龑?dǎo)培育大數(shù)據(jù)交易市場，依法合規(guī)開展數(shù)據(jù)交易。支持各類所有制企業(yè)參與要素交易平臺建設(shè)，規(guī)范要素交易平臺治理，健全要素交易信息披露制度。合規(guī)流通

（二十七）完善要素交易規(guī)則和服務(wù)?！⒔∪珨?shù)據(jù)產(chǎn)權(quán)交易和行業(yè)自律機(jī)制。推進(jìn)全流程電子化交易。推進(jìn)實(shí)物資產(chǎn)證券化。鼓勵要素交易平臺與各類金融機(jī)構(gòu)、中介機(jī)構(gòu)合作，形成涵蓋產(chǎn)權(quán)界定、價格評估、流轉(zhuǎn)交易、擔(dān)保、保險等業(yè)務(wù)的綜合服務(wù)體系。大數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)性戰(zhàn)略資源數(shù)字經(jīng)濟(jì)第十五章打造數(shù)字經(jīng)濟(jì)新優(yōu)勢充分發(fā)揮海量數(shù)據(jù)和豐富應(yīng)用場景優(yōu)勢，促進(jìn)數(shù)字技術(shù)與實(shí)體經(jīng)濟(jì)深度融合，賦能傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級，催生新產(chǎn)業(yè)新業(yè)態(tài)新模式，壯大經(jīng)濟(jì)發(fā)展新引擎。第一節(jié)加強(qiáng)關(guān)鍵數(shù)字技術(shù)創(chuàng)新應(yīng)用第二節(jié)加快推動數(shù)字產(chǎn)業(yè)化第三節(jié)推進(jìn)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型數(shù)字社會第十六章加快數(shù)字社會建設(shè)步伐適應(yīng)數(shù)字技術(shù)全面融入社會交往和日常生活新趨勢，促進(jìn)公共服務(wù)和社會運(yùn)行方式創(chuàng)新，構(gòu)筑全民暢享的數(shù)字生活。第一節(jié)提供智慧便捷的公共服務(wù)第二節(jié)建設(shè)智慧城市和數(shù)字鄉(xiāng)村第三節(jié)構(gòu)筑美好數(shù)字生活新圖景數(shù)字政府第十七章提高數(shù)字政府建設(shè)水平將數(shù)字技術(shù)廣泛應(yīng)用于政府管理服務(wù)，推動政府治理流程再造和模式優(yōu)化，不斷提高決策科學(xué)性和服務(wù)效率。第一節(jié)加強(qiáng)公共數(shù)據(jù)開放共享第二節(jié)推動政務(wù)信息化共建共用第三節(jié)提高數(shù)字化政務(wù)服務(wù)效能第五篇加快數(shù)字化發(fā)展建設(shè)數(shù)字中國大數(shù)據(jù)已經(jīng)成為國家基礎(chǔ)性戰(zhàn)略資源加快農(nóng)業(yè)農(nóng)村現(xiàn)代化大力推進(jìn)數(shù)字鄉(xiāng)村建設(shè)推動工業(yè)大數(shù)據(jù)應(yīng)用打造工業(yè)大數(shù)據(jù)生態(tài)體系發(fā)起“東數(shù)西算”工程構(gòu)建全國一體化算力網(wǎng)絡(luò)體系推進(jìn)數(shù)據(jù)交易中心布局完善數(shù)據(jù)流通交易體制機(jī)制數(shù)據(jù)二十條數(shù)據(jù)基礎(chǔ)制度建設(shè)事關(guān)國家發(fā)展和安全大局，要維護(hù)國家數(shù)據(jù)安全，保護(hù)個人信息和商業(yè)秘密，促進(jìn)數(shù)據(jù)高效流通使用、賦能實(shí)體經(jīng)濟(jì)，統(tǒng)籌推進(jìn)數(shù)據(jù)產(chǎn)權(quán)、流通交易、收益分配、安全治理，加快構(gòu)建數(shù)據(jù)基礎(chǔ)制度體系。數(shù)據(jù)作為新型生產(chǎn)要素，是數(shù)字化、網(wǎng)絡(luò)化、智能化的基礎(chǔ)，已快速融入生產(chǎn)、分配、流通、消費(fèi)和社會服務(wù)管理等各個環(huán)節(jié)，深刻改變著生產(chǎn)方式、生活方式和社會治理方式。2022年6月22日，中央全面深化改革委員會第二十六次會議，審議通過《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》。數(shù)據(jù)二十條數(shù)據(jù)二十條大數(shù)據(jù)已經(jīng)成為國家的基礎(chǔ)性戰(zhàn)略資源是經(jīng)濟(jì)加速發(fā)展的新引擎也是企業(yè)高質(zhì)量發(fā)展的使能器管理學(xué)子應(yīng)該成為高端數(shù)字人才加強(qiáng)全民數(shù)字技能教育和培訓(xùn)，普及提升公民數(shù)字素養(yǎng)。十四五規(guī)劃將“全民數(shù)字素養(yǎng)與技能提升行動”作為十大優(yōu)先行動之首十四五國家信息化規(guī)劃提升勞動者數(shù)字工作能力、促進(jìn)全民終身數(shù)字學(xué)習(xí)、提高數(shù)字創(chuàng)新創(chuàng)業(yè)創(chuàng)造能力2022年提升全民數(shù)字素養(yǎng)與技能工作要點(diǎn)提升全民數(shù)字素養(yǎng)與技能，是順應(yīng)數(shù)字時代要求，提升國民素質(zhì)、促進(jìn)人的全面發(fā)展的戰(zhàn)略任務(wù)提升全民數(shù)字素養(yǎng)與技能行動綱要到2035年，基本建成數(shù)字人才強(qiáng)國，全民數(shù)字素養(yǎng)與技能等能力達(dá)到更高水平，高端數(shù)字人才引領(lǐng)作用凸顯，數(shù)字創(chuàng)新創(chuàng)業(yè)繁榮活躍。實(shí)施國家大數(shù)據(jù)戰(zhàn)略的關(guān)鍵是人，是具備數(shù)字素養(yǎng)的人。大數(shù)據(jù)時代的管理變革數(shù)字經(jīng)濟(jì)的高速發(fā)展推動了生產(chǎn)方式、生活方式和治理方式的深刻變革，引發(fā)了管理對象、管理思想和管理方法的重大變化。管理類人才的數(shù)字素養(yǎng)數(shù)字經(jīng)濟(jì)時代管理對象、管理思想和管理方法的重大變化要求管理類人才應(yīng)該具備由數(shù)字意識、計算思維、創(chuàng)新能力、終身學(xué)習(xí)、社會責(zé)任等維度組成的數(shù)字素養(yǎng)。管理類人才應(yīng)具備的管理領(lǐng)域數(shù)字獲取、分析、使用、交易、創(chuàng)新、安全保障、倫理道德等一系列素質(zhì)和能力的集合。維度含義數(shù)字意識擁有數(shù)字意識，掌握數(shù)據(jù)知識計算思維掌握算法工具，具備落地能力創(chuàng)新能力運(yùn)用數(shù)字技術(shù)，開展創(chuàng)新創(chuàng)業(yè)終身學(xué)習(xí)緊跟前沿發(fā)展，強(qiáng)化終身學(xué)習(xí)社會責(zé)任提高安全能力，強(qiáng)化道德意識數(shù)字素養(yǎng)小結(jié)本節(jié)的主要內(nèi)容大數(shù)據(jù)的行業(yè)應(yīng)用國家大數(shù)據(jù)戰(zhàn)略國家大數(shù)據(jù)政策大數(shù)據(jù)的學(xué)科背景管理類人才的數(shù)字素養(yǎng)1.1大數(shù)據(jù)的時代背景1.2大數(shù)據(jù)的概念與特征從數(shù)據(jù)到大數(shù)據(jù)數(shù)據(jù)（Data）是對客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記錄和描述的物理符號或物理符號的組合，是事實(shí)或觀察的結(jié)果。與數(shù)據(jù)這一概念相關(guān)的還有信息、知識、智慧等。智慧知識信息數(shù)據(jù)對客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系等進(jìn)行記載的物理符號或其組合。有規(guī)律的數(shù)據(jù)，表示物質(zhì)存在的一種方式、形式或運(yùn)動狀態(tài)，用以減少不確定性。對信息的進(jìn)一步加工和應(yīng)用，對事物內(nèi)在規(guī)律和原理的認(rèn)識，體現(xiàn)了知識的價值。人基于知識所做出的推理、判斷和主張等，是創(chuàng)造性活動。從數(shù)據(jù)到大數(shù)據(jù)全球信息化浪潮以來，智能硬件、網(wǎng)絡(luò)技術(shù)、軟件應(yīng)用及其創(chuàng)新集成得到了極大的發(fā)展，可以說大數(shù)據(jù)時代已經(jīng)到來。大數(shù)據(jù)的基本概念難以用現(xiàn)有的一般技術(shù)管理的大量數(shù)據(jù)的集合，即所涉及的資料規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)實(shí)現(xiàn)獲取、管理、處理、并使之成為有效的輔助企業(yè)經(jīng)營決策的信息。狹義除了數(shù)據(jù)集合的含義外，還包括對這些數(shù)據(jù)進(jìn)行存儲、處理和分析的技術(shù)，以及從中發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新動能的新技術(shù)和新業(yè)態(tài)。其中，“存儲、處理和分析的技術(shù)”是指用于大規(guī)模數(shù)據(jù)分時處理的框架Hadoop等。廣義大數(shù)據(jù)所代表的不僅僅是重要的技術(shù)要素，更是一種戰(zhàn)略性資源，大數(shù)據(jù)服務(wù)業(yè)已成為前景廣闊的新技術(shù)產(chǎn)業(yè)。大數(shù)據(jù)的資源觀來源定義視角麥肯錫公司(McKinsey＆

Company)大數(shù)據(jù)是個大的數(shù)據(jù)池，其中的數(shù)據(jù)可以被采集、傳遞、聚集、存儲和分析。把大數(shù)據(jù)看作是一種與固定資產(chǎn)和人力資本類似的重要生產(chǎn)要素。高德納咨詢公司(GartnerGroup)大數(shù)據(jù)是大容量、高速度和形式多樣的信息資產(chǎn)。從技術(shù)特征、處理方法和應(yīng)用價值3個方面對大數(shù)據(jù)做出了界定。IBM公司用規(guī)模性(volume)、高速性(velocity)、多樣性(variety)和真實(shí)性(veracity)來描述大數(shù)據(jù)。將大數(shù)據(jù)定義為一種數(shù)據(jù)集合，指出了大數(shù)據(jù)4個方面的技術(shù)特征。維基百科(Wikipedia)大數(shù)據(jù)是指規(guī)模龐大且復(fù)雜的數(shù)據(jù)集合。從大數(shù)據(jù)的處理方法和處理工具的視角認(rèn)識大數(shù)據(jù)。美國國家科學(xué)基金會(NSF)大數(shù)據(jù)是指由科學(xué)儀器等和/或所有其它現(xiàn)在或?qū)砜捎玫臄?shù)字源產(chǎn)生的大規(guī)模、多樣的、復(fù)雜的、縱向的和/或分布式的數(shù)據(jù)集。對開展大數(shù)據(jù)的科學(xué)研究沒有設(shè)置任何邊界。由于人們分析大數(shù)據(jù)的背景和應(yīng)用大數(shù)據(jù)的目的存在眾多差異，因此對大數(shù)據(jù)的定義也有所不同，下表總結(jié)了幾個基于不同視角的有代表性的定義。大數(shù)據(jù)的資源觀管理視角大數(shù)據(jù)是一類能夠反映物質(zhì)世界和精神世界運(yùn)動狀態(tài)和狀態(tài)變化的信息資源，一般具有多種潛在價值。復(fù)雜性決策有用性可重復(fù)開采性高速增長性價值稀疏性獲取問題加工問題應(yīng)用問題作為重要的戰(zhàn)略資源，大數(shù)據(jù)中包含諸多關(guān)鍵的管理問題，尤其是當(dāng)大數(shù)據(jù)被看作一類“資源”時，就不可忽略這種資源的管理問題。產(chǎn)權(quán)問題產(chǎn)業(yè)問題法規(guī)問題……管理特征功能多樣性大數(shù)據(jù)的發(fā)展過程摩爾定律的貢獻(xiàn)不僅是計算機(jī)硬件功能的指數(shù)增長，還使硬件成本的急劇降低，使智能手機(jī)迅速普及，使傳感器成本極大下降，進(jìn)而使自動化數(shù)據(jù)收集成本趨于微不足道，從而迎來大數(shù)據(jù)的爆發(fā)。摩爾定律奠定基礎(chǔ)網(wǎng)絡(luò)連接使得數(shù)據(jù)爆炸式增長，并快速匯聚。隨著互聯(lián)網(wǎng)與各行各業(yè)的深度融合，工業(yè)互聯(lián)網(wǎng)、能源互聯(lián)網(wǎng)、醫(yī)聯(lián)網(wǎng)等使得各種機(jī)器和設(shè)備都在無時無刻不在接入網(wǎng)絡(luò)并產(chǎn)生大規(guī)模數(shù)據(jù)?；ヂ?lián)網(wǎng)推動大連接大數(shù)據(jù)應(yīng)用的核心技術(shù)是軟件，軟件的作用不僅僅是大數(shù)據(jù)資源的數(shù)據(jù)挖掘，還是智能技術(shù)集成創(chuàng)新的粘合劑，軟件工程的發(fā)展與軟件工具的積累為大數(shù)據(jù)智能系統(tǒng)的大量涌現(xiàn)奠定了基礎(chǔ)。軟件與新技術(shù)的創(chuàng)新驅(qū)動大數(shù)據(jù)體現(xiàn)的是多種信息技術(shù)共生的新生態(tài)環(huán)境。基礎(chǔ)技術(shù)的出現(xiàn)為新技術(shù)、新應(yīng)用的創(chuàng)新提供了良好機(jī)會。新技術(shù)是已有技術(shù)的集成創(chuàng)新，積累的技術(shù)越多創(chuàng)新機(jī)會就越多，這是一個正反饋循環(huán)。大數(shù)據(jù)生態(tài)日漸完善大數(shù)據(jù)發(fā)展的技術(shù)背景大數(shù)據(jù)的發(fā)展過程概念解釋大數(shù)據(jù)大數(shù)據(jù)是一類能夠反映物質(zhì)世界和精神世界運(yùn)動狀態(tài)和狀態(tài)變化的信息資源，它具有復(fù)雜性、決策有用性、高速增長性、價值稀疏性和可重復(fù)開采性，一般具有多種潛在價值。海量數(shù)據(jù)規(guī)模量巨大的結(jié)構(gòu)性數(shù)據(jù)，規(guī)模量>1PB。小數(shù)據(jù)小數(shù)據(jù)是指以特定對象為中心、以回應(yīng)特定需求為導(dǎo)向、以解決特定問題為目的，具有多源性、異質(zhì)性、動態(tài)性、全息性的數(shù)據(jù)集以及相關(guān)的數(shù)據(jù)采集、處理、分析和人機(jī)交互的思維方式及數(shù)據(jù)處理方法。大數(shù)據(jù)VS海量數(shù)據(jù)大數(shù)據(jù)VS小數(shù)據(jù)結(jié)構(gòu)性數(shù)據(jù)結(jié)構(gòu)性數(shù)據(jù)半結(jié)構(gòu)性數(shù)據(jù)非結(jié)構(gòu)性數(shù)據(jù)全部數(shù)據(jù)模糊數(shù)據(jù)關(guān)注相關(guān)性抽樣數(shù)據(jù)精確數(shù)據(jù)追究因果性相關(guān)概念的區(qū)分大數(shù)據(jù)的分類商務(wù)大數(shù)據(jù)是大數(shù)據(jù)技術(shù)賦能商業(yè)創(chuàng)新的重要技術(shù)支撐。醫(yī)療大數(shù)據(jù)結(jié)合人工智能技術(shù)可全面提升醫(yī)療領(lǐng)域的服務(wù)水平。能源大數(shù)據(jù)是支撐智慧能源管理和節(jié)能增效的重要資源。工業(yè)大數(shù)據(jù)融合智能制造新技術(shù)，創(chuàng)造工業(yè)新模式、新價值。金融大數(shù)據(jù)以提升金融領(lǐng)域資源配置效率等為目標(biāo)。政務(wù)大數(shù)據(jù)賦能數(shù)字政府建設(shè)，提升政務(wù)服務(wù)效能。準(zhǔn)確理解不同用戶不同場景下的大數(shù)據(jù)含義，針對不用領(lǐng)域的大數(shù)據(jù)應(yīng)用模式、商業(yè)模式的研究和探索將是大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展的關(guān)鍵。大數(shù)據(jù)的一般特征對大數(shù)據(jù)特征的認(rèn)識，也可以從不同視角展開，主要從一般特征、形態(tài)特征、分析特征和資源特征等不同維度，介紹大數(shù)據(jù)的特征。2001年道格·萊尼指出，數(shù)據(jù)增長有4個方向的挑戰(zhàn)和機(jī)遇：大量（Volume）、多樣性（Variety）、速度（Velocity）和價值（Value）。在此理論基礎(chǔ)上，IBM提出的大數(shù)據(jù)的“4V”特征。大數(shù)據(jù)的形態(tài)特征多源性大數(shù)據(jù)來源的復(fù)雜性。需要將關(guān)聯(lián)的信息以整體的視覺思考整理，并打破原有垂直系統(tǒng)之間的信息孤島，構(gòu)造統(tǒng)一的數(shù)據(jù)平臺，做到多源數(shù)據(jù)的有效融合。大數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性。由于數(shù)據(jù)生成的多樣性，非結(jié)構(gòu)化數(shù)據(jù)成為主流，蘊(yùn)含著非常有價值的信息。實(shí)時性數(shù)據(jù)更新的實(shí)時性?；ヂ?lián)網(wǎng)中許多應(yīng)用都有實(shí)時更新的需求，比如如何在網(wǎng)頁中搜索幾分鐘之前的新聞結(jié)果，購物時商品價格，庫存信息的實(shí)時更新。數(shù)據(jù)變化后通過其他服務(wù)的實(shí)時性。比如，作為一站式的旅游服務(wù)平臺的攜程網(wǎng)站，這些提供跨業(yè)務(wù)線的推薦和實(shí)時推薦，能有效滿足用戶的需求，也能為網(wǎng)站帶來更加豐富的回報。不確定性數(shù)據(jù)在不同尺度、不同維度上都表現(xiàn)出一定的不確定性。大數(shù)據(jù)的分析和挖掘面臨更多的細(xì)粒度數(shù)據(jù)，數(shù)據(jù)的采集、存儲、建模、挖掘等方面都需要新的方法來應(yīng)對不確定性帶來的挑戰(zhàn)。模型的不確定性。同時要把握模型的表達(dá)能力與復(fù)雜程度之間的平衡。學(xué)習(xí)的不確定性。在大數(shù)據(jù)環(huán)境下，傳統(tǒng)近似的、不確定的學(xué)習(xí)方法需要面對規(guī)模和時效的挑戰(zhàn)。由于大數(shù)據(jù)產(chǎn)生的過程中諸多的不確定性，使得大數(shù)據(jù)的表現(xiàn)形態(tài)多種多樣。大數(shù)據(jù)的分析特征非結(jié)構(gòu)性對比項(xiàng)定義結(jié)構(gòu)與內(nèi)容的關(guān)系示例結(jié)構(gòu)化數(shù)據(jù)具有數(shù)據(jù)結(jié)構(gòu)描述信息的數(shù)據(jù)。先有結(jié)構(gòu)，再有數(shù)據(jù)。各類表格。非結(jié)構(gòu)化數(shù)據(jù)不方便用固定結(jié)構(gòu)來表現(xiàn)的數(shù)據(jù)。只有數(shù)據(jù)，無結(jié)構(gòu)。圖形、圖像、音頻、視頻信息。半結(jié)構(gòu)化數(shù)據(jù)處于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)。先有數(shù)據(jù)，再有結(jié)構(gòu)。HTML文檔，它一般是自描述的，數(shù)據(jù)的內(nèi)容與結(jié)構(gòu)混在一起。如何將大數(shù)據(jù)轉(zhuǎn)化成一個結(jié)構(gòu)化的格式是一項(xiàng)重大挑戰(zhàn)，如何將數(shù)據(jù)組織成合理的結(jié)構(gòu)也是大數(shù)據(jù)管理中的一個重要問題。從大數(shù)據(jù)分析視角看，大數(shù)據(jù)在增長、分布和處理方面具有更多復(fù)雜的性質(zhì)。大數(shù)據(jù)的分析特征不完備性所獲取的數(shù)據(jù)常常包含一些不完整的信息和錯誤的數(shù)據(jù)，即臟數(shù)據(jù)。在數(shù)據(jù)分析階段之前，需要進(jìn)行抽取、清洗、集成，進(jìn)而得到高質(zhì)量的數(shù)據(jù)之后，再進(jìn)行挖掘和分析。時效性安全性可靠性數(shù)據(jù)規(guī)模越大，分析處理時間就會越長，所以高速度進(jìn)行數(shù)據(jù)處理非常重要。在許多情況下，用戶要求立即得到數(shù)據(jù)的分析結(jié)果，需要在處理速度和規(guī)模的折中考慮尋求新的方法。大數(shù)據(jù)高度依賴數(shù)據(jù)存儲和共享，必須考慮尋找更好的方法來消除各種隱患和漏洞，才能有效地管控安全風(fēng)險。大數(shù)據(jù)安全性問題是一個重要的研究方向?？梢酝ㄟ^數(shù)據(jù)清洗、去冗等技術(shù)來提取有價值數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量高效管理，以及對數(shù)據(jù)的安全訪問和隱私保護(hù)，這已成為大數(shù)據(jù)可靠性的關(guān)鍵需求。大數(shù)據(jù)的資源特征復(fù)雜性決策有用性高速增長性大數(shù)據(jù)的形式和特征是極其復(fù)雜的。一方面表現(xiàn)在其數(shù)量規(guī)模之大、來源的廣泛性和形態(tài)結(jié)構(gòu)的多樣性，另一方面表現(xiàn)在其狀態(tài)變化和開發(fā)方式等方面的不確定性。大數(shù)據(jù)是客觀存在的大規(guī)模數(shù)據(jù)資源，其直接功用是有限的。通過分析、挖掘和發(fā)現(xiàn)其中蘊(yùn)藏的知識，可以為各種實(shí)際應(yīng)用提供其它資源難以提供的決策支持，大數(shù)據(jù)的價值也主要通過其決策有用性體現(xiàn)。隨著不斷的開采，大數(shù)據(jù)資源不僅不會減少，反而會迅速增加。大數(shù)據(jù)資源的增加是指數(shù)性的，甚至呈現(xiàn)爆發(fā)性態(tài)勢。利用大數(shù)據(jù)支持管理決策面臨的一個主要挑戰(zhàn)就是實(shí)效性問題。作為一種重要的戰(zhàn)略資源，大數(shù)據(jù)中包含諸多關(guān)鍵的管理問題。對大數(shù)據(jù)資源管理特征的準(zhǔn)確認(rèn)識是研究其中具體管理問題的前提。下面將從復(fù)雜性、決策有用性、高速增長性、價值稀疏性、可重復(fù)開采性和功能多樣性等六個方面逐一分析大數(shù)據(jù)資源的管理特征。大數(shù)據(jù)的資源特征價值稀疏性可重復(fù)開采性功能多樣性大數(shù)據(jù)的數(shù)據(jù)量之大帶來了大數(shù)據(jù)價值的低密度問題，大數(shù)據(jù)資源的數(shù)量雖大，但其中蘊(yùn)藏的有用的價值卻是稀疏的，這就增加了開發(fā)和利用大數(shù)據(jù)資源的難度。相比自然資源，大數(shù)據(jù)資源可以被重復(fù)開采。對于給定的大數(shù)據(jù)資源，任何擁有該資源使用權(quán)的人或組織都可以對其進(jìn)行開采和挖掘。之后，該大數(shù)據(jù)資源仍可以被其他人或組織繼續(xù)開采和挖掘。對于特定的大數(shù)據(jù)資源，基于不同的開發(fā)目的和方式，具有多樣化的功能。基于社會管理的目的基于商務(wù)管理的目的基于企業(yè)管理的目的除了正面積極的功能，大數(shù)據(jù)還存在著諸多風(fēng)險和潛在危害性。在采集、挖掘和分析數(shù)據(jù)時，可能面臨著嚴(yán)重的安全和隱私問題。因此，在開發(fā)利用大數(shù)據(jù)資源時，還應(yīng)該防范由于方式不當(dāng)或非法利用可能對個人、企業(yè)和組織以及國家和社會帶來的嚴(yán)重危害。小結(jié)本節(jié)的主要內(nèi)容大數(shù)據(jù)的概念大數(shù)據(jù)的發(fā)展過程大數(shù)據(jù)的分類大數(shù)據(jù)的特征1.2大數(shù)據(jù)的概念與特征1.3大數(shù)據(jù)全生命周期大數(shù)據(jù)全生命周期環(huán)節(jié)全生命周期是指從產(chǎn)生到消亡的整個過程。大數(shù)據(jù)是一種特殊的信息資源，也有其自身的生命周期。大數(shù)據(jù)全生命周期環(huán)節(jié)數(shù)據(jù)收集數(shù)據(jù)預(yù)處理數(shù)據(jù)存儲數(shù)據(jù)分析數(shù)據(jù)可視化數(shù)據(jù)遷移數(shù)據(jù)歸檔數(shù)據(jù)銷毀大數(shù)據(jù)的全生命周期數(shù)據(jù)收集比較項(xiàng)目傳統(tǒng)的數(shù)據(jù)收集大數(shù)據(jù)的數(shù)據(jù)收集數(shù)據(jù)來源數(shù)據(jù)來源單一數(shù)據(jù)來源廣泛數(shù)據(jù)量數(shù)據(jù)量相對較小數(shù)據(jù)量巨大數(shù)據(jù)類型結(jié)構(gòu)單一結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)使用數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫和并行數(shù)據(jù)庫分布式數(shù)據(jù)庫在大數(shù)據(jù)的收集過程中，其面臨的主要挑戰(zhàn)是成千上萬的用戶同時進(jìn)行訪問和操作而引起的高并發(fā)數(shù)。12306火車票售票網(wǎng)站在2020年春運(yùn)火車票售賣的最高峰時，網(wǎng)絡(luò)點(diǎn)擊量高達(dá)1495億次。數(shù)據(jù)收集是大數(shù)據(jù)全生命周期的第一個環(huán)節(jié)，是在確定用戶目標(biāo)的基礎(chǔ)上，針對該范圍內(nèi)所有結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)的采集。數(shù)據(jù)收集商業(yè)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)……大數(shù)據(jù)主要來源系統(tǒng)日志采集方法。采用分布式架構(gòu)，能滿足高可用、高可靠和可擴(kuò)展的日志數(shù)據(jù)采集和傳輸系統(tǒng)的需求。網(wǎng)絡(luò)數(shù)據(jù)采集方法。將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存儲為統(tǒng)一的本地數(shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲。感知設(shè)備數(shù)據(jù)采集方法。通過傳感器、攝像頭和其他智能終端自動采集信號、圖片或錄像來獲取數(shù)據(jù)。數(shù)據(jù)收集方法數(shù)據(jù)預(yù)處理數(shù)據(jù)缺失包括數(shù)據(jù)記錄缺失和記錄中部分屬性值缺失。數(shù)據(jù)重復(fù)多重數(shù)據(jù)結(jié)構(gòu)、名稱拼寫錯誤、不通用的別名等。數(shù)據(jù)不一致數(shù)據(jù)記錄規(guī)范的不一致和數(shù)據(jù)邏輯的不一致。數(shù)據(jù)噪聲不正確的屬性值，出現(xiàn)錯誤或存在偏離預(yù)期的離群值。在數(shù)據(jù)采集環(huán)節(jié)可能產(chǎn)生數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)、數(shù)據(jù)不一致和數(shù)據(jù)噪聲等問題，因此需要檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對其中的噪聲數(shù)據(jù)進(jìn)行平滑，對丟失的數(shù)據(jù)進(jìn)行填補(bǔ)，對重復(fù)的數(shù)據(jù)進(jìn)行消除等。數(shù)據(jù)預(yù)處理對缺失值的填補(bǔ)。常用的方法包括刪除對象方法、數(shù)據(jù)補(bǔ)齊方法和基于k-NN近鄰缺失數(shù)據(jù)的填充算法。不完整數(shù)據(jù)清洗數(shù)據(jù)來源于不同的類、自然變異、數(shù)據(jù)測量和收集誤差。異常值檢測方法包括統(tǒng)計方法和基于鄰近度的方法。異常數(shù)據(jù)清洗對重復(fù)性事物和概念，通過規(guī)范、規(guī)程和制度達(dá)到統(tǒng)一，以獲得最佳秩序和效益。常用的數(shù)據(jù)規(guī)范化方法有：最小—最大規(guī)范化方法、z分?jǐn)?shù)規(guī)范化方法和小數(shù)定標(biāo)規(guī)范化方法。數(shù)據(jù)規(guī)范化用更抽象（更高層次）的概念來取代低層次或數(shù)據(jù)層的數(shù)據(jù)對象。例如，將屬性值為“地鐵”、“出租車”和“公共汽車”的數(shù)據(jù)統(tǒng)一使用“交通工具”來代替。數(shù)據(jù)泛化處理數(shù)據(jù)預(yù)處理方法數(shù)據(jù)預(yù)處理數(shù)據(jù)去重。重復(fù)的數(shù)據(jù)是冗余數(shù)據(jù)，對于這一類數(shù)據(jù)應(yīng)刪除其冗余部分。重復(fù)數(shù)據(jù)清洗數(shù)據(jù)中存在某變量的隨機(jī)誤差或異常的數(shù)據(jù)。常用的技術(shù)包括分箱技術(shù)、回歸方法等。

噪聲數(shù)據(jù)處理在盡可能保持?jǐn)?shù)據(jù)原始特性的前提下，最大規(guī)模地精簡數(shù)據(jù)量。特征約簡、樣本約簡、數(shù)據(jù)立方體聚集、維約簡等。

數(shù)據(jù)約簡利用數(shù)據(jù)編碼或數(shù)據(jù)轉(zhuǎn)換等手段將原數(shù)據(jù)集壓縮為一個較小規(guī)模的數(shù)據(jù)集。常用的兩種數(shù)據(jù)壓縮方法為小波變換和主成分分析都屬于有損壓縮。數(shù)據(jù)壓縮數(shù)據(jù)預(yù)處理方法數(shù)據(jù)存儲直接鏈接存儲中間環(huán)節(jié)少，磁盤的利用率高，成本也比較低。網(wǎng)絡(luò)連接存儲響應(yīng)速度快，數(shù)據(jù)傳輸速率高。存儲域網(wǎng)絡(luò)存儲傳輸速率和傳輸效率都非常高，適合大數(shù)據(jù)量高帶寬的傳輸要求。關(guān)系型數(shù)據(jù)結(jié)構(gòu)非關(guān)系型數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)MBGBPBZB數(shù)據(jù)量增長大數(shù)據(jù)存儲是將收集的數(shù)據(jù)集持久化到計算機(jī)存儲系統(tǒng)中。數(shù)據(jù)分析大數(shù)據(jù)分析是指用準(zhǔn)確適宜的分析方法和工具來分析經(jīng)過預(yù)處理后的大數(shù)據(jù)，提取具有價值的信息，進(jìn)而形成有效的結(jié)論并通過可視化技術(shù)展現(xiàn)出來的過程。探索性數(shù)據(jù)分析以靈活的方式探究數(shù)據(jù)分布情況。證實(shí)性數(shù)據(jù)分析評估觀察到的模式或效應(yīng)的再現(xiàn)性。定性數(shù)據(jù)分析分析非數(shù)值型數(shù)據(jù)，總結(jié)對象特點(diǎn)。離線數(shù)據(jù)分析將數(shù)據(jù)存儲于磁盤，然后進(jìn)行分析。在線數(shù)據(jù)分析實(shí)時處理在線請求，響應(yīng)時間要求高。交互式分析快速數(shù)據(jù)分析，強(qiáng)調(diào)快速的數(shù)據(jù)探索。數(shù)據(jù)分析以分析結(jié)果分類以分析的方式分類數(shù)據(jù)分析數(shù)據(jù)挖掘是大數(shù)據(jù)分析的核心，占有重要的地位。數(shù)據(jù)挖掘是通過鍵名和構(gòu)造算法來獲取信息和知識。數(shù)據(jù)挖掘融合了數(shù)據(jù)庫技術(shù)、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計學(xué)、知識工程、面向?qū)ο蠓椒?、信息檢索、云計算、高性能計算以及數(shù)據(jù)可視化等最新技術(shù)的研究成果。樣本學(xué)習(xí)模型建立交叉驗(yàn)證模型測試關(guān)聯(lián)分析：發(fā)現(xiàn)數(shù)據(jù)集中聯(lián)系規(guī)則分類方法：從數(shù)據(jù)集中提取分類模型聚類方法：自動對數(shù)據(jù)對象進(jìn)行分類時間序列挖掘：發(fā)現(xiàn)趨勢性與周期性數(shù)據(jù)可視化可視化旨在利用計算機(jī)自動化分析能力的同時，充分挖掘人對于可視化信息的認(rèn)知能力優(yōu)勢，將人、機(jī)的各自強(qiáng)項(xiàng)進(jìn)行有機(jī)融合，借助人機(jī)交互式分析方法和交互技術(shù)，輔助人們更為直觀和高效地洞悉大數(shù)據(jù)背后的信息、知識與智慧。結(jié)構(gòu)化主要是統(tǒng)計圖表注重數(shù)據(jù)及其結(jié)構(gòu)關(guān)系大數(shù)據(jù)可視化結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化多種表現(xiàn)形式發(fā)現(xiàn)數(shù)據(jù)中蘊(yùn)含的規(guī)律特征數(shù)據(jù)可視化數(shù)據(jù)可視化文本可視化網(wǎng)絡(luò)可視化時空數(shù)據(jù)可視化數(shù)據(jù)可視化可視分析是通過交互可視界面來進(jìn)行的分析、推理和決策?？梢暦治雠c各個領(lǐng)域的數(shù)據(jù)形態(tài)、大小及其應(yīng)用密切相關(guān)?？梢暦治鍪且环N通過交互式可視化界面來輔助用戶對大規(guī)模復(fù)雜數(shù)據(jù)集進(jìn)行分析與推理的技術(shù)。雷達(dá)圖氣泡圖熱力圖樹形圖數(shù)據(jù)遷移按照遷移條件分類全表遷移條件遷移自動遷移按照遷移模式分類覆蓋追加按照數(shù)據(jù)來源分類文本源數(shù)據(jù)源遷移模塊架構(gòu)任務(wù)調(diào)度模塊Sqoop架構(gòu)日志管理數(shù)據(jù)遷移指的是在不同存儲格式、數(shù)據(jù)類型以及硬業(yè)件設(shè)備之間的數(shù)據(jù)移動過程。數(shù)據(jù)遷移支持任意存儲系統(tǒng)之間的遷移，且成功率較高，支持聯(lián)機(jī)遷移?；谥鳈C(jī)的遷移方式可以有效縮短停機(jī)時間窗口，一旦備份完成，其數(shù)據(jù)的遷移過程完全不會影響生產(chǎn)系統(tǒng)。備份恢復(fù)的方式兼容主流存儲設(shè)備，支持不同廠商不同品牌間的數(shù)據(jù)遷移和容災(zāi)，適合于頻繁遷移數(shù)據(jù)的大型企業(yè)?；诖鎯Φ姆绞酵耆蕾囉趹?yīng)用軟件自身，與具體的主機(jī)、存儲種類則關(guān)系不大。應(yīng)用軟件提供的方式數(shù)據(jù)遷移方法的選擇是建立在對系統(tǒng)軟硬件以及業(yè)務(wù)系統(tǒng)的各環(huán)節(jié)的具體分析基礎(chǔ)之上。數(shù)據(jù)歸檔數(shù)據(jù)歸檔是將不經(jīng)常使用的數(shù)據(jù)移動到單獨(dú)的存儲設(shè)備進(jìn)行長期存儲的過程。數(shù)據(jù)歸檔具有索引和搜索功能，因此可以很容易地找到文件。數(shù)據(jù)對象主要是長期積累的業(yè)務(wù)數(shù)據(jù)。對數(shù)據(jù)進(jìn)行定時的數(shù)據(jù)歸檔操作。定期數(shù)據(jù)歸檔數(shù)據(jù)對象主要是應(yīng)用系統(tǒng)中數(shù)據(jù)量較大的數(shù)據(jù)，或者使用非常頻繁的數(shù)據(jù)。采用不定期的集中化數(shù)據(jù)歸檔，以保證對系統(tǒng)和應(yīng)用資源的影響最小。不定期數(shù)據(jù)歸檔形成一套規(guī)范、一項(xiàng)制度，將數(shù)據(jù)歸檔納入日常操作，使數(shù)據(jù)清理自動化、規(guī)范化、量化，成為一套完整的數(shù)據(jù)清理和歸檔規(guī)范系統(tǒng)。數(shù)據(jù)銷毀數(shù)據(jù)銷毀是指通過一定手段將指定的待刪除數(shù)據(jù)進(jìn)行有效刪除，使其被恢復(fù)的可能性足夠小甚至是不可被恢復(fù)?，F(xiàn)有的數(shù)據(jù)銷毀方法主要分為硬銷毀和軟銷毀。通常用于保密等級比較高的場合。如國家機(jī)密、軍事要務(wù)等。硬銷毀通常用于保密等級不是很高的場合。如一般的企業(yè)、個人文件等，存儲空間可以重復(fù)使用。軟銷毀數(shù)據(jù)銷毀不管是物理破壞方法還是化學(xué)破壞方法，被銷毀的存儲介質(zhì)不能重復(fù)使用，造成了一定的浪費(fèi)，并且有著一定的污染，所有基本上沒有得到廣泛地應(yīng)用。運(yùn)用化學(xué)試劑噴灑磁性存儲介質(zhì)的磁表面，腐蝕破壞其磁性結(jié)構(gòu)?；瘜W(xué)破壞方法焚燒、粉碎等，但是磁盤的碎片仍然可以被惡意用戶所利用，而且物理破壞方法需要特定的環(huán)境和設(shè)備。物理破壞方法數(shù)據(jù)硬銷毀是指采用物理、化學(xué)方法直接銷毀存儲介質(zhì)，從而徹底銷毀存儲在其中的用戶數(shù)據(jù)。數(shù)據(jù)硬銷毀數(shù)據(jù)銷毀數(shù)據(jù)軟銷毀即邏輯銷毀，是向準(zhǔn)備銷毀的數(shù)據(jù)塊區(qū)中反復(fù)寫入無意義的隨機(jī)數(shù)據(jù)。刪除與格式化操作是計算機(jī)用戶最常用的兩種清除數(shù)據(jù)的方式，但其實(shí)它們都不是真正意義上的數(shù)據(jù)銷毀方法。在硬件上借助可信計算技術(shù)，在軟件借助虛擬機(jī)監(jiān)控器，來實(shí)現(xiàn)可信數(shù)據(jù)銷毀。云端銷毀技術(shù)是使用云存儲環(huán)境下全生命周期可控的數(shù)據(jù)銷毀模型。云端數(shù)據(jù)銷毀數(shù)據(jù)刪格方式數(shù)據(jù)重寫方式數(shù)據(jù)軟銷毀小結(jié)本節(jié)的主要內(nèi)容數(shù)據(jù)收集數(shù)據(jù)預(yù)處理數(shù)據(jù)存儲數(shù)據(jù)分析數(shù)據(jù)可視化數(shù)據(jù)遷移數(shù)據(jù)歸檔數(shù)據(jù)銷毀1.3大數(shù)據(jù)全生命周期1.4大數(shù)據(jù)的經(jīng)濟(jì)社會影響大數(shù)據(jù)對經(jīng)濟(jì)社會的影響經(jīng)濟(jì)發(fā)展社會治理政務(wù)服務(wù)大數(shù)據(jù)在促進(jìn)產(chǎn)業(yè)結(jié)構(gòu)調(diào)整和優(yōu)化方面發(fā)揮了十分重要的作用，也是經(jīng)濟(jì)現(xiàn)代化提升與可持續(xù)發(fā)展的不竭動力。大數(shù)據(jù)在公共安全、生態(tài)治理、信用管理等方面均發(fā)揮越來越重要的作用，是完善社會治理的有效工具。隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，政務(wù)服務(wù)在服務(wù)理念、服務(wù)模式以及服務(wù)水平等方面也發(fā)生了重要的變革。大數(shù)據(jù)對經(jīng)濟(jì)發(fā)展的影響大數(shù)據(jù)與經(jīng)濟(jì)發(fā)展結(jié)構(gòu)調(diào)整新業(yè)態(tài)產(chǎn)業(yè)融合數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)升級新產(chǎn)業(yè)在新一輪的科學(xué)技術(shù)革命浪潮下，大數(shù)據(jù)技術(shù)已經(jīng)成為了產(chǎn)業(yè)變革的重要途徑。對于傳統(tǒng)行業(yè)來說，大數(shù)據(jù)為傳統(tǒng)產(chǎn)業(yè)的升級改造提供了極大的空間。同時，大數(shù)據(jù)在創(chuàng)造新的產(chǎn)品需求，拓展新的產(chǎn)業(yè)領(lǐng)域等方面，有著不容忽視的作用。這種大數(shù)據(jù)的新浪潮推動了產(chǎn)業(yè)間的融合發(fā)展，也催生了新的產(chǎn)業(yè)形態(tài)，在促進(jìn)產(chǎn)業(yè)結(jié)構(gòu)調(diào)整和優(yōu)化方面發(fā)揮了十分重要的作用。大數(shù)據(jù)對不同產(chǎn)業(yè)的影響現(xiàn)代服務(wù)業(yè)促進(jìn)服務(wù)業(yè)的商業(yè)創(chuàng)新在市場機(jī)制方面，大數(shù)據(jù)平臺輔助實(shí)現(xiàn)了非面對面交易；在渠道管理方面，大數(shù)據(jù)技術(shù)使信息發(fā)布、交易、物流、支付、客戶支持等都成為獨(dú)立的渠道，從而促進(jìn)渠道選擇的公平性和渠道控制的合理性；在營銷策略方面，大數(shù)據(jù)環(huán)境使個性化、社會化和移動化成為市場營銷的重要特征；在商業(yè)模式創(chuàng)新方面，大數(shù)據(jù)為企業(yè)實(shí)現(xiàn)線上線下業(yè)務(wù)整合帶來了新的發(fā)展機(jī)遇。促進(jìn)服務(wù)業(yè)的金融創(chuàng)新對于銀行業(yè)來說，大數(shù)據(jù)技術(shù)使傳統(tǒng)銀行業(yè)向著業(yè)務(wù)無網(wǎng)點(diǎn)化、支付移動化、服務(wù)便捷化和信用數(shù)據(jù)化的方向發(fā)展；對于證劵業(yè)來說，依托互聯(lián)網(wǎng)與大數(shù)據(jù)建立集交易和理財于一體的全功能智能賬戶，向客戶提供包括交易、理財、投融資等在內(nèi)的一站式綜合金融服務(wù)。促進(jìn)商融一體化發(fā)展傳統(tǒng)金融業(yè)正在積極探索互聯(lián)網(wǎng)金融，而互聯(lián)網(wǎng)企業(yè)正在全力向金融領(lǐng)域拓展。大數(shù)據(jù)對經(jīng)濟(jì)發(fā)展的影響高端裝備制造業(yè)在高端裝備研發(fā)和生產(chǎn)方面大數(shù)據(jù)技術(shù)深度滲透到產(chǎn)品的研發(fā)和生產(chǎn)過程中，形成的智能裝備提升了高端裝備的效能價值，拓展了高端裝備的應(yīng)用范圍；在高端裝備制造模式變革方面大數(shù)據(jù)技術(shù)廣泛應(yīng)用于供應(yīng)商、銷售商和協(xié)作商的協(xié)同過程中，形成的全球化網(wǎng)絡(luò)制造進(jìn)一步優(yōu)化了價值鏈和價值網(wǎng)絡(luò)；在高端裝備業(yè)務(wù)模式創(chuàng)新方面大數(shù)據(jù)技術(shù)顯著加速了制造業(yè)服務(wù)化進(jìn)程；在高端裝備制造業(yè)生態(tài)重構(gòu)方面高端裝備制造價值網(wǎng)絡(luò)的生態(tài)環(huán)境是由經(jīng)濟(jì)生態(tài)、社會生態(tài)和自然生態(tài)構(gòu)成的多層次結(jié)構(gòu)。大數(shù)據(jù)對經(jīng)濟(jì)發(fā)展的影響資源型產(chǎn)業(yè)農(nóng)業(yè)發(fā)展：生產(chǎn)技術(shù)和農(nóng)產(chǎn)品營銷在農(nóng)業(yè)生產(chǎn)技術(shù)方面，能夠提升環(huán)境監(jiān)測、生命感知、病蟲害監(jiān)控防治的現(xiàn)代化水平，改變傳統(tǒng)農(nóng)業(yè)的作業(yè)方式，提高農(nóng)業(yè)資源的調(diào)配效率；在農(nóng)產(chǎn)品營銷方面，促進(jìn)了農(nóng)產(chǎn)品的電子商務(wù)化流通，從而有利于建立可追溯的農(nóng)產(chǎn)品供應(yīng)鏈系統(tǒng)和農(nóng)產(chǎn)品質(zhì)量保證體系；在農(nóng)業(yè)經(jīng)營模式方面，通過發(fā)展定制農(nóng)業(yè)、精細(xì)農(nóng)業(yè)和電商農(nóng)業(yè)，推動傳統(tǒng)農(nóng)業(yè)的模式創(chuàng)新，提高農(nóng)產(chǎn)品附加值，延伸涉農(nóng)產(chǎn)業(yè)的價值鏈，促進(jìn)實(shí)現(xiàn)農(nóng)業(yè)現(xiàn)代化。石油、天然氣、煤炭產(chǎn)業(yè)發(fā)展：生產(chǎn)運(yùn)營和安全管理在實(shí)地勘測與考察以及施工方案的制定過程中，大數(shù)據(jù)可以根據(jù)開采地的實(shí)地環(huán)境數(shù)據(jù)，輔助制定出優(yōu)化的方案，可以及時的應(yīng)對資源開采過程中遇到的難題。另外，在大數(shù)據(jù)技術(shù)的支持下，實(shí)現(xiàn)了大型設(shè)備的全過程自動跟蹤與智能化分析。大數(shù)據(jù)對經(jīng)濟(jì)發(fā)展的影響2017年《政府工作報告》中首次提出了“數(shù)字經(jīng)濟(jì)”戰(zhàn)略，并提出“推動‘互聯(lián)網(wǎng)+’深入發(fā)展、促進(jìn)數(shù)字經(jīng)濟(jì)加快成長，讓企業(yè)廣泛受益、群眾普遍受惠”的發(fā)展戰(zhàn)略。大數(shù)據(jù)是發(fā)展數(shù)字經(jīng)濟(jì)的生產(chǎn)要素大數(shù)據(jù)已成為經(jīng)濟(jì)社會的基礎(chǔ)性戰(zhàn)略資源，蘊(yùn)藏著巨大潛力和能量。大數(shù)據(jù)資源與產(chǎn)業(yè)的交匯融合促使社會生產(chǎn)力發(fā)生新的飛躍，在生產(chǎn)過程中與其他生產(chǎn)要素協(xié)同創(chuàng)造經(jīng)濟(jì)價值，大數(shù)據(jù)成為社會經(jīng)濟(jì)發(fā)展的新興生產(chǎn)要素。大數(shù)據(jù)是發(fā)展數(shù)字經(jīng)濟(jì)的驅(qū)動要素引導(dǎo)培育大數(shù)據(jù)交易市場，開展面向應(yīng)用的大數(shù)據(jù)交易市場試點(diǎn)，探索開展大數(shù)據(jù)衍生產(chǎn)品交易，鼓勵產(chǎn)業(yè)鏈各環(huán)節(jié)的市場主體參與到大數(shù)據(jù)交換和交易中。重點(diǎn)推進(jìn)數(shù)大據(jù)流通標(biāo)準(zhǔn)的制定，和大數(shù)據(jù)交易體系的規(guī)范化建設(shè)，以保證大數(shù)據(jù)要素在交易、共享、轉(zhuǎn)移等市場環(huán)節(jié)能夠規(guī)范有序。大數(shù)據(jù)是發(fā)展數(shù)字經(jīng)濟(jì)的創(chuàng)新要素大數(shù)據(jù)可以為傳統(tǒng)產(chǎn)業(yè)的創(chuàng)新轉(zhuǎn)型、優(yōu)化升級提供重要支撐。與大數(shù)據(jù)相關(guān)的新興產(chǎn)業(yè)與服務(wù)，已經(jīng)成為社會資本投入的熱點(diǎn)。數(shù)字經(jīng)濟(jì)大數(shù)據(jù)對經(jīng)濟(jì)發(fā)展的影響大數(shù)據(jù)催生數(shù)字經(jīng)濟(jì)大數(shù)據(jù)對社會治理的影響社會治安管理推動治安管控提效，提升人民安全感；推動數(shù)據(jù)處理優(yōu)化，積極預(yù)防犯罪。社會輿情管理推動輿情管理從監(jiān)測轉(zhuǎn)向預(yù)測；推動輿情管理由定性管理轉(zhuǎn)向定量管理。大數(shù)據(jù)對公共安全的影響大數(shù)據(jù)對環(huán)境治理的影響大數(shù)據(jù)對信用管理的影響大數(shù)據(jù)推動環(huán)境治理立體化程度提升；大數(shù)據(jù)推動環(huán)境治理監(jiān)管能力提升；大數(shù)據(jù)推動環(huán)境治理預(yù)測能力提升。大數(shù)據(jù)有效擴(kuò)大征信數(shù)據(jù)來源；大數(shù)據(jù)有效轉(zhuǎn)變征信視角；大數(shù)據(jù)有效擴(kuò)大征信應(yīng)用范圍；優(yōu)化征信市場布局、促進(jìn)傳統(tǒng)征信業(yè)改造升級及推動差異化競爭格局。社會管控社會管理社會治理大數(shù)據(jù)對社會治理的影響社會治安管理大數(shù)據(jù)技術(shù)在治安防控、打擊犯罪、處理案件等方面能夠有效支撐案件處理，彌補(bǔ)傳統(tǒng)治安管理面臨的效率不高、執(zhí)行滯后等問題。大數(shù)據(jù)推動治安管控提效，提升人民安全感。大數(shù)據(jù)推動數(shù)據(jù)處理優(yōu)化，積極預(yù)防犯罪。大數(shù)據(jù)警務(wù)的根本目的在于發(fā)掘深藏于數(shù)據(jù)中的犯罪信息并做出治安決策。社會輿情管理對海量的網(wǎng)絡(luò)平臺和網(wǎng)絡(luò)信息進(jìn)行分析，有效開展網(wǎng)絡(luò)輿情管理，塑造積極向上的網(wǎng)絡(luò)空間。與人工智能等技術(shù)結(jié)合，挖掘核心觀點(diǎn)，對重點(diǎn)領(lǐng)域輿情進(jìn)行重點(diǎn)監(jiān)控和有效引導(dǎo)，提升網(wǎng)絡(luò)治理水平。大數(shù)據(jù)推動輿情管理從監(jiān)測轉(zhuǎn)向預(yù)測。在大數(shù)據(jù)時代，通過挖掘數(shù)據(jù)相關(guān)性，在敏感消息進(jìn)行網(wǎng)絡(luò)傳播的初期就立即開始監(jiān)測，并仿真網(wǎng)絡(luò)輿情的演變過程，使網(wǎng)絡(luò)輿情突發(fā)事件發(fā)生的可能性和傾向性變得可以預(yù)測。公共安全大數(shù)據(jù)對社會治理的影響環(huán)境治理推動環(huán)境治理立體化程度提升環(huán)境治理中大數(shù)據(jù)技術(shù)的廣泛應(yīng)用能夠通過數(shù)據(jù)公開等方式，拓寬公眾參與環(huán)境治理的途徑，增強(qiáng)公眾環(huán)境保護(hù)意識，同時也能夠給非政府性組織更多的環(huán)境治理權(quán)限，從而形成全社會共同參與環(huán)境治理的新模式。推動環(huán)境治理監(jiān)管能力提升應(yīng)用大數(shù)據(jù)創(chuàng)新監(jiān)管模式，加強(qiáng)全程治理，為解決環(huán)境治理中的管理失靈問題提供了新的視角和途徑。推動環(huán)境治理預(yù)測能力提升大數(shù)據(jù)的預(yù)測性分析是環(huán)境治理的技術(shù)基礎(chǔ)，通過對歷史環(huán)境數(shù)據(jù)隱藏規(guī)律的挖掘，預(yù)測未來環(huán)境數(shù)據(jù)的變化趨勢，并提前制定治理預(yù)案，防患于未然。環(huán)境檢測數(shù)據(jù)開放不足，大量監(jiān)測數(shù)據(jù)掌握在相關(guān)業(yè)務(wù)部門手中，只有部分?jǐn)?shù)據(jù)得以公開，開放數(shù)據(jù)的廣度和深度有待提升。部分公開數(shù)據(jù)中只有基本信息和統(tǒng)計信息，缺乏關(guān)鍵字段，沒有明細(xì)清單，時效性也有待提高。大量數(shù)據(jù)只在部門內(nèi)部保有，無法通過技術(shù)手段挖掘信息間的關(guān)聯(lián)關(guān)系，形成信息孤島，造成信息資源浪費(fèi)。存在的不足大數(shù)據(jù)對社會治理的影響信用管理大數(shù)據(jù)技術(shù)可整合匯聚分析多來源渠道、多類型的海量信用數(shù)據(jù)，搭建統(tǒng)一的公共信用信息平臺，將平臺歸集的數(shù)據(jù)進(jìn)行深度挖掘分析，準(zhǔn)確識別各主體信用水平，根據(jù)數(shù)據(jù)預(yù)測信用風(fēng)險，快速識別風(fēng)險較高的信用主體并提前預(yù)警，為建立健全完善的社會信用體系提供保障。擴(kuò)大征信數(shù)據(jù)來源轉(zhuǎn)變征信視角擴(kuò)大征信應(yīng)用范圍優(yōu)化征信市場布局促進(jìn)傳統(tǒng)征信業(yè)改造升級推動差異化競爭格局應(yīng)用在交通治理領(lǐng)域應(yīng)用在房產(chǎn)管理領(lǐng)域應(yīng)用在教育領(lǐng)域大數(shù)據(jù)對社會治理的影響擴(kuò)大征信數(shù)據(jù)來源大數(shù)據(jù)的應(yīng)用可以有效收集、分析任何個人、企業(yè)的互聯(lián)網(wǎng)記錄，基于全面信息的信用評級遠(yuǎn)比僅依靠金融機(jī)構(gòu)借貸記錄的信用評級可靠。轉(zhuǎn)變征信視角大數(shù)據(jù)征信更看重用戶的當(dāng)前信息，強(qiáng)調(diào)橫向及多維度拓展，注重對用戶信息評級的預(yù)測。擴(kuò)大征信應(yīng)用范圍大數(shù)據(jù)征信由于數(shù)據(jù)來源和信用評分的不同，可將應(yīng)用場景從金融領(lǐng)域擴(kuò)大到社會生活的方方面面。大數(shù)據(jù)在優(yōu)化征信市場布局、促進(jìn)傳統(tǒng)征信業(yè)改造升級及推動差異化競爭格局的形成方面具有重要價值。然而，當(dāng)前大數(shù)據(jù)征信仍有待進(jìn)一步完善，實(shí)際應(yīng)用中存在征信監(jiān)管水平不足、信息安全缺乏保障、信息主體的隱私權(quán)歸屬判定、信息孤島難以消除等問題。大數(shù)據(jù)對社會治理的影響其他社會治理領(lǐng)域大數(shù)據(jù)應(yīng)用在交通治理領(lǐng)域，可以改變當(dāng)前交通信息分散、信息內(nèi)容單一等問題，有效提升跨部門合作效率、交通狀況預(yù)判、智能化交通管理；大數(shù)據(jù)應(yīng)用在房產(chǎn)管理領(lǐng)域，可以全面掌握各地房產(chǎn)需求、供給情況，有效監(jiān)控房地產(chǎn)行業(yè)，抑制炒房、學(xué)區(qū)房等哄抬市價的不良行為；大數(shù)據(jù)應(yīng)用在教育領(lǐng)域，可以防止有過違法犯罪記錄的人進(jìn)入教育行業(yè)、提高學(xué)校周邊安全管控，切實(shí)保障教育安全。大數(shù)據(jù)對政務(wù)服務(wù)的影響政務(wù)是國家治理中的行政事務(wù)，是公共治理的重要工具和形式。政務(wù)服務(wù)是各級政府及其所屬部門、法律法規(guī)授權(quán)的組織，依法為公民、法人或者其他組織辦理行政權(quán)力事項(xiàng)和公共服務(wù)事項(xiàng)的活動。大數(shù)據(jù)促進(jìn)政務(wù)服務(wù)理念的變革大數(shù)據(jù)塑造政務(wù)服務(wù)開放性理念大數(shù)據(jù)塑造政務(wù)服務(wù)共享性理念大數(shù)據(jù)塑造政務(wù)服務(wù)前瞻性理念大數(shù)據(jù)促進(jìn)政務(wù)服務(wù)模式的轉(zhuǎn)變從被動服務(wù)轉(zhuǎn)向主動服務(wù)新模式從單向服務(wù)轉(zhuǎn)向協(xié)同服務(wù)新模式從粗放管理轉(zhuǎn)向精細(xì)管理新模式大數(shù)據(jù)提升政務(wù)服務(wù)水平提高政務(wù)服務(wù)的效率提高政務(wù)服務(wù)的精準(zhǔn)性提高政務(wù)服務(wù)的規(guī)范性理