新一代信息技術導論（微課版）課件 龔啓軍第7、8章 數據為王-大數據、智能賦能-人工智能AI

第3章安全第一—信息安全第7章數據為王——大數據CONTENTS目錄7.1大數據的概述7.2大數據的發(fā)展7.3大數據的相關技術7.4大數據的應用大數據的概述7.1通俗含義使用單臺計算機沒法在規(guī)定時間內處理完，或者壓根就沒法處理的數據集大數據的含義在一定時間范圍內不能以常規(guī)軟件工具處理（存儲和計算）的大而復雜的數據集結構化的傳統(tǒng)數據+非結構化的新數據7.1.1大數據時代1.數據治權來源錢學森領導國防科技情報和信息工作的長期實踐，用系統(tǒng)工程的方法,實現(xiàn)數據“活化”意義著眼長遠的戰(zhàn)略性引領時代的前瞻性化知為智的創(chuàng)新性2.數據主權運營主體數據的存儲、處理、傳輸、利用的運營主體個人或組織國家對本國管轄地域范圍內,任何個人和組織收集或產生的數據設施設備進行獨立管轄,并采取措施使其免受他國侵害的權力7.1.2數據來源數據來源1.交易數據

POS機、信用卡刷卡、電子商務、互聯(lián)網點擊、企業(yè)資源規(guī)劃系統(tǒng)、銷售系統(tǒng)、公司的生產、庫存、訂單、供應鏈2.手機數據手機應用程序產生了海量基于用戶使用情況所形成的大數據，其中，能夠反映用戶流動軌跡的數據也包括在內數據來源3.人為數據電子郵件、文檔、圖片、音頻、視頻，以及通過微信、博客等社交媒體產生的數據流4.傳感器數據從環(huán)境中收集的根據外部刺激而變化的信號，可以用來監(jiān)控、檢測和識別周圍環(huán)境的變化非結構性數據用于采集各種類型的環(huán)境參數7.1.3大數據的特征大量化PB（1000個T）EB（100萬個T）ZB（10億個T）數據來源：傳感器、物聯(lián)網、工業(yè)互聯(lián)網、車聯(lián)網、手機、平板電腦，微信和QQ聊天、上網搜索與購物等，都在產生著數量龐大的數據大數據多樣化多年來一直主導著IT應用的關系型數據庫中結構化半結構化包括電子郵件、文字處理文件以及大量的網絡新聞非結構化廣泛存在于社交網絡、物聯(lián)網、電子商務之中可變性指數據的變化，這意味著相同的數據在不同的上下文中可能具有不同的含義快速化含義指數據生成，存儲，分析和移動的速度意義無線或有線機器和傳感器可以在創(chuàng)建數據后立即傳遞。這可以實現(xiàn)實時數據流，并幫助企業(yè)做出有價值的快速決策價值含義大數據的核心特征意義通過從大量不相關的各種類型的數據中，挖掘出對未來趨勢與模式預測分析有價值的數據真實性指數據的準確度和可信賴度，代表數據的質量生產掌握數據信息數據進行專業(yè)處理大數據的概念數據的來源及6大特征大數據時代數據治權數據主權的重要性大數據的發(fā)展7.21.萌芽期2.成長期3.爆發(fā)期4.大規(guī)模應用期萌芽期時間

1980年-2008年現(xiàn)象商業(yè)智能工具和知識管理技術開始被應用，如數據倉庫、專家系統(tǒng)、知識管理系統(tǒng)等成長期時間

2009年-2012年現(xiàn)象互聯(lián)網數據呈爆發(fā)式增長，大數據技術逐漸被大眾熟悉和使用大數據爆發(fā)期我國在內的世界各個國家紛紛布局大數據戰(zhàn)略2013年-2015年2013年百度、騰訊為代表的國內互聯(lián)網公司出創(chuàng)新性的大數據應用2015年9月國務院發(fā)布《促進大數據發(fā)展行動綱要》大規(guī)模應用期

2016年至今以及以后，大數據應用滲透到各行各業(yè)，大數據產業(yè)迎來快速發(fā)展和大規(guī)模應用實施預熱階段2014年3月，大數據“首次”寫入政府工作報告起步階段2015年8月，國務院印發(fā)《促進大數據發(fā)展的行動綱要》落地階段2016年3月，《十三五規(guī)劃綱要》第二十七章“實施”國家大數據戰(zhàn)略2016年12月，工信部發(fā)布《大數據產品發(fā)展規(guī)劃（2016-2020年）》數據大國數據強國2017年10月推動大數據與實體經濟深度融合2017年12月實施國家大數據戰(zhàn)略進行集體學習2019年3月大數據連續(xù)6年寫入政府工作報告2020年4月9日確數據要素市場配置上升為國家政策2021年完善大數據體系建設深化階段大數據的相關技術7.37.3.1大數據采集數據采集數據預處理大數據存儲數據分析挖掘“集”則是數據的清洗、連接、整合，將價值密度低的數據轉化為價值密度高的數據數據采集“采”主要是數據的獲取1.數據庫采集定義指一些企業(yè)會使用傳統(tǒng)的關系型數據庫MySQL和Oracle等來存儲數據。數據庫Redis、HBase、NoSQL數據庫2.網絡數據采集定義指通過網絡爬蟲或網站公開API（即數據源提供者開放的數據采集接口）等方式從網站上獲取數據信息。作用將非結構化數據從網頁中抽取出來，將其存儲為統(tǒng)一的本地數據文件，并以結構化的方式存儲。3.文件采集定義大數據平臺按照數據倉庫的源數據的結構，定義好一套標準的數據格式，用戶按照此數據格式產生相應的日志文件，大數據平臺通過監(jiān)控日志文件的變化，將數據傳輸到數據倉庫上，并進行實時/離線的數據處理與存儲。7.3.2大數據預處理數據預處理

對采集到的原始數據進行清洗、填補、平滑、合并、規(guī)格化以及一致性檢查等數據清理數據轉換數據規(guī)約數據集成數據預處理1.數據清理將要用到的數據中重復、多余部分的數據進行篩選并清除；把缺失部分補充完整，并將不正確的數據糾正或者刪除。數據預處理2.數據集成將不同數據源中的數據，合并存放到統(tǒng)一數據庫的存儲方法。模式匹配數據冗余數據值沖突檢測與處理數據預處理3.數據轉換指對所抽取出來的數據中存在的不一致問題，進行處理的過程。4.數據規(guī)約指在最大限度保持數據原貌的基礎上，最大限度精簡數據量，以得到較小數據集的操作。7.3.3大數據存儲指用存儲器，以數據庫的形式，存儲采集到的數據的過程大數據存儲1.基于MPP架構的新型數據庫集群MPP架構是傳統(tǒng)的數據倉庫，將單機數據庫節(jié)點組成集群，從而提升處理性能。非共享架構用網絡連接大數據存儲2.基于Hadoop的技術擴展和封裝針對傳統(tǒng)關系型數據庫難以處理的數據和場景利用Hadoop開源優(yōu)勢及相關特性非結構化數據的存儲和計算等善于處理非結構、半結構化數據、復雜的ETL流程、復雜的數據挖掘和計算模型等大數據存儲3.大數據一體化專為大數據的分析處理而設計的軟、硬件結合的產品由一組集成的服務器、存儲設備、操作系統(tǒng)、數據庫管理系統(tǒng)，以及為數據查詢、處理、分析而預安裝和優(yōu)化的軟件組成具有良好的穩(wěn)定性和縱向擴展性7.3.4數據分析與挖掘數據分析與挖掘數據挖掘指對大量的數據進行分析和挖掘，得到一些未知的有價值的信息等。數據分析對已知的數據進行分析，然后提出一些有價值的信息，數據分析由于數據采集、數據挖掘、數據可視化組成。數據分析與數據挖掘密不可分，數據挖掘是數據分析的提升。1.數據可視化3.預測性分析2.數據挖掘算法1.數據可視化數據可視化指借助圖形化手段，清晰并有效傳達與溝通信息的分析手段。數據可視化主要應用于海量數據關聯(lián)分析，即借助可視化數據分析平臺，對分散異構數據進行關聯(lián)分析，并做出完整分析圖表的過程，具有簡單明了、清晰直觀、易于接受的特點。數據分析與挖掘2.數據挖掘算法大數據分析的理論核心，即通過創(chuàng)建數據挖掘模型而對數據進行試探和計算的數據分析手段。數據分析與挖掘3.預測性分析通過結合多種高級分析功能達到預測不確定事件的目的。數據分析與挖掘數據采集數據預處理大數據存儲數據分析挖掘大數據的應用7.4交通領域農業(yè)領域城市領域物流領域醫(yī)療領域交通領域交通領域結合大數據應用有效解決城市擁堵提高城市管理水平，打造整體智慧交通發(fā)展道路。農業(yè)領域1.加快作物育種大數據加快了作物育種，遺傳學的進步導致生物信息的爆炸式增長模式生物基因組測序的開始高通量或自動化實驗技術的快速應用速度快成本低2.驅動耕種方法利用定位系統(tǒng)和其他技術生產者可以精確地追蹤不同田地的產出，操縱和控制設備，監(jiān)測田地狀況，管理投入品，大幅提高生產率和利潤。計算機軟件以機器學習為核心的軟件應用在與數據、設備和人類互動時變得越來越智能化和定制化。分析咨詢3.讓農業(yè)信息透明化目標向農民提供個性化方案，將每塊田地的耕種細化到作物個體，使用有關氣候和土壤條件、作物以及產出的數據。4.可實現(xiàn)食物追蹤溯源大數據對食物從田間到餐桌的過程進行追蹤，可以預防疾病、減少浪費和提高利潤。城市領域有效實現(xiàn)了基層黨組織對社情民意的動態(tài)掌握、精準管理、高效服務。1.智慧社區(qū)管理中的應用2.智慧城市交通領域中的應用市民掌握城市交通路段情況，避免擁堵階段和易發(fā)生交通事故的路段，確保安全、高效便捷出行。3.智慧城市環(huán)境保護領域中的應用提高城市環(huán)境保護的力度提高環(huán)境治理的效益提供了新的思路與新的方法有助于保障城市居民的居住環(huán)境4.智慧城市規(guī)劃方面的應用交通領域農業(yè)領域城市領域物流領域醫(yī)療領域課后習題：1．請闡述什么是大數據。2．請闡述大數據的兩個時代。3．請闡述大數據預處理的過程。4．請闡述大數據的“6V”特征。5．請舉例說明大數據的應用。第3章安全第一—信息安全第8章智能賦予——人工智能CONTENTS目錄8.1人工智能的概述8.2人工智能的核心技術8.3新一代信息技術的應用人工智能的概述8.1人工智能的概述人工智能是研究開發(fā)能夠模擬、延伸和擴展人類智能的理論、方法、技術及應用系統(tǒng)的一門新的技術科學人工智能的概述人工智能是研究開發(fā)能夠模擬、延伸和擴展人類智能的理論、方法、技術及應用系統(tǒng)的一門新的技術科學研究目的促使智能機器會聽、會看、會說、會思考、會學習、會行動語音識別、機器翻譯圖像識別、文字識別語音合成、人機對話人機對弈、定理證明機器學習、知識表示機器人、自動駕駛汽車8.1.1人工智能的定義智能人工智能的定義人工人造的，非天然的生物學的智能對人的智能本身的研究其他關于動物或其他人造系統(tǒng)的智能在計算機領域內人工智能的研究人工智能的定義8.1.2人工智能的發(fā)展1．20世紀50年代——人工智能的起步圖靈測試1950年，著名的圖靈測試誕生，按照“人工智能之父”艾倫·圖靈（AlanTuring）的定義：如果一臺計算機能夠與人類展開對話（通過電傳設備）而不能被辨別出其計算機身份，那么稱這臺計算機具有智能。圖靈測試中人類測試者向兩個未知的回答者（其中一個是人類，另一個是計算機）問出一系列的問題，來判斷哪個是人類、哪個是計算機，人類測試者若不能分辨那就說明計算機通過了測試2.反思發(fā)展期20世紀60年代—70年代初開始嘗試更具挑戰(zhàn)性的任務，提出一些不切實際的研發(fā)目標接二連三的失敗和預期目標的落空，人工智能的發(fā)展走入低谷3.應用發(fā)展期20世紀70年代初—80年代中從理論研究走向實際應用從一般推理策略探討轉向運用專門知識醫(yī)療化學地質4.低迷發(fā)展期20世紀80年代中至90年代中應用領域狹窄缺乏常識性知識知識獲取困難推理方法單一缺乏分布式功能難以與現(xiàn)有數據庫兼容5.穩(wěn)步發(fā)展期20世紀90年代中—2010年6.蓬勃發(fā)展期2011年至今大數據云計算互聯(lián)網物聯(lián)網信息技術泛在感知數據和圖形處理器等計算平臺推動以深度神經網絡為代表的人工智能技術飛速發(fā)展。我國人工智能的發(fā)展與未來8.28.2.1發(fā)展歷程8.2.2我國人工智能政策環(huán)境分析8.2.3未來的發(fā)展人工智能相關技術逐步成為“事關國家安全和發(fā)展全局的基礎核心領域”。為進一步推動解決我國人工智能核心技術中的不足和短板，相關文件指出，在“十四五”期間將通過一批具有前瞻性、戰(zhàn)略性的國家重大科技項目，帶動產業(yè)界逐步突破前沿基礎理論和算法，研發(fā)專用芯片，構建深度學習框架等開源算法平臺，并在學習推理決策、圖像圖形、語音視頻、自然語言識別處理等領域創(chuàng)新與迭代應用。1．突破核心技術發(fā)展人工智能應以產業(yè)的融合應用與產業(yè)數字化轉型為核心目標，進而逐漸形成數據驅動、人機協(xié)同、跨界融合、共創(chuàng)分享的智能經濟形態(tài)。要以數字化轉型整體驅動生產方式、生活方式和治理方式變革，充分發(fā)揮我國數據、應用場景的優(yōu)勢，實施“上云用數賦智”行動，促進數字技術與實體經濟深度融合。通過建設重點行業(yè)人工智能數據集，發(fā)展算法推理訓練場景，推進智能醫(yī)療裝備、智能運載工具、智能識別系統(tǒng)等智能產品制造，推動通用化和行業(yè)性人工智能開發(fā)平臺建設，在智能交通、智慧能源、智能制造、智慧農業(yè)及水利、智慧教育、智慧醫(yī)療、智慧文旅、智慧社區(qū)、智慧家居、智慧政務等領域形成一系列數字化、智能化應用場景。2．打造數字經濟新優(yōu)勢針對當前學術界和產業(yè)界關心的倫理與法律風險、AI技術濫用、算法殺熟等人工智能健康發(fā)展的問題，要構建與數字經濟發(fā)展相適應的政策法規(guī)體系。3．突破核心技術人工智能的核心技術8.3計算機視覺機器學習自然語言處理8.3.1計算機視覺計算機視覺指計算機從圖像中識別出物體、場景和活動的能力。計算機視覺技術運用由圖像處理操作及其他技術所組成的序列，將圖像分析任務分解為便于管理的小塊任務。1.人臉識別零售行業(yè)跟蹤顧客在商店的移動分析導航路線、檢測步行模式、衡量店面關注時間通過增加定向注視檢測功能，了解在商店中放置商品的位置改善消費者體驗并提高銷售額2.安防布控人、車、物3.工業(yè)制造預測性維護工況監(jiān)視成品檢驗質量控制4.醫(yī)療保健醫(yī)學圖像分析4.醫(yī)療保健將人和周圍環(huán)境放置在平面圖中，幫助視力障礙人群提供實時的視覺體驗，從而幫助他們安全地導航室內環(huán)境5.自動駕駛對象檢測6.農業(yè)領域識別分析土壤針對問題采取方案識別屬性分類8.3.2機器學習機器學習

人工智能的一個分支，也是人工智能的一種實現(xiàn)方法從樣本數據中學習得到知識和規(guī)律，然后用于實際的推斷和決策和普通程序的一個顯著區(qū)別是需要樣本數據，是一種數據驅動的方法使用算法解析數據，從中學習，然后對新數據做出決定或預測8.3.3自然語言處理自然語言處理

自然語言處理（NLP）是研究人與計算機交互的語言問題的一門學科。它研究人與計算機之間用自然語言進行有效通信的理論和方法。工作原理人類的自然語言轉譯自然語言分析自然語言輸出結果人類的自然語言轉譯自然語言分析自然語言輸出結果自然語言處理

利用人類交流所使用的自然語言與機器進行交互通訊的技術，對自然語言各方面的分析，理解出用戶想表達的意思，從而得到機器可讀并理解的語言。自然語言理解（NLU）自然語言生成（NLG）自然語言的理解

希望機器可以和人一樣，有理解他人語言的能力自然語言理解可以讓機器從各種自然語言