信息技術導論-大數(shù)據(jù)

大數(shù)據(jù)8.3大數(shù)據(jù)關鍵技術本章內(nèi)容8.2大數(shù)據(jù)定義與特征8.1大數(shù)據(jù)發(fā)展歷程8.4大數(shù)據(jù)典型應用

掌握大數(shù)據(jù)的定義及特點了解大數(shù)據(jù)的發(fā)展歷程

理解大數(shù)據(jù)的主要處理環(huán)節(jié)及技術教學目標

熟悉大數(shù)據(jù)的典型應用場景8.1大數(shù)據(jù)發(fā)展歷程8.1大數(shù)據(jù)發(fā)展歷程

第八章

8.1.1計數(shù)時代動物和人都具有某種“原始數(shù)覺”鳥會發(fā)現(xiàn)蛋少了嗎？8.1大數(shù)據(jù)發(fā)展歷程

第八章

8.1.1計數(shù)時代人們利用自己的手指或身體其他部位來幫助計數(shù)digit：手指、腳趾、數(shù)字十進制8.1大數(shù)據(jù)發(fā)展歷程

第八章

8.1.1計數(shù)時代計數(shù)工具結繩記數(shù)算籌算盤8.1大數(shù)據(jù)發(fā)展歷程

第八章

8.1.2數(shù)據(jù)文明時代當數(shù)值這樣的數(shù)據(jù)已經(jīng)不足以記錄文明時，文字、圖片等形式的數(shù)據(jù)“應運而生”。8.1大數(shù)據(jù)發(fā)展歷程

第八章

8.1.3數(shù)字系統(tǒng)時代隨著第一臺計算機的出現(xiàn)，數(shù)據(jù)逐漸的“數(shù)字化”8.1大數(shù)據(jù)發(fā)展歷程

第八章

8.1.3數(shù)字系統(tǒng)時代數(shù)據(jù)庫系統(tǒng)，導致大量運營式系統(tǒng)的出現(xiàn)如：超市銷售管理系統(tǒng)、交易管理系統(tǒng)等此階段的數(shù)據(jù)，是被動產(chǎn)生的，是為運營或研究而服務的。數(shù)據(jù)：是描述事物的符號記錄8.1大數(shù)據(jù)發(fā)展歷程

第八章

8.1.4互聯(lián)網(wǎng)時代互聯(lián)網(wǎng)的發(fā)展，讓人們產(chǎn)生了強烈的“分享、展示自己”的意愿。以智能手機、平板電腦為代表的新型移動設備的出現(xiàn)，提供了更便捷的信息發(fā)布途徑。數(shù)據(jù)開始主動產(chǎn)生如何通過數(shù)據(jù)，挖掘出更多潛藏的價值成了眾多企業(yè)、研究機構關心的重點話題8.1大數(shù)據(jù)發(fā)展歷程

第八章

8.1.5感知系統(tǒng)時代電子技術的發(fā)展，各種傳感設備的出現(xiàn)，源源不斷地產(chǎn)生新的數(shù)據(jù)（自動的）。大數(shù)據(jù)終于初具規(guī)模。面向大數(shù)據(jù)市場的新技術、新服務、新業(yè)態(tài)不斷涌現(xiàn)各行各業(yè)的決策逐步從“業(yè)務驅動”向“數(shù)據(jù)驅動”轉變8.1大數(shù)據(jù)發(fā)展歷程

第八章

8.1.6大數(shù)據(jù)時代2012年3月，美國奧巴馬政府宣布啟動“大數(shù)據(jù)研究與開發(fā)計劃”，投入2億美元進行大數(shù)據(jù)相關技術研發(fā)。2013年，英國政府發(fā)布《英國數(shù)據(jù)能力發(fā)展戰(zhàn)略規(guī)劃》，并建立世界首個“開放數(shù)據(jù)研究所”。2014年，大數(shù)據(jù)首次寫入我國政府工作報告。2015年8月，國務院發(fā)布《促進大數(shù)據(jù)發(fā)展行動綱要》。2017年1月，工信部發(fā)布《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃（2016-2020）》，全國各地相應推出大數(shù)據(jù)發(fā)展政策。8.2大數(shù)據(jù)定義與特征8.2大數(shù)據(jù)定義與特征

第八章

2011年5月，麥肯錫研究院發(fā)布報告，給出了大數(shù)據(jù)最早的定義：“一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低四大特征”。研究機構Gartner給出了這樣的定義?！按髷?shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。8.2

大數(shù)據(jù)定義與特征

第八章

8.2.1海量性（Volume）“摩爾定律”：集成電路上可容納的元器件的數(shù)目，約每隔18~24個月便增加一倍，性能也將提升一倍。2020年，南加州大學（USC）的科研人員經(jīng)過研究得到數(shù)據(jù)：2007年后每一年的數(shù)據(jù)都將在上一年的基礎上翻倍增加。因特爾公司首席執(zhí)行官BrianKrzanich表示，2020年互聯(lián)網(wǎng)用戶每天產(chǎn)生1.5GB的數(shù)據(jù)。HIS數(shù)據(jù)預測，到2025年，全球互聯(lián)網(wǎng)（IoT）連接設備的總安裝量預計將達到754.4億8.2

大數(shù)據(jù)定義與特征

第八章

8.2.1海量性（Volume）8.2

大數(shù)據(jù)定義與特征

第八章

8.2.2多樣性（Variety）數(shù)據(jù)的形式是多種多樣的數(shù)字（比如：價格、交易數(shù)據(jù)、人的體重、人數(shù)等）文本（比如：郵件、網(wǎng)頁信息等）圖像、音頻、視頻、位置信息（經(jīng)緯度、海拔等）在這些數(shù)據(jù)中，又分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)。8.2

大數(shù)據(jù)定義與特征

第八章

8.2.2多樣性（Variety）企業(yè)中80％的數(shù)據(jù)都是非結構化數(shù)據(jù)，并且每年會按指數(shù)增長60%。在非結構化數(shù)據(jù)中蘊藏著龐大的信息寶庫，這才是大數(shù)據(jù)時代需要著重挖掘的“黃金”。8.2

大數(shù)據(jù)定義與特征

第八章

8.2.3高速性（Velocity）在剛剛過去的一分鐘時間內(nèi)，數(shù)據(jù)世界可能已經(jīng)瞬息萬變：誰的速度更快，誰就有優(yōu)勢8.2

大數(shù)據(jù)定義與特征

第八章

8.2.4價值度（Value）數(shù)據(jù)價值密度的高低和數(shù)據(jù)總量的大小成反比。相比于傳統(tǒng)的小數(shù)據(jù)，大數(shù)據(jù)最大的價值在于通過從大量不相關的各種類型的數(shù)據(jù)中，挖掘出對未來趨勢與模式預測分析有價值的數(shù)據(jù)。真實性（Veracity）被認為是大數(shù)據(jù)的第五個特征。如果數(shù)據(jù)本身是虛假的，那么分析研究它就失去了存在的意義8.3大數(shù)據(jù)關鍵技術8.3

大數(shù)據(jù)關鍵技術

第八章

數(shù)據(jù)科學：從數(shù)據(jù)中提取有用知識的一系列技能和知識數(shù)據(jù)工程：利用工程的觀點進行數(shù)據(jù)管理、分析及系統(tǒng)研發(fā)與應用。大數(shù)據(jù)技術：數(shù)據(jù)科學與數(shù)據(jù)工程之間的橋梁，即如何在數(shù)據(jù)工程中的每一個步驟中使用某種技術實現(xiàn)數(shù)據(jù)科學的思維方法。一般包括大數(shù)據(jù)采集、大數(shù)據(jù)預處理、大數(shù)據(jù)存儲及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)可視化等。8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.1大數(shù)據(jù)采集技術公開數(shù)據(jù)：如：國家開放數(shù)據(jù)、個人共享數(shù)據(jù)等，可直接通過公開平臺下載。企業(yè)內(nèi)部數(shù)據(jù)：數(shù)據(jù)資產(chǎn)可通過企業(yè)洽談、購買的方式獲取。內(nèi)部隱私數(shù)據(jù)則不能直接獲取。傳感器數(shù)據(jù)：直接獲取或商務購買。網(wǎng)絡數(shù)據(jù)：網(wǎng)絡爬蟲。8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.1大數(shù)據(jù)采集技術政府數(shù)據(jù)開放性弱，成本高獨立性強，集成難多樣性重，整合難自有系統(tǒng)數(shù)據(jù)維度不同，互補不易數(shù)據(jù)孤島，不愿分享形式不同，整合不易互聯(lián)網(wǎng)數(shù)據(jù)網(wǎng)站結構不同，批量獲取不易爬蟲監(jiān)管，技術要求多形式多樣，整合不易（5）網(wǎng)絡數(shù)據(jù)采集（1）數(shù)據(jù)庫采集（2）系統(tǒng)日志采集（3）接口導入（4）DPI采集重點：全過程8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.1大數(shù)據(jù)采集技術（1）數(shù)據(jù)庫數(shù)據(jù)采集按難易程度分為：全表刪除插入、增量字段、時間戳、觸發(fā)器8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.1大數(shù)據(jù)采集技術（2）系統(tǒng)日志采集通過采集日志把已經(jīng)提交的事務數(shù)據(jù)抽取出來，對沒有提交的事務則不做任何操作。8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.1大數(shù)據(jù)采集技術（3）網(wǎng)絡數(shù)據(jù)采集主要有：網(wǎng)絡爬蟲、分詞系統(tǒng)、任務與索引系統(tǒng)等8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.2大數(shù)據(jù)預處理技術在數(shù)據(jù)收集過程中，必須考慮數(shù)據(jù)的如下問題：（1）準確性：與期望值之間的匹配度。人為錯誤、計算機錯誤、格式錯誤等都會影響數(shù)據(jù)的準確性。（2）完整性：數(shù)據(jù)的精準性和可靠性。（3)一致性：不同數(shù)據(jù)平臺獲得的數(shù)據(jù)是否一致。8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.2大數(shù)據(jù)預處理技術

源數(shù)據(jù)數(shù)據(jù)清理/清洗數(shù)據(jù)集成數(shù)據(jù)轉換數(shù)據(jù)歸約分析模型解決現(xiàn)實世界數(shù)據(jù)不完整、有噪聲、不一致問題。解決多個數(shù)據(jù)源數(shù)據(jù)合并問題。解決數(shù)據(jù)挖掘所需數(shù)據(jù)形式的問題解決數(shù)據(jù)集體量問題8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.3大數(shù)據(jù)存儲技術古代壁畫圖書館PC機數(shù)據(jù)中心服務器數(shù)據(jù)存儲的發(fā)展之路8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.3大數(shù)據(jù)存儲技術（1）單機系統(tǒng)：更多的指PC或個人計算機系統(tǒng)（一個控制器+硬盤）軟盤8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.3大數(shù)據(jù)存儲技術（2）服務器系統(tǒng)：服務器是計算機的一種，它比普通計算機運行更快、負載更高、價格更貴。服務器在網(wǎng)絡中為其它客戶機（如PC機、智能手機、ATM等終端甚至是火車系統(tǒng)等大型設備）提供計算或者應用服務。塔式服務器

機架式服務器

刀片服務器8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.3大數(shù)據(jù)存儲技術

數(shù)據(jù)中心據(jù)“百度百科”定義：數(shù)據(jù)中心是全球協(xié)作的特定設備網(wǎng)絡，用來在因特網(wǎng)絡基礎設施上傳遞、加速、展示、計算、存儲數(shù)據(jù)信息。據(jù)“知乎”解釋：IDC（InternetDataCenter）是互聯(lián)網(wǎng)數(shù)據(jù)中心的簡稱。IDC通常可以被定義為一種擁有完善的設備（包括高速互聯(lián)網(wǎng)接入帶寬、高性能局域網(wǎng)絡、安全可靠的機房環(huán)境等）、專業(yè)化的管理、完善的應用級服務的服務平臺8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.3大數(shù)據(jù)存儲技術8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.3大數(shù)據(jù)存儲技術云計算是一種基于互聯(lián)網(wǎng)的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需提供給計算機和其他設備?；A設施即服務（IaaS）平臺即服務（PaaS）軟件即服務（SaaS）數(shù)據(jù)即服務（DaaS）8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.3大數(shù)據(jù)存儲技術（3）分布式系統(tǒng)

由一組通過網(wǎng)絡進行通信、為了完成共同的任務而協(xié)調工作的計算機節(jié)點組成的系統(tǒng)。用更多的機器，處理更多的數(shù)據(jù)分為：分布式存儲（storage）分布式計算（computation）8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.3大數(shù)據(jù)存儲技術分布式存儲（storage）分布式文件系統(tǒng)（DistributedFileSystem，DFS）物理存儲資源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡與節(jié)點（可簡單的理解為一臺計算機）相連；或是若干不同的邏輯磁盤分區(qū)或卷標組合在一起而形成的完整的有層次的文件系統(tǒng)。主要有：FastDFS、MogileFS、HDFS、TFS、MooseFS、KFS、Ceph8.3

大數(shù)據(jù)關鍵技術

第八章

分布式存儲（storage）分布式數(shù)據(jù)庫系統(tǒng)（distributeddatabase，DDBS）一群分布在計算機網(wǎng)絡上、邏輯上相互關聯(lián)的數(shù)據(jù)庫。分布式數(shù)據(jù)庫是一種設計理念，不是數(shù)據(jù)庫產(chǎn)品Oracle、SQLServer均有分布式部署功能國產(chǎn)：TiDB、OceanBase、TDSQL2021年5月國產(chǎn)數(shù)據(jù)庫流行度排行

8.3.3大數(shù)據(jù)存儲技術8.3

大數(shù)據(jù)關鍵技術

第八章

分布式計算（computation）把一個大計算任務拆分成多個小計算任務分布到若干臺機器上去計算，然后再進行結果匯總。目的在于分析計算海量的數(shù)據(jù)MapReduce:批處理模式Spark:基于內(nèi)存的分布式計算Flink:可以處理批處理任務的流處理框架Storm:流處理模式

8.3.3大數(shù)據(jù)存儲技術Nutch項目：開源搜索引擎系統(tǒng)，始于2002年。但開發(fā)者認為，這一架構可擴展度不夠，不能解決數(shù)十億網(wǎng)頁的搜索問題2004年，開源實現(xiàn)GFS，即Nutch的分布式文件系統(tǒng)NDFS。2005年，實現(xiàn)MapReduce編程模型。2006年，NDFS和MR移出Nutch，成為ApacheLucene的子項目，稱為Hadoop。Lucene是一個廣泛使用的文本搜索系統(tǒng)8.3

大數(shù)據(jù)關鍵技術

第八章

Hadoop：

8.3.3大數(shù)據(jù)存儲技術隨著處理任務不同，各種組件相繼出現(xiàn)，豐富了Hadoop生態(tài)圈8.3

大數(shù)據(jù)關鍵技術

第八章

數(shù)據(jù)分析：用適當?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析，將它們加以匯總和理解并消化，以求最大化地開發(fā)數(shù)據(jù)的功能，發(fā)揮數(shù)據(jù)的作用。描述性統(tǒng)計分析探索性數(shù)據(jù)分析驗證性數(shù)據(jù)分析

8.3.4大數(shù)據(jù)分析技術8.3

大數(shù)據(jù)關鍵技術

第八章

描述性統(tǒng)計分析：展示數(shù)據(jù)長的什么樣，使用幾個關鍵數(shù)據(jù)來描述整體的情況。最小值/最大值：所有數(shù)據(jù)的最小值/最大值，可用來檢驗數(shù)據(jù)是否存在異常情況；平均值：所有數(shù)據(jù)的平均值/加權平均值，用來描述數(shù)據(jù)的集中趨勢；中位數(shù)：將所有數(shù)據(jù)排序后，位于最中間的數(shù)據(jù)。方差/標準差：用來計算每個變量（觀察值）與總體平均值之間差異，通常用于描述數(shù)據(jù)的離散趨勢。其中方差為標準差的平方值。分位數(shù)：將所有的值由小到大排列并分成幾個等份，常用的有中位數(shù)（即二分位數(shù)）、四分位數(shù)、百分位數(shù)。四分位數(shù)也用于箱型圖的繪制。峰度：反映數(shù)據(jù)分析的平坦度，通常用于判斷數(shù)據(jù)正態(tài)性情況，峰度的絕對值越大，說明數(shù)據(jù)越陡峭。偏度：反映數(shù)據(jù)分布偏斜的方向和程度，偏度的絕對值越大，說明數(shù)據(jù)偏斜程度越高。

8.3.4大數(shù)據(jù)分析技術8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.4大數(shù)據(jù)分析技術描述性分析結果8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.4大數(shù)據(jù)分析技術探索性數(shù)據(jù)分析：對已有數(shù)據(jù)在盡量少的先驗假設下通過作圖、制表、方程擬合、計算特征量等手段探索數(shù)據(jù)的結構和規(guī)律的一種數(shù)據(jù)分析方法。例如：案例“啤酒與尿布”8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.4大數(shù)據(jù)分析技術8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.4大數(shù)據(jù)分析技術探索性數(shù)據(jù)分析在構建數(shù)據(jù)產(chǎn)品與支持決策方面的作用8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.4大數(shù)據(jù)分析技術驗證數(shù)據(jù)分析：是傳統(tǒng)統(tǒng)計學的內(nèi)容。所謂驗證，就是要根據(jù)研究的問題提出假設，再用統(tǒng)計的方法進行判斷提出的假設是否正確。按照是否進行抽樣而分為：描述性分析（探索性分析也有該部分內(nèi)容）推斷性分析（如參數(shù)估計和假設檢驗）8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.5大數(shù)據(jù)挖掘技術數(shù)據(jù)挖掘：又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)（KnowledgeDiscoverinDatabase，KDD），是目前人工智能和數(shù)據(jù)庫領域研究的熱點問題。它是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示隱含的、先前未知的并有潛在價值的信息的非平凡過程。顧名思義，數(shù)據(jù)挖掘就是試圖從海量數(shù)據(jù)中找出有用知識的過程。常用方法主要有：分類、回歸、聚類、關聯(lián)規(guī)則、偏差分析等8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.6大數(shù)據(jù)可視化技術大數(shù)據(jù)可視化的目的是準確而高效、精簡而全面地傳遞信息和知識。圖表展示數(shù)據(jù)，實際上比傳統(tǒng)的統(tǒng)計分析法更加精確和有啟發(fā)性。我們可以借助可視化的圖表尋找數(shù)據(jù)規(guī)律、分析推理、預測未來趨勢。8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.6大數(shù)據(jù)可視化技術8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.6大數(shù)據(jù)可視化技術要正確的理解數(shù)據(jù)，必須要清楚數(shù)據(jù)的背景信息。主要如下：何人（who）：誰收集的數(shù)據(jù)？數(shù)據(jù)是關于誰的？如何（how）：數(shù)據(jù)是如何收集的？何事（what）：數(shù)據(jù)是關于什么的？圍繞在數(shù)字周圍的信息是什么？何時（when）：數(shù)據(jù)是什么時候采集的?何地（where）：數(shù)據(jù)是來自什么地方？8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.6大數(shù)據(jù)可視化技術8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.6大數(shù)據(jù)可視化技術數(shù)據(jù)可視化的一般步驟：從基本的可視化著手，思考最終試圖繪制什么樣的變量，X軸和Y軸分別代表什么意思等。確定最能提供信息的指標（信息或變量）,對選中的指標選擇準確的圖表類型（比如：散點圖、柱狀圖等）。在繪制出的可視化圖表中，利用顏色、對比值等方式將讀者的注意力引向關鍵信息。8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.6大數(shù)據(jù)可視化技術數(shù)據(jù)可視化常用圖表8.3

大數(shù)據(jù)關鍵技術

第八章

8.3.6大數(shù)據(jù)可視化技術數(shù)據(jù)可視化常用工具ExcelTableauRPythonD3EchartsIcharts8.4大數(shù)據(jù)典型應用8.4

大數(shù)據(jù)典型應用

第八章

8.4.1醫(yī)療大數(shù)據(jù)8.4

大數(shù)據(jù)典型應用

第八章

8.4.1醫(yī)療大數(shù)據(jù)醫(yī)療大數(shù)據(jù)的典型特點：全生命周期：從嬰兒時期的出生醫(yī)學證明、疫苗接種記錄，到兒童時期的體驗數(shù)據(jù)、在校行為數(shù)據(jù)，再到青年時期的體驗數(shù)據(jù)、孕產(chǎn)婦數(shù)據(jù)，老年時期的養(yǎng)老數(shù)據(jù)等，貫穿了人的整個生命周期。多維度

：這些數(shù)據(jù)包含了個人數(shù)據(jù)、社會數(shù)據(jù)、藥企數(shù)據(jù)、險企數(shù)據(jù)等多個維度數(shù)據(jù)?？绲赜颍喝丝诘牧鲃訉е孪鄳尼t(yī)療數(shù)據(jù)產(chǎn)生了地域的變化，多人的流動甚至導致了更多的群體醫(yī)療數(shù)據(jù)的產(chǎn)生，比如一些大范圍的傳染性疾病，就與地域與極大的關系。8.4

大數(shù)據(jù)典型應用

第八章

8.4.1醫(yī)療大數(shù)據(jù)醫(yī)療大數(shù)據(jù)的價值體現(xiàn)：數(shù)據(jù)收集、整合，形成數(shù)據(jù)資產(chǎn)：醫(yī)療行業(yè)擁有大量的病例、病理報告、治愈方案、藥物報告等，這些都是寶貴的資產(chǎn)，經(jīng)過后續(xù)的分析、應用，可輔助病人快