數(shù)據(jù)管理技術(shù)及發(fā)展 省賽獲獎(jiǎng)

主講教師：魏巍巍北京信息職業(yè)技術(shù)學(xué)院數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用數(shù)據(jù)管理技術(shù)及發(fā)展創(chuàng)建采集任務(wù)01數(shù)據(jù)管理大數(shù)據(jù)管理0102目錄CONTENTS數(shù)據(jù)管理01數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用人工管理

時(shí)期：20世紀(jì)40年代中--50年代中產(chǎn)生的背景應(yīng)用需求 科學(xué)計(jì)算 硬件水平 無(wú)直接存取存儲(chǔ)設(shè)備軟件水平 沒(méi)有操作系統(tǒng) 處理方式 批處理 數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用應(yīng)用程序1數(shù)據(jù)集1應(yīng)用程序2數(shù)據(jù)集2應(yīng)用程序ｎ數(shù)據(jù)集n............人工管理階段應(yīng)用程序與數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)管理文件管理時(shí)期：20世紀(jì)50年代末--60年代中產(chǎn)生的背景應(yīng)用需求 科學(xué)計(jì)算、管理 硬件水平 磁盤(pán)、磁鼓 軟件水平 有文件系統(tǒng) 處理方式 聯(lián)機(jī)實(shí)時(shí)處理、批處理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用特點(diǎn)數(shù)據(jù)的管理者：文件系統(tǒng)，數(shù)據(jù)可長(zhǎng)期保存數(shù)據(jù)面向的對(duì)象：某一應(yīng)用程序數(shù)據(jù)的共享程度：共享性差、冗余度大數(shù)據(jù)的結(jié)構(gòu)化：記錄內(nèi)有結(jié)構(gòu)，整體無(wú)結(jié)構(gòu)數(shù)據(jù)的獨(dú)立性：獨(dú)立性差，數(shù)據(jù)的邏輯結(jié)構(gòu)改變必須修改應(yīng)用程序數(shù)據(jù)控制能力：應(yīng)用程序自己控制數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用應(yīng)用程序１文件１應(yīng)用程序２文件2應(yīng)用程序ｎ文件n存取方法............文件管理階段應(yīng)用程序與數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用數(shù)據(jù)庫(kù)管理

時(shí)期：20世紀(jì)60年代末以來(lái)產(chǎn)生的背景應(yīng)用背景 大規(guī)模管理 硬件背景 大容量磁盤(pán)、磁盤(pán)陣列 軟件背景 有數(shù)據(jù)庫(kù)管理系統(tǒng) 處理方式 聯(lián)機(jī)實(shí)時(shí)處理，分布處理，批處理數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用數(shù)據(jù)庫(kù)是在數(shù)據(jù)庫(kù)管理系統(tǒng)的集中控制之下，按一定的組織方式存儲(chǔ)起來(lái)的、相互關(guān)聯(lián)的數(shù)據(jù)集合。特點(diǎn)：數(shù)據(jù)真正實(shí)現(xiàn)了結(jié)構(gòu)化數(shù)據(jù)的共享性高，冗余度低，易擴(kuò)充數(shù)據(jù)獨(dú)立性高數(shù)據(jù)由DBMS統(tǒng)一管理和控制數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用DBMS應(yīng)用程序1應(yīng)用程序2數(shù)據(jù)庫(kù)…數(shù)據(jù)庫(kù)管理階段應(yīng)用程序與數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用學(xué)校數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)管理系統(tǒng)數(shù)據(jù)庫(kù)管理階段應(yīng)用程序和數(shù)據(jù)庫(kù)的關(guān)系學(xué)生部門(mén)教務(wù)部門(mén)人事部門(mén)人事管理應(yīng)用程序?qū)W生管理應(yīng)用程序教務(wù)管理應(yīng)用程序數(shù)據(jù)管理大數(shù)據(jù)管理02數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用大數(shù)據(jù)時(shí)代研究機(jī)構(gòu)對(duì)大數(shù)據(jù)的定義：是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。維基百科對(duì)大數(shù)據(jù)的定義：是一個(gè)數(shù)據(jù)量特別大，數(shù)據(jù)類(lèi)別特別多的數(shù)據(jù)集，是指無(wú)法在可承受的時(shí)間范圍內(nèi)無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用大數(shù)據(jù)特征（4V特征）大數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用數(shù)據(jù)思維從數(shù)據(jù)庫(kù)(database，DB)到大數(shù)據(jù)(bigdata，BD)轉(zhuǎn)變“池塘捕魚(yú)”VS“大海捕魚(yú)”“魚(yú)”是待處理的數(shù)據(jù)

數(shù)據(jù)類(lèi)型單一（結(jié)構(gòu)化為主）繁多（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化）模式和數(shù)據(jù)的關(guān)系先有模式后有數(shù)據(jù)(先有池塘后有魚(yú))先有數(shù)據(jù)后有模式模式隨數(shù)據(jù)增多不斷演變處理對(duì)象數(shù)據(jù)（池塘中的魚(yú)）(“魚(yú)”，通過(guò)某些“魚(yú)”判斷其他種類(lèi)的“魚(yú)”是否存在)處理工具OnesizefitsallNosizefitsall數(shù)據(jù)規(guī)模?。ㄒ訫B為處理單位）大（以GB、TB、PB為處理單位）大數(shù)據(jù)管理數(shù)據(jù)庫(kù)技術(shù)與應(yīng)用數(shù)據(jù)科學(xué)（DataScience）是指以數(shù)據(jù)為中心的科學(xué)，可以從從2個(gè)方面來(lái)以理解“以數(shù)據(jù)為中心的科學(xué)”的含義：是一門(mén)將“現(xiàn)實(shí)世界”映射到“數(shù)據(jù)世界”之后，在“數(shù)據(jù)層次”上研究“現(xiàn)實(shí)世界”的問(wèn)題，并根據(jù)“數(shù)據(jù)世界”的分析結(jié)果，對(duì)“現(xiàn)實(shí)世界”進(jìn)行預(yù)測(cè)、洞見(jiàn)、解釋或決策的新興科學(xué)。是一門(mén)以“數(shù)據(jù)”，尤其是“大數(shù)據(jù)”為研究對(duì)象，并以數(shù)據(jù)統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、數(shù)據(jù)可視化等為理論基礎(chǔ)，主要研究數(shù)據(jù)預(yù)處理、數(shù)據(jù)管理、數(shù)據(jù)計(jì)算等活動(dòng)的交叉性學(xué)科。大數(shù)據(jù)管