計(jì)算機(jī)科學(xué)導(dǎo)論 課件 第3章 數(shù)據(jù)思維

第3章數(shù)據(jù)思維

數(shù)據(jù)的組織數(shù)據(jù)的管理02

數(shù)據(jù)的價(jià)值0301本章目錄01數(shù)據(jù)的組織數(shù)據(jù)的組織011、數(shù)據(jù)的邏輯結(jié)構(gòu)數(shù)據(jù)的組織012、數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)數(shù)據(jù)在內(nèi)存中存放有兩種形態(tài)：一是存放數(shù)據(jù)的內(nèi)存單元地址是相鄰的，二是存放數(shù)據(jù)的內(nèi)存單元地址不相鄰。因此，當(dāng)數(shù)據(jù)元素存放在地址連續(xù)的存儲(chǔ)單元中，其數(shù)據(jù)之間的邏輯關(guān)系和存儲(chǔ)關(guān)系是一致的，這樣的存儲(chǔ)結(jié)構(gòu)稱為順序存儲(chǔ)結(jié)構(gòu)。當(dāng)數(shù)據(jù)元素存放在任意的存儲(chǔ)單元中，這組存儲(chǔ)單元可以是連續(xù)的或不連續(xù)的，數(shù)據(jù)元素的存儲(chǔ)關(guān)系并不能反映其邏輯關(guān)系，通常使用地址指針來(lái)表示數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，這種存儲(chǔ)結(jié)構(gòu)稱為鏈?zhǔn)酱鎯?chǔ)結(jié)構(gòu)。此外，數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)還有索引存儲(chǔ)結(jié)構(gòu)和散列（Hash）存儲(chǔ)結(jié)構(gòu)，這兩種存儲(chǔ)結(jié)構(gòu)并不是一種“全新”的存儲(chǔ)結(jié)構(gòu)，而是在前兩種存儲(chǔ)結(jié)構(gòu)的基礎(chǔ)上擴(kuò)展定義出的存儲(chǔ)結(jié)構(gòu)。數(shù)據(jù)的組織013、數(shù)據(jù)結(jié)構(gòu)定義數(shù)據(jù)是計(jì)算機(jī)處理符號(hào)的總稱，數(shù)據(jù)是由數(shù)據(jù)元素構(gòu)成的，數(shù)據(jù)元素之間存在關(guān)系，數(shù)據(jù)的存儲(chǔ)需要根據(jù)內(nèi)存的特點(diǎn)選擇適當(dāng)?shù)姆绞竭M(jìn)行存儲(chǔ)，由此，數(shù)據(jù)結(jié)構(gòu)DS可用一個(gè)三元組描述為：DS=（E,R,M）其中，E表示數(shù)據(jù)元素的集合，R表示數(shù)據(jù)元素之間關(guān)系的集合，M表示存儲(chǔ)數(shù)據(jù)元素的存儲(chǔ)單元的集合。數(shù)據(jù)的組織01線性表數(shù)據(jù)的組織01樹(shù)（1）度。一個(gè)結(jié)點(diǎn)的子樹(shù)個(gè)數(shù)稱為此結(jié)點(diǎn)的度，樹(shù)中所有結(jié)點(diǎn)的度的最大值稱為樹(shù)的度。（2）樹(shù)的高度。樹(shù)中的結(jié)點(diǎn)有層次之分，從根結(jié)點(diǎn)開(kāi)始定義，根結(jié)點(diǎn)的層次為1，根的直接后繼的層次為2，依次類推，樹(shù)中所有結(jié)點(diǎn)的層次的最大值稱為樹(shù)的高度，亦稱深度。（3）葉子結(jié)點(diǎn)和分支結(jié)點(diǎn)。根據(jù)結(jié)點(diǎn)的度，樹(shù)中的結(jié)點(diǎn)可以分為兩類，一類是度為0的結(jié)點(diǎn)稱為葉子結(jié)點(diǎn)或終端結(jié)點(diǎn)；一類是度不為0的結(jié)點(diǎn)稱為分支結(jié)點(diǎn)或非終端結(jié)點(diǎn)。（4）雙親結(jié)點(diǎn)、孩子結(jié)點(diǎn)和兄弟結(jié)點(diǎn)。一個(gè)結(jié)點(diǎn)的直接前驅(qū)稱為該結(jié)點(diǎn)的雙親結(jié)點(diǎn)。一個(gè)結(jié)點(diǎn)的直接后繼稱為該結(jié)點(diǎn)的孩子結(jié)點(diǎn)。同一雙親結(jié)點(diǎn)的孩子結(jié)點(diǎn)之間互稱兄弟結(jié)點(diǎn)。（5）祖先結(jié)點(diǎn)和子孫結(jié)點(diǎn)。從根結(jié)點(diǎn)到某一個(gè)結(jié)點(diǎn)的路徑上的所有結(jié)點(diǎn)稱為該結(jié)點(diǎn)的祖先結(jié)點(diǎn)，以某結(jié)點(diǎn)為根的子樹(shù)中的任一結(jié)點(diǎn)都稱為該結(jié)點(diǎn)的子孫結(jié)點(diǎn)。樹(shù)是指在n（n≥0）個(gè)結(jié)點(diǎn)構(gòu)成的有限集合T中，當(dāng)n=0時(shí)，稱為空樹(shù)；當(dāng)n>0時(shí)，稱為非空樹(shù)，且滿足如下條件：（1）樹(shù)有一個(gè)稱為根（Root）的結(jié)點(diǎn)，即根結(jié)點(diǎn)，該結(jié)點(diǎn)沒(méi)有直接前驅(qū)，但有零個(gè)或多個(gè)直接后繼。（2）除根結(jié)點(diǎn)之外的其余n-1個(gè)結(jié)點(diǎn)可以劃分成m（m≥0）個(gè)互不相交的有限集T1，T2，T3，...，Tm，其中子集Ti又是一棵樹(shù)，稱為根結(jié)點(diǎn)的子樹(shù)。數(shù)據(jù)的組織01樹(shù)在一棵樹(shù)中，如果各子樹(shù)之間是有先后次序的，則稱為有序樹(shù)，否則稱為無(wú)序樹(shù)。二叉樹(shù)（BinaryTree）是一棵除葉子結(jié)點(diǎn)外，每個(gè)結(jié)點(diǎn)至多只有兩棵子樹(shù)的有序樹(shù)，即結(jié)點(diǎn)的度都不大于2。與此同時(shí)，二叉樹(shù)的這兩棵子樹(shù)有左右之分，其次序不能任意顛倒，位于左邊的子樹(shù)稱為左子樹(shù)，位于右邊的子樹(shù)稱為右子樹(shù)。數(shù)據(jù)的組織01圖圖由頂點(diǎn)和頂點(diǎn)之間的邊的集合組成，設(shè)V為圖G頂點(diǎn)的非空有限集合，圖G中每一條邊的兩個(gè)頂點(diǎn)互為鄰接點(diǎn)，E是圖G邊的有限集合，則圖G可形式化描述為：G=<V，E>若圖中的每條邊沒(méi)有方向，則稱該圖為無(wú)向圖，無(wú)向圖中的邊均為頂點(diǎn)的無(wú)序?qū)?。若圖中的每條邊是有方向的，則稱該圖是有向圖，有向圖中的邊也稱為弧，是由兩個(gè)頂點(diǎn)構(gòu)成的有序?qū)?2數(shù)據(jù)的管理02數(shù)據(jù)的管理一、數(shù)據(jù)庫(kù)系統(tǒng)DBMS管理數(shù)據(jù)庫(kù)的一種系統(tǒng)軟件DBA完成某一功能的應(yīng)用程序1應(yīng)用程序2應(yīng)用程序nDBAP1DBAP2DBAPn相互有關(guān)聯(lián)關(guān)系的表形式數(shù)據(jù)的集合數(shù)據(jù)庫(kù)//DatabaseDBMS如何支持用戶操縱數(shù)據(jù)庫(kù)？數(shù)據(jù)庫(kù)(DB):Database數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS):DatabaseManagementSystem數(shù)據(jù)庫(kù)應(yīng)用(DBAP):DataBaseApplication數(shù)據(jù)庫(kù)管理員(DBA):DataBaseAdministrator計(jì)算機(jī)軟硬件02數(shù)據(jù)的管理二、數(shù)據(jù)模型數(shù)據(jù)模型是一組嚴(yán)格定義的概念集合，是對(duì)現(xiàn)實(shí)世界中的事物特征、聯(lián)系和行為的抽象。數(shù)據(jù)模型精確地描述了系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)操作和數(shù)據(jù)完整性約束條件。02數(shù)據(jù)的管理概念數(shù)據(jù)模型簡(jiǎn)稱概念模型，是對(duì)現(xiàn)實(shí)世界的第一層抽象，用戶和數(shù)據(jù)庫(kù)設(shè)計(jì)人員之間進(jìn)行交流的工具。概念模型是整個(gè)數(shù)據(jù)模型的基礎(chǔ)，側(cè)重于對(duì)客觀世界復(fù)雜事物的結(jié)構(gòu)及它們內(nèi)在聯(lián)系的描述，與具體的計(jì)算機(jī)平臺(tái)和數(shù)據(jù)庫(kù)管理系統(tǒng)無(wú)關(guān)的。目前常用概念模型是實(shí)體-聯(lián)系模型（Entity-RelationshipModel，E-R模型）課程學(xué)生選修學(xué)號(hào)姓名年齡性別系別課程號(hào)學(xué)分課程名成績(jī)mn用矩形表示實(shí)體型；用橢圓表示屬性；用菱形表示聯(lián)系，并標(biāo)示出聯(lián)系的類型02數(shù)據(jù)的管理邏輯數(shù)據(jù)模型簡(jiǎn)稱邏輯模型，是客觀世界的抽象描述到信息世界的轉(zhuǎn)換。邏輯模型直接與DBMS有關(guān)，概念模型只有在轉(zhuǎn)換成邏輯模型后才能在數(shù)據(jù)庫(kù)中得以表示。目前成熟的邏輯模型有層次模型（HierarchicalModel）、網(wǎng)狀模型（NetworkModel）、關(guān)系模型（RelationalModel）以及面向?qū)ο竽Ｐ停∣bjectOrientedModel）。02數(shù)據(jù)的管理物理數(shù)據(jù)模型簡(jiǎn)稱物理模型，是面向計(jì)算機(jī)物理表示的模型，是信息世界模型在機(jī)器世界的實(shí)現(xiàn)，即將信息世界的實(shí)體及其聯(lián)系抽象為便于計(jì)算機(jī)存儲(chǔ)的二進(jìn)制格式。物理模型給出了數(shù)據(jù)模型在計(jì)算機(jī)上真正的物理結(jié)構(gòu)的表示。02數(shù)據(jù)的管理三、關(guān)系數(shù)據(jù)庫(kù)市場(chǎng)上常見(jiàn)的關(guān)系數(shù)據(jù)庫(kù)產(chǎn)品包括Oracle、SQLServer、MySQL、DB2等關(guān)系數(shù)據(jù)庫(kù)按照結(jié)構(gòu)化的方法存儲(chǔ)數(shù)據(jù)，每個(gè)數(shù)據(jù)表的結(jié)構(gòu)都事先定義好（比如表的名稱、字段名稱、字段類型、約束等），然后根據(jù)表的結(jié)構(gòu)，數(shù)據(jù)以行和列的方式進(jìn)行存儲(chǔ)，讀取和查詢都十分方便，可靠性和穩(wěn)定性都比較高02數(shù)據(jù)的管理02數(shù)據(jù)的管理基本動(dòng)作對(duì)基本動(dòng)作的抽象【并】操作

【差】操作

【積】操作

【選擇】操作

【投影】操作

解釋這種組合,并按次序調(diào)用基本動(dòng)作予以執(zhí)行程序執(zhí)行機(jī)構(gòu)程序指令基本動(dòng)作SelectSnameFromStudent,SCWhereStudent.S#=SC.S#andSC.C#=‘001’OrderByScoreDESC;

Sname(student.s#=sc.s#(StudentSC))關(guān)系模型基本運(yùn)算關(guān)系模型基本運(yùn)算的各種組合SQL語(yǔ)言數(shù)據(jù)庫(kù)管理系統(tǒng)復(fù)雜動(dòng)作=基本動(dòng)作的各種方式的組合02數(shù)據(jù)的管理02數(shù)據(jù)的管理關(guān)系數(shù)據(jù)庫(kù)（按行存儲(chǔ)數(shù)據(jù)，按列按類型區(qū)分）第一種NoSQL數(shù)據(jù)庫(kù)（按“屬性名：屬性值”對(duì)存儲(chǔ)數(shù)據(jù)，均為字符串?dāng)?shù)據(jù)）第二種NoSQL數(shù)據(jù)庫(kù)（按文檔存儲(chǔ)數(shù)據(jù)，一行是一個(gè)文檔）第二種NoSQL數(shù)據(jù)庫(kù)（按文檔存儲(chǔ)數(shù)據(jù)，一行是一個(gè)文檔，文檔中還可能嵌入文檔）與關(guān)系數(shù)據(jù)庫(kù)相比，最大的優(yōu)點(diǎn)：（1）可擴(kuò)展性—可隨時(shí)增加新屬性列和減少屬性列，而無(wú)須改變以前存儲(chǔ)的數(shù)據(jù)。（2）無(wú)需事先定義模式，可直接操縱數(shù)據(jù)（3）并行/分布處理—可適應(yīng)大規(guī)模并行/分布計(jì)算?！綨oSQL】“不僅是SQL，而不是NO-to-SQL”，不僅能管理結(jié)構(gòu)化數(shù)據(jù)，而且能管理半結(jié)構(gòu)化甚至非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫(kù)。為處理大數(shù)據(jù)，多數(shù)都采用分布式存儲(chǔ)技術(shù)<標(biāo)記>文本</標(biāo)記>“標(biāo)記”:“文本”02數(shù)據(jù)的管理抽象理論設(shè)計(jì)理論支持設(shè)計(jì)：設(shè)計(jì)正確性、完備性判定方法先抽象再設(shè)計(jì)：從管理一個(gè)具體的表，到可管理所有的表抽象：區(qū)分并命名表的每一個(gè)形式要素理論：數(shù)學(xué)化邏輯嚴(yán)密化各種概念；設(shè)計(jì)：語(yǔ)言/實(shí)現(xiàn)/系統(tǒng)理論指導(dǎo)下的抽象：抽象更為嚴(yán)密E.F.Codd,基于對(duì)“表(Table)”的理解:

提出了“關(guān)系”及關(guān)系模型，提出了關(guān)系數(shù)據(jù)庫(kù)理論開(kāi)創(chuàng)了數(shù)據(jù)庫(kù)的時(shí)代，當(dāng)前普遍應(yīng)用的數(shù)據(jù)庫(kù)管理系統(tǒng)的奠基者獲得了計(jì)算機(jī)領(lǐng)域最高獎(jiǎng)“圖靈獎(jiǎng)”03數(shù)據(jù)的價(jià)值03數(shù)據(jù)的價(jià)值1、大數(shù)據(jù)的概念大數(shù)據(jù)由巨型數(shù)據(jù)集組成，這些數(shù)據(jù)集的大小常超出人們?cè)诳山邮軙r(shí)間內(nèi)的收集、應(yīng)用、管理和處理能力。大數(shù)據(jù)具有數(shù)據(jù)量大（Volume）、數(shù)據(jù)類型多樣（Variety）、處理速度快（Velocity）和價(jià)值密度低（Value）的特點(diǎn)。03數(shù)據(jù)的價(jià)值2、思維轉(zhuǎn)變由于數(shù)據(jù)已經(jīng)具備了資本的屬性，可以用來(lái)創(chuàng)造經(jīng)濟(jì)價(jià)值，因此，大數(shù)據(jù)時(shí)代思維方式也在發(fā)生轉(zhuǎn)變。維克托·邁爾·舍恩伯格在《大數(shù)據(jù)時(shí)代：生活、工作與思維的大變革》一書中明確指出，大數(shù)據(jù)時(shí)代最大的轉(zhuǎn)變就是思維方式的3種轉(zhuǎn)變，即全樣而非抽樣、效率而非精確、相關(guān)而非因果。03數(shù)據(jù)的價(jià)值3、大數(shù)據(jù)的應(yīng)用03數(shù)據(jù)的價(jià)值4、數(shù)據(jù)挖掘數(shù)據(jù)挖掘，又稱為數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn)，它是一個(gè)從大量數(shù)據(jù)中抽取挖掘出未知的、有價(jià)值的模式或規(guī)律等知識(shí)的復(fù)雜過(guò)程。簡(jiǎn)單地講就是從大量數(shù)據(jù)中挖掘或抽取出知識(shí)。03數(shù)據(jù)的價(jià)值數(shù)據(jù)對(duì)超市經(jīng)營(yíng)有無(wú)幫助呢?客戶購(gòu)買習(xí)慣商品組合方式及策略……營(yíng)銷策略價(jià)格策略貨源組織03數(shù)據(jù)的價(jià)值數(shù)據(jù)挖掘之關(guān)聯(lián)規(guī)則挖掘商品的關(guān)聯(lián)規(guī)則“尿布”