技術(shù)篇-數(shù)據(jù)資源管理技術(shù)

管理信息系統(tǒng)-基礎(chǔ)技術(shù)篇數(shù)據(jù)資源管理技術(shù)引言現(xiàn)在企業(yè)的問題不是數(shù)據(jù)太少，而是數(shù)據(jù)太多！“信息爆炸”面臨的問題存儲信息爆炸訪問共享安全引言引言引言數(shù)據(jù)是重要的組織資源，它同企業(yè)其他資源：勞動力、原材料、資金和設(shè)備一樣，應(yīng)該放在同等重要的位置上進(jìn)行管理。許多組織由于缺乏關(guān)于企業(yè)內(nèi)部運作和外部環(huán)境的高質(zhì)量的信息，因而在競爭中失敗。引言廣義的數(shù)據(jù)資源管理包括：文件組織數(shù)據(jù)庫和數(shù)據(jù)倉庫數(shù)據(jù)規(guī)劃和數(shù)據(jù)管理企業(yè)數(shù)據(jù)處理方式文件組織數(shù)據(jù)庫系統(tǒng)主要內(nèi)容：企業(yè)數(shù)據(jù)處理方式文件組織數(shù)據(jù)庫系統(tǒng)一、企業(yè)數(shù)據(jù)處理方式現(xiàn)代企業(yè)處理信息的方式主要有以下兩種：以聯(lián)機事務(wù)處理形式處理信息（OLTP）以聯(lián)機分析處理（OLAP）形式處理信息，并利用信息進(jìn)行決策OLTP

聯(lián)機事務(wù)處理(OLTP：OnLine

TransactionProcessing)基本特征：顧客的原始數(shù)據(jù)可以立即傳送到計算中心進(jìn)行處理，并在很短的時間內(nèi)給出處理結(jié)果。一個重要性能指標(biāo)是實時響應(yīng)時間(ResponseTime)

即用戶在終端上送入數(shù)據(jù)之后，到計算機對這個請求給出答復(fù)所需要的時間。

目前大多數(shù)企業(yè)運用業(yè)務(wù)數(shù)據(jù)庫（Operationaldatabase）和數(shù)據(jù)庫管理系統(tǒng)（DBMS）對OLTP提供支持。OLAP-OnLine

AnalyticalProcessing聯(lián)機分析處理企業(yè)從事務(wù)中獲取信息后，需要對信息進(jìn)行分析，以便從事各項決策任務(wù)。OLAP是一種為支持決策而進(jìn)行的信息處理方式。數(shù)據(jù)倉庫能支持聯(lián)機分析處理信息的功能OLTPvsOLAPOLTPOLAP數(shù)據(jù)特性原始、細(xì)節(jié)性數(shù)據(jù)匯總、提煉性資料數(shù)據(jù)時間性當(dāng)時的運算資料包含歷史數(shù)據(jù)變化頻率經(jīng)常少有變化，大多為查詢主題性功能導(dǎo)向、交易驅(qū)動分析導(dǎo)向、分析驅(qū)動數(shù)據(jù)處理量一次處理的數(shù)據(jù)量小一次處理的資料量大使用者針對操作人員、日常操作針對決策人員、支持管理需要性能要求可快速更新資料可快速得到查詢結(jié)果OLTPvsOLAP二、文件組織文件——數(shù)據(jù)庫的基礎(chǔ)數(shù)據(jù)的物理組織和邏輯組織幾種文件組織方式文件——數(shù)據(jù)庫的基礎(chǔ)1企業(yè)中的數(shù)據(jù)一般是以文件的形式組織起來的，并按檔案的方式存放在光盤、磁盤等存儲介質(zhì)上，應(yīng)用時根據(jù)用戶的指令，用特定的程序?qū)ξ募膬?nèi)容進(jìn)行操縱。2人們總是以文件為單位，操縱數(shù)據(jù)庫中的數(shù)據(jù)。數(shù)據(jù)的物理組織和邏輯組織信息的物理組織是面向機器、面向存儲設(shè)備信息的邏輯組織是面向用戶的應(yīng)用需求幾種文件組織方式文件是數(shù)據(jù)庫組織的基礎(chǔ)。文件的邏輯組織形式將直接影響整個信息系統(tǒng)的效率。幾種文件組織方式順序文件索引文件鏈表文件倒排文件順序文件順序文件是最簡單的文件，文件的各個記錄按邏輯順序存放在外存的連續(xù)區(qū)中，即順序文件中物理記錄的順序和邏輯記錄的順序一致。如果文件按關(guān)鍵字有序輸入，則形成的順序文件稱為順序有序文件；否則稱為順序無序文件。順序文件根據(jù)記錄的序號或記錄的相對位置來進(jìn)行存取，其特點是當(dāng)存取第i個記錄時，必須先搜索在它之前的i-1個記錄；插入新的記錄時，只能加在文件的末尾；若要更新文件中的某個記錄，則必須將整個文件進(jìn)行復(fù)制。順序文件：應(yīng)用場合最佳應(yīng)用場合，是在對諸記錄進(jìn)行批量存取時，即每次要讀或?qū)懸淮笈涗?。此時，對順序文件的存取效率是所有邏輯文件中最高的。在交互應(yīng)用的場合，如果用戶(程序)要求查找或修改單個記錄，為此系統(tǒng)便要去逐個地查找存諸記錄。這時，順序文件所表現(xiàn)出來的性能就可能很差，尤其是當(dāng)文件較大時，情況更為嚴(yán)重。增加或刪除一個記錄，比較困難。索引文件具有索引表的文件成為索引文件。索引表中的每一項稱作索引項。不論主文件是否按關(guān)鍵字有序，索引表中的索引項總是按關(guān)鍵字（或邏輯記錄號）順序排列。若數(shù)據(jù)區(qū)中的記錄也按關(guān)鍵字順序排列，則稱索引順序文件。反之，若數(shù)據(jù)區(qū)中記錄不按關(guān)鍵字順序排列，則稱非順序文件。索引文件可以大大提高表查找的速度。因為索引表容量小，且索引表按關(guān)鍵字有序。三大索引介紹科學(xué)引文索引（SCI)

《科學(xué)引文索引》（ScienceCitationIndex,簡稱SCI）是美國科學(xué)情報研究所（InstituteScientificInformation，簡稱ISI，http://）出版的一種世界著名的綜合性科技引文檢索刊物。工程索引（EI）《工程索引》（TheEngineeringIndex，簡稱EI）創(chuàng)刊于1884年，是美國工程信息公司(EngineeringinformationInc.)出版的著名工程技術(shù)類綜合性檢索工具。《科技會議錄索引》ISTP創(chuàng)刊于1978年，由美國科學(xué)情報研究所編輯出版。該索引收錄生命科學(xué)、物理與化學(xué)科學(xué)、農(nóng)業(yè)、生物和環(huán)境科學(xué)、工程技術(shù)和應(yīng)用科學(xué)等學(xué)科的會議文獻(xiàn)，包括一般性會議、座談會、研究會、討論會、發(fā)表會等。其中工程技術(shù)與應(yīng)用科學(xué)類文獻(xiàn)約占35%，其他涉及學(xué)科基本與SCI相同。三者比較SCI最能反映基礎(chǔ)學(xué)科研究水平和論文質(zhì)量，該檢索系統(tǒng)收錄的科技期刊比較全面，可以說它是集中各個學(xué)科高質(zhì)優(yōu)秀論文的精粹，該檢索系統(tǒng)歷來成為世界科技界密切注視的中心和焦點。ISTP、EI這兩個檢索系統(tǒng)評定科技論文和科技期刊的質(zhì)量標(biāo)準(zhǔn)方面相比之下較為寬松。

揚大躋身全國高校五十強北美普林斯頓大學(xué)中國大學(xué)研究專家菲萊德公布2006年中國大學(xué)100強排名，我省有13家高校入選，揚州大學(xué)排名46位，躋身前五十強。該排名主要依據(jù)2005年各高校在ＳＣＩ上及在美國的影響力。高校2004年生物類SCI論文排序，揚州大學(xué)37位，8篇。三、數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)庫處理數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫模型和數(shù)據(jù)庫組織結(jié)構(gòu)數(shù)據(jù)庫設(shè)計數(shù)據(jù)庫技術(shù)發(fā)展趨勢數(shù)據(jù)庫處理文件系統(tǒng)的缺點數(shù)據(jù)冗余與數(shù)據(jù)不一致性數(shù)據(jù)結(jié)構(gòu)的不一致性數(shù)據(jù)信息共享性低數(shù)據(jù)庫系統(tǒng)克服了文件系統(tǒng)的這些缺點。

數(shù)據(jù)管理技術(shù)的產(chǎn)生和發(fā)展什么是數(shù)據(jù)管理對數(shù)據(jù)進(jìn)行分類、組織、編碼、存儲、檢索和維護，是數(shù)據(jù)處理的中心問題數(shù)據(jù)管理技術(shù)的發(fā)展過程人工管理階段(40年代中--50年代中)文件系統(tǒng)階段(50年代末--60年代中)數(shù)據(jù)庫系統(tǒng)階段(60年代末--現(xiàn)在)人工管理時期40年代中--50年代中產(chǎn)生的背景應(yīng)用需求：科學(xué)計算硬件水平：無直接存取存儲設(shè)備軟件水平：沒有操作系統(tǒng) 處理方式：批處理 特點數(shù)據(jù)的管理者：應(yīng)用程序，數(shù)據(jù)不保存。數(shù)據(jù)面向的對象：某一應(yīng)用程序數(shù)據(jù)共享：無共享、冗余度極大數(shù)據(jù)獨立性：不獨立，完全依賴于程序數(shù)據(jù)結(jié)構(gòu)化：無結(jié)構(gòu)數(shù)據(jù)控制：應(yīng)用程序自己控制應(yīng)用程序１數(shù)據(jù)集１應(yīng)用程序２數(shù)據(jù)集２應(yīng)用程序ｎ數(shù)據(jù)集n...…...…應(yīng)用程序與數(shù)據(jù)的對應(yīng)關(guān)系(人工管理)文件系統(tǒng)時期50年代末--60年代中產(chǎn)生的背景應(yīng)用需求：科學(xué)計算、管理 硬件水平：磁盤、磁鼓 軟件水平：文件系統(tǒng) 處理方式：聯(lián)機實時處理、批處理特點數(shù)據(jù)管理者：文件系統(tǒng)，數(shù)據(jù)可長期保存數(shù)據(jù)面向?qū)ο螅耗骋粦?yīng)用程序數(shù)據(jù)共享程度：共享性差、冗余度大數(shù)據(jù)結(jié)構(gòu)化：記錄內(nèi)有結(jié)構(gòu),整體無結(jié)構(gòu)數(shù)據(jù)獨立性：獨立性差，數(shù)據(jù)的邏輯結(jié)構(gòu)改變必須修改應(yīng)用程序數(shù)據(jù)控制能力：應(yīng)用程序自己控制應(yīng)用程序１文件１應(yīng)用程序２文件2應(yīng)用程序ｎ文件n存取方法...…...…應(yīng)用程序與數(shù)據(jù)的對應(yīng)關(guān)系(文件系統(tǒng)階段)時期60年代末以來產(chǎn)生的背景應(yīng)用背景：大規(guī)模管理硬件背景：大容量磁盤軟件背景：有數(shù)據(jù)庫管理系統(tǒng)處理方式：聯(lián)機實時處理,分布處理,批處理 特點數(shù)據(jù)的管理者：DBMS數(shù)據(jù)面向的對象：現(xiàn)實世界數(shù)據(jù)的共享程度：共享性高數(shù)據(jù)的獨立性：高度的物理獨立性和一定的邏輯獨立性數(shù)據(jù)的結(jié)構(gòu)化：整體結(jié)構(gòu)化數(shù)據(jù)控制能力：由DBMS統(tǒng)一管理和控制數(shù)據(jù)庫系統(tǒng)應(yīng)用程序與數(shù)據(jù)的對應(yīng)關(guān)系(數(shù)據(jù)庫系統(tǒng))DBMS應(yīng)用程序1應(yīng)用程序2數(shù)據(jù)庫…數(shù)據(jù)庫管理系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)（DatabaseManagementSystem，DBMS）是位于用戶與操作系統(tǒng)之間的一層數(shù)據(jù)管理軟件。DBMS的用途：科學(xué)地組織和存儲數(shù)據(jù)、高效地獲取和維護數(shù)據(jù)用戶（包括數(shù)據(jù)庫管理員）應(yīng)用程序數(shù)據(jù)庫管理系統(tǒng)操作系統(tǒng)硬件DBMS的主要功能A數(shù)據(jù)定義功能提供數(shù)據(jù)定義語言(DDL)

定義數(shù)據(jù)庫中的數(shù)據(jù)對象B數(shù)據(jù)操縱功能:提供數(shù)據(jù)操縱語言實現(xiàn)對數(shù)據(jù)庫的基本操作，如查詢、插入、刪除和修改等。SQL查詢語言。C數(shù)據(jù)庫的運行管理

數(shù)據(jù)安全性、完整性 并發(fā)訪問 故障恢復(fù)D

實用程序

數(shù)據(jù)批量裝載數(shù)據(jù)庫轉(zhuǎn)儲數(shù)據(jù)庫的重組織性能監(jiān)視等數(shù)據(jù)庫模型與數(shù)據(jù)庫組織結(jié)構(gòu)數(shù)據(jù)庫模型主要有三種：層次模型網(wǎng)絡(luò)模型關(guān)系模型關(guān)系模型是最重要的一種數(shù)據(jù)模型。也是目前主要采用的數(shù)據(jù)模型。1970年由美國IBM公司SanJose研究室的研究員E.F.Codd首次提出數(shù)據(jù)庫系統(tǒng)的關(guān)系模型。關(guān)系模型以數(shù)學(xué)中的關(guān)系理論為基礎(chǔ)。層次數(shù)據(jù)模型層次模型是數(shù)據(jù)庫系統(tǒng)中最早使用的模型，適合一對多的關(guān)系層次模型結(jié)構(gòu)簡單，容易實現(xiàn)，對于某些特定的應(yīng)用系統(tǒng)效率很高，但如果需要動態(tài)訪問數(shù)據(jù)（如增加或修改記錄類型）時，效率不高。另外，對于一些非層次性結(jié)構(gòu)（如多對多聯(lián)系），層次模型表達(dá)起來比較繁瑣和不直觀。網(wǎng)狀數(shù)據(jù)模型網(wǎng)狀模型可以看作是層次模型的一種擴展。它采用網(wǎng)狀結(jié)構(gòu)表示實體及其之間的聯(lián)系。網(wǎng)狀模型與層次模型相比，提供了更大的靈活性，能更直接地描述現(xiàn)實世界，性能和效率也比較好。網(wǎng)狀模型的缺點是結(jié)構(gòu)復(fù)雜，用戶不易掌握，記錄類型聯(lián)系變動后涉及鏈接指針的調(diào)整，擴充和維護都比較復(fù)雜。實體實體實體實體實體關(guān)系數(shù)據(jù)模型關(guān)系模型是目前應(yīng)用最多、也最為重要的一種數(shù)據(jù)模型。關(guān)系模型建立在嚴(yán)格的數(shù)學(xué)概念基礎(chǔ)上，采用二維表格結(jié)構(gòu)來表示實體和實體之間的聯(lián)系。二維表由行和列組成。關(guān)系模型概念清晰，結(jié)構(gòu)簡單，實體、實體聯(lián)系和查詢結(jié)果都采用關(guān)系表示，用戶比較容易理解。另外，關(guān)系模型的存取路徑對用戶是透明的，程序員不用關(guān)心具體的存取過程，減輕了程序員的工作負(fù)擔(dān)，具有較好的數(shù)據(jù)獨立性和安全保密性。關(guān)系模型也有一些缺點，在某些實際應(yīng)用中，關(guān)系模型的查詢效率有時不如層次和網(wǎng)狀模型。為了提高查詢的效率，有時需要對查詢進(jìn)行一些特別的優(yōu)化數(shù)據(jù)表數(shù)據(jù)表數(shù)據(jù)表核心服務(wù)用戶用戶用戶關(guān)系模型在用戶觀點下，關(guān)系模型中數(shù)據(jù)的邏輯結(jié)構(gòu)是一張二維表，它由行和列組成。關(guān)系模型的基本概念關(guān)系（Relation）一個關(guān)系對應(yīng)一張表。元組（Tuple）表中的一行即為一個元組。屬性（Attribute）表中的一列即為一個屬性，給每一個屬性起一個名稱即屬性名。主碼（Key）表中的某個屬性組，它可以唯一確定一個元組。域（Domain）屬性的取值范圍。分量元組中的一個屬性值。關(guān)系模式對關(guān)系的描述關(guān)系名（屬性1，屬性2，…，屬性n）數(shù)據(jù)庫組織結(jié)構(gòu)--SPARC分級結(jié)構(gòu)用戶級數(shù)據(jù)庫用戶1用戶2用戶3用戶4外模式A外模式B外模式C外模式到概念模式的映射概念模式概念模式到內(nèi)模式的映射內(nèi)模式DBMSOS物理級數(shù)據(jù)庫概念級數(shù)據(jù)庫用戶視圖DBA視圖物理視圖數(shù)據(jù)庫設(shè)計數(shù)據(jù)庫是信息系統(tǒng)的核心組成部分。數(shù)據(jù)庫設(shè)計在信息系統(tǒng)開發(fā)中占有重要地位，數(shù)據(jù)庫設(shè)計的質(zhì)量將影響信息系統(tǒng)的運行效率及用戶對數(shù)據(jù)使用的滿意度。數(shù)據(jù)庫設(shè)計數(shù)據(jù)庫設(shè)計是一個從現(xiàn)實世界向計算機數(shù)據(jù)世界轉(zhuǎn)換的過程?，F(xiàn)實世界信息世界數(shù)據(jù)世界數(shù)據(jù)庫設(shè)計客觀世界信息世界（概念世界）數(shù)據(jù)世界事物及其聯(lián)系實體及其聯(lián)系（概念模型）數(shù)據(jù)庫（數(shù)據(jù)模型）事物類實體集文件對象、個體實體記錄性質(zhì)屬性數(shù)據(jù)項三個不同世界術(shù)語對照表數(shù)據(jù)庫設(shè)計步驟需求分析概念建模導(dǎo)出關(guān)系數(shù)據(jù)模型數(shù)據(jù)庫設(shè)計步驟需求分析概念建模導(dǎo)出關(guān)系數(shù)據(jù)模型了解組織機構(gòu)情況，為分析信息流做準(zhǔn)備了解各部門業(yè)務(wù)情況，調(diào)查各部門輸入、處理、使用數(shù)據(jù)情況確定數(shù)據(jù)庫的信息組成計算機系統(tǒng)應(yīng)實現(xiàn)的功能數(shù)據(jù)庫設(shè)計步驟需求分析概念建模導(dǎo)出關(guān)系數(shù)據(jù)模型建立分ER圖綜合分ER圖，產(chǎn)生總ER圖數(shù)據(jù)庫設(shè)計步驟需求分析概念建模導(dǎo)出關(guān)系數(shù)據(jù)模型從ER圖導(dǎo)出計算機世界的關(guān)系數(shù)據(jù)模型數(shù)據(jù)庫設(shè)計案例：學(xué)院教學(xué)管理數(shù)據(jù)庫設(shè)計基本信息描述：某學(xué)院下設(shè)4個系：管理工程系、會計系、市場營銷系、信息管理系。每個系由一個系主任主管該系工作。該學(xué)院聘請了一定數(shù)量的專職教師。學(xué)院聘請教師后，分配到各系。一個系由多個教師，一個教師只能屬于一個系。學(xué)院每年招收新生，分配到各個專業(yè)。學(xué)院制定教學(xué)計劃，設(shè)置多項課程。學(xué)生根據(jù)專業(yè)要求，每年學(xué)習(xí)多門課程，每門課程被多個學(xué)生選讀。學(xué)生必須參加考試，獲取成績。一個教師可以上多門課程，一門課程可由多個教師講授。教師授課任務(wù)完成后，將被學(xué)生與院方評估。需求分析數(shù)據(jù)庫設(shè)計案例：學(xué)院教學(xué)管理數(shù)據(jù)庫設(shè)計系和教師分ER圖：概念建模系教師分配1n代號名稱系主任辦公地點電話專業(yè)姓名編號數(shù)據(jù)庫設(shè)計案例：學(xué)院教學(xué)管理數(shù)據(jù)庫設(shè)計學(xué)生和課程分ER圖：概念建模學(xué)生課程學(xué)習(xí)mn學(xué)號姓名性別年齡所屬系學(xué)分課程名編號成績數(shù)據(jù)庫設(shè)計案例：學(xué)院教學(xué)管理數(shù)據(jù)庫設(shè)計教師和課程分ER圖：概念建模教師課程教學(xué)mn編號姓名專業(yè)學(xué)分課程名編號學(xué)生評估學(xué)院評估數(shù)據(jù)庫設(shè)計案例：學(xué)院