數(shù)據(jù)挖掘概念與技術(shù) 期末考試名詞解釋整理

數(shù)據(jù)倉庫的概念及特點(diǎn)：數(shù)據(jù)倉庫是一種為信息分析提供了良好的基礎(chǔ)并支持管理決策活動的分析環(huán)境，是面向主題的，集成的，穩(wěn)定的，不可更新的,隨時間變化的，分層次的,多維的集成數(shù)據(jù)集合。特點(diǎn)：1主題與面向主題；2數(shù)據(jù)的集成性；3數(shù)據(jù)的不可更新性；4數(shù)據(jù)的時態(tài)性。為什么要建立數(shù)據(jù)倉庫：為了使數(shù)據(jù)能夠發(fā)揮其最佳效用，更好的為用戶服務(wù)，才要建立數(shù)據(jù)倉庫。它可以從各信息源提取決策需要的數(shù)據(jù)，加工后，存儲到數(shù)據(jù)倉庫中；并且可以提供用戶的查詢和決策分析的依據(jù)。數(shù)據(jù)挖掘及其特點(diǎn)：DM是從大量的，不完全的，有噪聲的，模糊的，隨機(jī)的應(yīng)用數(shù)據(jù)中，提取隱含在其中的，人們事先不知道的，但又是潛在有用的信息和知識的過程。特點(diǎn)處理的數(shù)據(jù)規(guī)模十分龐大；2由于用戶不能形成精確地查對數(shù)據(jù)的迅速變化做出快速響應(yīng)，以提供決策支持信息；4DM中規(guī)則的發(fā)現(xiàn)基于統(tǒng)計(jì)規(guī)律，發(fā)現(xiàn)的規(guī)則不必適合于所有數(shù)據(jù)，而且當(dāng)達(dá)到某一閾值時，便認(rèn)為有此規(guī)則；5DM不斷更新。數(shù)據(jù)挖掘的基本過程，數(shù)據(jù)挖掘有幾步？數(shù)據(jù)準(zhǔn)備：本階段又可進(jìn)挖掘：數(shù)據(jù)挖掘處理器綜合利用前面提到的多種數(shù)據(jù)挖掘方法分析數(shù)據(jù)。3表述：與檢驗(yàn)證型工具一樣，數(shù)據(jù)挖掘?qū)@取的信息以便于用戶理解和觀察的方式反映給用戶，這是可以利用可視化直到滿意為止。步驟：問題定義-發(fā)現(xiàn)信息-制定計(jì)劃-采取行動-檢測效果。比較數(shù)據(jù)倉庫基本體系結(jié)構(gòu)的特點(diǎn)兩層：頂層：前端工具，底層DW服務(wù)器；2實(shí)時監(jiān)測數(shù)據(jù)源發(fā)生的變化，便于集成到DW。數(shù)據(jù)挖掘按任務(wù)分為描述和預(yù)測式數(shù)據(jù)挖掘兩種。知識發(fā)現(xiàn)（數(shù)據(jù)挖掘）的基本過程：數(shù)據(jù)選擇和預(yù)分析-挖掘（最主要內(nèi)容）-表述-評價。粒度的概念及其意義？粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級別。細(xì)化程度越高，粒度級別就越小。意義：數(shù)據(jù)倉庫開發(fā)中面臨著的一個單一設(shè)計(jì)問題就是粒度的確定的合理與否影響存放數(shù)據(jù)倉庫中的數(shù)據(jù)量大小，影響數(shù)據(jù)倉庫所能回答的查詢類型。粒度的合理確定還直接影響其他方面的設(shè)計(jì)，所以要在數(shù)據(jù)量的大小和詳細(xì)程度之間做出權(quán)衡。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，是對數(shù)據(jù)的結(jié)構(gòu)，內(nèi)容，鍵碼，索引等的一種描述。是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)?？砂雌溆猛镜牟煌譃榧夹g(shù)元數(shù)據(jù)和商業(yè)元數(shù)據(jù)。什么是聯(lián)機(jī)分析處理，有什么特性？聯(lián)機(jī)分析（OLAP）是共享多維信息的針對特定問題的聯(lián)機(jī)數(shù)據(jù)。數(shù)據(jù)倉庫的數(shù)據(jù)模型有哪些？并比較其不同點(diǎn)。數(shù)據(jù)倉庫的數(shù)據(jù)模型包括：星型數(shù)據(jù)模型、雪花型數(shù)據(jù)模型、星群型數(shù)據(jù)模型。其中星型模型包括一個中央關(guān)聯(lián)。雪花型數(shù)據(jù)模型設(shè)計(jì)其附表（維度表）被進(jìn)一步規(guī)范化，分割出額外的表，產(chǎn)生的圖形像雪花狀。這種形式易于維護(hù)并節(jié)省存儲空間。但表之間的關(guān)聯(lián)多，影響系統(tǒng)的性能，其使用沒有星型構(gòu)架廣泛。星群型架構(gòu)的數(shù)據(jù)模型設(shè)數(shù)據(jù)建模的主要內(nèi)容必須回答緊迫的問題2必須有正確的事實(shí)表3必須有正確的維表按最終用戶的業(yè)務(wù)術(shù)語進(jìn)行描述和表達(dá)4必須理解數(shù)據(jù)倉庫所影響的公司過程或影響數(shù)據(jù)倉庫的公司過程5根據(jù)需要存儲正確長度的公司歷史數(shù)據(jù)7以一種對于公司有意義的方式來集成所有必要的數(shù)據(jù)8創(chuàng)建必要的總結(jié)表9創(chuàng)建必要的索引10能夠加載數(shù)據(jù)倉庫數(shù)據(jù)庫并使它以一種適應(yīng)的方式發(fā)揮作用。聯(lián)機(jī)處理OLAP：聯(lián)機(jī)分析是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的，能夠真正為用戶所理解的，并對真實(shí)反映企業(yè)數(shù)據(jù)特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)更深入了解的一類軟件技術(shù)。體系結(jié)構(gòu)：數(shù)據(jù)庫（MDDB）DBMS(關(guān)系DBMS產(chǎn)生多維視圖）分析程序（分析程序創(chuàng)建多維視圖）用戶接口-用戶。OLAP處理的特性：快速性，可分析性，多維性，信息性。OLAP按存儲方式混合型聯(lián)機(jī)分析處理。MOLAP優(yōu)勢：性能好，響應(yīng)速度快，專為OLAP所設(shè)計(jì)，支持高性能的決策計(jì)算，復(fù)雜的跨維計(jì)算，多用戶的讀寫操作，行級的計(jì)算。缺點(diǎn)：增加系統(tǒng)復(fù)雜度，增加系統(tǒng)培訓(xùn)與維護(hù)費(fèi)用，在操作系統(tǒng)平臺中，受文件大小的限制，難以達(dá)到Tb級；需要進(jìn)行預(yù)計(jì)算，不然可能導(dǎo)致數(shù)據(jù)爆炸，無法支持維的動態(tài)變化，缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問的標(biāo)準(zhǔn)。ROLAP優(yōu)勢：沒有大小限制，現(xiàn)有的關(guān)系數(shù)據(jù)庫的技術(shù)可以沿用?？梢酝ㄟ^SQLOLAP做了很多優(yōu)化，包括并行存儲，并行查詢，并行數(shù)據(jù)管理，基于成本的查詢優(yōu)化，位圖索引，SQL的OLAAP擴(kuò)展等，大大提高了ROLAP的速度。缺點(diǎn)：一般對多維數(shù)據(jù)響應(yīng)熟無法完成部分計(jì)算，即無法完成多行的計(jì)算，無法完成維之間的計(jì)算。多維數(shù)據(jù)一般包括哪些內(nèi)容，常用多數(shù)據(jù)分析方法：多維數(shù)據(jù)結(jié)構(gòu)一般包括超立方結(jié)構(gòu)和多立方結(jié)構(gòu)。常用的多維分析方法有：1切片2切塊3旋轉(zhuǎn)、轉(zhuǎn)軸4鉆取數(shù)據(jù)預(yù)處理：由于數(shù)據(jù)極易受噪聲數(shù)據(jù)、空缺數(shù)據(jù)和不一致數(shù)據(jù)的影響，需要進(jìn)行數(shù)據(jù)挖掘前的預(yù)處理。其形式有：數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)歸約。如何處理缺失值?1使用一個全局變量填充空缺值；4使用屬性的平均值填充空缺值；5使用與給定元組同一類的所有樣本的平均值；6使用最可能的值填充空缺值。數(shù)據(jù)變換就是將數(shù)據(jù)進(jìn)行規(guī)范化和聚集?？捎梅窒韥砣サ粼肼晹?shù)據(jù)。最大值最小值規(guī)范化不涉及均值，線性。數(shù)據(jù)歸約中，屬性子集選擇的基本啟發(fā)式方法包括如下技術(shù)：逐步向前選擇；逐步向后刪除，逐步向前選擇和逐步向后刪除的結(jié)合；判定樹歸納。分類怎么做：所謂分類就是為了理解事物特征并作出預(yù)測使用歷史數(shù)據(jù)建立一個類模型（即分類器）的過程。首先從數(shù)據(jù)中選出已經(jīng)分好類的訓(xùn)練集，然后再該訓(xùn)練集上運(yùn)用數(shù)據(jù)挖掘分類的技術(shù)，建立分類模型，最后對沒有類的數(shù)據(jù)進(jìn)行分類。有指導(dǎo)的學(xué)習(xí)：預(yù)先定義好的數(shù)據(jù)挖掘中的分類，因?yàn)橛米饔?xùn)練樣本的數(shù)據(jù)具有實(shí)際的類別。分類的步驟:模型創(chuàng)建，模型使用。有（無）監(jiān)督學(xué)習(xí)指是否存在以下過程：模型根據(jù)自變量的輸入值得到因變量學(xué)習(xí)沒有實(shí)際值可以比較）聚類時的原則？聚類就是將數(shù)據(jù)對象分組為多個類或簇，在同一個簇中的對象間具有較高的相似度，而不同簇中的對象差別較大。根據(jù)樹的形成過程，層次分解的方向是自底向上還是自頂向下，層次的聚類方法可以進(jìn)一步分為凝聚的和分裂的層次聚類。數(shù)據(jù)矩陣P個變量（也稱度量或?qū)傩裕﹣肀憩F(xiàn)n個對結(jié)構(gòu)是關(guān)系表的形式，或者看成n*p（n個對象乘以p個變量）的