數(shù)據(jù)挖掘考試題庫-2022年整理

優(yōu)質(zhì)資料word版本——下載后可編輯優(yōu)質(zhì)資料word版本——下載后可編輯8/8優(yōu)質(zhì)資料word版本——下載后可編輯何謂數(shù)據(jù)挖掘？它有哪些方面的功能？從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程稱為數(shù)據(jù)挖掘。相關的名稱有知識發(fā)現(xiàn)、數(shù)據(jù)分析、數(shù)據(jù)融合、決策支持等。數(shù)據(jù)挖掘的功能包括：概念描述、關聯(lián)分析、分類與預測、聚類分析、趨勢分析、孤立點分析以及偏差分析等。何謂粒度？它對數(shù)據(jù)倉庫有什么影響？按粒度組織數(shù)據(jù)的方式有哪些？粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)細化或綜合程度的級別。粒度影響存放在數(shù)據(jù)倉庫中的數(shù)據(jù)量的大小，同時影響數(shù)據(jù)倉庫所能回答查詢問題的細節(jié)程度。按粒度組織數(shù)據(jù)的方式主要有：簡單堆積結構輪轉綜合結構簡單直接結構連續(xù)結構簡述數(shù)據(jù)倉庫設計的三級模型及其基本內(nèi)容。概念模型設計是在較高的抽象層次上的設計，其主要內(nèi)容包括：界定系統(tǒng)邊界和確定主要的主題域。邏輯模型設計的主要內(nèi)容包括：分析主題域、確定粒度層次劃分、確定數(shù)據(jù)分割策略、定義關系模式、定義記錄系統(tǒng)。物理數(shù)據(jù)模型設計的主要內(nèi)容包括：確定數(shù)據(jù)存儲結構、確定數(shù)據(jù)存放位置、確定存儲分配以及確定索引策略等。在物理數(shù)據(jù)模型設計時主要考慮的因素有:I/O存取時間、空間利用率和維護代價等。提高性能的主要措施有劃分粒度、數(shù)據(jù)分割、合并表、建立數(shù)據(jù)序列、引入冗余、生成導出數(shù)據(jù)、建立廣義索引等。在數(shù)據(jù)挖掘之前為什么要對原始數(shù)據(jù)進行預處理？原始業(yè)務數(shù)據(jù)來自多個數(shù)據(jù)庫或數(shù)據(jù)倉庫，它們的結構和規(guī)則可能是不同的，這將導致原始數(shù)據(jù)非常的雜亂、不可用，即使在同一個數(shù)據(jù)庫中，也可能存在重復的和不完整的數(shù)據(jù)信息，為了使這些數(shù)據(jù)能夠符合數(shù)據(jù)挖掘的要求，提高效率和得到清晰的結果，必須進行數(shù)據(jù)的預處理。為數(shù)據(jù)挖掘算法提供完整、干凈、準確、有針對性的數(shù)據(jù)，減少算法的計算量，提高挖掘效率和準確程度。簡述數(shù)據(jù)預處理方法和內(nèi)容。數(shù)據(jù)清洗：包括填充空缺值，識別孤立點，去掉噪聲和無關數(shù)據(jù)。數(shù)據(jù)集成：將多個數(shù)據(jù)源中的數(shù)據(jù)結合起來存放在一個一致的數(shù)據(jù)存儲中。需要注意不同數(shù)據(jù)源的數(shù)據(jù)匹配問題、數(shù)值沖突問題和冗余問題等。數(shù)據(jù)變換：將原始數(shù)據(jù)轉換成為適合數(shù)據(jù)挖掘的形式。包括對數(shù)據(jù)的匯總、聚集、概化、規(guī)范化，還可能需要進行屬性的重構。數(shù)據(jù)歸約：縮小數(shù)據(jù)的取值范圍，使其更適合于數(shù)據(jù)挖掘算法的需要，并且能夠得到和原始數(shù)據(jù)相同的分析結果。簡述數(shù)據(jù)清理的基本內(nèi)容。盡可能賦予屬性名和屬性值明確的含義；統(tǒng)一多數(shù)據(jù)源的屬性值編碼；去除無用的惟一屬性或鍵值(如自動增長的id)；去除重復屬性(在某些分析中，年齡和出生日期可能就是重復的屬性，但在某些時候它們可能又是同時需要的)去除可忽略字段(大部分為空值的屬性一般是沒有什么價值的，如果不去除可能造成錯誤的數(shù)據(jù)挖掘結果)合理選擇關聯(lián)字段(對于多個關聯(lián)性較強的屬性，重復無益，只需選擇其中的部分用于數(shù)據(jù)挖掘即可，如價格、數(shù)據(jù)、金額)去掉數(shù)據(jù)中的噪音、填充空值、丟失值和處理不一致數(shù)據(jù)。簡述處理空缺值的方法。忽略該記錄；去掉屬性；手工填寫空缺值；使用默認值；使用屬性平均值；使用同類樣本平均值；預測最可能的值。常見的分箱方法有哪些？數(shù)據(jù)平滑處理的方法有哪些？分箱的方法主要有：統(tǒng)一權重法(又稱等深分箱法)統(tǒng)一區(qū)間法(又稱等寬分箱法)最小熵法自定義區(qū)間法數(shù)據(jù)平滑的方法主要有：平均值法、邊界值法和中值法。何謂數(shù)據(jù)規(guī)范化？規(guī)范化的方法有哪些？寫出對應的變換公式。將數(shù)據(jù)按比例縮放(如更換大單位)，使之落入一個特定的區(qū)域（如0.0～1.0），稱為規(guī)范化。規(guī)范化的常用方法有：最大－最小規(guī)范化：零－均值規(guī)范化：小數(shù)定標規(guī)范化：x＝x0/10α數(shù)據(jù)歸約的方法有哪些？為什么要進行維歸約？數(shù)據(jù)立方體聚集維歸約數(shù)據(jù)壓縮數(shù)值壓縮離散化和概念分層維歸約可以去掉不重要的屬性，減少數(shù)據(jù)立方體的維數(shù)，從而減少數(shù)據(jù)挖掘處理的數(shù)據(jù)量，提高挖掘效率。何謂聚類？它與分類有什么異同？聚類是將物理或抽象對象的集合分組成為多個類或簇(cluster)的過程，使得在同一個簇中的對象之間具有較高的相似度，而不同簇中的對象差別較大。聚類與分類不同，聚類要劃分的類是未知的，分類則可按已知規(guī)則進行；聚類是一種無指導學習，它不依賴預先定義的類和帶類標號的訓練實例，屬于觀察式學習，分類則屬于有指導的學習，是示例式學習。舉例說明聚類分析的典型應用。①商業(yè)：幫助市場分析人員從客戶基本庫中發(fā)現(xiàn)不同的客戶群，并且用不同的購買模式描述不同客戶群的特征。②生物學：推導植物或動物的分類，對基于進行分類，獲得對種群中固有結構的認識。③WEB文檔分類④其他：如地球觀測數(shù)據(jù)庫中相似地區(qū)的確定；各類保險投保人的分組；一個城市中不同類型、價值、地理位置房子的分組等。⑤聚類分析還可作為其他數(shù)據(jù)挖掘算法的預處理：即先進行聚類，然后再進行分類等其他的數(shù)據(jù)挖掘。聚類分析是一種數(shù)據(jù)簡化技術，它把基于相似數(shù)據(jù)特征的變量或個案組合在一起。聚類分析中常見的數(shù)據(jù)類型有哪些？何謂相異度矩陣？它有什么特點？常見數(shù)據(jù)類型有區(qū)間標度變量、比例標度型變量、二元變量、標稱型、序數(shù)型以及混合類型等。相異度矩陣是用于存儲所有對象兩兩之間相異度的矩陣，為一個nn維的單模矩陣。其特點是d(i,j)=d(j,i)，d(i,i)=0，d(j,j)=0。如下所示：分類知識的發(fā)現(xiàn)方法主要有哪些？分類過程通常包括哪兩個步驟？分類規(guī)則的挖掘方法通常有：決策樹法、貝葉斯法、人工神經(jīng)網(wǎng)絡法、粗糙集法和遺傳算法。分類的過程包括2步：首先在已知訓練數(shù)據(jù)集上，根據(jù)屬性特征，為每一種類別找到一個合理的描述或模型，即分類規(guī)則；然后根據(jù)規(guī)則對新數(shù)據(jù)進行分類。什么是決策樹？如何用決策樹進行分類？決策樹是用樣本的屬性作為結點，用屬性的取值作為分支的樹結構。它是利用信息論原理對大量樣本的屬性進行分析和歸納而產(chǎn)生的。決策樹的根結點是所有樣本中信息量最大的屬性。樹的中間結點是以該結點為根的子樹所包含的樣本子集中信息量最大的屬性。決策樹的葉結點是樣本的類別值。決策樹用于對新樣本的分類，即通過決策樹對新樣本屬性值的測試，從樹的根結點開始，按照樣本屬性的取值，逐漸沿著決策樹向下，直到樹的葉結點，該葉結點表示的類別就是新樣本的類別。決策樹方法是數(shù)據(jù)挖掘中非常有效的分類方法。簡述ID3算法的基本思想及其主算法的基本步驟。首先找出最有判別力的因素，然后把數(shù)據(jù)分成多個子集，每個子集又選擇最有判別力的因素進一步劃分，一直進行到所有子集僅包含同一類型的數(shù)據(jù)為止。最后得到一棵決策樹，可以用它來對新的樣例進行分類。主算法包括如下幾步：①從訓練集中隨機選擇一個既含正例又含反例的子集(稱為窗口)；②用“建樹算法”對當前窗口形成一棵決策樹；③對訓練集(窗口除外)中例子用所得決策樹進行類別判定，找出錯判的例子；④若存在錯判的例子，把它們插入窗口，重復步驟②，否則結束。簡述ID3算法的基本思想及其建樹算法的基本步驟。首先找出最有判別力的因素，然后把數(shù)據(jù)分成多個子集，每個子集又選擇最有判別力的因素進一步劃分，一直進行到所有子集僅包含同一類型的數(shù)據(jù)為止。最后得到一棵決策樹，可以用它來對新的樣例進行分類。建樹算法的具體步驟如下：①對當前例子集合，計算各特征的互信息；②選擇互信息最大的特征Ak；③把在Ak處取值相同的例子歸于同一子集，Ak取幾個值就得幾個子集；④對既含正例又含反例的子集，遞歸調(diào)用建樹算法；⑤若子集僅含正例或反例，對應分枝標上P或N，返回調(diào)用處。設某事務項集構成如下表，填空完成其中支持度和置信度的計算。事務ID項集L2支持度%規(guī)則置信度%T1A,DA,B33.3A→B50T2D,EA,C33.3C→A60T3A,C,EA,D44.4A→D66.7T4A,B,D,EB,D33.3B→D75T5A,B,CC,D33.3C→D60T6A,B,DD,E33.3D→E43T7A,C,D……T8C,D,ET9B,C,D 從信息處理角度看，神經(jīng)元具有哪些基本特征？寫出描述神經(jīng)元狀態(tài)的M-P方程并說明其含義。基本特征：①多輸入、單輸出；②突觸兼有興奮和抑制兩種性能；③可時間加權和空間加權；④可產(chǎn)生脈沖；⑤脈沖可進行傳遞；⑥非線性，有閾值。M-P方程：，Wij是神經(jīng)元之間的連接強度，是閾值，f(x)是階梯函數(shù)。遺傳算法與傳統(tǒng)尋優(yōu)算法相比有什么特點？遺傳算法為群體搜索，有利于尋找到全局最優(yōu)解；遺傳算法采用高效有方向的隨機搜索，搜索效率高；遺傳算法處理的對象是個體而不是參變量，具有廣泛的應用領域；遺傳算法使用適應值信息評估個體，不需要導數(shù)或其他輔助信息，運算速度快，適應性好；遺傳算法具有隱含并行性，具有更高的運行效率。寫出非對稱二元變量相異度計算公式(即jaccard系數(shù))，并計算下表中各對象間的相異度。測試項目對象test-1test-2test-3test-4test-5test-6OBJ1YNPNNNOBJ2YNPNPNOBJ3NYNYNN…簡述K-平均算法的輸入、輸出及聚類過程(流程)。輸入：簇的數(shù)目k和包含n個對象的數(shù)據(jù)集。輸出：k個簇，使平方誤差準則最小。步驟：任意選擇k個對象作為初始的簇中心；計算其它對象與這k個中心的距離，然后把每個對象歸入離它“最近”的簇；計算各簇中對象的平均值，然后重新選擇簇中心(離平均值“最近”的對象值)；重復第2第3步直到簇中心不再變化為止。簡述K-中心點算法的輸入、輸出及聚類過程(流程)。輸入：結果簇的數(shù)目k，包含n個對象的數(shù)據(jù)集輸出：k個簇，使得所有對象與其最近中心點的相異度總和最小。流程：隨機選擇k個對象作為初始中心點；計算其它對象與這k個中心的距離，然后把每個對象歸入離它“最近”的簇；隨機地選擇一個非中心點對象Orandom，并計算用Orandom代替Oj的總代價S；如果S<0,則用Orandom代替Oj，形成新的k個中心點集合；重復迭代第3、4步，直到中心點不變?yōu)橹?。何謂文本挖掘？它與信息檢索有什么關系(異同)。文本挖掘是從大量文本數(shù)據(jù)中提取以前未知的、有用的、可理解的、可操作的知識的過程。它與信息檢索之間有以下幾方面的區(qū)別：方法論不同：信息檢索是目標驅動的，用戶需要明確提出查詢要求；而文本挖掘結果獨立于用戶的信息需求，是用戶無法預知的。著眼點不同：信息檢索著重于文檔中字、詞和鏈接；而文本挖掘在于理解文本的內(nèi)容和結構。目的不同：信息檢索的目的在于幫助用戶發(fā)現(xiàn)資源，即從大量的文本中找到滿足其查詢請求的文本子集；而文本挖掘是為了揭示文本中隱含的知識。評價方法不同：信息檢索用查準率和查全率來評價其性能。而文本挖掘采用收益、置信度、簡潔性等來衡量所發(fā)現(xiàn)知識的有效性、可用性和可理解性。使用場合不同：文本挖掘是比信息檢索更高層次的技術，可用于信息檢索技術不能解決的許多場合。一方面，這兩種技術各有所長，有各自適用的場合；另一方面，可以利用文本挖掘的研究成果來提高信息檢索的精度和效率，改善檢索結果的組織，使信息檢索系統(tǒng)發(fā)展到一個新的水平。人工神經(jīng)網(wǎng)絡是用大量的簡單處理單元廣泛連接而成的網(wǎng)絡,用以模擬生物神經(jīng)網(wǎng)絡的智能計算系統(tǒng),神經(jīng)網(wǎng)絡是一組類似于神經(jīng)元的處理單元,其中每個連接都與一個權重相關聯(lián).Apriori優(yōu)缺點:優(yōu)點：大大壓縮了頻繁集的大小，取得了很好的性能。缺點：(1)產(chǎn)生大量的頻繁集(2)重復掃描事務數(shù)據(jù)庫如何改進?改進：在第一次數(shù)據(jù)庫遍歷后就不需要用到原始數(shù)據(jù)庫，而使用在前一次過程中所用的候選項集的集合。AprioriTid算法的優(yōu)點是用逐漸減少的TID表代替原始數(shù)據(jù)庫,但是在循環(huán)的初始階段,候選項集的個數(shù)往往大于數(shù)據(jù)項個數(shù),導致構造的TID表可能比原始事務數(shù)據(jù)庫還要大.聚類分析:從數(shù)據(jù)集中找出相似的數(shù)據(jù)并組成不同的組數(shù)據(jù)挖掘步驟:問題定義,數(shù)據(jù)準備,預處理,數(shù)據(jù)挖掘,結果的解釋和評估ID3優(yōu)點: