《數(shù)據(jù)挖掘與數(shù)據(jù)分析（財會）》試卷B及答案

大學試卷學年第1學期；課號課程名稱數(shù)據(jù)挖掘與數(shù)據(jù)分析（閉卷）；適用班級（或年級、專業(yè)）（每位考生需要答題紙（8k）2張、草稿紙（16k）1張）考試時間120分鐘班級學號姓名題號一二三四五六七八九十成績滿分20202040得分評卷人選擇題（20分,2分*10題）關聯(lián)模式挖掘旨在從大量的數(shù)據(jù)當中發(fā)現(xiàn)特征之間或數(shù)據(jù)之間的相互（）關系A.聚集B.依賴C.結合D.獨立時間序列基于事物發(fā)展的（）和隨機性預測事物未來的情況A.獨立性B.延續(xù)性C.相關性D.邏輯性數(shù)據(jù)挖掘工作中臟數(shù)據(jù)通常不包括（）A.缺失值B.異常值C.不一致和重復數(shù)據(jù)值D.時變數(shù)據(jù)數(shù)據(jù)特征分析不包括（）A.分布分析B.對比分析C.相關性分析D.標準化分析數(shù)據(jù)預處理的主要任務不包括（）A.數(shù)據(jù)清洗B.數(shù)據(jù)集成C.數(shù)據(jù)變換和規(guī)約D.數(shù)據(jù)可視化Python本身的數(shù)據(jù)分析常見庫不包括（）A.NumpyB.ScipyC.Pandas D.TensorflowK-means算法屬于聚類分析的（）A.劃分方法 B.層次分析方法C.基于網(wǎng)格的方法 D.基于密度的方法數(shù)據(jù)變換不包括（）A.聚集 B.數(shù)據(jù)概化C.規(guī)范化 D.數(shù)據(jù)壓縮常見的連續(xù)屬性離散化方法不包括（）A.等寬法 B.基于聚類分析的方法C.等頻法 D.基于統(tǒng)計分析的方法關聯(lián)分析中將集合中同時出現(xiàn)頻率高的元素組成子集，滿足一定閾值條件，稱為()A.項集B.頻繁項集C.關聯(lián)規(guī)則 D.頻繁度判斷題（20分，2分*10題，正確標記√，錯誤標記×）1.數(shù)據(jù)預處理階段的主要工作包括數(shù)據(jù)篩選、數(shù)據(jù)轉換、數(shù)據(jù)標準化、屬性選擇、數(shù)據(jù)規(guī)約等方面。（）2.關聯(lián)模式挖掘旨在從大量的數(shù)據(jù)當中發(fā)現(xiàn)特征之間或數(shù)據(jù)之間的相互依賴關系。（）3隨機性分析是數(shù)據(jù)特征分析方法。（）4.聚類分析使得類別內數(shù)據(jù)的“差異性”盡可能小，類別間“差異性”盡可能大。（）5.異常值是指樣本中的個別值，其數(shù)值明顯偏離其余的觀測值。（）6.數(shù)據(jù)集成就是將多個數(shù)據(jù)源合并存放在一個一致的數(shù)據(jù)存儲中的過程。（）7.零-均值規(guī)范化不是數(shù)據(jù)規(guī)范化方法。（）8.為了消除指標之間的量綱和大小不一的影響，需要進行數(shù)據(jù)標準化處理。（）9.精確度（Precision）表示分類模型正確分類的樣本數(shù)（包括正例與反例）與樣本總數(shù)的比值。（）10.項集A、B同時發(fā)生的概率稱為關聯(lián)規(guī)則的支持度。（）名詞解釋（20分,4分*5題）1.數(shù)據(jù)規(guī)約2.置信度3.分類4.關聯(lián)規(guī)則5.相對誤差簡答題（40分,8分*5題）1.數(shù)據(jù)異常值分析2.分類與預測算法評價指標3.數(shù)據(jù)規(guī)范化及主要方法4.關聯(lián)規(guī)則原理和主要特點5.回歸分析及特點年第學期數(shù)據(jù)挖掘與數(shù)據(jù)分析（B）卷參考答案及評分標準適用：商學院財務管理專業(yè)2020級學生命題教師：黃宏軍選擇題（20分,2分*10題）1-5BBDDD6-10DADBB判斷題（20分，2分*10題，正確標記√，錯誤標記×）1-5√√×√√6-10√×√×√名詞解釋（20分，4分*5題）1.數(shù)據(jù)規(guī)約數(shù)據(jù)規(guī)約是將海量數(shù)據(jù)進行規(guī)約，規(guī)約之后的數(shù)據(jù)仍接近于保持原數(shù)據(jù)的完整性，但數(shù)據(jù)量小得多。通過數(shù)據(jù)規(guī)約，可以達到降低無效、錯誤數(shù)據(jù)對建模的影響，提高建模的準確性少量且降低儲存數(shù)據(jù)成本。數(shù)據(jù)規(guī)約包括屬性規(guī)約和數(shù)值規(guī)約。屬性規(guī)約通過屬性合并創(chuàng)建新屬性維數(shù)，或者通過直接刪除不相關的屬性來減少數(shù)據(jù)維數(shù)，數(shù)值規(guī)約通過選擇替代的、較小的數(shù)據(jù)來減少數(shù)據(jù)量。2.置信度表示包含A的交易中也包含B的條件概率3.分類分類主要是預測分類標號（離散、無序的），而預測主要是建立連續(xù)值函數(shù)模型，預測給定自變量的條件下因變量的值。分類是構造一個分類模型，輸入樣本的屬性值，輸出對應的類別，將每個樣本映射到預先定義好的類別。分類模型建立在已有類標記的數(shù)據(jù)集上，模型在已有樣本上的準確率可以方便地計算，所以分類屬于有監(jiān)督的學習。4.關聯(lián)規(guī)則關聯(lián)規(guī)則描述在一個事務中物品之間同時出現(xiàn)的規(guī)律的知識模式，通過量化的形式描述物品A的對物品B的影響。關聯(lián)規(guī)則的度量指標包括支持度和置信度，支持度是某一特定關聯(lián)或項集在數(shù)據(jù)集中出現(xiàn)的概率，置信度是在數(shù)據(jù)集中已經(jīng)出現(xiàn)A時，B發(fā)生的概率。5.相對誤差相對誤差指的是測量所造成的絕對誤差與被測量真值之比乘以100%所得的數(shù)值，以百分數(shù)表示，相對誤差更能反映測量的可信程度。相對誤差（RelativeError）=（原值-估計值）/原值。簡答題（40分,8分*5題）1.數(shù)據(jù)異常值分析離群點（Outlier），也稱為異常對象。通常，在數(shù)據(jù)的散布圖中，離群點遠離其他數(shù)據(jù)點。離群點檢測的目的是發(fā)現(xiàn)有異于大部分對象的其他對象。離群點的主要成因有：數(shù)據(jù)來源于不同的類、自然變異、數(shù)據(jù)測量和收集誤差。從整體來看，某些對象沒有離群特征，但是從局部來看，卻顯示了一定的離群性。從屬性的個數(shù)看包括一維離群點和多維離群點，從數(shù)據(jù)類型看包括數(shù)值型離群點和分類型離群點。異常值分析包括如下方法：（1）基于統(tǒng)計。大部分的基于統(tǒng)計的離群點檢測方法是構建一個概率分布模型，并計算對象符合該模型的概率，把具有低概率的對象視為離群點。（2）基于鄰近度。通?？梢栽跀?shù)據(jù)對象之間定義鄰近性度量，把遠離大部分點的對象視為離群點。（3）基于密度?？紤]數(shù)據(jù)集可能存在不同密度區(qū)域這一事實，從基于密度的觀點分析，離群點是在低密度區(qū)域中的對象。一個對象的離群點得分是該對象周圍密度的逆。（4）基于聚類。一種是利用聚類檢測離群點的方法是丟棄遠離其他簇的小簇；另一種更系統(tǒng)的方法，首先聚類所有對象，然后評估對象屬于簇的程度（離群點得分）。2.分類與預測算法評價指標分類與預測模型對訓練集進行預測而得出的準確率并不能很好地反映預測模型未來的性能，為了有效判斷一個預測模型的性能表現(xiàn)，需要一組沒有參與預測模型建立的數(shù)據(jù)集，并在該數(shù)據(jù)集上評價預測模型的準確率，這組獨立的數(shù)據(jù)集叫測試集。模型預測效果評價，通常用絕對誤差與相對絕對誤差、平均絕對誤差、根均方差、相對平方根誤差等指標來衡量絕對誤差（AbsoluteError）=原值-估計值相對誤差（RelativeError）=（原值-估計值）/原值平均絕對誤差（MeanAbsoluteError,MAE）均方誤差的平方根，代表了預測值的離散程度，也叫標準誤差，跟方差一樣，均方誤差是預測誤差平方之和的平均數(shù)分類器評價指標包括如下，（1）正確率（accuracy）正確率是我們最常見的評價指標，accuracy=（TP+TN）/(P+N)，被分對的樣本數(shù)除以所有的樣本數(shù)，通常來說，正確率越高，分類器越好；（2）錯誤率（errorrate)錯誤率則與正確率相反，描述被分類器錯分的比例，errorrate=(FP+FN)/(P+N)，對某一個實例來說，分對與分錯是互斥事件，所以accuracy=1–errorrate；（3）靈敏度（sensitive）sensitive=TP/P，表示的是所有正例中被分對的比例，衡量了分類器對正例的識別能力；（4）特效度（specificity)specificity=TN/N，表示的是所有負例中被分對的比例，衡量了分類器對負例的識別能力；（5）精度（precision）精度是精確性的度量，表示被分為正例的示例中實際為正例的比例，precision=TP/（TP+FP）；（6）召回率（recall）召回率是覆蓋面的度量，度量有多個正例被分為正例，recall=TP/(TP+FN)=TP/P=sensitive，可以看到召回率與靈敏度是一樣的。3.數(shù)據(jù)規(guī)范化及主要方法（1）最小-最大規(guī)范化：也稱為離差標準化，是對原始數(shù)據(jù)的線性變換，使結果值映射到[0,1]之間。轉換函數(shù)如：（2）零-均值規(guī)范化:也叫標準差標準化，經(jīng)過處理的數(shù)據(jù)的平均數(shù)為0，標準差為1。轉化函數(shù)為：（3）小數(shù)定標規(guī)范化:通過移動屬性值的小數(shù)位數(shù)，將屬性值映射到[-1，1]之間，移動的小數(shù)位數(shù)取決于屬性值絕對值的最大值。轉化函數(shù)為：4.關聯(lián)規(guī)則原理和主要特點關聯(lián)分析（associationanalysis）是一種在大規(guī)模數(shù)據(jù)集中尋找有趣關系的任務，這些關系可以有兩種形式：頻繁項集（frequentitemset）或者關聯(lián)規(guī)則(associationrule)。頻繁項集：假設有一系列集合，這些集合有些相同的元素，將集合中同時出現(xiàn)頻率高的元素組成一個子集，滿足一定閾值條件，就是頻繁項集。關聯(lián)規(guī)則（associationrules）：描述在一個事務中物品之間同時出現(xiàn)的規(guī)律的知識模式，通過量化的形式描述物品A的對物品B的影響。關聯(lián)規(guī)則度量方法包括：支持度（support）支持度是對關聯(lián)規(guī)則重要性的衡量，反映關聯(lián)是否是普遍存在的規(guī)律，體現(xiàn)這條規(guī)則在所有交易中有多大的代表性。記為：support(X→Y)置信度（confidence）置信度（或可信度、信任度）是對關聯(lián)規(guī)則準確度的衡量，度量關聯(lián)規(guī)則的強度。即在所有出現(xiàn)了X的活動中出現(xiàn)Y的頻率，說明規(guī)則X→Y的必然性有多大。記為confidence(X→Y)。關聯(lián)規(guī)則形成的基本過程找頻繁項集：通過用戶給定最小支持度閾值min_sup，尋找所有頻繁項集，即僅保留大于或等于最小支持度閾值的項集。生成強關聯(lián)規(guī)則：通過用戶給定最小置信度閾值min_conf，在每個最大頻繁項集中尋找關聯(lián)規(guī)則，即刪除不滿足最小置信度閾值的規(guī)則。5.回歸分析及特點回歸分析是根據(jù)現(xiàn)象之間關系的特點，運用一定的方法，建立最適合于變量之間關系的回歸方程，來反映變量之間數(shù)量的平均變動關系，回歸分析得到自變量與因變量的條件期望之間的關系，通過分析可以知道自變量改變時因變量是如何改變的?；貧w分析建立在對客觀事物進行大量試驗和觀察的基礎上，用來尋找隱藏在那些看上去是不確定的現(xiàn)象中的統(tǒng)計規(guī)律性的統(tǒng)計方法。如果隨機變量Y與(X1,X2,?,Xk,變量存在相關關系，則可建立模型：Y=f(X1,X2,?Xk)+ε式中，Y是因變量，亦稱被解釋變量；X1,X2,?Xk是自變量，亦稱解釋變量；f(X1,X2,?Xk)是回歸函數(shù)；ε是隨機誤差，表示受隨