《數(shù)據(jù)挖掘與數(shù)據(jù)分析（財會）》試卷B答案

年第學(xué)期數(shù)據(jù)挖掘與數(shù)據(jù)分析（B）卷參考答案及評分標準適用：商學(xué)院財務(wù)管理專業(yè)2020級學(xué)生命題教師：黃宏軍選擇題（20分,2分*10題）1-5BBDDD6-10DADBB判斷題（20分，2分*10題，正確標記√，錯誤標記×）1-5√√×√√6-10√×√×√名詞解釋（20分，4分*5題）1.數(shù)據(jù)規(guī)約數(shù)據(jù)規(guī)約是將海量數(shù)據(jù)進行規(guī)約，規(guī)約之后的數(shù)據(jù)仍接近于保持原數(shù)據(jù)的完整性，但數(shù)據(jù)量小得多。通過數(shù)據(jù)規(guī)約，可以達到降低無效、錯誤數(shù)據(jù)對建模的影響，提高建模的準確性少量且降低儲存數(shù)據(jù)成本。數(shù)據(jù)規(guī)約包括屬性規(guī)約和數(shù)值規(guī)約。屬性規(guī)約通過屬性合并創(chuàng)建新屬性維數(shù)，或者通過直接刪除不相關(guān)的屬性來減少數(shù)據(jù)維數(shù)，數(shù)值規(guī)約通過選擇替代的、較小的數(shù)據(jù)來減少數(shù)據(jù)量。2.置信度表示包含A的交易中也包含B的條件概率3.分類分類主要是預(yù)測分類標號（離散、無序的），而預(yù)測主要是建立連續(xù)值函數(shù)模型，預(yù)測給定自變量的條件下因變量的值。分類是構(gòu)造一個分類模型，輸入樣本的屬性值，輸出對應(yīng)的類別，將每個樣本映射到預(yù)先定義好的類別。分類模型建立在已有類標記的數(shù)據(jù)集上，模型在已有樣本上的準確率可以方便地計算，所以分類屬于有監(jiān)督的學(xué)習(xí)。4.關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則描述在一個事務(wù)中物品之間同時出現(xiàn)的規(guī)律的知識模式，通過量化的形式描述物品A的對物品B的影響。關(guān)聯(lián)規(guī)則的度量指標包括支持度和置信度，支持度是某一特定關(guān)聯(lián)或項集在數(shù)據(jù)集中出現(xiàn)的概率，置信度是在數(shù)據(jù)集中已經(jīng)出現(xiàn)A時，B發(fā)生的概率。5.相對誤差相對誤差指的是測量所造成的絕對誤差與被測量真值之比乘以100%所得的數(shù)值，以百分數(shù)表示，相對誤差更能反映測量的可信程度。相對誤差（RelativeError）=（原值-估計值）/原值。簡答題（40分,8分*5題）1.數(shù)據(jù)異常值分析離群點（Outlier），也稱為異常對象。通常，在數(shù)據(jù)的散布圖中，離群點遠離其他數(shù)據(jù)點。離群點檢測的目的是發(fā)現(xiàn)有異于大部分對象的其他對象。離群點的主要成因有：數(shù)據(jù)來源于不同的類、自然變異、數(shù)據(jù)測量和收集誤差。從整體來看，某些對象沒有離群特征，但是從局部來看，卻顯示了一定的離群性。從屬性的個數(shù)看包括一維離群點和多維離群點，從數(shù)據(jù)類型看包括數(shù)值型離群點和分類型離群點。異常值分析包括如下方法：（1）基于統(tǒng)計。大部分的基于統(tǒng)計的離群點檢測方法是構(gòu)建一個概率分布模型，并計算對象符合該模型的概率，把具有低概率的對象視為離群點。（2）基于鄰近度。通常可以在數(shù)據(jù)對象之間定義鄰近性度量，把遠離大部分點的對象視為離群點。（3）基于密度?？紤]數(shù)據(jù)集可能存在不同密度區(qū)域這一事實，從基于密度的觀點分析，離群點是在低密度區(qū)域中的對象。一個對象的離群點得分是該對象周圍密度的逆。（4）基于聚類。一種是利用聚類檢測離群點的方法是丟棄遠離其他簇的小簇；另一種更系統(tǒng)的方法，首先聚類所有對象，然后評估對象屬于簇的程度（離群點得分）。2.分類與預(yù)測算法評價指標分類與預(yù)測模型對訓(xùn)練集進行預(yù)測而得出的準確率并不能很好地反映預(yù)測模型未來的性能，為了有效判斷一個預(yù)測模型的性能表現(xiàn)，需要一組沒有參與預(yù)測模型建立的數(shù)據(jù)集，并在該數(shù)據(jù)集上評價預(yù)測模型的準確率，這組獨立的數(shù)據(jù)集叫測試集。模型預(yù)測效果評價，通常用絕對誤差與相對絕對誤差、平均絕對誤差、根均方差、相對平方根誤差等指標來衡量絕對誤差（AbsoluteError）=原值-估計值相對誤差（RelativeError）=（原值-估計值）/原值平均絕對誤差（MeanAbsoluteError,MAE）均方誤差的平方根，代表了預(yù)測值的離散程度，也叫標準誤差，跟方差一樣，均方誤差是預(yù)測誤差平方之和的平均數(shù)分類器評價指標包括如下，（1）正確率（accuracy）正確率是我們最常見的評價指標，accuracy=（TP+TN）/(P+N)，被分對的樣本數(shù)除以所有的樣本數(shù)，通常來說，正確率越高，分類器越好；（2）錯誤率（errorrate)錯誤率則與正確率相反，描述被分類器錯分的比例，errorrate=(FP+FN)/(P+N)，對某一個實例來說，分對與分錯是互斥事件，所以accuracy=1–errorrate；（3）靈敏度（sensitive）sensitive=TP/P，表示的是所有正例中被分對的比例，衡量了分類器對正例的識別能力；（4）特效度（specificity)specificity=TN/N，表示的是所有負例中被分對的比例，衡量了分類器對負例的識別能力；（5）精度（precision）精度是精確性的度量，表示被分為正例的示例中實際為正例的比例，precision=TP/（TP+FP）；（6）召回率（recall）召回率是覆蓋面的度量，度量有多個正例被分為正例，recall=TP/(TP+FN)=TP/P=sensitive，可以看到召回率與靈敏度是一樣的。3.數(shù)據(jù)規(guī)范化及主要方法（1）最小-最大規(guī)范化：也稱為離差標準化，是對原始數(shù)據(jù)的線性變換，使結(jié)果值映射到[0,1]之間。轉(zhuǎn)換函數(shù)如：（2）零-均值規(guī)范化:也叫標準差標準化，經(jīng)過處理的數(shù)據(jù)的平均數(shù)為0，標準差為1。轉(zhuǎn)化函數(shù)為：（3）小數(shù)定標規(guī)范化:通過移動屬性值的小數(shù)位數(shù)，將屬性值映射到[-1，1]之間，移動的小數(shù)位數(shù)取決于屬性值絕對值的最大值。轉(zhuǎn)化函數(shù)為：4.關(guān)聯(lián)規(guī)則原理和主要特點關(guān)聯(lián)分析（associationanalysis）是一種在大規(guī)模數(shù)據(jù)集中尋找有趣關(guān)系的任務(wù)，這些關(guān)系可以有兩種形式：頻繁項集（frequentitemset）或者關(guān)聯(lián)規(guī)則(associationrule)。頻繁項集：假設(shè)有一系列集合，這些集合有些相同的元素，將集合中同時出現(xiàn)頻率高的元素組成一個子集，滿足一定閾值條件，就是頻繁項集。關(guān)聯(lián)規(guī)則（associationrules）：描述在一個事務(wù)中物品之間同時出現(xiàn)的規(guī)律的知識模式，通過量化的形式描述物品A的對物品B的影響。關(guān)聯(lián)規(guī)則度量方法包括：支持度（support）支持度是對關(guān)聯(lián)規(guī)則重要性的衡量，反映關(guān)聯(lián)是否是普遍存在的規(guī)律，體現(xiàn)這條規(guī)則在所有交易中有多大的代表性。記為：support(X→Y)置信度（confidence）置信度（或可信度、信任度）是對關(guān)聯(lián)規(guī)則準確度的衡量，度量關(guān)聯(lián)規(guī)則的強度。即在所有出現(xiàn)了X的活動中出現(xiàn)Y的頻率，說明規(guī)則X→Y的必然性有多大。記為confidence(X→Y)。關(guān)聯(lián)規(guī)則形成的基本過程找頻繁項集：通過用戶給定最小支持度閾值min_sup，尋找所有頻繁項集，即僅保留大于或等于最小支持度閾值的項集。生成強關(guān)聯(lián)規(guī)則：通過用戶給定最小置信度閾值min_conf，在每個最大頻繁項集中尋找關(guān)聯(lián)規(guī)則，即刪除不滿足最小置信度閾值的規(guī)則。5.回歸分析及特點回歸分析是根據(jù)現(xiàn)象之間關(guān)系的特點，運用一定的方法，建立最適合于變量之間關(guān)系的回歸方程，來反映變量之間數(shù)量的平均變動關(guān)系，回歸分析得到自變量與因變量的條件期望之間的關(guān)系，通過分析可以知道自變量改變時因變量是如何改變的?；貧w分析建立在對客觀事物進行大量試驗和觀察的基礎(chǔ)上，用來尋找隱藏在那些看上去是不確定的現(xiàn)象中的統(tǒng)計規(guī)律性的統(tǒng)計方法。如果隨機變量Y與(X1,X2,?,Xk,變量存在相關(guān)關(guān)系，則可建立模型：Y=f(X1,X2,?Xk)+ε式中，Y是因變量，亦稱被解釋變量；X1,X2,?Xk是自變量，亦稱解釋變量；f(X1,X2,?Xk)是回歸函數(shù)；ε是隨機誤差，表示受隨機因素影響而未能觀察到的偶然因素。Y由自變量和隨機誤差共同決定，表達出了y與自變量間既有聯(lián)系又有不確定性的特點。根據(jù)模型表達式是否為線性，可將回歸模型分為線性回歸模型和非