計(jì)算機(jī)專業(yè)研究生復(fù)試-機(jī)器學(xué)習(xí)面試簡答題

機(jī)器學(xué)習(xí)問題整理什么是梯度爆炸和梯度消失？如何解決梯度消失、梯度爆炸？在反向傳播過程中需要對激活函數(shù)進(jìn)行求導(dǎo)，如果導(dǎo)數(shù)大于1，那么隨著網(wǎng)絡(luò)層數(shù)的增加梯度更新將會朝著指數(shù)爆炸的方式增加這就是梯度爆炸。同樣如果導(dǎo)數(shù)小于1，那么隨著網(wǎng)絡(luò)層數(shù)的增加梯度更新信息會朝著指數(shù)衰減的方式減少這就是梯度消失。因此，梯度消失、爆炸，其根本原因在于反向傳播訓(xùn)練法則，屬于先天不足。解決方法：對于RNN，可以通過梯度截?cái)?，避免梯度爆炸。可以通過添加正則項(xiàng)，避免梯度爆炸。使用LSTM等自循環(huán)和門控制機(jī)制，避免梯度消失。優(yōu)化激活函數(shù)，譬如將sigmoid改為relu，避免梯度消失。數(shù)據(jù)挖掘是干什么的？數(shù)據(jù)挖掘：數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程，包含了機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、數(shù)學(xué)等多個學(xué)科的知識。數(shù)據(jù)挖掘三大常見的任務(wù)：回歸任務(wù)：回歸任務(wù)是一種對連續(xù)型隨機(jī)變量進(jìn)行預(yù)測和建模的監(jiān)督學(xué)習(xí)算法，使用案例包括房價預(yù)測、股票走勢等。分類任務(wù)：分類是一種對離散型變量建?；蝾A(yù)測的監(jiān)督學(xué)習(xí)算法，使用案例包括郵件過濾、金融欺詐等。聚類任務(wù)：聚類是一種無監(jiān)督學(xué)習(xí)，它是基于數(shù)據(jù)的內(nèi)部結(jié)構(gòu)尋找觀察樣本的自然族群（集群），使用案例包括新聞聚類、文章推薦等。更廣泛的任務(wù)還有推薦、圖像識別、預(yù)測等相關(guān)算法。監(jiān)督學(xué)習(xí)：數(shù)據(jù)集中每個樣本都有相應(yīng)的標(biāo)簽。無監(jiān)督學(xué)習(xí)：數(shù)據(jù)集中的樣本沒有相應(yīng)的標(biāo)簽。無監(jiān)督學(xué)習(xí)算法（UnsupervisedLearning）使用無標(biāo)記數(shù)據(jù)（輸入變量沒有對應(yīng)輸出結(jié)果），試圖識別數(shù)據(jù)本身的內(nèi)部結(jié)構(gòu)。無監(jiān)督學(xué)習(xí)算法主要有兩類：降維算法（降低數(shù)據(jù)維度）如主成分分析等，聚類算法如K均值聚類、層次聚類等?；貧w模型從大量的函數(shù)結(jié)果和自變量反推回函數(shù)表達(dá)式的過程就是回歸?；貧w算法是一種有監(jiān)督學(xué)習(xí)算法，用來建立自變量X和觀測變量Y之間的映射關(guān)系，如果觀測變量是離散的，則稱其為分類Classification；如果觀測變量是連續(xù)的，則稱其為回歸Regression。線性回歸模型試圖學(xué)得一個線性模型以盡可能準(zhǔn)確地預(yù)測實(shí)值X的輸出標(biāo)記Y。在這個模型中，因變量Y是連續(xù)的，自變量X可以是連續(xù)或離散的。邏輯回歸：因變量是定性變量，是分類問題。logistic回歸則通過函數(shù)sigmoid將ax+b對應(yīng)到到(0,1)，從而完成概率的估測。在回歸分析中，如果只包括一個自變量和一個因變量，且二者關(guān)系可用一條直線近似表示，稱為一元線性回歸分析；如果回歸分析中包括兩個或兩個以上的自變量，且因變量和自變量是線性關(guān)系，則稱為多元線性回歸分析。對于二維空間線性是一條直線，對于三維空間線性是一個平面，對于多維空間線性是一個超平面。優(yōu)點(diǎn)：1、模型簡單，訓(xùn)練速度快；2、邏輯回歸廣泛應(yīng)用與工業(yè)問題上。3、便利的觀測樣本概率分?jǐn)?shù)；4、對邏輯回歸而言，多重共線性并不是問題，它可以結(jié)合L2正則化來解決該問題；5、計(jì)算代價不高，易于理解和實(shí)現(xiàn)；缺點(diǎn)：1、特征空間大時邏輯回歸的性能不是很好；2、對于非線性特征需要轉(zhuǎn)換；3、依賴于全部數(shù)據(jù)；4、容易欠擬合，一般準(zhǔn)確度不太高；不能很好地處理大量多類特征或變量；5、只能處理兩分類問題（在此基礎(chǔ)上衍生出來的softmax可以用于多分類，也可以使用一對多分類。），且必須線性可分；對于非線性特征，需要進(jìn)行轉(zhuǎn)換 典型例子：線性回歸求房價、自變量求導(dǎo)。邏輯回歸：MINST數(shù)據(jù)集、鳶(yuan)尾花數(shù)據(jù)集（iris數(shù)據(jù)集）k-means算法（k均值算法）聚類算法。K-means是我們最常用的基于歐式距離的聚類算法，其認(rèn)為兩個目標(biāo)的距離越近，相似度越大。聚類算法，事先確定常數(shù)k，k代表著聚類類別數(shù)。首先隨機(jī)選取k個初始點(diǎn)為質(zhì)心，并通過計(jì)算每一個樣本與質(zhì)心之間的相似度（可以采用歐式距離），將樣本點(diǎn)歸到最相似的類中，接著重新計(jì)算每個類的質(zhì)心（該類中所有點(diǎn)的平均值），重復(fù)這樣的過程直到質(zhì)心不再改變，最終就確定了每個樣本所屬的類別以及每個類的質(zhì)心。優(yōu)點(diǎn)：原理簡單、容易實(shí)現(xiàn)。缺點(diǎn)：收斂太慢、算法復(fù)雜度高、需先確定K的個數(shù)、結(jié)果不一定是全局最優(yōu)，只能保證局部最優(yōu)。典型的例子：葡萄酒分類kNN（k近鄰）學(xué)習(xí)思路：給定測試樣本，基于某種距離度量找出訓(xùn)練集中與其最靠近的k個訓(xùn)練樣本，然后基于這k個“鄰居”的信息來進(jìn)行預(yù)測。通常，在分類任務(wù)中可使用“投票法”，即選擇這k個樣本中出現(xiàn)最多的類別標(biāo)記作為預(yù)測結(jié)果；在回歸任務(wù)中可使用“平均法”，即將這k個樣本的實(shí)值輸出標(biāo)記的平均值作為預(yù)測結(jié)果；還可基于距離遠(yuǎn)近進(jìn)行加權(quán)平均或加權(quán)投票，距離越近的樣本權(quán)重越大。優(yōu)點(diǎn)：1、思想簡單，易于理解，易于實(shí)現(xiàn)，無需估計(jì)參數(shù)，無需訓(xùn)練；2、適合對稀有事件進(jìn)行分類；3、特別適用于多分類問題缺點(diǎn)：1、需要計(jì)算出待測樣本與所有樣本的距離，計(jì)算量大2、樣本不平衡時影響大3、適用的特征維度低決策樹（ID3算法和C4.5算法）概述決策樹是一種簡單高效并且具有強(qiáng)解釋性的模型，廣泛應(yīng)用于數(shù)據(jù)分析領(lǐng)域。其本質(zhì)是一顆由多個判斷節(jié)點(diǎn)組成的樹。在使用模型進(jìn)行預(yù)測時，根據(jù)輸入?yún)?shù)依次在各個判斷節(jié)點(diǎn)進(jìn)行判斷游走，最后到葉子節(jié)點(diǎn)即為預(yù)測結(jié)果。決策樹學(xué)習(xí)通常包括3個步驟：特征選擇、決策樹的生成和決策樹的修剪。決策樹算法的核心是通過對數(shù)據(jù)的學(xué)習(xí)，選定判斷節(jié)點(diǎn)，構(gòu)造一顆合適的決策樹。決策樹既可以作為分類算法，也可以作為回歸算法，同時也特別適合集成學(xué)習(xí)比如隨機(jī)森林。ID3算法的核心是在決策樹各個節(jié)點(diǎn)上應(yīng)用信息增益（屬性有3個取值的比2個取值的增益大）準(zhǔn)則選擇特征，遞歸地構(gòu)建決策樹。C4.5在生成的過程中，用信息增益比來選擇特征。構(gòu)造決策樹的主要步驟遍歷每個決策條件，對結(jié)果集進(jìn)行拆分。計(jì)算在該決策條件下，所有可能的拆分情況的信息增益，信息增益最大的拆分為本次最優(yōu)拆分。直至信息增益<=0。決策樹的剪枝方式剪枝(pruning)是決策樹學(xué)習(xí)算法對付“過擬合”的主要手段。決策樹剪枝的基本策略有“預(yù)剪枝”和“后剪枝”。預(yù)剪枝是指在決策樹生成過程中，對每個結(jié)點(diǎn)在劃分前先進(jìn)行估計(jì)，若當(dāng)前結(jié)點(diǎn)的劃分不能帶來決策樹泛化性能提升，則停止劃分并將當(dāng)前結(jié)點(diǎn)標(biāo)記為葉結(jié)點(diǎn)；后剪枝則是先從訓(xùn)練集生成一棵完整的決策樹，然后自底向上地對非葉節(jié)點(diǎn)進(jìn)行考察，若將該結(jié)點(diǎn)對應(yīng)的子樹替換為葉節(jié)點(diǎn)能帶來決策樹泛化性能提升，則將該子樹替換為葉結(jié)點(diǎn)。優(yōu)點(diǎn)：1、容易可視化,清晰表達(dá)屬性的重要程度；2、算法完全不受數(shù)據(jù)縮放的影響，決策樹算法不需要特征預(yù)處理，比如歸一化或標(biāo)準(zhǔn)化,計(jì)算量較?。?、特別特征的尺度完全不一樣時或者二元特征和連續(xù)特征同時存在時，決策樹的效果很好。4、可增量學(xué)習(xí)對模型進(jìn)行部分重構(gòu)5、不需要任何領(lǐng)域知識和參數(shù)假設(shè)6、適合高維數(shù)據(jù)缺點(diǎn)：1、沒有考慮屬性間依賴2、容易過擬合，通過剪枝緩解3、不可用于推測屬性缺失的樣本隨機(jī)森林模型集成學(xué)習(xí)集成學(xué)習(xí)通過建立幾個模型組合的來解決單一預(yù)測問題。它的工作原理是生成多個分類器/模型，各自獨(dú)立地學(xué)習(xí)和做出預(yù)測。這些預(yù)測最后結(jié)合成單預(yù)測，因此優(yōu)于任何一個單分類的做出預(yù)測。隨機(jī)森林算法隨機(jī)森林其實(shí)算是一種集成算法。它首先隨機(jī)選取不同的特征(feature)和訓(xùn)練樣本(trainingsample)，生成大量的決策樹，然后綜合這些決策樹的結(jié)果來進(jìn)行最終的分類。隨機(jī)森林算法是最常用也是最強(qiáng)大的監(jiān)督學(xué)習(xí)算法之一，它兼顧了解決回歸問題和分類問題的能力。隨機(jī)森林是通過集成學(xué)習(xí)的思想，將多棵決策樹進(jìn)行集成的算法。對于分類問題，其輸出的類別是由個別樹輸出的眾數(shù)所決定的。在回歸問題中，把每一棵決策樹的輸出進(jìn)行平均得到最終的回歸結(jié)果。決策樹的數(shù)量越大，隨機(jī)森林算法的魯棒性越強(qiáng)，精確度越高。隨機(jī)森林算法的步驟:首先，對樣本數(shù)據(jù)進(jìn)行有放回的抽樣，得到多個樣本集。具體來講就是每次從原來的N個訓(xùn)練樣本中有放回地隨機(jī)抽取N個樣本(包括可能重復(fù)樣本)。然后，從候選的特征中隨機(jī)抽取m個特征，作為當(dāng)前節(jié)點(diǎn)下決策的備選特征，從這些特征中選擇最好的劃分訓(xùn)練樣本的特征。用每個樣本集作為訓(xùn)練樣本構(gòu)造決策樹。單個決策樹在產(chǎn)生樣本集和確定特征后，使用CART算法計(jì)算，不剪枝。最后，得到所需數(shù)目的決策樹后，隨機(jī)森林方法對這些樹的輸出進(jìn)行投票，以得票最多的類作為隨機(jī)森林的決策。隨機(jī)森林的特點(diǎn)在當(dāng)前的很多數(shù)據(jù)集上，相對其他算法有著很大的優(yōu)勢能夠處理具有高維特征的輸入樣本，而且不需要做特征選擇或降維能夠評估各個特征在分類問題上的重要性能夠有效地運(yùn)行在大數(shù)據(jù)集上在訓(xùn)練過程中，能夠檢測到特征間的互相影響,對不平衡的數(shù)據(jù)集可以平衡誤差對于缺省值問題也能夠獲得很好的結(jié)果SVM（支持向量機(jī)）SVM的全稱是SupportVectorMachine，即支持向量機(jī)，主要用于解決模式識別領(lǐng)域中的數(shù)據(jù)分類問題，屬于有監(jiān)督學(xué)習(xí)算法的一種。SVM的核心思想就是找到不同類別之間的分界面，使得兩類樣本盡量落在面的兩邊，而且離分界面盡量遠(yuǎn)，從而對新的數(shù)據(jù)分類更準(zhǔn)確，即使分類器更加健壯。支持向量（SupportVetor）：就是離分隔超平面最近的那些點(diǎn)。SVM是一種二類分類模型，其基本模型定義為特征空間上的間隔最大的線性分類器，其學(xué)習(xí)策略便是間隔最大化，最終可轉(zhuǎn)化為一個凸二次規(guī)劃問題的求解。SVM分類，就是找到一個超平面，讓兩個分類集合的支持向量或者所有的數(shù)據(jù)（LSSVM）離分類平面最遠(yuǎn)；SVR回歸，就是找到一個回歸平面，讓一個集合的所有數(shù)據(jù)到該平面的距離最近。SVR是支持向量回歸(supportvectorregression)的英文縮寫，是支持向量機(jī)(SVM)的重要的應(yīng)用分支。優(yōu)點(diǎn)：SVM只側(cè)重于支持向量，無需依賴整個數(shù)據(jù)，可解決小樣本的機(jī)器學(xué)習(xí)任務(wù)可解決高維問題可通過核方法解決非線性問題無局部極小值問題；（相對于神經(jīng)網(wǎng)絡(luò)等算法）缺點(diǎn)：內(nèi)存消耗大，當(dāng)觀測樣本很多時，效率并不是很高；對非線性問題沒有通用解決方案，有時候很難找到一個合適的核函數(shù)；對于核函數(shù)的高維映射解釋力不強(qiáng)，尤其是徑向基函數(shù)。常規(guī)SVM只支持二分類；對缺失數(shù)據(jù)敏感；SVM運(yùn)行和調(diào)參也有些煩人，而隨機(jī)森林卻剛好避開了這些缺點(diǎn)，比較實(shí)用。樸素貝葉斯(naiveBayes)樸素貝葉斯（naiveBayes）法是一種基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法。葉斯的思想基礎(chǔ)是這樣的：對于給出的待分類項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個類別出現(xiàn)的概率，哪個最?，就認(rèn)為此待分類項(xiàng)屬于哪個類別。樸素貝葉斯樸素體現(xiàn)在兩個假設(shè)：一個特征出現(xiàn)的概率與其他特征（條件）獨(dú)立。每個特征同等重要。整個樸素貝葉斯分類分為三個階段：第?階段——準(zhǔn)備?作階段，對每個特征屬性進(jìn)?適當(dāng)劃分，并選取訓(xùn)練樣本集合。分類器的質(zhì)量很?程度上由特征屬性、特征屬性劃分及訓(xùn)練樣本質(zhì)量決定。第?階段——分類器訓(xùn)練階段，這個階段的任務(wù)就是?成分類器，基于特征條件獨(dú)立假設(shè)學(xué)習(xí)輸入輸出的聯(lián)合概率分布。這?階段是機(jī)械性階段，根據(jù)前?討論的公式可以由程序?動計(jì)算完成。第三階段——應(yīng)?階段。這個階段的任務(wù)是使?分類器對待分類項(xiàng)進(jìn)?分類，對給定的輸入x，利用貝葉斯定理求出后驗(yàn)概率最大的輸出y。其輸?是分類器和待分類項(xiàng)，輸出是待分類項(xiàng)與類別的映射關(guān)系。這?階段也是機(jī)械性階段，由程序完成。樸素貝葉斯是經(jīng)典的機(jī)器學(xué)習(xí)算法之一，也是為數(shù)不多的基于概率論的分類算法。樸素貝葉斯原理簡單，也很容易實(shí)現(xiàn)，學(xué)習(xí)與預(yù)測的效率都很高，多用于文本分類，比如垃圾郵件過濾。優(yōu)點(diǎn)：1、計(jì)算量較小2、支持懶惰學(xué)習(xí)、增量學(xué)習(xí)3、對缺失數(shù)據(jù)不太敏感4、推斷即查表，速度極快。缺點(diǎn)：1、沒有考慮屬性間依賴2、通過類先驗(yàn)概率產(chǎn)生模型

神經(jīng)網(wǎng)絡(luò)部分基礎(chǔ)神經(jīng)網(wǎng)絡(luò)架構(gòu)及常用名詞激活函數(shù)：激活函數(shù)的作用是把數(shù)據(jù)映射到高維的空間中進(jìn)而使數(shù)據(jù)變得線性可分。常見有邏輯函數(shù)sigmoid、正切函數(shù)tanh、線性整流函數(shù)ReLU等等。損失函數(shù)：衡量模型輸出與真實(shí)標(biāo)簽的差異。常見的有距離損失函數(shù)MSE、交叉熵?fù)p失函數(shù)和log-likehood函數(shù)。學(xué)習(xí)率：學(xué)習(xí)率能夠使目標(biāo)函數(shù)在合適的時間內(nèi)收斂到局部最小值，當(dāng)學(xué)習(xí)率設(shè)置的過小時，收斂過程將變得十分緩慢。而當(dāng)學(xué)習(xí)率設(shè)置的過大時，梯度可能會在最小值附近來回震蕩，甚至可能無法收斂。BP(backpropagation，多層前饋)神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò)，其主要的特點(diǎn)是：信號是前向傳播的，而誤差是反向傳播的。它的基本思想是梯度下降法，利用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值和期望輸出值的誤差均方差為最小。BP網(wǎng)絡(luò)可在輸入層與輸出層之間增加若干隱含層，每一層可以有若干個節(jié)點(diǎn)，它們與外界沒有直接的聯(lián)系，但其狀態(tài)的改變，則能影響輸入與輸出之間的關(guān)系。BP算法的學(xué)習(xí)過程由正向傳播過程和反向傳播過程組成。在正向傳播過程中，輸入信息通過輸入層經(jīng)隱含層，逐層處理并傳向輸出層。如果在輸出層得不到期望的輸出值，則通過損失函數(shù)計(jì)算輸出與期望的誤差，轉(zhuǎn)入反向傳播，逐層求出目標(biāo)函數(shù)對各神經(jīng)元權(quán)值的偏導(dǎo)數(shù)，構(gòu)成目標(biāo)函數(shù)對權(quán)值向量的梯量，作為修改權(quán)值的依據(jù)，網(wǎng)絡(luò)的學(xué)習(xí)在權(quán)值修改過程中完成。誤差達(dá)到所期望值時，網(wǎng)絡(luò)學(xué)習(xí)結(jié)束。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、LSTM網(wǎng)絡(luò)：RNN提出：對時間序列上的變化進(jìn)行建模，然而，樣本出現(xiàn)的時間順序?qū)τ谧匀徽Z言處理、語音識別等應(yīng)用很重要；RNN解決了樣本的處理在各個時刻獨(dú)立的問題，可以對時間序列上的變化進(jìn)行建模，深度是時間上的長度。神經(jīng)元的輸出可以在下一個時間戳直接作用到自身。即，某一層某一時刻神經(jīng)元的輸入，除了上一層神經(jīng)元在該時刻的輸出外，還有本身在上一時刻的輸出。缺點(diǎn)：時間軸上的“梯度消失”，為解決這個問題——>長短時記憶單元LSTM：通過門的開關(guān)實(shí)現(xiàn)時間上記憶功能，防止梯度消失。通過刻意的設(shè)計(jì)來避免長期依賴問題。LSTM核心：通過門的開關(guān)實(shí)現(xiàn)時間上記憶功能，防止梯度消失。通過刻意的設(shè)計(jì)來避免長期依賴問題。具有利用“門”的結(jié)構(gòu)來去除或增加信息到細(xì)胞狀態(tài)的能力，有三個門。門：讓信息選擇通過的方法，包括sigmoid神經(jīng)網(wǎng)絡(luò)層和一個點(diǎn)乘操作。忘記門層：決定從細(xì)胞狀態(tài)中丟棄什么信息。讀取本層的輸入和上一層的輸出，輸出一個0到1之間的數(shù)值給每個細(xì)胞狀態(tài)。確定什么樣的信息被存放在細(xì)胞狀態(tài)中，包含兩個部分：1）sigmoid“輸入門層”，決定什么值將要更新。2）tanh層，創(chuàng)建一個新的候選值向量。會被加到狀態(tài)中。更新細(xì)胞狀態(tài)。基于細(xì)胞狀態(tài)確定輸出什么值CNN網(wǎng)絡(luò)提出：全連接的結(jié)構(gòu)下會引起參數(shù)數(shù)量的膨脹，容易過擬合且局部最優(yōu)。圖像中有固有的局部模式可以利用，所以，提出了CNN，并不是所有上下層神經(jīng)元都能直接相連，而是通過“卷積核”作為中介。同一個卷積核在所有圖像內(nèi)都是共享的，圖像通過卷積操作后仍然保留原來的位置關(guān)系。通過多個“卷積層”和“采樣層”對輸入信號進(jìn)行加工，然后再連接層實(shí)現(xiàn)與輸出目標(biāo)之間的映射。多層的目的：一層卷積學(xué)到的特征往往是局部的，層數(shù)越高，學(xué)到的特征就越全局化。CNN特點(diǎn)：局部感知：一般認(rèn)為圖像的空間聯(lián)系是局部的像素聯(lián)系比較密切，而距離較遠(yuǎn)的像素相關(guān)性較弱，因此，每個神經(jīng)元沒必要對全局圖像進(jìn)行感知，只要對局部進(jìn)行感知，然后在更高層將局部的信息綜合起來得到全局信息。利用卷積層實(shí)現(xiàn)：（特征映射，每個特征映射是一個神經(jīng)元陣列）：從上一層通過局部卷積濾波器提取局部特征。卷積層緊跟著一個用來求局部平均與二次提取的計(jì)算層，這種二次特征提取結(jié)構(gòu)減少了特征分辨率。參數(shù)共享：在局部連接中，每個神經(jīng)元的參數(shù)都是一樣的，即：同一個卷積核在圖像中都是共享的。（理解：卷積操作實(shí)際是在提取一個個局部信息，而局部信息的一些統(tǒng)計(jì)特性和其他部分是一樣的，也就意味著這部分學(xué)到的特征也可以用到另一部分上。所以對圖像上的所有位置，都能使用同樣的學(xué)習(xí)特征。）卷積核共享有個問題：提取特征不充分，可以通過增加多個卷積核來彌補(bǔ)，可以學(xué)習(xí)多種特征。采樣(池化)層：在通過卷積得到特征后，希望利用這些特征進(jìn)行分類。基于局部相關(guān)性原理進(jìn)行亞采樣，在減少數(shù)據(jù)量的同時保留有用信息。（壓