機(jī)器學(xué)習(xí)算法與實(shí)踐郭羽含課后參考答案

第一章1．填空題1）交叉，數(shù)學(xué)，統(tǒng)計(jì)學(xué)，計(jì)算機(jī)科學(xué)，信息論，優(yōu)化理論，自動，通過經(jīng)驗(yàn)2）監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)；分類、回歸、聚類、降維3）分類，回歸，聚類，數(shù)據(jù)預(yù)處理4）簡潔易讀、高層次、解釋性、可移植、豐富的庫、面向?qū)ο?、動態(tài)類型2．簡答題1）簡述機(jī)器學(xué)習(xí)的應(yīng)用領(lǐng)域。機(jī)器學(xué)習(xí)廣泛應(yīng)用于多個(gè)領(lǐng)域，包括：金融：風(fēng)險(xiǎn)評估、欺詐檢測、算法交易。醫(yī)療：疾病預(yù)測、醫(yī)學(xué)影像分析、個(gè)性化治療。廣告：用戶行為分析、推薦系統(tǒng)、精準(zhǔn)營銷。自然語言處理：文本分類、情感分析、機(jī)器翻譯。計(jì)算機(jī)視覺：人臉識別、物體檢測、圖像分類。自動駕駛：環(huán)境感知、路徑規(guī)劃、決策支持。2）機(jī)器學(xué)習(xí)分類有哪些？機(jī)器學(xué)習(xí)的分類主要有：監(jiān)督學(xué)習(xí)：利用帶標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練，常見任務(wù)包括分類和回歸。無監(jiān)督學(xué)習(xí)：使用無標(biāo)簽數(shù)據(jù)，主要用于聚類和降維。半監(jiān)督學(xué)習(xí)：結(jié)合少量標(biāo)記數(shù)據(jù)和大量無標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練。強(qiáng)化學(xué)習(xí)：通過與環(huán)境的交互學(xué)習(xí)，最大化累積獎勵。3）簡述機(jī)器學(xué)習(xí)的發(fā)展歷史。機(jī)器學(xué)習(xí)的發(fā)展歷程可分為幾個(gè)階段：1950s-1960s：早期探索，提出了感知機(jī)模型。1980s：引入神經(jīng)網(wǎng)絡(luò)，發(fā)展出反向傳播算法。1990s：統(tǒng)計(jì)學(xué)習(xí)理論興起，支持向量機(jī)(SVM)等方法被提出。2000s：大數(shù)據(jù)和計(jì)算能力提升，深度學(xué)習(xí)開始得到重視。2010s至今：深度學(xué)習(xí)取得突破，廣泛應(yīng)用于各行各業(yè)。4）簡述機(jī)器學(xué)習(xí)能在互聯(lián)網(wǎng)搜索的哪些環(huán)節(jié)起作用？在互聯(lián)網(wǎng)搜索中，機(jī)器學(xué)習(xí)可以在以下環(huán)節(jié)起作用：搜索結(jié)果排序：根據(jù)用戶反饋和行為優(yōu)化搜索結(jié)果的展示順序。推薦系統(tǒng)：根據(jù)用戶歷史搜索和偏好推薦相關(guān)內(nèi)容。自然語言處理：理解用戶查詢意圖，提高搜索準(zhǔn)確性。圖片和視頻搜索：通過圖像識別技術(shù)改善多媒體內(nèi)容的搜索效果。5）什么是監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)？各自有哪些特點(diǎn)以及它們的區(qū)別？監(jiān)督學(xué)習(xí)：使用帶標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練。特點(diǎn)是模型通過已知輸入和輸出學(xué)習(xí)映射關(guān)系，適用于分類和回歸任務(wù)。無監(jiān)督學(xué)習(xí)：使用無標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練。特點(diǎn)是發(fā)現(xiàn)數(shù)據(jù)的潛在結(jié)構(gòu)，如聚類和降維。半監(jiān)督學(xué)習(xí)：結(jié)合少量標(biāo)記和大量無標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練。特點(diǎn)是提升模型性能，特別是在標(biāo)簽獲取困難的情況下。區(qū)別：監(jiān)督學(xué)習(xí)依賴標(biāo)簽，無監(jiān)督學(xué)習(xí)不依賴標(biāo)簽，半監(jiān)督學(xué)習(xí)則是二者的結(jié)合。6）機(jī)器學(xué)習(xí)與人工智能有什么關(guān)系和區(qū)別？關(guān)系：機(jī)器學(xué)習(xí)是人工智能（AI）的一個(gè)子集，通過數(shù)據(jù)驅(qū)動的方法使機(jī)器具有學(xué)習(xí)能力，從而實(shí)現(xiàn)智能化。區(qū)別：人工智能是一個(gè)更廣泛的概念，涵蓋所有使計(jì)算機(jī)具有人類智能特征的技術(shù)，包括規(guī)則系統(tǒng)、邏輯推理等，而機(jī)器學(xué)習(xí)專注于通過數(shù)據(jù)和算法讓系統(tǒng)自我改進(jìn)。7）有哪些常見的Python庫？常見的Python庫包括：NumPy：用于科學(xué)計(jì)算和數(shù)組操作。Pandas：數(shù)據(jù)處理和分析。Matplotlib：數(shù)據(jù)可視化。Scikit-learn：機(jī)器學(xué)習(xí)算法和工具。TensorFlow和Keras：深度學(xué)習(xí)框架。PyTorch：另一種流行的深度學(xué)習(xí)框架。Statsmodels：統(tǒng)計(jì)建模和計(jì)量經(jīng)濟(jì)學(xué)。第二章1．填空題訓(xùn)練集、驗(yàn)證集、測試集、網(wǎng)格搜索、隨機(jī)搜索、貝葉斯優(yōu)化留出法、交叉驗(yàn)證、自助法2．簡答題1）過擬合和欠擬合的含義、產(chǎn)生原因及解決方法過擬合：含義：模型在訓(xùn)練集上表現(xiàn)很好，但在測試集或新數(shù)據(jù)上表現(xiàn)不佳，說明模型學(xué)習(xí)到了訓(xùn)練數(shù)據(jù)中的噪聲和細(xì)節(jié)，而不是數(shù)據(jù)的普遍規(guī)律。產(chǎn)生原因：模型復(fù)雜度過高（例如，使用了太多的參數(shù)或?qū)哟危?、?xùn)練數(shù)據(jù)量不足、缺乏正則化等。解決方法：減少模型復(fù)雜度（例如，使用更簡單的模型）、增加訓(xùn)練數(shù)據(jù)、使用正則化技術(shù)（如L1、L2正則化）、使用交叉驗(yàn)證等。欠擬合：含義：模型在訓(xùn)練集和測試集上都表現(xiàn)不佳，無法捕捉到數(shù)據(jù)中的基本模式。產(chǎn)生原因：模型復(fù)雜度過低（例如，使用了線性模型去擬合高度非線性的數(shù)據(jù)）、特征選擇不當(dāng)?shù)?。解決方法：增加模型復(fù)雜度（例如，使用更復(fù)雜的模型）、進(jìn)行特征工程、增加更多相關(guān)的特征等。2）數(shù)據(jù)集劃分的估算這是一個(gè)排列組合問題，在保持樣本均衡的前提下，正例和反例在訓(xùn)練和測試集中的數(shù)量相同，即在訓(xùn)練集中應(yīng)該包括1750個(gè)正例和1750個(gè)反例，剩余的作測試集，那么劃分方式應(yīng)該有x25003）錯(cuò)誤率與ROC曲線的聯(lián)系錯(cuò)誤率是指分類模型預(yù)測錯(cuò)誤的樣本占總樣本的比例。錯(cuò)誤率可以簡潔地表示模型的整體性能，但它并沒有考慮不同類別之間的分類能力差異。ROC曲線（接收者操作特征曲線）則通過不同的閾值描繪出真正率（TPR）與假正率（FPR）的關(guān)系。ROC曲線提供了一個(gè)更全面的視角，能夠展示模型在不同決策閾值下的性能。聯(lián)系：ROC曲線下的面積（AUC）可以作為模型性能的一個(gè)重要指標(biāo)，通常比單一的錯(cuò)誤率更能反映模型的分類能力。通過分析ROC曲線，可以發(fā)現(xiàn)模型在不同閾值下的表現(xiàn)，從而幫助選擇最佳的閾值以優(yōu)化錯(cuò)誤率。4）比較檢驗(yàn)及常用方法比較檢驗(yàn)是統(tǒng)計(jì)學(xué)中用于比較兩個(gè)或多個(gè)樣本之間差異的方法，以判斷這些差異是否具有統(tǒng)計(jì)學(xué)意義。常用的比較檢驗(yàn)方法有：i)t檢驗(yàn)：用于比較兩組樣本均值的差異，適用于樣本量較小且數(shù)據(jù)近似服從正態(tài)分布的情況。適用情況：當(dāng)我們需要比較兩個(gè)獨(dú)立樣本或配對樣本的均值時(shí)，例如比較兩種藥物的效果。ii)方差分析（ANOVA）：用于比較多于兩組樣本均值的差異，適用于樣本量較小且數(shù)據(jù)近似服從正態(tài)分布且方差齊性的情況。適用情況：當(dāng)我們需要比較三組及以上樣本的均值時(shí)，例如比較不同教學(xué)方法對學(xué)生成績的影響。這兩種方法各有優(yōu)缺點(diǎn)，選擇時(shí)需根據(jù)數(shù)據(jù)特性和研究問題進(jìn)行適當(dāng)評估。第三章1．選擇題1）K-近鄰算法是一種（A）。A．監(jiān)督學(xué)習(xí)算法 B．無監(jiān)督學(xué)習(xí)算法C．半監(jiān)督學(xué)習(xí)算法 D．共強(qiáng)化學(xué)習(xí)算法2）K-近鄰的核心思想是（C）。A．使用概率模型進(jìn)行分類 B．尋找最優(yōu)超平面進(jìn)行分類C．基于距離度量進(jìn)行分類 D．利用決策樹進(jìn)行分類3）在K-近鄰算法中，k的選擇會對結(jié)果產(chǎn)生什么影響（B）。A．影響算法的收斂速度 B．影響算法的泛化能力C．影響算法的模型復(fù)雜度 D．影響算法的計(jì)算效率4）在K-近鄰算法中，如何選擇一個(gè)合適的k值（C）。A．根據(jù)訓(xùn)練數(shù)據(jù)集的大小選擇 B．根據(jù)特征空間的維度選擇C．根據(jù)應(yīng)用場景和實(shí)驗(yàn)結(jié)果選擇 D．根據(jù)算法的收斂性選擇5）在K-近鄰算法中，一般如何度量兩個(gè)樣本點(diǎn)之間的距離（B）。A．曼哈頓距離 B．歐氏距離C．余弦相似度 D．馬氏距離6）在K-近鄰算法中，如何解決樣本類別不平衡的問題（AD）。A．以重采樣來平衡各個(gè)類別的樣本數(shù)量 B．調(diào)整距離度量中的權(quán)重來平衡類別C．使用集成學(xué)習(xí)方法來平衡樣本類別 D．以過/欠采樣來平衡各類別樣本數(shù)量7）在K-近鄰算法的分類任務(wù)中，決策邊界是如何確定的（B）。A．根據(jù)訓(xùn)練樣本點(diǎn)的密度分布確定 B．根據(jù)歐氏距離和k值確定C．根據(jù)類別標(biāo)簽的分布確定 D．根據(jù)特征空間的劃分確定8）K-近鄰算法可以用于以下哪些任務(wù)（AB）。A．分類任務(wù) B．回歸任務(wù)C．聚類任務(wù) D．特征選擇任務(wù)2．問答題1）K-近鄰算法的基本流程是什么？1）計(jì)算已經(jīng)正確分類的數(shù)據(jù)集中每個(gè)樣本與待分類樣本之間的距離；2）按照距離遞增次序?qū)?shù)據(jù)集中的樣本排序；3）選取與待分類樣本距離最小的K個(gè)樣本；4）確定該K個(gè)樣本所在類別的出現(xiàn)頻率；5）返回該K個(gè)樣本出現(xiàn)頻率最高的類別作為待分類樣本的預(yù)測類別。2）K-近鄰算法的優(yōu)缺點(diǎn)是什么？優(yōu)點(diǎn)：簡單易懂：算法直觀，易于實(shí)現(xiàn)，適合初學(xué)者理解。無需訓(xùn)練：K-近鄰是懶惰學(xué)習(xí)算法，不需要顯式的訓(xùn)練過程，適合實(shí)時(shí)更新的數(shù)據(jù)。適用性廣：可以用于分類和回歸任務(wù)，適用范圍廣泛。靈活性高：可使用不同的距離度量（如歐氏距離、曼哈頓距離等），根據(jù)數(shù)據(jù)特征進(jìn)行調(diào)整。缺點(diǎn)：計(jì)算開銷大：需要計(jì)算每個(gè)測試樣本與所有訓(xùn)練樣本的距離，尤其在數(shù)據(jù)量大時(shí)，計(jì)算速度較慢。存儲需求高：需要存儲整個(gè)訓(xùn)練集，對內(nèi)存要求較高。對噪聲敏感：噪聲數(shù)據(jù)會影響分類結(jié)果，尤其是k值小的時(shí)候。維度詛咒：在高維空間中，數(shù)據(jù)點(diǎn)之間的距離變得不可靠，導(dǎo)致分類性能下降。選擇k值困難：k值的選擇對算法性能有很大影響，不同的k值可能導(dǎo)致截然不同的結(jié)果。3．算法題1）給定一組已分類的訓(xùn)練集[[2.0,3.0],[4.0,2.0],[1.0,2.5],[3.5,2.5],[2.5,1.5],[3.0,3.5]]及其類別標(biāo)簽[0,1,0,1,0,1]，請使用k近鄰算法判斷待分類樣本點(diǎn)[2.8,2.7]的類別標(biāo)簽。1.利用歐氏距離計(jì)算待分類樣本點(diǎn)與訓(xùn)練集中每個(gè)點(diǎn)的距離：a.與([2.0,3.0]):d1=0.854b.與([4.0,2.0]):d2=1.389c.與([1.0,2.5]):d3=1.811d.與([3.5,2.5]):d4=0.729e.與([2.5,1.5]):d5=1.237f.與([3.0,3.5]):d6=0.8242.整理距離和標(biāo)簽訓(xùn)練樣本距離類別[2.0,3.0]0.8540[4.0,2.0]1.391[1.0,2.5]1.810[3.5,2.5]0.7291[2.5,1.5]1.240[3.0,3.5]0.82413.假設(shè)k=34.按照距離排序，選擇最近的3個(gè)：a.[3.5,2.5]-距離(0.729)-類別(1)b.[3.0,3.5]-距離(0.824)-類別(1)c.[2.0,3.0]-距離(0.854)-類別(0)5.投票：·類別(1):2個(gè)·類別(0):1個(gè)6.根據(jù)投票結(jié)果，類別(1)獲得了更多的支持，最終確定待分類樣本點(diǎn)[2.8,2.7]的類別標(biāo)簽為1。2）為數(shù)據(jù)集{(1,2,2),(2,3,4),(3,2,4),(4,3,6),(6,4,7),(3,5,2)}構(gòu)建k-d樹。1.第一層（切分維度：x）：·排序：{(1,2,2),(2,3,4),(3,2,4),(4,3,6),(6,4,7),(3,5,2)}·中位數(shù)為{(3,2,4)}（索引為2）?！?chuàng)建根節(jié)點(diǎn)：{(3,2,4)}。左子樹:{(1,2,2),(2,3,4)}右子樹:{(4,3,6),(6,4,7),(3,5,2)}2.第二層（左子樹，切分維度：y）：·左子樹排序：((1,2,2),(2,3,4))·中位數(shù)為((2,3,4))（索引為1）?！?chuàng)建左子樹節(jié)點(diǎn)：((2,3,4))。左子樹:((1,2,2))右子樹:空3.第三層（左子樹的左子樹，切分維度：x）：·左子樹的左子樹排序：((1,2,2))·中位數(shù)為((1,2,2))?！?chuàng)建左子樹的左子樹節(jié)點(diǎn)：((1,2,2))。左子樹:空右子樹:空4.第二層（右子樹，切分維度：y）：·右子樹排序：((4,3,6),(6,4,7),(3,5,2))·中位數(shù)為((6,4,7))（索引為1）?！?chuàng)建右子樹節(jié)點(diǎn)：((6,4,7))。左子樹:((4,3,6))右子樹:((3,5,2))5.第三層（右子樹的左子樹，切分維度：x）：·左子樹的左子樹排序：((4,3,6))·中位數(shù)為((4,3,6))?！?chuàng)建右子樹的左子樹節(jié)點(diǎn)：((4,3,6))。左子樹:空右子樹:空6.第三層（右子樹的右子樹，切分維度：x）：·右子樹的右子樹排序：((3,5,2))·中位數(shù)為((3,5,2))?！?chuàng)建右子樹的右子樹節(jié)點(diǎn)：((3,5,2))。左子樹:空右子樹:空因此，k-d樹結(jié)構(gòu)為：(3,2,4)/\(2,3,4)(6,4,7)//\(1,2,2)(4,3,6)(3,5,2)第四章1．選擇題1）下列關(guān)于樸素貝葉斯的特點(diǎn)說法不正確的是（B）A.樸素貝葉斯處理過程簡單，分類速度快B.樸素貝葉斯模型無需假設(shè)特征條件獨(dú)立C.樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論，數(shù)學(xué)基礎(chǔ)堅(jiān)實(shí)D.樸素貝葉斯對小規(guī)模數(shù)據(jù)表現(xiàn)較好2）關(guān)于樸素貝葉斯，下列說法錯(cuò)誤的是（D）A.樸素的意義在于它的一個(gè)天真的假設(shè)：所有特征之間是相互獨(dú)立的B.它是一個(gè)分類算法C.它實(shí)際上是將多條件下的條件概率轉(zhuǎn)換成了單一條件下的條件概率，簡化了計(jì)算D.樸素貝葉斯不需要使用聯(lián)合概率3）EM算法的每次迭代由（B）步組成A．1 B．2 C．3 D．44）有向無環(huán)圖，A、B間出現(xiàn)（A）有向回路。A．0 B．1 C．2 D．32．問答題1）簡述樸素貝葉斯算法有幾種？高斯樸素貝葉斯、多項(xiàng)式樸素貝葉斯、伯努利樸素貝葉斯、拉普拉斯平滑樸素貝葉斯2）試比較樸素貝葉斯算法與半樸素貝葉斯算法樸素貝葉斯算法和半樸素貝葉斯算法都是基于貝葉斯定理的分類算法，但它們在特征獨(dú)立性假設(shè)和應(yīng)用場景上有所不同。以下是兩者的比較：a.特征獨(dú)立性假設(shè)樸素貝葉斯算法：假設(shè)所有特征條件獨(dú)立。也就是說，給定類別，特征之間相互獨(dú)立。這一假設(shè)簡化了模型的計(jì)算，但在某些情況下可能不符合實(shí)際情況。半樸素貝葉斯算法：不完全依賴于特征獨(dú)立性假設(shè)。它允許特征之間存在一定的依賴關(guān)系，因此能更好地捕捉特征之間的相關(guān)性，提高分類性能。b.模型復(fù)雜度樸素貝葉斯算法：由于假設(shè)特征獨(dú)立，模型相對簡單，易于實(shí)現(xiàn)和解釋，計(jì)算效率高。半樸素貝葉斯算法：由于考慮了特征之間的依賴關(guān)系，模型相對復(fù)雜，計(jì)算量可能增加。c.應(yīng)用場景樸素貝葉斯算法：通常適用于特征之間相對獨(dú)立的場景，如文本分類（垃圾郵件檢測、情感分析等）。半樸素貝葉斯算法：更適合特征之間存在一定相關(guān)性的情況，如在某些生物信息學(xué)問題或復(fù)雜的模式識別任務(wù)中。d.性能樸素貝葉斯算法：在特征獨(dú)立的前提下，往往表現(xiàn)較好，但在特征存在強(qiáng)相關(guān)性時(shí)性能可能下降。半樸素貝葉斯算法：在處理特征依賴性時(shí)通常能獲得更好的分類效果，尤其是在數(shù)據(jù)特征之間存在較強(qiáng)相關(guān)性的情況下。3．綜合應(yīng)用題1）用樸素貝葉斯算法實(shí)現(xiàn)天氣情況與是否打網(wǎng)球關(guān)系。表5-1天氣與是否打網(wǎng)球情況天氣氣溫濕度是否打網(wǎng)球晴熱高否晴熱高否多云熱高是雨溫高是雨涼正常是雨涼正常否多云涼正常是晴溫高否晴涼正常是雨溫正常是晴溫正常是多云溫高是多云熱正常是雨溫高否importpandasaspd

fromsklearn.preprocessingimportLabelEncoder

fromsklearn.naive_bayesimportGaussianNB

fromsklearn.model_selectionimporttrain_test_split

fromsklearnimportmetrics

#創(chuàng)建數(shù)據(jù)集

data={

'天氣':['晴','晴','多云','雨','雨','雨','多云','晴','晴','雨','晴','多云','多云','雨'],

'氣溫':['熱','熱','熱','溫','涼','涼','涼','溫','涼','溫','溫','溫','熱','溫'],

'濕度':['高','高','高','高','正常','正常','正常','高','正常','正常','正常','高','正常','高'],

'是否打網(wǎng)球':['否','否','是','是','是','否','是','否','是','是','是','是','是','否']

}

df=pd.DataFrame(data)

#編碼數(shù)據(jù)

le=LabelEncoder()

df['天氣']=le.fit_transform(df['天氣'])

df['氣溫']=le.fit_transform(df['氣溫'])

df['濕度']=le.fit_transform(df['濕度'])

df['是否打網(wǎng)球']=le.fit_transform(df['是否打網(wǎng)球'])

#特征和標(biāo)簽

X=df[['天氣','氣溫','濕度']]

y=df['是否打網(wǎng)球']

#拆分?jǐn)?shù)據(jù)集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#訓(xùn)練模型

model=GaussianNB()

model.fit(X_train,y_train)

#預(yù)測

y_pred=model.predict(X_test)

#評估

print("準(zhǔn)確率:",metrics.accuracy_score(y_test,y_pred))

print("分類報(bào)告:\n",metrics.classification_report(y_test,y_pred))

#預(yù)測示例

sample=[[0,1,0]]#假設(shè)：天氣=晴(0),氣溫=溫(1),濕度=高(0)

prediction=model.predict(sample)

print("預(yù)測結(jié)果:","打網(wǎng)球"ifprediction[0]==1else"不打網(wǎng)球")第五章1.選擇題1）下列說法中不正確的是（D）A.線性回歸應(yīng)用場景有房價(jià)預(yù)測B.線性回歸應(yīng)用場景有貸款額度預(yù)測C.線性回歸應(yīng)用場景有銷售額度預(yù)測D.線性回歸只有線性關(guān)系2）線性回歸的核心是（C）A．構(gòu)建模型 B．距離度量 C．參數(shù)學(xué)習(xí) D．特征提取3）下列屬于線性回歸的分類的有（AB）A.單變量線性關(guān)系B.多變量線性關(guān)系C.非線性關(guān)系D.以上都是4）邏輯回歸模型可以解決線性不可分問題嗎？（C）A.可以B.不可以C.視數(shù)據(jù)具體情況而定D.以上說法都不對2.問答題1）簡述梯度下降法有幾種？批量梯度下降、隨機(jī)梯度下降、小批量梯度下降、動量梯度下降、自適應(yīng)學(xué)習(xí)率方法2）試比較線性回歸與邏輯回歸的異同。線性回歸和邏輯回歸是兩種常用的回歸分析方法，它們在目標(biāo)、模型形式和應(yīng)用場景上有一些異同點(diǎn)。以下是它們的比較：相同點(diǎn)：基本原理：兩者都基于輸入特征與輸出變量之間的關(guān)系，試圖通過學(xué)習(xí)來擬合數(shù)據(jù)。使用梯度下降法：都可以使用梯度下降等優(yōu)化算法來最小化損失函數(shù)。特征處理：都可以使用相似的特征處理技術(shù)，如特征縮放、正則化等。不同點(diǎn)：目標(biāo)變量：線性回歸：用于預(yù)測連續(xù)型目標(biāo)變量（如房價(jià)、溫度）。邏輯回歸：用于分類問題，預(yù)測離散型目標(biāo)變量（如二分類任務(wù)：是/否、0/1）。模型輸出：線性回歸：輸出為一個(gè)實(shí)數(shù)值，表示預(yù)測值。邏輯回歸：輸出為概率值（介于0和1之間），通常通過閾值（如0.5）進(jìn)行類別判定。損失函數(shù)：線性回歸：采用均方誤差（MSE）作為損失函數(shù)。邏輯回歸：采用對數(shù)損失（LogLoss）作為損失函數(shù)。模型假設(shè)：線性回歸：假設(shè)特征和目標(biāo)變量之間存在線性關(guān)系。邏輯回歸：假設(shè)特征與目標(biāo)之間的關(guān)系可以通過邏輯函數(shù)（如sigmoid函數(shù)）來建模。適用場景：線性回歸：適用于回歸分析，常用于經(jīng)濟(jì)學(xué)、工程等領(lǐng)域。邏輯回歸：廣泛應(yīng)用于二分類問題，如醫(yī)學(xué)診斷、信用評分等。3．綜合應(yīng)用題1）下列數(shù)據(jù)是水泥釋放的熱量與其成分的關(guān)系，求其線性關(guān)系。表5-1水泥釋放的熱量與其成分yX1X2X3X478.572666074.31291552104.3115682087.6113184795.9752633109.21155922102.737117672.5131224493.12541822115.9214742683.81402334113.32266912109.410688122）表5-2中的數(shù)據(jù)集給出了用戶的性別、年齡信息，以及用戶是否會購買某個(gè)產(chǎn)品。我們希望通過邏輯回歸模型來對用戶的購買決策進(jìn)行預(yù)測。請構(gòu)建邏輯回歸模型并使用該模型對以下用戶的決策進(jìn)行預(yù)測：用戶1：年齡30歲，性別女用戶2：年齡50歲，性別男表5-2用戶信息及購買決策性別年齡購買決策25男是30女否35男否40女是45男否用戶1的購買決策預(yù)測為:是用戶2的購買決策預(yù)測為:否第六章1.選擇題1）支持向量機(jī)是一種常用的監(jiān)督學(xué)習(xí)算法，主要用于（A）和（）任務(wù)。A．分類回歸B．分類聚類C．聚類降維D．降維回歸2）線性支持向量機(jī)的優(yōu)化模型是（B）間隔最大化。A．硬B．軟C．軟或硬D．軟和硬3）非線性支持向量機(jī)通過（A）可以轉(zhuǎn)化為線性支持向量機(jī)。A．核技巧B．對偶算法C．SMO方法D．拉格朗日乘子法4）支持向量機(jī)的對偶問題可以通過（C）求解。A．核技巧B．對偶算法C．SMO方法D．拉格朗日乘子法5）支持向量機(jī)回歸模型的參數(shù)由（B）決定。A．SMO算法B．支持向量C．整個(gè)訓(xùn)練集D．測試集2.簡答題1）請簡述什么是支持向量機(jī)分類的“最大間隔”（MaximumMargin）劃分超平面，什么是支持向量，它具有什么特點(diǎn)。在支持向量機(jī)中，超平面是一個(gè)用于將數(shù)據(jù)點(diǎn)分成不同類別的決策邊界。最大間隔的劃分超平面是指離距兩個(gè)類別中邊界數(shù)據(jù)點(diǎn)（支持向量）距離最遠(yuǎn)的超平面。支持向量是指位于分類邊界附近的那些訓(xùn)練樣本點(diǎn)，它們直接影響決策邊界的位置和形狀。特點(diǎn)：重要性，支持向量是唯一影響決策邊界的點(diǎn)，去掉其他非支持向量的數(shù)據(jù)點(diǎn)不會改變分類結(jié)果。決定性，在訓(xùn)練過程中，只有支持向量才會參與到最終模型的構(gòu)建中，因此模型的復(fù)雜度與支持向量的數(shù)量密切相關(guān)。2）請簡述非線性支持向量機(jī)中的核函數(shù)有什么意義。在非線性支持向量機(jī)（SVM）中，核函數(shù)的主要意義在于將數(shù)據(jù)從輸入空間映射到更高維的特征空間，以便能夠找到一個(gè)線性可分的超平面。具體來說，核函數(shù)的意義包括：a)處理非線性關(guān)系，許多現(xiàn)實(shí)世界的數(shù)據(jù)是非線性可分的，直接在原始空間中難以找到合適的分隔超平面。b)核函數(shù)允許模型在高維空間中進(jìn)行操作，從而能夠有效地處理這些非線性關(guān)系。c)計(jì)算效率，避免高維計(jì)算，使用核函數(shù)可以不顯式地計(jì)算高維特征空間中的數(shù)據(jù)點(diǎn)，而是通過核函數(shù)直接計(jì)算它們之間的內(nèi)積。這種方法稱為“核技巧”，顯著減少了計(jì)算復(fù)雜度，避免了大規(guī)模數(shù)據(jù)處理時(shí)的高維特征計(jì)算。d)提高模型靈活性，多樣性，不同的核函數(shù)（如線性核、多項(xiàng)式核、徑向基函數(shù)核等）可以捕捉不同類型的數(shù)據(jù)分布和特征，使得模型可以根據(jù)具體問題的需求靈活調(diào)整。e)增強(qiáng)泛化能力，減少過擬合，通過在高維空間中尋找最優(yōu)分割，核函數(shù)有助于模型更好地分離不同類別的數(shù)據(jù)點(diǎn)，從而提高模型在新數(shù)據(jù)上的泛化能力。3）請簡述線性回歸與支持向量機(jī)回歸的聯(lián)系與區(qū)別。線性回歸和支持向量機(jī)回歸（SVR）都是用于回歸任務(wù)的機(jī)器學(xué)習(xí)算法，但它們在模型構(gòu)建、目標(biāo)和處理方式上有明顯的聯(lián)系與區(qū)別：聯(lián)系a)基本目標(biāo)：兩者都旨在建立一個(gè)函數(shù)模型，以預(yù)測連續(xù)的輸出變量（目標(biāo)值）。b)線性關(guān)系：在簡單情況下，線性回歸和SVR都可以使用線性模型來擬合數(shù)據(jù)，即假設(shè)輸入特征與輸出之間存在線性關(guān)系。c)損失函數(shù)：兩者都涉及到損失函數(shù)的最小化，線性回歸通常使用均方誤差（MSE），而SVR則使用不同的損失函數(shù)（如ε-不敏感損失）。區(qū)別a)模型形式：線性回歸：直接通過最小化均方誤差來擬合數(shù)據(jù)，結(jié)果是一個(gè)確定性的線性模型。SVR：通過最大化間隔和引入ε不敏感區(qū)域來構(gòu)建模型，允許一定范圍內(nèi)的誤差不被懲罰，從而提供更大的靈活性。b)容忍度：線性回歸：對所有的訓(xùn)練樣本都會計(jì)算誤差，沒有容忍度。SVR：定義了一個(gè)ε不敏感區(qū)域，只有當(dāng)預(yù)測值超出該區(qū)域時(shí)，才會對誤差進(jìn)行懲罰。這使得SVR能夠更好地處理噪聲數(shù)據(jù)。c)復(fù)雜度與參數(shù)：線性回歸：模型參數(shù)較少，易于理解和解釋。SVR：通常需要選擇核函數(shù)和調(diào)整相應(yīng)的參數(shù)（如C和ε），其模型復(fù)雜度可能更高。d)適用場景：線性回歸：適用于線性關(guān)系明顯且數(shù)據(jù)量相對較小的情況。SVR：更適合于復(fù)雜和非線性的數(shù)據(jù)集，尤其是在數(shù)據(jù)維度較高時(shí)表現(xiàn)優(yōu)越。3.編程題采用內(nèi)置鳶尾花數(shù)據(jù)，選取不同的特征，利用支持向量機(jī)實(shí)現(xiàn)分類。參考代碼如下#導(dǎo)入必要的庫importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltfromsklearnimportdatasetsfromsklearn.model_selectionimporttrain_test_splitfromsklearn.svmimportSVCfromsklearn.metricsimportclassification_report,confusion_matrix#1.加載數(shù)據(jù)集iris=datasets.load_iris()X=iris.data#特征y=iris.target#標(biāo)簽#2.選擇特征(例如選擇前兩個(gè)特征：花萼長度和花萼寬度)X_selected=X[:,:2]#選擇前兩個(gè)特征#3.劃分訓(xùn)練集和測試集X_train,X_test,y_train,y_test=train_test_split(X_selected,y,test_size=0.3,random_state=42)#4.訓(xùn)練支持向量機(jī)模型svm_model=SVC(kernel='linear')#使用線性核svm_model.fit(X_train,y_train)#5.進(jìn)行預(yù)測y_pred=svm_model.predict(X_test)#6.評估模型print("混淆矩陣:")print(confusion_matrix(y_test,y_pred))print("\n分類報(bào)告:")print(classification_report(y_test,y_pred))#可視化決策邊界plt.scatter(X_train[:,0],X_train[:,1],c=y_train,s=30,cmap='autumn',label='Traindata')plt.scatter(X_test[:,0],X_test[:,1],c=y_test,s=30,cmap='winter',marker='x',label='Testdata')#繪制決策邊界xlim=plt.xlim()ylim=plt.ylim()#創(chuàng)建網(wǎng)格并預(yù)測每個(gè)點(diǎn)的類別xx,yy=np.meshgrid(np.linspace(xlim[0],xlim[1],100),np.linspace(ylim[0],ylim[1],100))Z=svm_model.predict(np.c_[xx.ravel(),yy.ravel()])#使用predict方法Z=Z.reshape(xx.shape)#重新調(diào)整Z的形狀plt.contourf(xx,yy,Z,alpha=0.3,cmap='coolwarm')#用于填充背景plt.title("SVMDecisionBoundary")plt.xlabel("SepalLength")plt.ylabel("SepalWidth")plt.legend()plt.show()第七章1.問答題1）簡述ID3算法和C4.5算法的異同。ID3算法和C4.5算法是兩種用于構(gòu)建決策樹的常見算法，它們在處理分類問題時(shí)有一些相似之處，但也存在顯著的差異。相同點(diǎn)：基本思想:兩者都是基于信息增益的思想，采用遞歸的方式構(gòu)建決策樹，選擇最優(yōu)特征來進(jìn)行數(shù)據(jù)集的劃分。目標(biāo):都旨在通過特征的選擇來最大化信息增益（ID3）或增益比（C4.5），從而提高模型的分類準(zhǔn)確性。樹的結(jié)構(gòu):最終生成的結(jié)果都是一棵決策樹，可以用來進(jìn)行分類。不同點(diǎn):特征選擇標(biāo)準(zhǔn):ID3:僅使用信息增益作為特征選擇的標(biāo)準(zhǔn)。信息增益可能偏向選擇取值較多的特征。C4.5:使用增益比來進(jìn)行特征選擇，解決了ID3偏向取值多的特征的問題。增益比考慮了特征的熵，以更公平地評估特征的重要性。處理連續(xù)屬性:ID3:主要處理離散屬性，對于連續(xù)屬性通常需要離散化，方法不夠靈活。C4.5:能夠直接處理連續(xù)屬性，通過選定一個(gè)閾值將其轉(zhuǎn)換為離散屬性。缺失值處理:ID3:對于缺失值的處理能力較弱，通常會忽略含有缺失值的樣本。C4.5:更加健壯，能夠處理缺失值，通過對缺失值進(jìn)行概率分配來減少數(shù)據(jù)損失。剪枝策略:ID3:不支持后剪枝，可能導(dǎo)致生成過于復(fù)雜的樹（過擬合）。C4.5:提供了后剪枝機(jī)制，可以通過驗(yàn)證集來減少過擬合，提高模型的泛化能力。輸出:ID3:生成的決策樹通常較簡單，但容易受到數(shù)據(jù)噪聲的影響。C4.5:生成的樹結(jié)構(gòu)更為復(fù)雜，且能提供更好的分類性能。2）簡述CART原理并說明其特點(diǎn)。CART原理：樹的構(gòu)建：數(shù)據(jù)集被遞歸地劃分為兩部分，每次選擇一個(gè)特征及其最佳切分點(diǎn)，使得劃分后的每個(gè)子集在目標(biāo)變量上更為純凈。對于分類問題，CART使用基尼指數(shù)（GiniIndex）作為劃分標(biāo)準(zhǔn)；對于回歸問題，則使用平方誤差作為標(biāo)準(zhǔn)。分裂過程：每次選擇一個(gè)特征及其分裂點(diǎn)，通過計(jì)算各個(gè)可能的分裂點(diǎn)對目標(biāo)變量的影響，選擇信息增益最大（或純度最?。┑姆至腰c(diǎn)進(jìn)行劃分。劃分過程中生成的每個(gè)節(jié)點(diǎn)都繼續(xù)進(jìn)行劃分，直到滿足停止條件（如葉節(jié)點(diǎn)樣本數(shù)小于某個(gè)閾值、達(dá)到最大深度等）。剪枝：為了防止過擬合，CART通常會進(jìn)行后剪枝。通過交叉驗(yàn)證等方法評估樹的性能，去除一些不必要的節(jié)點(diǎn)，從而簡化樹結(jié)構(gòu)，提高模型的泛化能力。CART的特點(diǎn)：適用性廣：CART可以處理分類和回歸任務(wù)，適用性非常廣泛。二叉樹結(jié)構(gòu)：CART生成的決策樹是二叉樹，每個(gè)節(jié)點(diǎn)最多有兩個(gè)子節(jié)點(diǎn)，簡化了樹的結(jié)構(gòu)。靈活的特征處理：能夠處理連續(xù)和離散特征，并能夠直接使用原始數(shù)據(jù)，無需預(yù)處理。特征重要性：可以通過計(jì)算每個(gè)特征在樹中的使用頻率和影響力，評估特征的重要性，為特征選擇提供依據(jù)。易于解釋：決策樹的可視化使得模型易于理解和解釋，用戶可以很容易看出決策過程。對噪聲和異常值的敏感性：雖然CART具有強(qiáng)大的建模能力，但它對數(shù)據(jù)中的噪聲和異常值較為敏感，可能導(dǎo)致過擬合。2．編程題1）編寫程序，用ID3算法分類一個(gè)電影是科幻片還是動作片，數(shù)據(jù)集實(shí)例如表7-2所示。某電影打斗鏡頭為49，科幻鏡頭為51，其電影類別是什么？表7-2電影數(shù)據(jù)集實(shí)例電影名稱打斗鏡頭科幻鏡頭電影類型11101科幻片2589科幻片31085動作片41158動作片importpandasaspd

fromsklearn.treeimportDecisionTreeClassifier

#創(chuàng)建電影數(shù)據(jù)集

data={

'打斗鏡頭':[1,5,108,115],

'科幻鏡頭':[101,89,5,8],

'電影類型':['科幻片','科幻片','動作片','動作片']

}

#轉(zhuǎn)換為DataFrame

df=pd.DataFrame(data)

#特征和標(biāo)簽

X=df[['打斗鏡頭','科幻鏡頭']]

y=df['電影類型']

#創(chuàng)建決策樹分類器

clf=DecisionTreeClassifier(criterion='entropy')

clf.fit(X,y)

#輸入樣本數(shù)據(jù)

test_sample=[[49,51]]

#進(jìn)行預(yù)測

predicted=clf.predict(test_sample)

#輸出結(jié)果

print(f"電影類型預(yù)測為:{predicted[0]}")2）編寫程序，用C4.5算法進(jìn)行分類，數(shù)據(jù)集實(shí)例如表7-3所示。表7-3樣本數(shù)據(jù)集實(shí)例編號描述屬性類別屬性年齡收入是否為學(xué)生信譽(yù)購買計(jì)算機(jī)1≤30高否中否2≤30高否優(yōu)否331~40高否中是4>40中否中是5>40低是中是6>40低是優(yōu)否731~40低是優(yōu)是8≤30中否中否9≤30低是中是10>40中是中是11≤30中是優(yōu)是1231~40中否優(yōu)是1331~40高是中是14>40中否優(yōu)否importpandasaspd

fromsklearn.preprocessingimportLabelEncoder

fromsklearn.treeimportDecisionTreeClassifier

#創(chuàng)建數(shù)據(jù)集

data={

'年齡':['≤30','≤30','31~40','>40','>40','>40','31~40','≤30','≤30','>40','≤30','31~40','31~40','>40'],

'收入':['高','高','高','中','低','低','低','中','低','中','中','中','高','中'],

'是否為學(xué)生':['否','否','否','否','是','是','是','否','是','是','是','否','是','否'],

'信譽(yù)':['中','優(yōu)','中','中','中','優(yōu)','優(yōu)','中','中','中','優(yōu)','優(yōu)','中','優(yōu)'],

'購買計(jì)算機(jī)':['否','否','是','是','是','否','是','否','是','是','是','是','是','否']

}

#轉(zhuǎn)換為DataFrame

df=pd.DataFrame(data)

#標(biāo)簽編碼

label_encoders={}

forcolumnindf.columns:

le=LabelEncoder()

df[column]=le.fit_transform(df[column])

label_encoders[column]=le

#特征與標(biāo)簽

X=df.drop('購買計(jì)算機(jī)',axis=1)

y=df['購買計(jì)算機(jī)']

#創(chuàng)建C4.5決策樹分類器

clf=DecisionTreeClassifier(criterion='entropy')

clf.fit(X,y)

#輸入樣本數(shù)據(jù)進(jìn)行預(yù)測

test_sample=[[1,0,1,0]]#示例輸入：年齡=≤30,收入=高,是否為學(xué)生=是,信譽(yù)=中

#進(jìn)行預(yù)測

predicted=clf.predict(test_sample)

#輸出結(jié)果

result=label_encoders['購買計(jì)算機(jī)'].inverse_transform(predicted)

print(f"購買計(jì)算機(jī)預(yù)測結(jié)果:{result[0]}")3）編寫程序，用CART算法進(jìn)行分類，圖書銷量數(shù)據(jù)集實(shí)例如表7-4所示。表7-4樣本數(shù)據(jù)集實(shí)例序號數(shù)量頁數(shù)是否促銷評價(jià)銷量1多100是B高2少50是A低3多50是B低4多120否B低5多40否A高6多140是A高7少130是B低8少50是A高9多160是B高10少50否B低11多30否B高12少170是B低13多60否A高14多100否A高importpandasaspd

fromsklearn.preprocessingimportLabelEncoder

fromsklearn.treeimportDecisionTreeClassifier

#創(chuàng)建數(shù)據(jù)集

data={

'數(shù)量':['多','少','多','多','多','多','少','少','多','少','多','少','多','多'],

'頁數(shù)':[100,50,50,120,40,140,130,50,160,50,30,170,60,100],

'是否促銷':['是','是','是','否','否','是','是','是','是','否','否','是','否','否'],

'評價(jià)':['B','A','B','B','A','A','B','A','B','B','B','B','A','A'],

'銷量':['高','低','低','低','高','高','低','高','高','低','高','低','高','高']

}

#轉(zhuǎn)換為DataFrame

df=pd.DataFrame(data)

#標(biāo)簽編碼

label_encoders={}

forcolumnindf.columns:

le=LabelEncoder()

df[column]=le.fit_transform(df[column])

label_encoders[column]=le

#特征與標(biāo)簽

X=df.drop('銷量',axis=1)

y=df['銷量']

#創(chuàng)建CART決策樹分類器

clf=DecisionTreeClassifier(criterion='gini')#使用Gini系數(shù)作為分裂標(biāo)準(zhǔn)

clf.fit(X,y)

#輸入樣本數(shù)據(jù)進(jìn)行預(yù)測

test_sample=[[1,100,1,1]]#示例輸入：數(shù)量=少,頁數(shù)=100,是否促銷=是,評價(jià)=B

#進(jìn)行預(yù)測

predicted=clf.predict(test_sample)

#輸出結(jié)果

result=label_encoders['銷量'].inverse_transform(predicted)

print(f"銷量預(yù)測結(jié)果:{result[0]}")第八章1.單項(xiàng)選擇題1）下面關(guān)于提升樹的說法哪個(gè)是正確的（B）。a.在提升樹中，每個(gè)弱學(xué)習(xí)器是相互獨(dú)立的。b.這是通過對弱學(xué)習(xí)器的結(jié)果進(jìn)行綜合來提升能力的方法。A.aB.bC.a和bD.都不對2）下面關(guān)于隨機(jī)森林和梯度提升集成方法的說法哪個(gè)是正確的是（D）。a.這兩種方法都可以用來做分類。b.隨機(jī)森林用來做分類，梯度提升用來做回歸。c.隨機(jī)森林用來做回歸，梯度提升用來做分類。d.兩種方法都可以用來做回歸。A.a和cB.b和dC.c和dD.a和d3）假設(shè)我們在隨機(jī)森林算法中生成了幾百顆樹，然后對這些樹的結(jié)果進(jìn)行綜合，下面關(guān)于隨機(jī)森林中每顆樹的說法正確的是（A）。a.每棵樹是通過數(shù)據(jù)集的子集和特征的子集構(gòu)建的。b.每棵樹是通過所有的特征構(gòu)建的。c.每棵樹是通過所有數(shù)據(jù)的子集構(gòu)建的。d.每棵樹是通過所有的數(shù)據(jù)構(gòu)建的。A.a和cB.a和dC.b和cD.b和d4）下面關(guān)于梯度提升中max_depth的超參數(shù)的說法正確的是（A）。a.對于相同的驗(yàn)證準(zhǔn)確率，越低越好。b.對于相同的驗(yàn)證準(zhǔn)確率，越高越好。c.max_depth增加可能會導(dǎo)致過擬合。d.max_depth增加可能會導(dǎo)致欠擬合。A.a和cB.a和dC.b和cD.b和d5）下面哪個(gè)算法不是集成學(xué)習(xí)算法的例子？（D）A.隨機(jī)森林B.AdaboostC.梯度提升D.決策樹6）關(guān)于梯度提升樹，下面說法正確的是（C）。a.在每一個(gè)步驟，使用一個(gè)新的回歸樹來補(bǔ)償已有模型的缺點(diǎn)。b.我們可以使用梯度下降的方法來最小化損失函數(shù)。A.aB.bC.a和bD.都不對7）關(guān)于隨機(jī)森林描述不正確的是（D）。A.隨機(jī)森林是一種集成學(xué)習(xí)算法。B.隨機(jī)森林的隨機(jī)性主要體現(xiàn)在訓(xùn)練單決策樹時(shí)，對樣本和特征同時(shí)進(jìn)行采樣。C.隨機(jī)森林算法可以高度并行化。D.隨機(jī)森林預(yù)測時(shí)，根據(jù)單決策樹分類誤差進(jìn)行加權(quán)投票。2.問答題1）隨機(jī)森林算法的隨機(jī)性體現(xiàn)在哪里？a.樣本采樣（BootstrapSampling）：在構(gòu)建每棵決策樹時(shí)，隨機(jī)森林會從原始訓(xùn)練數(shù)據(jù)集中有放回地隨機(jī)抽取樣本。這意味著每棵樹可能會訓(xùn)練在不同的數(shù)據(jù)子集上，從而增加模型的多樣性。b.特征采樣（FeatureSubsampling）：在構(gòu)建每個(gè)節(jié)點(diǎn)時(shí)，隨機(jī)森林不會使用所有特征，而是隨機(jī)選擇一部分特征進(jìn)行分裂。這種方法可以減少特征之間的相關(guān)性，提高模型的泛化能力。2）投票法算法和提升法算法適用于什么情景。投票法（Bagging）高方差模型：如決策樹，特別是深度決策樹，容易過擬合。通過將多個(gè)模型組合在一起，可以降低方差。大數(shù)據(jù)集：當(dāng)數(shù)據(jù)量較大時(shí)，Bagging可以有效利用并行計(jì)算來加速訓(xùn)練過程。類別不平衡：在處理類別不平衡的問題時(shí)，可以通過對少數(shù)類樣本進(jìn)行增強(qiáng)來提高模型性能。需要穩(wěn)定性：當(dāng)需要一個(gè)相對穩(wěn)定且魯棒的模型時(shí)，Bagging能夠通過多樣性來提高整體性能。提升法（Boosting）弱分類器：Boosting專注于將多個(gè)弱分類器（如簡單的決策樹）結(jié)合起來形成一個(gè)強(qiáng)分類器，適用于單個(gè)模型表現(xiàn)不佳的情況。需要高準(zhǔn)確率：當(dāng)對模型的準(zhǔn)確率要求很高時(shí)，Boosting能夠通過不斷糾正前一輪模型的錯(cuò)誤來提高模型性能。復(fù)雜數(shù)據(jù)關(guān)系：對于具有復(fù)雜模式和非線性關(guān)系的數(shù)據(jù)，Boosting能夠更好地捕捉這些特征。d.小到中等規(guī)模數(shù)據(jù)集：Boosting在小到中等規(guī)模的數(shù)據(jù)集上通常效果較好，因?yàn)樗鼘υ肼暶舾?，容易過擬合。3）簡述決策樹和隨機(jī)森林的關(guān)系。決策樹基本概念：決策樹是一種監(jiān)督學(xué)習(xí)算法，用于分類和回歸。它通過將數(shù)據(jù)劃分成不同的子集，以樹狀結(jié)構(gòu)的方式進(jìn)行決策。優(yōu)點(diǎn)：易于理解和解釋，能夠處理非線性關(guān)系，并且對缺失值有一定的魯棒性。缺點(diǎn)：容易過擬合，尤其是在數(shù)據(jù)量小或特征較多的情況下。隨機(jī)森林基本概念：隨機(jī)森林是由多棵決策樹組成的集成學(xué)習(xí)方法。它結(jié)合了多個(gè)決策樹的預(yù)測結(jié)果，以提高模型的準(zhǔn)確性和穩(wěn)定性。構(gòu)建過程：在訓(xùn)練過程中，隨機(jī)森林使用“自助法”（BootstrapSampling）從訓(xùn)練數(shù)據(jù)中隨機(jī)抽取樣本，同時(shí)在每個(gè)節(jié)點(diǎn)的分裂時(shí)隨機(jī)選擇特征。這種方法增加了模型的多樣性，降低了過擬合的風(fēng)險(xiǎn)。優(yōu)點(diǎn)：相較于單棵決策樹，隨機(jī)森林具有更高的準(zhǔn)確性和更好的泛化能力，對異常值和噪聲的魯棒性也更強(qiáng)。關(guān)系基礎(chǔ)關(guān)系：隨機(jī)森林是基于決策樹的集成方法，利用多棵決策樹的組合來進(jìn)行預(yù)測。性能提升：通過引入隨機(jī)性和多個(gè)決策樹，隨機(jī)森林克服了單棵決策樹的過擬合問題，提高了整體的預(yù)測性能。應(yīng)用場景：兩者都可以用于分類和回歸任務(wù)，但隨機(jī)森林通常在實(shí)際應(yīng)用中表現(xiàn)更佳。第九章1.選擇題1）關(guān)于k均值和DBSCAN的比較，以下說法不正確的是（B）。A.k均值丟棄被它識別為噪聲的樣本，而DBSCAN一般聚類所有樣本。B.k均值可以發(fā)現(xiàn)不是明顯分離的聚類，即便聚類有重疊也可以發(fā)現(xiàn)，但是DBSCAN會合并有重疊的類別。C.k均值很難處理非球形的聚類和不同大小的聚類，DBSCAN可以處理不同大小和不同形狀的聚類。D.k均值聚類基于質(zhì)心，而DBSCAN基于密度。2）“從某個(gè)選定的核心點(diǎn)出發(fā)，不斷向密度可達(dá)的區(qū)域擴(kuò)張，從而得到一個(gè)包含核心點(diǎn)和邊界點(diǎn)的最大化區(qū)域，區(qū)域中任意兩點(diǎn)密度相連”是（B）算法核心思想。A.k均值B.DBSCANC.AgglomerativeD.其它3）（A）算法缺點(diǎn)是當(dāng)樣本集較大時(shí)，聚類收斂時(shí)間較長，但可以對搜索最近鄰時(shí)建立的kd樹或者球樹進(jìn)行規(guī)模限制來改進(jìn)。A.k均值B.DBSCANC.AgglomerativeD.其它2.簡答題1）簡述k均值算法的思想及優(yōu)缺點(diǎn)。K均值算法的思想：K均值算法是一種常用的聚類方法，其主要思想是通過迭代優(yōu)化樣本數(shù)據(jù)的分組，使得每個(gè)組內(nèi)的樣本相似度盡可能高，而不同組之間的樣本相似度盡可能低。具體步驟如下：選擇K值：用戶事先指定要劃分的聚類數(shù)量K。初始化質(zhì)心：隨機(jī)選擇K個(gè)樣本作為初始的聚類中心（質(zhì)心）。分配樣本：將每個(gè)樣本分配到離其最近的質(zhì)心對應(yīng)的聚類中。更新質(zhì)心：根據(jù)分配結(jié)果，計(jì)算每個(gè)聚類的新質(zhì)心（通常是該聚類中所有樣本的均值）。迭代：重復(fù)步驟3和4，直到質(zhì)心不再發(fā)生明顯變化或達(dá)到預(yù)設(shè)的迭代次數(shù)。K均值算法的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：簡單易懂，算法易于實(shí)現(xiàn)和理解，適合初學(xué)者。計(jì)算效率高，對于大規(guī)模數(shù)據(jù)集，可以在相對較短的時(shí)間內(nèi)完成聚類。能處理大樣本，能夠有效地處理大量數(shù)據(jù)，對于均勻分布的樣本效果良好。缺點(diǎn)：需要預(yù)先指定K值，用戶必須事先定義聚類數(shù)，這在實(shí)際應(yīng)用中可能不容易確定。對初始質(zhì)心敏感，不同的初始質(zhì)心可能導(dǎo)致不同的聚類結(jié)果，可能需要多次運(yùn)行以獲得最佳結(jié)果。無法處理非球形聚類，K均值假設(shè)聚類呈球形，難以處理形狀復(fù)雜或密度不同的聚類。對噪聲和異常值敏感。噪聲和異常值會對質(zhì)心的位置產(chǎn)生較大影響，從而影響最終聚類結(jié)果。2）簡述Agglomerative算法的思想及優(yōu)缺點(diǎn)。Agglomerative算法的思想：Agglomerative算法是一種自底向上的聚類方法，主要思想是將每個(gè)數(shù)據(jù)點(diǎn)視為一個(gè)單獨(dú)的聚類，然后逐步合并這些聚類，直到滿足某個(gè)停止條件。具體步驟如下：初始化：將每個(gè)數(shù)據(jù)點(diǎn)視為一個(gè)獨(dú)立的聚類。計(jì)算距離：計(jì)算所有聚類之間的距離或相似度。常用的距離度量包括歐幾里得距離、曼哈頓距離等。合并聚類：找到距離最小的兩個(gè)聚類，將它們合并為一個(gè)新聚類。更新距離矩陣：更新新的聚類與其他聚類之間的距離。重復(fù)：重復(fù)步驟3和4，直到達(dá)到預(yù)定的聚類數(shù)量或滿足其他停止條件。Agglomerative算法的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：無須預(yù)先指定聚類數(shù)，用戶不需要事先定義聚類的數(shù)量，聚類過程可以根據(jù)數(shù)據(jù)特征自動生成。適用性廣，可以處理任意形狀的聚類，適合復(fù)雜的數(shù)據(jù)結(jié)構(gòu)?？梢暬?，可以生成樹狀圖（dendrogram），有助于理解數(shù)據(jù)的層次結(jié)構(gòu)和關(guān)系。缺點(diǎn)：計(jì)算復(fù)雜度高，在每次迭代中，需要計(jì)算和更新距離矩陣，計(jì)算復(fù)雜度通常是(O(n^3))，對于大規(guī)模數(shù)據(jù)集效率較低。對噪聲和異常值敏感，噪聲和異常值可能導(dǎo)致錯(cuò)誤的聚類結(jié)果。合并方式影響結(jié)果，不同的合并策略（如單鏈接、全鏈接、平均鏈接等）可能導(dǎo)致不同的聚類結(jié)果，因此選擇合并方式時(shí)需謹(jǐn)慎。3.編程題以某商城用戶數(shù)據(jù)表9-2（見data-9-5.csv）為例，選用不同的特征，使用k均值和DBSCAN算法進(jìn)行聚類并可視化展示聚類結(jié)果。參考代碼如下importpandasaspdfromsklearn.clusterimportKMeans,DBSCANimportmatplotlib.pyplotaspltfrommpl_toolkits.mplot3dimportAxes3D#步驟1:數(shù)據(jù)準(zhǔn)備#導(dǎo)入數(shù)據(jù)并顯示data=pd.read_csv('data-9-5.csv')data.columns=['N','G','ag','ai','ss']data.head()#創(chuàng)建DataFramedf=pd.DataFrame(data)#步驟2:特征選擇features=df[['ag','ai','ss']]#步驟3:K均值聚類kmeans=KMeans(n_clusters=3,random_state=42)df['kmeans_cluster']=kmeans.fit_predict(features)#可視化K均值聚類結(jié)果fig=plt.figure()ax=fig.add_subplot(111,projection='3d')ax.scatter(df['ag'],df['ai'],df['ss'],c=df['kmeans_cluster'],cmap='viridis')ax.set_xlabel('Age')ax.set_ylabel('AI')ax.set_zlabel('SS')plt.title('K-meansClusteringResult')plt.show()#步驟4:DBSCAN聚類dbscan=DBSCAN(eps=3,min_samples=5)df['dbscan_cluster']=dbscan.fit_predict(features)#可視化DBSCAN聚類結(jié)果fig=plt.figure()ax=fig.add_subplot(111,projection='3d')ax.scatter(df['ag'],df['ai'],df['ss'],c=df['dbscan_cluster'],cmap='viridis')ax.set_xlabel('Age')ax.set_ylabel('AI')ax.set_zlabel('SS')plt.title('DBSCANClusteringResult')plt.show()第十章1．選擇題1）PCA原理是通過（A）將一組可能存在相關(guān)性的變量轉(zhuǎn)換為一組線性不相關(guān)的變量。A．正交變換 B．線性變換C．特征值分解 D．奇異值分解2）主成分是原特征的（B），其個(gè)數(shù)通常小于原始變量的個(gè)數(shù)。A．縮減 B．線性組合C．非線性組合 D．?dāng)U充3）對于二維降一維問題，只需要找到一個(gè)基向量就夠了，即最大化（C）就夠了。A．協(xié)方差 B．標(biāo)準(zhǔn)差C．方差 D．協(xié)方差矩陣4）特征值分解降維時(shí)，需要將對應(yīng)特征值按（A）順序排列。A．從大到小 B．從小到大 C．無需排列 D．都不是5）奇異值分解降維時(shí)，需要找到的奇異矩陣是（B）。A．協(xié)方差矩陣的左右奇異矩陣 B．訓(xùn)練集矩陣的左右奇異矩陣C．協(xié)方差矩陣的特征向量構(gòu)成的矩陣 D．訓(xùn)練集矩陣的特征向量構(gòu)成的矩陣6）利用PCA降為k維后，k個(gè)主成分的貢獻(xiàn)率為（C）。A．i=1kλi2i=1nC．i=1kλii=1nλ7）LDA是一種經(jīng)典的（A）學(xué)習(xí)方法。A．線性 B．非線性C．多項(xiàng)式 D．核方法8）利用LDA進(jìn)行降維時(shí)，（B）用到類別標(biāo)記。A．不需要 B．需要C．二分類不需要，多分類需要 D．二分類需要，多分類不需要9）利用LDA降維時(shí)，其矩陣模型為（D）。A．Rayleigh商 B．特征值分解C．奇異值分解 D．廣義Rayleigh商10）對于二分類問題，設(shè)類間散度矩陣為Sw，類別中心為u0和u1A．w=Sw?1u0C．w=Swu0?11）對于多分類問題，設(shè)類別數(shù)為(NA．N B．N?1 C．N+1 D．N+112）對于多分類問題，設(shè)W為投影子空間的一組標(biāo)準(zhǔn)正交基按行構(gòu)成的矩陣，Sw為類內(nèi)散度矩陣，SA．trWTSbW B．trWS13）對于多分類問題，設(shè)W為投影子空間的一組標(biāo)準(zhǔn)正交基按行構(gòu)成的矩陣，Sw為類內(nèi)散度矩陣，SA．trWTSbW B．trWSw2．簡答題1）簡述特征值分解降維和奇異值分解降維的區(qū)別和聯(lián)系。特征值分解和奇異值分解都是用于降維的線性代數(shù)技術(shù)，但它們在理論基礎(chǔ)、適用條件和應(yīng)用場景上有所不同。以下是它們的區(qū)別和聯(lián)系：區(qū)別：a)定義：特征值分解是將一個(gè)方陣分解為其特征向量和特征值的過程。奇異值分解是將任意矩陣（無論是方陣還是非方陣）分解為三個(gè)矩陣的乘積。b)適用條件：特征值分解僅適用于方陣。只有在方陣具有足夠的特征向量（即可對角化時(shí)），才能進(jìn)行特征值分解。奇異值分解適用于任意形狀的矩陣，包括方陣、長方形矩陣等。即使矩陣不是滿秩，也可以進(jìn)行奇異值分解。c)數(shù)學(xué)性質(zhì)：特征值和特征向量反映了矩陣的固有性質(zhì)，特征值表示變換后的伸縮因子，特征向量表示變換方向。奇異值反映了矩陣在不同方向上的擴(kuò)展程度，能夠捕捉到矩陣的主要結(jié)構(gòu)信息，尤其在數(shù)據(jù)分析中常用來處理噪聲和冗余數(shù)據(jù)。d)降維方法：特征值分解常用于主成分分析。通過計(jì)算協(xié)方差矩陣的特征值和特征向量，選擇最大特征值對應(yīng)的特征向量作為新特征空間。奇異值分解也可用于PCA，但通常直接用于任意數(shù)據(jù)矩陣，通過選擇最大的奇異值對應(yīng)的奇異向量來實(shí)現(xiàn)降維。聯(lián)系：兩者都可以用于數(shù)據(jù)降維，提取重要特征。在某些情況下，特征值分解可以視為奇異值分解的一種特例，對于對稱矩陣而言，特征值分解與奇異值分解結(jié)果相同。2）簡述PCA與LDA的異同點(diǎn)，分析PCA和LDA各自的應(yīng)用場景。主成分分析（PCA）和線性判別分析（LDA）都是常用的降維技術(shù)，盡管它們的目標(biāo)和方法不同。以下是它們的異同點(diǎn)及各自的應(yīng)用場景分析。相同點(diǎn)a)降維目的：PCA和LDA都旨在減少數(shù)據(jù)的維度，提高數(shù)據(jù)處理效率，同時(shí)盡量保留重要信息。b)線性變換：兩者都使用線性變換來實(shí)現(xiàn)降維，但變換的方式和目標(biāo)不同。c)特征提?。憾伎梢杂糜谔卣魈崛。瑤椭R別數(shù)據(jù)中的主要模式。不同點(diǎn)a)目標(biāo)：PCA：旨在找到能夠最大化數(shù)據(jù)方差的方向（主成分），重點(diǎn)關(guān)注數(shù)據(jù)的整體結(jié)構(gòu)。LDA：旨在尋找能夠最大化類間距離（不同類別樣本之間的距離）和最小化類內(nèi)距離（同一類別樣本之間的距離）的方向，更側(cè)重于分類。b)監(jiān)督與非監(jiān)督：PCA：無監(jiān)督學(xué)習(xí)，使用時(shí)不依賴于標(biāo)簽信息。LDA：有監(jiān)督學(xué)習(xí)，使用時(shí)需要類別標(biāo)簽。c)適用條件：PCA：可以處理任何類型的數(shù)據(jù)（如高維數(shù)據(jù)集）且不要求類別信息。LDA：要求數(shù)據(jù)具有明顯的類別標(biāo)簽，適用于分類任務(wù)。PCA的應(yīng)用場景數(shù)據(jù)預(yù)處理：在機(jī)器學(xué)習(xí)模型訓(xùn)練前，使用PCA進(jìn)行特征降維，以去除冗余特征，降低計(jì)算復(fù)雜性。圖像處理：在面部識別、圖像壓縮等領(lǐng)域，通過PCA減少圖像的維度，同時(shí)保留重要的視覺信息?？梢暬簩τ诟呔S數(shù)據(jù)集，使用PCA將數(shù)據(jù)降至2D或3D空間中，以便于可視化和分析。噪聲去除：在信號處理中，PCA可以幫助去除噪聲，提取出信號的主要成分。LDA的應(yīng)用場景分類任務(wù)：在模式識別和機(jī)器學(xué)習(xí)中，LDA常用于構(gòu)建分類器，例如人臉識別、文本分類等，通過優(yōu)化類別之間的可區(qū)分性提高分類精度。生物信息學(xué)：在基因表達(dá)數(shù)據(jù)分析中，LDA可以用于分類不同類型的生物樣本，幫助疾病診斷。市場分析：用于消費(fèi)者行為分析，通過識別不同客戶群體之間的差異，幫助制定市場策略。3．編程題1）現(xiàn)有10位中學(xué)生身體的各項(xiàng)指標(biāo)如下表10-5，其中指標(biāo)1（單位：cm）表示身高、指標(biāo)2（單位：kg）表示體重、指標(biāo)3（單位：cm）表示胸圍、指標(biāo)4（單位：cm）表示坐高。試對此組數(shù)據(jù)做PCA。表10-5身體指標(biāo)數(shù)據(jù)集12345678910指標(biāo)1148139160149152147153156147154指標(biāo)241344937463842454143指標(biāo)372707766807567726577指標(biāo)478778679857681768279參考代碼如下importnumpyasnpimportpandasaspdfromsklearn.decompositionimportPCAfromsklearn.preprocessingimportStandardScalerimportmatplotlib.pyplotasplt#1.輸入數(shù)據(jù)data={'Height':[148,139,160,149,152,147,153,156,147,154],#身高'Weight':[41,34,49,37,46,38,42,45,41,43],#體重'Chest':[72,70,77,66,80,75,67,72,65,77],#胸圍'SitHeight':[78,77,86,79,85,76,81,76,82,79]#坐高}#2.創(chuàng)建DataFramedf=pd.DataFrame(data)#3.數(shù)據(jù)標(biāo)準(zhǔn)化scaler=StandardScaler()df_scaled=scaler.fit_transform(df)#4.PCA降維pca=PCA(n_components=2)#降到2維X_pca=pca.fit_transform(df_scaled)#5.查看PCA結(jié)果pca_df=pd.DataFrame(data=X_pca,columns=['PC1','PC2'])#顯示PCA的方差貢獻(xiàn)explained_variance=pca.explained_variance_ratio_print(f"主成分1的方差貢獻(xiàn)：{explained_variance[0]:.4f}")print(f"主成分2的方差貢獻(xiàn)：{explained_variance[1]:.4f}")#6.可視化PCA結(jié)果plt.figure(figsize=(8,6))plt.scatter(pca_df['PC1'],pca_df['PC2'])plt.title('PCAofBodyIndicators')plt.xlabel('PrincipalComponent1')plt.ylabel('PrincipalComponent2')plt.grid(True)plt.show()2）Sklearn內(nèi)置iris數(shù)據(jù)集，每個(gè)樣本有四個(gè)特征(四維)，分別是萼片長度(sepallength)，萼片寬度(sepalwidth)，花瓣長度(petallength)，花瓣寬度(petalwidth)，標(biāo)簽有三種，分別是setosa，versicolor和virginica。分別利用PCA和LDA對此數(shù)據(jù)集進(jìn)行降維并對比分析。參考代碼如下#1.導(dǎo)入必要的庫#我們首先需要導(dǎo)入Python中的相關(guān)庫，包括numpy,pandas,matplotlib和sklearn。importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltfromsklearnimportdatasetsfromsklearn.decompositionimportPCAfromsklearn.discriminant_analysisimportLinearDiscriminantAnalysisasLDA#2.加載Iris數(shù)據(jù)集#我們可以使用sklearn.datasets模塊加載Iris數(shù)據(jù)集，并將其轉(zhuǎn)換為DataFrame格式，方便后續(xù)處理。#Loadirisdatasetiris=datasets.load_iris()X=iris.data#Featuresy=iris.target#Labelsiris_df=pd.DataFrame(data=X,columns=iris.feature_names)iris_df['target']=y#3.PCA降維#我們使用PCA將數(shù)據(jù)降至二維空間，并可視化結(jié)果。pca=PCA(n_components=2)X_pca=pca.fit_transform(X)pca_df=pd.DataFrame(data=X_pca,columns=['PC1','PC2'])pca_df['target']=yplt.figure(figsize=(8,6))colors=['r','g','b']fortarget,colorinzip([0,1,2],colors):plt.scatter(pca_df[pca_df['target']==target]['PC1'],pca_df[pca_df['target']==target]['PC2'],color=color,label=iris.target_names[target])plt.title('PCAofIrisDataset')plt.xlabel('PrincipalComponent1')plt.ylabel('PrincipalComponent2')plt.legend()plt.grid()plt.show()#4.LDA降維#接下來，我們使用LDA將數(shù)據(jù)降至二維空間，并可視化結(jié)果。lda=LDA(n_components=2)X_lda=lda.fit_transform(X,y)lda_df=pd.DataFrame(data=X_lda,columns=['LD1','LD2'])lda_df['target']=yplt.figure(figsize=(8,6))fortarget,colorinzip([0,1,2],colors):plt.scatter(lda_df[lda_df['target']==target]['LD1'],lda_df[lda_df['target']==target]['LD2'],color=color,label=iris.target_names[target])plt.title('LDAofIrisDataset')plt.xlabel('LinearDiscriminant1')plt.ylabel('LinearDiscriminant2')plt.legend()plt.grid()plt.show()第十一章1.填空題未標(biāo)記生成模型和判別模型2.簡答題1）半監(jiān)督聚類和一般聚類算法的區(qū)別半監(jiān)督聚類與一般聚類算法的主要區(qū)別在于使用的標(biāo)簽信息：數(shù)據(jù)類型：一般聚類算法只依賴于未標(biāo)記的數(shù)據(jù)進(jìn)行學(xué)習(xí)，試圖根據(jù)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)將其劃分為不同的簇。半監(jiān)督聚類算法同時(shí)利用未標(biāo)記數(shù)據(jù)和少量標(biāo)記數(shù)據(jù)，通過已知類別的信息來指導(dǎo)聚類過程。目標(biāo)：一般聚類旨在發(fā)現(xiàn)數(shù)據(jù)的自然結(jié)構(gòu)，沒有考慮預(yù)先定義的標(biāo)簽。半監(jiān)督聚類則希望在聚類的同時(shí)借助標(biāo)簽信息來提升聚類效果，使得結(jié)果更符合已知的類別結(jié)構(gòu)。效果：半監(jiān)督聚類通常能在標(biāo)記數(shù)據(jù)稀缺的情況下取得更好的聚類質(zhì)量，因?yàn)樗芙Y(jié)合標(biāo)簽信息優(yōu)化簇的劃分。2）基于樸素貝葉斯模型推導(dǎo)生成式半監(jiān)督學(xué)習(xí)算法假設(shè)樣本類別數(shù)等于樸素貝葉斯模型的類別數(shù)，而且第i個(gè)樣本類別對應(yīng)于第i個(gè)模型類別，同樣不再區(qū)分y和θ。另外假設(shè)樣本中每個(gè)特征取值為離散值。樸素貝葉斯模型p==其中i為類別索引號，共有N個(gè)類別，f為特征索引號，共有n個(gè)不同特征；αi=py=i，βi,f,xj=pxf似然函數(shù)LL==其中，xjf表示樣本xj的第EM算法求解參數(shù)E步對于無標(biāo)記樣本：