人工智能應(yīng)用概論（第2版） 課件 第三章：機(jī)器學(xué)習(xí)

第三章

機(jī)器學(xué)習(xí)

《人工智能應(yīng)用概論（第2版）》RengongZhinengYingyongGailun“十四五”廣西壯族自治區(qū)職業(yè)教育規(guī)劃教材

新編21世紀(jì)高等職業(yè)教育精品教材·通識(shí)課系列Part0101機(jī)器學(xué)習(xí)概念Part0202機(jī)器學(xué)習(xí)的工作原理及算法Part0303機(jī)器學(xué)習(xí)分類目

錄contentPart01機(jī)器學(xué)習(xí)概念

【課程導(dǎo)入】人類學(xué)習(xí)與機(jī)器學(xué)習(xí)相同與相異1.1機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)是一門多學(xué)科交叉專業(yè)，涵蓋概率論知識(shí)、統(tǒng)計(jì)學(xué)知識(shí)、近似理論知識(shí)和復(fù)雜算法知識(shí)，使用計(jì)算機(jī)作為工具并致力于真實(shí)實(shí)時(shí)的模擬人類學(xué)習(xí)方式，并將現(xiàn)有內(nèi)容進(jìn)行知識(shí)結(jié)構(gòu)劃分來有效提高學(xué)習(xí)效率。機(jī)器學(xué)習(xí)已廣泛應(yīng)用于數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、自然語言處理、生物特征識(shí)別、搜索引擎、醫(yī)學(xué)診斷、檢測信用卡欺詐、證券市場分析、DNA序列測序語音和手寫識(shí)別、游戲和機(jī)器人等領(lǐng)域。1.2機(jī)器學(xué)習(xí)的原理機(jī)器學(xué)習(xí)與人類學(xué)習(xí)模式相似，如古代諸葛亮夜觀天象實(shí)現(xiàn)草船借箭、牛頓被蘋果砸發(fā)現(xiàn)“萬有引力”、中國古人發(fā)現(xiàn)自然規(guī)律的“二十四氣節(jié)”，春耕秋收。機(jī)器學(xué)習(xí)是一種使計(jì)算機(jī)能夠從數(shù)據(jù)中學(xué)習(xí)并做出決策的技術(shù)。它通過訓(xùn)練模型來識(shí)別數(shù)據(jù)中的模式和規(guī)律，從而實(shí)現(xiàn)對(duì)未知數(shù)據(jù)的預(yù)測和分類。如人臉識(shí)別、貓狗識(shí)別、農(nóng)作物病蟲害識(shí)別、電路版上瑕疵識(shí)別等。1.3機(jī)器學(xué)習(xí)的地位機(jī)器學(xué)習(xí)在人工智能學(xué)科體系，乃至計(jì)算機(jī)科學(xué)體系中都占有舉足輕重的地位。1.4機(jī)器學(xué)習(xí)的發(fā)展歷程機(jī)器學(xué)習(xí)發(fā)展過程也是人工智能發(fā)展的過程，從IBM西洋跳棋人機(jī)PK到深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)谷歌的阿爾法狗，再到最近的Ai大模型出現(xiàn)。1.5機(jī)器學(xué)習(xí)的分類機(jī)器學(xué)習(xí)是一個(gè)比較寬泛的概念，主要包括監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等。1.6機(jī)器學(xué)習(xí)的算法分類Scikit-learn是機(jī)器學(xué)習(xí)領(lǐng)域中最知名的Python庫之一，在學(xué)習(xí)機(jī)器學(xué)習(xí)的過程中，必繞不開Scikit-learn。Scikit-learn提供了一幅清晰的路線圖給大家做算法選擇。1.7【課堂練習(xí)】【課堂思考】簡述機(jī)器學(xué)習(xí)與人類學(xué)習(xí)有什么相同之處？Part02機(jī)器學(xué)習(xí)的工作原理及算法2.1線性回歸算法線性回歸算法是一種通過屬性的線性組合來擬合圖中的點(diǎn)，找到一條直線或者一個(gè)平面或者更高維的超平面，使得預(yù)測值與真實(shí)值之間的誤差最小化。線性回歸的基礎(chǔ)概念涉及到統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域，它利用稱為線性回歸方程的最小平方函數(shù)對(duì)一個(gè)或多個(gè)自變量和一個(gè)因變量之間的關(guān)系進(jìn)行建模。2.1線性回歸算法【案例】探索學(xué)習(xí)時(shí)長與分?jǐn)?shù)之間的關(guān)系。某門課程中學(xué)生學(xué)習(xí)時(shí)長（天數(shù)）與期末考試分?jǐn)?shù)統(tǒng)計(jì)表如表3-2所示?！締栴}】找出一根線擬合圖中的點(diǎn)2.1線性回歸算法（1）擬合圖中的點(diǎn)有無數(shù)條直線，哪條直線是最好擬合圖中的點(diǎn)。（2）計(jì)算出每個(gè)點(diǎn)分別到每條線上的誤差之和（3）誤差最小的就是最佳的擬合線，該線就是我們的要找的線（方程），該方程是我們的模型。2.2K最近鄰分類算法K最近鄰(k-NearestNeighbor，KNN)分類算法，是一個(gè)理論上比較成熟的方法，也是最簡單的機(jī)器學(xué)習(xí)算法之一。該方法的思路是：在特征空間中，如果一個(gè)樣本附近的k個(gè)最近(即特征空間中最鄰近)樣本的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。如果K=3，綠色圓點(diǎn)的最近的3個(gè)鄰居是2個(gè)紅色小三角形和1個(gè)藍(lán)色小正方形，少數(shù)從屬于多數(shù)，基于統(tǒng)計(jì)的方法，判定綠色的這個(gè)待分類點(diǎn)屬于紅色的三角形一類。如果K=5，綠色圓點(diǎn)的最近的5個(gè)鄰居是2個(gè)紅色三角形和3個(gè)藍(lán)色的正方形，還是少數(shù)從屬于多數(shù)，基于統(tǒng)計(jì)的方法，判定綠色的這個(gè)待分類點(diǎn)屬于藍(lán)色的正方形一類。2.2K最近鄰分類算法

【做一做】使用無監(jiān)督學(xué)習(xí)對(duì)10000篇新聞報(bào)到分析，對(duì)其新聞內(nèi)容特征進(jìn)行提取，K1科技類、游戲類K2、汽車類K3。請(qǐng)問下黑色點(diǎn)是屬于哪個(gè)區(qū)域？屬于哪些新聞？如何分析K1K2K3?2.3決策樹算法決策樹分類算法的關(guān)鍵就是根據(jù)“先驗(yàn)數(shù)據(jù)”構(gòu)造一棵最佳的決策樹，用以預(yù)測未知數(shù)據(jù)的類別。決策樹是一個(gè)樹結(jié)構(gòu)(可以是二叉樹或非二叉樹)。其每個(gè)非葉節(jié)點(diǎn)表示一個(gè)特征屬性上的測試，每個(gè)分支代表這個(gè)特征屬性在某個(gè)值域上的輸出，而每個(gè)葉節(jié)點(diǎn)存放一個(gè)類別。使用決策樹進(jìn)行決策的過程就是從根節(jié)點(diǎn)開始，測試待分類項(xiàng)中相應(yīng)的特征屬性，并按照其值選擇輸出分支，直到到達(dá)葉子節(jié)點(diǎn)，將葉子節(jié)點(diǎn)存放的類別作為決策結(jié)果。信用等級(jí)決策樹算法模型2.4支持向量機(jī)SVM算法SVM想要的就是找到各類樣本點(diǎn)到超平面的距離最遠(yuǎn)，也就是找到最大間隔超平面?！景咐渴褂肧VM算法完成水果識(shí)別分類。比如紅色表示“蘋果”，黃色表示“獼猴桃”，那么如何找到一個(gè)平面最大化的將兩類群體分開，如右圖所示，分開有很多種方式，左側(cè)也可以分開，右側(cè)也能分開。但明顯的，右側(cè)會(huì)“分的更開”，因而如何尋找到這樣的一個(gè)空間平面，讓標(biāo)簽項(xiàng)各類別最為明顯的分開，此算法過程即為支持向量機(jī)。將點(diǎn)分開時(shí)，離平面最近的點(diǎn)要盡可能的遠(yuǎn)，比如右側(cè)時(shí)A點(diǎn)和B點(diǎn)離平面最近，那么算法需要想辦法讓該類點(diǎn)盡可能地遠(yuǎn)離平面，這樣就稱為“分的更好”。左側(cè)時(shí)挨著平面最近的兩個(gè)點(diǎn)離平面太近，所以右側(cè)的分類更好。SVM算法完成水果識(shí)別分類2.4支持向量機(jī)SVM算法SVM想要的就是找到各類樣本點(diǎn)到超平面的距離最遠(yuǎn)，也就是找到最大間隔超平面(多維)。Part03機(jī)器學(xué)習(xí)分類3.1監(jiān)督學(xué)習(xí)【知識(shí)回顧】機(jī)器學(xué)習(xí)是一種使計(jì)算機(jī)能夠從數(shù)據(jù)中學(xué)習(xí)并做出決策的技術(shù)。它通過訓(xùn)練模型來識(shí)別數(shù)據(jù)中的模式和規(guī)律，從而實(shí)現(xiàn)對(duì)未知數(shù)據(jù)的預(yù)測和分類。監(jiān)督學(xué)習(xí)（supervisedlearning）是機(jī)器學(xué)習(xí)的一類，給機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)打上標(biāo)簽。房價(jià)預(yù)測模型：是根據(jù)房子的特征來預(yù)測房子價(jià)格。收集10個(gè)房子樣本，樣本的特征包括有地區(qū)、房子大小、年齡等共13個(gè)特征，10個(gè)房子的房價(jià)，作為標(biāo)簽。先將房子13個(gè)特征和標(biāo)簽作為值，放入SVM或者決策樹算法，由電腦來計(jì)算，計(jì)算誤差最小的方程。我們把這個(gè)過程稱為監(jiān)督學(xué)習(xí)。3.1監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)分為回歸和分類?；貧w的預(yù)測結(jié)果是連續(xù)性的，比如房價(jià)預(yù)測、路程花費(fèi)時(shí)間預(yù)測、股價(jià)走勢預(yù)測。監(jiān)督學(xué)習(xí)分為回歸和分類。分類的預(yù)測結(jié)果是離散的，比如腫瘤是良性/惡性，郵件是垃圾郵件/非垃圾郵件，天氣時(shí)好還是壞。3.2無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一種重要方法，與監(jiān)督學(xué)習(xí)相對(duì)應(yīng)。它的目標(biāo)是從無標(biāo)簽的數(shù)據(jù)中發(fā)現(xiàn)隱藏的結(jié)構(gòu)和模式，而不需要預(yù)先定義的目標(biāo)變量。無監(jiān)督學(xué)習(xí)的核心思想是通過對(duì)數(shù)據(jù)的統(tǒng)計(jì)特性和相似性進(jìn)行分析，來發(fā)現(xiàn)數(shù)據(jù)中的潛在結(jié)構(gòu)和模式。無監(jiān)督學(xué)習(xí)可以分為兩類問題：聚類和降維。聚類問題是將數(shù)據(jù)分成不同的組或簇，使得同一組內(nèi)的數(shù)據(jù)相似度高，不同組之間的相似度低。降維問題是將高維數(shù)據(jù)映射到低維空間，以減少特征維度和數(shù)據(jù)復(fù)雜性。3.2無監(jiān)督學(xué)習(xí)電商平臺(tái)對(duì)客戶的瀏覽痕跡、購買數(shù)量等特征進(jìn)行學(xué)習(xí)分類。Google新聞按照內(nèi)容結(jié)構(gòu)的不同分成財(cái)經(jīng)，娛樂，體