Python機(jī)器學(xué)習(xí)項(xiàng)目化教程（微課視頻版）課件 第1章 機(jī)器學(xué)習(xí)概述

第1章機(jī)器學(xué)習(xí)概述目錄CONTENTS1.1什么是機(jī)器學(xué)習(xí)1.2

機(jī)器學(xué)習(xí)簡(jiǎn)史1.3機(jī)器學(xué)習(xí)、人工智能與深度學(xué)習(xí)的關(guān)系1.4機(jī)器學(xué)習(xí)相關(guān)概念1.5機(jī)器學(xué)習(xí)的任務(wù)1.6機(jī)器學(xué)習(xí)的一般步驟1.7本章小結(jié)1.1什么是機(jī)器學(xué)習(xí)學(xué)習(xí)基礎(chǔ)信息素養(yǎng)高1948年，計(jì)算機(jī)科學(xué)家阿蘭?圖靈（AlanTuring）在《Mind》上發(fā)表的論文“ComputingMachineryandIntelligence”中提出了著名的“圖靈測(cè)試”。1956年，塞繆爾（ArthurSamuel）設(shè)計(jì)了一個(gè)具有自學(xué)習(xí)能力的跳棋程序，可以在不斷人機(jī)對(duì)弈的過程中提升自己的棋藝。1959年，他提出了“機(jī)器學(xué)習(xí)”的概念，此研究領(lǐng)域是計(jì)算機(jī)在不被明確編程的情況下，賦予它學(xué)習(xí)能力。010203信息素養(yǎng)高2016年3月谷歌的AlphaGo年度圍棋挑戰(zhàn)賽，AlphaGo以4:1的絕對(duì)優(yōu)勢(shì)戰(zhàn)勝圍棋世界冠軍李世石九段。041.1機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)的任務(wù)就是研究機(jī)器模擬人類智能的高效算法，使其能像人類一樣思考、解決實(shí)際問題。手寫數(shù)字識(shí)別011.1機(jī)器學(xué)習(xí)概述正常郵件和垃圾郵件的詞云識(shí)別好瓜和壞瓜02031.1機(jī)器學(xué)習(xí)概述除了分類問題，機(jī)器學(xué)習(xí)還可以進(jìn)行預(yù)測(cè)。1.2機(jī)器學(xué)習(xí)簡(jiǎn)史1

萌芽期1943年，心理學(xué)家麥W?Mcculloch和數(shù)理邏輯學(xué)家W?Pitts在發(fā)表的論文中提出了MP模型。MP模型是模仿神經(jīng)元的結(jié)構(gòu)和工作原理，MP模型作為人工神經(jīng)網(wǎng)絡(luò)的起源，開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的新時(shí)代。1958年，美國(guó)科學(xué)家P.Rosenblatt提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)──Perceptron，即感知機(jī)，可解決輸入的數(shù)據(jù)線性二分類問題，從而激發(fā)科學(xué)家對(duì)人工神經(jīng)網(wǎng)絡(luò)研究的興趣，對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展起到了里程碑的意義。1.2機(jī)器學(xué)習(xí)簡(jiǎn)史2發(fā)展期1963年，層次聚類算法被提出，這是一種非常符合人的直觀思維的算法。1967年，J.B.MacQueen在1967年提出的k均值聚類算法。1983年，著名物理學(xué)家J.J.Hopfield提出了神經(jīng)網(wǎng)絡(luò)模型，它可模擬人類的記憶，并利用該算法求解“流動(dòng)推銷員問題”這個(gè)NP難題。但由于該算法存在容易陷入局部最小值的缺陷，因此并未在當(dāng)時(shí)引起很大的轟動(dòng)。1983年，TerrenceSejnowski和Hinton等人發(fā)明了玻爾茲曼機(jī)（BoltzmannMachines），它本質(zhì)是一種無監(jiān)督模型，首次提出的多層網(wǎng)絡(luò)的學(xué)習(xí)算法，用于對(duì)輸入數(shù)據(jù)進(jìn)行重構(gòu)以提取數(shù)據(jù)特征做預(yù)測(cè)分析。1.2機(jī)器學(xué)習(xí)簡(jiǎn)史2發(fā)展期1986年，人工智能專家J.RossQuinlan提出著名的ID3算法，通過減少樹的深度加快算法的運(yùn)行速度。同年，D.E.Rumelhart等人提出了BP算法，BP算法一直是被應(yīng)用得最廣泛的機(jī)器學(xué)習(xí)算法之一。這期間，決策樹的3種典型算法ID3、CART、C4.5陸續(xù)被提出。1995年，支持向量機(jī)（SVM算法）和AdaBoost算法被提出，SVM以統(tǒng)計(jì)學(xué)為基礎(chǔ)，解決了非線性問題的分類問題。AdaBoost通過將一些簡(jiǎn)單的弱分類器集成起來使用，構(gòu)建強(qiáng)分類器，使精度獲得很大提升。代表了集成學(xué)習(xí)算法的勝利。1.2機(jī)器學(xué)習(xí)簡(jiǎn)史3蓬勃期2006年，GeoffreyHinton團(tuán)隊(duì)在《科學(xué)》雜志上發(fā)表了一篇關(guān)于“梯度消失”問題解決方案的論文，提出了深度學(xué)習(xí)概念，產(chǎn)生了巨大影響。GeoffreyHinton也因此被稱為深度學(xué)習(xí)之父。2016年，由Google基于深度學(xué)習(xí)開發(fā)的AlphaGo以4:1擊敗世界圍棋冠軍李世石，隨后，該程序與中日韓數(shù)十位圍棋高手進(jìn)行快棋對(duì)決，連續(xù)60局無一敗績(jī)。2017年，基于強(qiáng)化學(xué)習(xí)算法的AlphaGo升級(jí)版AlphaGoZero橫空出世，無一敗績(jī)地輕松擊敗了之前的AlphaGo。1.3機(jī)器學(xué)習(xí)、人工智能與深度學(xué)習(xí)的關(guān)系1人工智能是一門科學(xué)與工程，是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)，研究?jī)?nèi)容涵蓋語音識(shí)別、圖像識(shí)別、自然語言處理、智能搜索和專家系統(tǒng)等。2機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，是實(shí)現(xiàn)人工智能的方法之一。機(jī)器學(xué)習(xí)是對(duì)人類生活中學(xué)習(xí)過程的一個(gè)模擬，而在這整個(gè)過程中，最關(guān)鍵的是數(shù)據(jù)。kNN、K-means、DecisionTrees、SVM、樸素貝葉斯、感知機(jī)、EM算法、邏輯回歸及ANN(ArtificialNeuralNetworks，人工神經(jīng)網(wǎng)絡(luò))都是常見的機(jī)器學(xué)習(xí)算法。1.3機(jī)器學(xué)習(xí)、人工智能與深度學(xué)習(xí)的關(guān)系3深度學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，發(fā)展于人工智能的聯(lián)結(jié)主義學(xué)派，其概念源于人工神經(jīng)網(wǎng)絡(luò)，它通過組合低層特征形成更加抽象的高層特征，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)。在2010年之后，各種深度學(xué)習(xí)框架的發(fā)布及在各領(lǐng)域的突出表現(xiàn)，更進(jìn)一步促進(jìn)了深度學(xué)習(xí)算法的發(fā)展。1.4機(jī)器學(xué)習(xí)相關(guān)概念1數(shù)據(jù)集（DataSet）：數(shù)據(jù)的集合，每一條單獨(dú)的數(shù)據(jù)被稱為樣本（Sample）。對(duì)于每個(gè)樣本，它通常具有一些屬性（Attribute）或者特征（Feature），特征所具體取得值被稱為特征值（FeatureValue）。訓(xùn)練集（TrainingSet）和測(cè)試集（TestingSet）：在建立機(jī)器學(xué)習(xí)模型過程中，通常將數(shù)據(jù)集分為兩部分：訓(xùn)練集和測(cè)試集，其中，訓(xùn)練集用于對(duì)模型參數(shù)進(jìn)行訓(xùn)練，另一部分用于對(duì)訓(xùn)練好的模型進(jìn)行測(cè)試，驗(yàn)證模型的性能好壞，包括準(zhǔn)確率、泛化能力。23驗(yàn)證集（ValidationSet）：用于在訓(xùn)練過程中檢驗(yàn)?zāi)Ｐ偷男阅?，以調(diào)整參超參數(shù)。1.4機(jī)器學(xué)習(xí)相關(guān)概念4評(píng)估：在訓(xùn)練出算法模型后，為了驗(yàn)證算法模型的好壞，需要對(duì)該算法在數(shù)據(jù)集上根據(jù)評(píng)價(jià)指標(biāo)進(jìn)行測(cè)試，這個(gè)測(cè)試過程就是算法的評(píng)估。模型（Model）：模型是一種算法的表達(dá)，模型用于在海量數(shù)據(jù)中查找模式或進(jìn)行預(yù)測(cè)。從數(shù)據(jù)中使用算法得到模型的過程稱為學(xué)習(xí)（Learning）或訓(xùn)練（Training）。過擬合（Overfitting）和欠擬合（Underfitting）：過擬合是指模型在訓(xùn)練集上表現(xiàn)很好，但在測(cè)試集上卻表現(xiàn)很差。欠擬合是模型在訓(xùn)練集上就表現(xiàn)很差，不能獲得足夠低的誤差，無法學(xué)到數(shù)據(jù)背后的規(guī)律。561.5機(jī)器學(xué)習(xí)的任務(wù)1監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)是從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)模型參數(shù)，然后根據(jù)這個(gè)模型對(duì)未知樣本進(jìn)行預(yù)測(cè)。在監(jiān)督學(xué)習(xí)中，樣本同時(shí)包含特征（輸入）和標(biāo)簽（輸出）。根據(jù)預(yù)測(cè)結(jié)果輸出的類別，可分為分類和回歸。1.5機(jī)器學(xué)習(xí)的任務(wù)2無監(jiān)督學(xué)習(xí)。無監(jiān)督學(xué)習(xí)也稱為非監(jiān)督學(xué)習(xí)，輸入的樣本只包含特征，而不包含標(biāo)簽。學(xué)習(xí)模型是數(shù)據(jù)內(nèi)在結(jié)構(gòu)的推斷，并不知道分類結(jié)果是否正確。常見的無監(jiān)督學(xué)習(xí)算法有k均值聚類、層次聚類、GMM聚類。利用層次聚類算法對(duì)西瓜數(shù)據(jù)集進(jìn)行聚類的散點(diǎn)圖如圖所示。1.3機(jī)器學(xué)習(xí)的任務(wù)3半監(jiān)督學(xué)習(xí)。半監(jiān)督學(xué)習(xí)（Semi-supervisedLearning）是一種介于監(jiān)督和無監(jiān)督學(xué)習(xí)之間的學(xué)習(xí)方式，通過使用帶標(biāo)簽數(shù)據(jù)及大量不帶標(biāo)簽的數(shù)據(jù)進(jìn)行模型學(xué)習(xí)。在監(jiān)督學(xué)習(xí)中，樣本的類別標(biāo)簽是已知的，對(duì)于無監(jiān)督學(xué)習(xí)，樣本是無標(biāo)簽的。4強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）是一種比較復(fù)雜的機(jī)器學(xué)習(xí)方法，強(qiáng)調(diào)系統(tǒng)與外界不斷的交互反饋，通過不斷與環(huán)境交互、試錯(cuò)，最終完成特定目的或使整體行動(dòng)的收益最大化。強(qiáng)化學(xué)習(xí)不需要訓(xùn)練數(shù)據(jù)的標(biāo)簽，但需要每一步行動(dòng)需要環(huán)境給予反饋，基于反饋不斷調(diào)整訓(xùn)練對(duì)象的行為。AlghaGo、無人駕駛汽車就是強(qiáng)化學(xué)習(xí)的的訓(xùn)練對(duì)象。1.6機(jī)器學(xué)習(xí)的一般步驟機(jī)器學(xué)習(xí)專注于讓機(jī)器從大量的數(shù)據(jù)中模擬人類思考和歸納總結(jié)的過程，獲得計(jì)算模型并自動(dòng)判斷和推測(cè)相應(yīng)的輸出結(jié)果。機(jī)器學(xué)習(xí)的處理流程如圖所示。1.7本章小結(jié)本章主要介紹了機(jī)器學(xué)習(xí)的基本知識(shí)，涵蓋相關(guān)概念、發(fā)展簡(jiǎn)史、機(jī)器學(xué)習(xí)的任務(wù)、機(jī)器學(xué)習(xí)的一般