機(jī)器學(xué)習(xí)與模式識(shí)別-教學(xué)大綱

《機(jī)器學(xué)習(xí)與模式識(shí)別》教學(xué)大綱課程編號(hào)：071243B課程類型：□通識(shí)教育必修課□通識(shí)教育選修課■專業(yè)必修課 □專業(yè)選修課□學(xué)科基礎(chǔ)課總學(xué)時(shí)：48 講課學(xué)時(shí)：32實(shí)驗(yàn)（上機(jī)）學(xué)時(shí)：16學(xué)分：3適用對(duì)象：計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)先修課程：程序設(shè)計(jì)基礎(chǔ)與應(yīng)用、數(shù)據(jù)結(jié)構(gòu)、高等數(shù)學(xué)、算法導(dǎo)論一、教學(xué)目標(biāo)《機(jī)器學(xué)習(xí)與算法導(dǎo)論》是計(jì)算機(jī)科學(xué)技術(shù)專業(yè)的一門專業(yè)選修課程。本課程是面向計(jì)算機(jī)技術(shù)開(kāi)設(shè)的專業(yè)選修課。其教學(xué)重點(diǎn)是使學(xué)生掌握常見(jiàn)機(jī)器學(xué)習(xí)算法，包括算法的主要思想和基本步驟，并通過(guò)編程練習(xí)和典型應(yīng)用實(shí)例加深了解；同時(shí)對(duì)機(jī)器學(xué)習(xí)的一般理論，如假設(shè)空間、采樣理論、計(jì)算學(xué)習(xí)理論，以及無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)有所了解。模式識(shí)別部分是研究計(jì)算機(jī)模式識(shí)別的基本理論、方法和應(yīng)用。通過(guò)本課程的學(xué)習(xí)，使學(xué)生掌握模式識(shí)別的基本概念、基本原理、基本分析方法和算法，培養(yǎng)學(xué)生利用模式識(shí)別方法，運(yùn)用技能解決本專業(yè)和相關(guān)領(lǐng)域的實(shí)際問(wèn)題的能力。學(xué)生通過(guò)本門課程的學(xué)習(xí)，能夠?qū)C(jī)器學(xué)習(xí)和模式識(shí)別的內(nèi)容有一個(gè)較為全面的了解和認(rèn)識(shí)，更深刻地理解機(jī)器學(xué)習(xí)的實(shí)質(zhì)內(nèi)容，使學(xué)生具備前沿的計(jì)算機(jī)技術(shù)必要的專業(yè)知識(shí)。從而，為學(xué)生今后從事計(jì)算機(jī)技術(shù)應(yīng)用與計(jì)算機(jī)技術(shù)前沿研究，以及相關(guān)領(lǐng)域的科學(xué)研究做好理論和技術(shù)上的準(zhǔn)備。目標(biāo)1：通過(guò)對(duì)機(jī)器學(xué)習(xí)與模式識(shí)別基本概念、原理、和基本方法的講解，讓學(xué)生理解并掌握機(jī)器學(xué)習(xí)和模式識(shí)別的基本技術(shù)。目標(biāo)2：培養(yǎng)學(xué)生利用模式識(shí)別方法，運(yùn)用技能解決本專業(yè)和相關(guān)領(lǐng)域的實(shí)際問(wèn)題的能力。目標(biāo)3：鼓勵(lì)學(xué)生運(yùn)用知識(shí)解決各自學(xué)科的實(shí)際問(wèn)題，培養(yǎng)他們的獨(dú)立科研的能力和理論聯(lián)系實(shí)際的能力。二、教學(xué)內(nèi)容及其與畢業(yè)要求的對(duì)應(yīng)關(guān)系（黑體，小四號(hào)字）本課程主要介紹決策論與信息論基礎(chǔ)、概率分布、回歸的線性模型、分類的線性模型、核方法、支持向量機(jī)、圖模型、混合模型和期望最大化、隱Markov模型和條件隨機(jī)場(chǎng)模型、統(tǒng)計(jì)決策方法、概率密度函數(shù)的估計(jì)、線性分類器、非線性分類器、其他分類方法、特征選擇、特征提取、非監(jiān)督模式識(shí)別、模式識(shí)別系統(tǒng)的評(píng)價(jià)等。通過(guò)教學(xué)和實(shí)踐，培養(yǎng)學(xué)生運(yùn)用數(shù)學(xué)工具和方法分析問(wèn)題和從多角度運(yùn)用數(shù)學(xué)工具解決問(wèn)題的基本能力，培養(yǎng)學(xué)生利用模式識(shí)別方法，運(yùn)用技能解決本專業(yè)和相關(guān)領(lǐng)域的實(shí)際問(wèn)題的能力，訓(xùn)練學(xué)生的邏輯思維能力和想象力。在教學(xué)中，鼓勵(lì)學(xué)生運(yùn)用算法知識(shí)解決各個(gè)學(xué)科的實(shí)際計(jì)算問(wèn)題，培養(yǎng)學(xué)生初步的獨(dú)立開(kāi)展科研工作的能力和理論聯(lián)系實(shí)踐，解決實(shí)際問(wèn)題的能力，同時(shí)，為后續(xù)課程以及將來(lái)的研究工作提供必要的基礎(chǔ)。止匕外，配合實(shí)驗(yàn)課程的教學(xué)，學(xué)生應(yīng)理論聯(lián)系實(shí)際，理論指導(dǎo)實(shí)踐，通過(guò)規(guī)范地完成項(xiàng)目實(shí)踐進(jìn)一步鞏固所學(xué)的相關(guān)書本知識(shí)，在知識(shí)、能力、素質(zhì)上得到進(jìn)一步的提高。三、各教學(xué)環(huán)節(jié)學(xué)時(shí)分配教學(xué)課時(shí)分配序號(hào)章節(jié)內(nèi)容講課實(shí)驗(yàn)其他合計(jì)第一章緒論22第二章概率分布22第三章回歸的線性模型224第四章分類的線性模型224第五章神經(jīng)網(wǎng)絡(luò)325第八章核方法224第七章稀疏核集224第八章圖模型224第九章混合模型和EM22第十章隱Markov模型和條件隨機(jī)場(chǎng)模型22第十一章特征選擇224第十二章特征提取22第十三章非監(jiān)督模式識(shí)別22第十四章模式識(shí)別系統(tǒng)的評(píng)價(jià)325總復(fù)習(xí)結(jié)課復(fù)習(xí)22合計(jì)321648四、教學(xué)內(nèi)容第1章緒論教學(xué)重點(diǎn)、難點(diǎn)：決策論與信息論基礎(chǔ)、損失函數(shù)、錯(cuò)分率的最小化、期望損失的最小化等；相對(duì)熵、互信息。模式與模式識(shí)別、模式識(shí)別的主要方法、監(jiān)督模式識(shí)別與非監(jiān)督模式識(shí)別、模式識(shí)別系統(tǒng)舉例、模式識(shí)別系統(tǒng)的典型構(gòu)成。課程的考核要求：熟悉機(jī)器學(xué)習(xí)與模式識(shí)別的基本定義和術(shù)語(yǔ);基本數(shù)學(xué)知識(shí)。了解：了解機(jī)器學(xué)習(xí)與模式識(shí)別的研究范圍和內(nèi)容。理解：決策論與信息論基礎(chǔ)、損失函數(shù)、錯(cuò)分率的最小化、期望損失的最小化等；相對(duì)熵、互信息。模式與模式識(shí)別、模式識(shí)別的主要方法、監(jiān)督模式識(shí)別與非監(jiān)督模式識(shí)別、模式識(shí)別系統(tǒng)舉例、模式識(shí)別系統(tǒng)的典型構(gòu)成等概念。掌握：掌握決策論與信息論基礎(chǔ)、模式識(shí)別的主要方法。應(yīng)用：與實(shí)際問(wèn)題相呼應(yīng)。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第2章概率分布教學(xué)重點(diǎn)、難點(diǎn)：高斯分布、混合高斯分布、Dirichlet分布、beta分布課程的考核要求：熟悉最大似然估計(jì)、貝葉斯估計(jì)與貝葉斯學(xué)習(xí)、概率密度估計(jì)的非參數(shù)方法。了解：最大似然估計(jì)、充分統(tǒng)計(jì)量、共軛先驗(yàn)、無(wú)信息先驗(yàn)等。非參數(shù)方法：核密度估計(jì)、近鄰法理解：neyman-pearson決策與roc曲線、正態(tài)分布時(shí)的統(tǒng)計(jì)決策、錯(cuò)誤率的計(jì)算、、概率密度函數(shù)的估計(jì)掌握：掌握最小錯(cuò)誤率貝葉斯決策、最小風(fēng)險(xiǎn)貝葉斯決策、兩類錯(cuò)誤率。應(yīng)用：離散概率模型下的統(tǒng)計(jì)決策舉例。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第3章回歸的線性模型教學(xué)重點(diǎn)、難點(diǎn)：貝葉斯線性回歸。課程的考核要求：熟悉線性基函數(shù)模型。了解：貝葉斯模型比較。理解：等價(jià)核的概念。掌握：掌握貝葉斯模型。應(yīng)用：各種分布的具體應(yīng)用。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第4章分類的線性模型：教學(xué)重點(diǎn)、難點(diǎn)：最優(yōu)分類超平面與線性支持向量機(jī)。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：fisher線性判別分析。理解：多類線性分類器。掌握：線性判別函數(shù)的基本概念、感知器、最小平方誤差判別應(yīng)用：分類模型的具體應(yīng)用。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第5章神經(jīng)網(wǎng)絡(luò)教學(xué)重點(diǎn)、難點(diǎn)：神經(jīng)網(wǎng)絡(luò)的正則化。課程的考核要求：熟悉各種神經(jīng)網(wǎng)絡(luò)及其梯度下降的概念。了解：hessian矩陣及混合密度網(wǎng)絡(luò)。理解：貝葉斯神經(jīng)網(wǎng)絡(luò)、多層感知器神經(jīng)網(wǎng)絡(luò)。掌握：前饋神經(jīng)網(wǎng)絡(luò)及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練應(yīng)用：進(jìn)行神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)的具體應(yīng)用。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第6章核方法：教學(xué)重點(diǎn)、難點(diǎn)：構(gòu)造核函數(shù)課程的考核要求：熟悉對(duì)偶表示、徑向基函數(shù)網(wǎng)絡(luò)、Nadaraya-Watson模型了解：Laplace逼近理解：高斯過(guò)程模型用于回歸和分類。掌握：高斯過(guò)程應(yīng)用：核方法與神經(jīng)網(wǎng)絡(luò)的聯(lián)系。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第7章稀疏核集教學(xué)重點(diǎn)、難點(diǎn)：最優(yōu)分類超平面與線性支持向量機(jī)、用于多分類和回歸的支持向量機(jī)。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：各種變種理解：多類線性分類器以及最大邊緣分類器。掌握：統(tǒng)計(jì)學(xué)習(xí)理論應(yīng)用：稀疏核集的具體應(yīng)用。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第8章圖模型：教學(xué)重點(diǎn)、難點(diǎn)：Markov隨機(jī)場(chǎng)。課程的考核要求：熟悉因子分解。了解：循環(huán)置信傳播理解：圖模型中的推斷掌握：條件獨(dú)立的內(nèi)容應(yīng)用：置信網(wǎng)絡(luò)的具體應(yīng)用。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第9章混合模型和期望最大化(ExpectationMaximization，EM)算法教學(xué)重點(diǎn)、難點(diǎn)：高斯混合模型的參數(shù)估計(jì)、EM一般算法及其應(yīng)用課程的考核要求：、EM一般算法及其應(yīng)用、最大似然估計(jì)、EM算法、貝葉斯線性回歸了解：伯努利分布的混合理解：高斯混合模型的參數(shù)估計(jì)。掌握：最大似然估計(jì)、EM算法、貝葉斯線性回歸應(yīng)用：貝葉斯線性回歸的EM算法。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第10章隱Markov模型和條件隨機(jī)場(chǎng)模型教學(xué)重點(diǎn)、難點(diǎn)：隱Markov模型、條件隨機(jī)場(chǎng)及其應(yīng)用課程的考核要求：熟悉隱Markov模型、條件隨機(jī)場(chǎng)及其應(yīng)用、Viterbi算法了解：Baum-Welch算法等理解：向前-向后算法掌握：熟悉隱Markov模型、條件隨機(jī)場(chǎng)及其應(yīng)用、Viterbi算法應(yīng)用：隱Markov模型和條件隨機(jī)場(chǎng)模型的具體應(yīng)用。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第n章特征選擇教學(xué)重點(diǎn)、難點(diǎn)：特征選擇的最優(yōu)算法課程的考核要求：特征的評(píng)價(jià)準(zhǔn)則、特征選擇的最優(yōu)算法了解：特征選擇的次優(yōu)算法理解：特征選擇的遺傳算法掌握：以分類性能為準(zhǔn)則的特征選擇方法應(yīng)用：特征選擇的具體應(yīng)用。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第12章特征提取教學(xué)重點(diǎn)、難點(diǎn)：基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示。課程的考核要求：熟悉基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。了解：karhunen-loeve變換理解：非線性變換方法掌握：線性判別函數(shù)的基本概念、感知器、最小平方誤差判別基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。應(yīng)用：5k-l變換在人臉識(shí)別中的應(yīng)用舉例復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第13章非監(jiān)督模式識(shí)別教學(xué)重點(diǎn)、難點(diǎn)：基于模型的方法、動(dòng)態(tài)聚類算法課程的考核要求：熟悉基于模型的方法、動(dòng)態(tài)聚類算法、模糊聚類方法了解：自組織映射神經(jīng)網(wǎng)絡(luò)理解：分級(jí)聚類方法掌握：混合模型的估計(jì)、基于模型的方法、動(dòng)態(tài)聚類算法、模糊聚類方法應(yīng)用：非監(jiān)督模式識(shí)別的具體應(yīng)用。復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。第14章模式識(shí)別系統(tǒng)的評(píng)價(jià)教學(xué)重點(diǎn)、難點(diǎn)：有限樣本下錯(cuò)誤率的區(qū)間估計(jì)問(wèn)題課程的考核要求：熟悉監(jiān)督模式識(shí)別方法的錯(cuò)誤率估計(jì)方法了解：非監(jiān)督模式識(shí)別系統(tǒng)性能的評(píng)價(jià)理解：特征提取與選擇對(duì)分類器性能估計(jì)的影響掌握：監(jiān)督模式識(shí)別方法的錯(cuò)誤率估計(jì)方法應(yīng)用：從分類的顯著性推斷特征與類別的關(guān)系復(fù)習(xí)思考題：見(jiàn)參考文獻(xiàn)。五、考核方式、成績(jī)?cè)u(píng)定課程結(jié)束考核方式：閉卷考試課堂考試時(shí)間：120分鐘考試命題：課程考試的命題內(nèi)容要從大綱的要求出發(fā)，圍繞本課程的教學(xué)內(nèi)容、知識(shí)點(diǎn)和教學(xué)要求，著重從知識(shí)、能力、素質(zhì)三個(gè)方面對(duì)學(xué)生進(jìn)行全面的考核，重點(diǎn)考核學(xué)生運(yùn)用知識(shí)解決問(wèn)題的能力，同時(shí)考察學(xué)生的綜合素質(zhì)。考核范圍為除了最后一周教學(xué)的內(nèi)容外，其他大綱確定的知識(shí)點(diǎn)都在考試范圍之內(nèi)。試卷中不少于85%的內(nèi)容應(yīng)來(lái)自課程重點(diǎn)內(nèi)容的范圍，不少于10%的內(nèi)容應(yīng)來(lái)自課程非重點(diǎn)內(nèi)容的范圍，要求學(xué)生全面復(fù)習(xí)，以達(dá)到系統(tǒng)掌握，全面考核的目的。試卷的題型要力戒避免文科標(biāo)準(zhǔn)化試卷的題型，避免出現(xiàn)簡(jiǎn)單概念問(wèn)答題和簡(jiǎn)答題。試卷題目數(shù)量一般為5、6、7題，以優(yōu)秀學(xué)生在全部會(huì)做的情況下正常書寫速度能夠在90分鐘內(nèi)完成為宜。試卷題目數(shù)量的減少與全面考核的目的并不矛盾