課程模式識別

1、模式識別課程簡介&模式識別系統(tǒng)簡介大學(xué)計算機系，20171課程介紹2課程目標(biāo)理解、模式識別中的基本概念、步驟和方法對重要方法，要能實際應(yīng)用，并能理解其前提條件、應(yīng)用范圍、應(yīng)用注意事項和方法原理及推導(dǎo)對講授的其他方法，要能理解其含義和使用環(huán)境要對模式識別的前沿領(lǐng)域有感性的認識提高目標(biāo)進一步能通過獨立閱讀和實踐掌握較深入和方法，并能應(yīng)用到學(xué)習(xí)、研究中遇到中去3模式識別本科生和通選的選修課，2學(xué)分，2學(xué)時前置課程(prerequisite)程序設(shè)計、高等數(shù)學(xué)（數(shù)學(xué)分析和線性代數(shù)）、概率和數(shù)理統(tǒng)計一般來說，最早2年級下半學(xué)期才可以選沒有或者(自愿)1次大作業(yè)有若干小作業(yè)包含紙上解題和一些小的編程(需要

2、Linux安裝)成績考核以和作業(yè)為主期末50-60%，作業(yè)40-50%自愿做大作業(yè)的同學(xué)有適當(dāng)加分4和參考書：從本學(xué)期開始采用自編講義參考書：DHSPRML參考書中譯本：/10057422.html5本課程中用到的編程，很多在/help/環(huán)境中最方便/的tutorial簡明：請自行搜索對從事計算機研究幾乎是必備的技能如果沒有有很多免費環(huán)境，實現(xiàn)的功能足夠本課程使用一致語法和編程語言與如GNU Octave：學(xué)會隨時調(diào)用的幫助（或）6數(shù)學(xué)背景會簡要介紹/回顧需要的最基本知識前置課程，（如較好的掌握了）就已經(jīng)夠本課程使用了需要的的數(shù)學(xué)知識會在授課中隨時補充對研究或工作有幫助特別是對有志CS研究的（

3、不限于模式識別），有較大幫助如對進一步的知識感每章會提供關(guān)于進一步閱讀的資源指南通用資源：教科書（DHS），參考書（PRML）（Wiki）Wolfram MathWorld (自編講義/)7模式識別簡介8模式識別?“Patternrecognitionis a fieldachinelearning.”取自(?)，仍然如此Pattern recognition (psychology), identification offa, objects, words, melodies, etc. recognition (disambiguation)achine learning, pattern

4、 recognition is the assignment of a label to a given input value. recognitionof regularitiesPRML：automaticdata and with to take actiondiscoveryinthe use of these regularitiesch as classifying the datao different categories9模式識別的特征輸入：數(shù)據(jù)data, input value, 輸出：“模式”(Pattern)fa, objects,words, melodies,(c

5、lassification) label, categories,regularity, 輸入轉(zhuǎn)換到輸出:由計算機系統(tǒng)完成(automatic, algorithm, assignment )是一個但有趣的過程(discovery)10模式識別舉例：iOnRoad輸入？輸出？/v show/id XMzEzODI1MzIw.htmliOnRoad公司主頁http/？11模式識別舉例：Kinect輸入？輸出？/v show/id XMTgxNDk0ODc2.htmlKinect產(chǎn)品主頁https/kinect？12模式識別舉例：Siri輸入？輸出？/v show/id XMzM1Mjc1MTgw

6、.html Siri的產(chǎn)品主頁ht/cn/ios/siri/機器人(?)ht/w 19rthu48l1.html？13從數(shù)據(jù)到模式Fromdaopattern產(chǎn)生物理讀數(shù)物理學(xué)、聲學(xué)、電子學(xué)、光學(xué)、觸覺、味覺、傳感器文本、圖像、音頻、三維點集、數(shù)字信息物體檢測和識別、音頻轉(zhuǎn)化為文本、行為識別、姿態(tài)識別、模式?jīng)Q策、計劃、處理、應(yīng)用14（虛擬例子）識別：特征選取什么數(shù)據(jù)來判別一個人的長相？喉結(jié)？身高？體重？聲音？行為？被使用的數(shù)據(jù)或從原始輸入數(shù)據(jù)(rawinputdata)中提取(extract)的數(shù)據(jù)稱為特征(feature)為什么要選取、提取、或者學(xué)習(xí)特征？15（虛擬例子）識別：評估怎么知道模

7、式識別的結(jié)果好壞？評估或評價(evaluate)通常是把模式識別系統(tǒng)的輸出(稱為，prediction)與真實值(groundtruth)進行比較真實值從哪里來？女性的性（來自母親）+X（來自父親）XYX（來自母親）+Y（來自父親）的性如何進行比較？以后會講?，F(xiàn)在先想？16（虛擬例子）識別：轉(zhuǎn)換如何構(gòu)建一個模式識別系統(tǒng)將輸入轉(zhuǎn)換為輸出常見方法：機器學(xué)習(xí)(machine learning)從過去的經(jīng)驗學(xué)習(xí)Learning from experience訓(xùn)練集(training set)：已搜集的數(shù)據(jù)模型(m):從訓(xùn)練集得到的規(guī)律，表現(xiàn)形式多樣測試(prediction, testing):將這些

8、規(guī)律應(yīng)用到新的例子以得到針對該例子的結(jié)果（模式識別的輸出）測試集(testing set)：為了評估這些規(guī)律搜集的數(shù)據(jù)那么，對訓(xùn)練集和測試集應(yīng)該要求？17（虛擬例子）得到輸出后，識別：應(yīng)用用？通常在更大的系統(tǒng)中起作用iOnRoad,Siri, Kinect, 那么，模式識別系統(tǒng)要做到多好呢？由那個“更大的系統(tǒng)”決定是不是越高越好？18小結(jié)：模式識別的步驟問題：是這樣嗎？需要多次反饋(feedback)、嘗試、修改什么步驟最重要?深度學(xué)圖中什么位置？19模式識別為什么多種原因？語義鴻溝sem什么？gap,如,一副20001000的圖像是對人的眼睛和大腦：教師、桌椅、講臺、黑板、人、對計算機：3

9、2000 1000 = 6,000,000個數(shù)字計算能力compuionaler很多算法在臺式機上要數(shù)年或更長時間大數(shù)據(jù)，和計算都成為問題數(shù)據(jù)的獲取data acquiring很多時候數(shù)據(jù)難以獲取(如，醫(yī)學(xué)圖像medical或者雖然容易獲取，但是難以標(biāo)注(如，對imaging)圖像的精確標(biāo)注annoion)2021一個例子ILSVRC2010:LargeScaleVisualRecognitionChallenge2010圖像分類：1,000個類別, 1,200,000訓(xùn)練圖像原始輸入（圖像）約100+GB有效的圖像表示：每個圖像表示為262,144的向量，需要1258GB空間來特征設(shè)計新的機

10、器學(xué)習(xí)算法，使得開銷縮小到約40G用SVMlight或LIBSVM要很多年用LIBLINEAR要大概2個月使用新的深度學(xué)習(xí)(deep learning)方法，用GPU輔助計算，可以得到更好的精度accuracy22各步驟的（實踐）重要性1. 提取特征設(shè)想一下，告訴你一個人的年紀(jì)，需要判別其？或者，告訴你一個人的別？組成，需要判別其性2. 數(shù)據(jù)獲取設(shè)想一下，根據(jù)圖像判斷，所有訓(xùn)練圖像都只包含男子、而不包含任何女子？或者，圖像中有男有女，但是所有都標(biāo)記為女？機器學(xué)習(xí)有很多理論上重要，對實踐效果也非常重要23和其他領(lǐng)域的關(guān)系24模式識別vs.機器學(xué)習(xí)機器學(xué)模式識別中有非常重要的作用但是，模式識別具有

11、數(shù)據(jù)獲取提取特征的“系統(tǒng)”性主要的區(qū)別是：“數(shù)據(jù)”vs.“特征”但是，在深度學(xué)習(xí)中，這個區(qū)別不明顯了25模式識別vs.計算機視覺模式識別與計算機視覺(computer和應(yīng)用有非常多的重合vi)的研究識別recognition是計算機視覺中最重要模式識別中很大部分輸入是圖像模式識別包含很多視覺以外之一音頻、文本、計算機視覺包括很多識別以外如，超分辨率super-resolution三維重建3D reconstruction26/v show/id XMTUwMDg0O TQw.htmlmons/e/ed/An exle of super resolution with still RAW pho

12、to.jpg27又一個例子單張估計深度學(xué)習(xí)深度Depth usingestimation deep learningfrom single imageLearning Depth from Single Monocular Images Using Deep Convolutional Neural Fields/1502.07411Accepted by IEEE T-PAMI視覺組28(multimedia)模式識別與多都可能牽涉多種但多多更具有“系統(tǒng)”性不特別強調(diào)單個模塊的性能更注重整個大系統(tǒng)的成功比模式識別更強調(diào)多種之間的配合就算每個模塊都采用了已有的技術(shù)，但是一個科學(xué)利用現(xiàn)有技術(shù)和多種的系統(tǒng)仍然可以是很大的成功29小結(jié)：模式識別vs.其他學(xué)科模式識別與很多學(xué)科有廣泛的聯(lián)系機器學(xué)習(xí)、計算機視覺、多、可視化(visualization)、圖形學(xué)(graphics)、需要很多學(xué)科的支持物理學(xué)、電子學(xué)、模式識別與相關(guān)學(xué)科是有區(qū)別的但是，現(xiàn)在各個學(xué)科呈現(xiàn)越來越融合的趨勢所以，不要強調(diào)區(qū)別，讓及更重要的解決問題！更注重共性、合作、以30進一步的閱讀各相關(guān)領(lǐng)域的進展可以參考其重要會議和期刊機器學(xué)習(xí)：JMLR,ICML,NIPS計算機視覺：TPAMI,IJCV,CVPR,ICCV,ECCV多：ACM Multimedia, TMM信息：http