課程模式識(shí)別

1、模式識(shí)別課程簡(jiǎn)介&模式識(shí)別系統(tǒng)簡(jiǎn)介大學(xué)計(jì)算機(jī)系，20171課程介紹2課程目標(biāo)理解、模式識(shí)別中的基本概念、步驟和方法對(duì)重要方法，要能實(shí)際應(yīng)用，并能理解其前提條件、應(yīng)用范圍、應(yīng)用注意事項(xiàng)和方法原理及推導(dǎo)對(duì)講授的其他方法，要能理解其含義和使用環(huán)境要對(duì)模式識(shí)別的前沿領(lǐng)域有感性的認(rèn)識(shí)提高目標(biāo)進(jìn)一步能通過(guò)獨(dú)立閱讀和實(shí)踐掌握較深入和方法，并能應(yīng)用到學(xué)習(xí)、研究中遇到中去3模式識(shí)別本科生和通選的選修課，2學(xué)分，2學(xué)時(shí)前置課程(prerequisite)程序設(shè)計(jì)、高等數(shù)學(xué)（數(shù)學(xué)分析和線性代數(shù)）、概率和數(shù)理統(tǒng)計(jì)一般來(lái)說(shuō)，最早2年級(jí)下半學(xué)期才可以選沒(méi)有或者(自愿)1次大作業(yè)有若干小作業(yè)包含紙上解題和一些小的編程(需要

2、Linux安裝)成績(jī)考核以和作業(yè)為主期末50-60%，作業(yè)40-50%自愿做大作業(yè)的同學(xué)有適當(dāng)加分4和參考書(shū)：從本學(xué)期開(kāi)始采用自編講義參考書(shū)：DHSPRML參考書(shū)中譯本：/10057422.html5本課程中用到的編程，很多在/help/環(huán)境中最方便/的tutorial簡(jiǎn)明：請(qǐng)自行搜索對(duì)從事計(jì)算機(jī)研究幾乎是必備的技能如果沒(méi)有有很多免費(fèi)環(huán)境，實(shí)現(xiàn)的功能足夠本課程使用一致語(yǔ)法和編程語(yǔ)言與如GNU Octave：學(xué)會(huì)隨時(shí)調(diào)用的幫助（或）6數(shù)學(xué)背景會(huì)簡(jiǎn)要介紹/回顧需要的最基本知識(shí)前置課程，（如較好的掌握了）就已經(jīng)夠本課程使用了需要的的數(shù)學(xué)知識(shí)會(huì)在授課中隨時(shí)補(bǔ)充對(duì)研究或工作有幫助特別是對(duì)有志CS研究的（

3、不限于模式識(shí)別），有較大幫助如對(duì)進(jìn)一步的知識(shí)感每章會(huì)提供關(guān)于進(jìn)一步閱讀的資源指南通用資源：教科書(shū)（DHS），參考書(shū)（PRML）（Wiki）Wolfram MathWorld (自編講義/)7模式識(shí)別簡(jiǎn)介8模式識(shí)別?“Patternrecognitionis a fieldachinelearning.”取自(?)，仍然如此Pattern recognition (psychology), identification offa, objects, words, melodies, etc. recognition (disambiguation)achine learning, pattern

4、 recognition is the assignment of a label to a given input value. recognitionof regularitiesPRML：automaticdata and with to take actiondiscoveryinthe use of these regularitiesch as classifying the datao different categories9模式識(shí)別的特征輸入：數(shù)據(jù)data, input value, 輸出：“模式”(Pattern)fa, objects,words, melodies,(c

5、lassification) label, categories,regularity, 輸入轉(zhuǎn)換到輸出:由計(jì)算機(jī)系統(tǒng)完成(automatic, algorithm, assignment )是一個(gè)但有趣的過(guò)程(discovery)10模式識(shí)別舉例：iOnRoad輸入？輸出？/v show/id XMzEzODI1MzIw.htmliOnRoad公司主頁(yè)http/？11模式識(shí)別舉例：Kinect輸入？輸出？/v show/id XMTgxNDk0ODc2.htmlKinect產(chǎn)品主頁(yè)https/kinect？12模式識(shí)別舉例：Siri輸入？輸出？/v show/id XMzM1Mjc1MTgw

6、.html Siri的產(chǎn)品主頁(yè)ht/cn/ios/siri/機(jī)器人(?)ht/w 19rthu48l1.html？13從數(shù)據(jù)到模式Fromdaopattern產(chǎn)生物理讀數(shù)物理學(xué)、聲學(xué)、電子學(xué)、光學(xué)、觸覺(jué)、味覺(jué)、傳感器文本、圖像、音頻、三維點(diǎn)集、數(shù)字信息物體檢測(cè)和識(shí)別、音頻轉(zhuǎn)化為文本、行為識(shí)別、姿態(tài)識(shí)別、模式?jīng)Q策、計(jì)劃、處理、應(yīng)用14（虛擬例子）識(shí)別：特征選取什么數(shù)據(jù)來(lái)判別一個(gè)人的長(zhǎng)相？喉結(jié)？身高？體重？聲音？行為？被使用的數(shù)據(jù)或從原始輸入數(shù)據(jù)(rawinputdata)中提取(extract)的數(shù)據(jù)稱為特征(feature)為什么要選取、提取、或者學(xué)習(xí)特征？15（虛擬例子）識(shí)別：評(píng)估怎么知道模

7、式識(shí)別的結(jié)果好壞？評(píng)估或評(píng)價(jià)(evaluate)通常是把模式識(shí)別系統(tǒng)的輸出(稱為，prediction)與真實(shí)值(groundtruth)進(jìn)行比較真實(shí)值從哪里來(lái)？女性的性（來(lái)自母親）+X（來(lái)自父親）XYX（來(lái)自母親）+Y（來(lái)自父親）的性如何進(jìn)行比較？以后會(huì)講?，F(xiàn)在先想？16（虛擬例子）識(shí)別：轉(zhuǎn)換如何構(gòu)建一個(gè)模式識(shí)別系統(tǒng)將輸入轉(zhuǎn)換為輸出常見(jiàn)方法：機(jī)器學(xué)習(xí)(machine learning)從過(guò)去的經(jīng)驗(yàn)學(xué)習(xí)Learning from experience訓(xùn)練集(training set)：已搜集的數(shù)據(jù)模型(m):從訓(xùn)練集得到的規(guī)律，表現(xiàn)形式多樣測(cè)試(prediction, testing):將這些

8、規(guī)律應(yīng)用到新的例子以得到針對(duì)該例子的結(jié)果（模式識(shí)別的輸出）測(cè)試集(testing set)：為了評(píng)估這些規(guī)律搜集的數(shù)據(jù)那么，對(duì)訓(xùn)練集和測(cè)試集應(yīng)該要求？17（虛擬例子）得到輸出后，識(shí)別：應(yīng)用用？通常在更大的系統(tǒng)中起作用iOnRoad,Siri, Kinect, 那么，模式識(shí)別系統(tǒng)要做到多好呢？由那個(gè)“更大的系統(tǒng)”決定是不是越高越好？18小結(jié)：模式識(shí)別的步驟問(wèn)題：是這樣嗎？需要多次反饋(feedback)、嘗試、修改什么步驟最重要?深度學(xué)圖中什么位置？19模式識(shí)別為什么多種原因？語(yǔ)義鴻溝sem什么？gap,如,一副20001000的圖像是對(duì)人的眼睛和大腦：教師、桌椅、講臺(tái)、黑板、人、對(duì)計(jì)算機(jī)：3

9、2000 1000 = 6,000,000個(gè)數(shù)字計(jì)算能力compuionaler很多算法在臺(tái)式機(jī)上要數(shù)年或更長(zhǎng)時(shí)間大數(shù)據(jù)，和計(jì)算都成為問(wèn)題數(shù)據(jù)的獲取data acquiring很多時(shí)候數(shù)據(jù)難以獲取(如，醫(yī)學(xué)圖像medical或者雖然容易獲取，但是難以標(biāo)注(如，對(duì)imaging)圖像的精確標(biāo)注annoion)2021一個(gè)例子ILSVRC2010:LargeScaleVisualRecognitionChallenge2010圖像分類：1,000個(gè)類別, 1,200,000訓(xùn)練圖像原始輸入（圖像）約100+GB有效的圖像表示：每個(gè)圖像表示為262,144的向量，需要1258GB空間來(lái)特征設(shè)計(jì)新的機(jī)

10、器學(xué)習(xí)算法，使得開(kāi)銷縮小到約40G用SVMlight或LIBSVM要很多年用LIBLINEAR要大概2個(gè)月使用新的深度學(xué)習(xí)(deep learning)方法，用GPU輔助計(jì)算，可以得到更好的精度accuracy22各步驟的（實(shí)踐）重要性1. 提取特征設(shè)想一下，告訴你一個(gè)人的年紀(jì)，需要判別其？或者，告訴你一個(gè)人的別？組成，需要判別其性2. 數(shù)據(jù)獲取設(shè)想一下，根據(jù)圖像判斷，所有訓(xùn)練圖像都只包含男子、而不包含任何女子？或者，圖像中有男有女，但是所有都標(biāo)記為女？機(jī)器學(xué)習(xí)有很多理論上重要，對(duì)實(shí)踐效果也非常重要23和其他領(lǐng)域的關(guān)系24模式識(shí)別vs.機(jī)器學(xué)習(xí)機(jī)器學(xué)模式識(shí)別中有非常重要的作用但是，模式識(shí)別具有

11、數(shù)據(jù)獲取提取特征的“系統(tǒng)”性主要的區(qū)別是：“數(shù)據(jù)”vs.“特征”但是，在深度學(xué)習(xí)中，這個(gè)區(qū)別不明顯了25模式識(shí)別vs.計(jì)算機(jī)視覺(jué)模式識(shí)別與計(jì)算機(jī)視覺(jué)(computer和應(yīng)用有非常多的重合vi)的研究識(shí)別recognition是計(jì)算機(jī)視覺(jué)中最重要模式識(shí)別中很大部分輸入是圖像模式識(shí)別包含很多視覺(jué)以外之一音頻、文本、計(jì)算機(jī)視覺(jué)包括很多識(shí)別以外如，超分辨率super-resolution三維重建3D reconstruction26/v show/id XMTUwMDg0O TQw.htmlmons/e/ed/An exle of super resolution with still RAW pho

12、to.jpg27又一個(gè)例子單張估計(jì)深度學(xué)習(xí)深度Depth usingestimation deep learningfrom single imageLearning Depth from Single Monocular Images Using Deep Convolutional Neural Fields/1502.07411Accepted by IEEE T-PAMI視覺(jué)組28(multimedia)模式識(shí)別與多都可能牽涉多種但多多更具有“系統(tǒng)”性不特別強(qiáng)調(diào)單個(gè)模塊的性能更注重整個(gè)大系統(tǒng)的成功比模式識(shí)別更強(qiáng)調(diào)多種之間的配合就算每個(gè)模塊都采用了已有的技術(shù)，但是一個(gè)科學(xué)利用現(xiàn)有技術(shù)和多種的系統(tǒng)仍然可以是很大的成功29小結(jié)：模式識(shí)別vs.其他學(xué)科模式識(shí)別與很多學(xué)科有廣泛的聯(lián)系機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、多、可視化(visualization)、圖形學(xué)(graphics)、需要很多學(xué)科的支持物理學(xué)、電子學(xué)、模式識(shí)別與相關(guān)學(xué)科是有區(qū)別的但是，現(xiàn)在各個(gè)學(xué)科呈現(xiàn)越來(lái)越融合的趨勢(shì)所以，不要強(qiáng)調(diào)區(qū)別，讓及更重要的解決問(wèn)題！更注重共性、合作、以30進(jìn)一步的閱讀各相關(guān)領(lǐng)域的進(jìn)展可以參考其重要會(huì)議和期刊機(jī)器學(xué)習(xí)：JMLR,ICML,NIPS計(jì)算機(jī)視覺(jué)：TPAMI,IJCV,CVPR,ICCV,ECCV多：ACM Multimedia, TMM信息：http