從工程看數(shù)學(xué)-中文講稿-2009年-北京工業(yè)大學(xué).pdf

An Introduction to LAn Introduction to L 2 2 SpaceSpace An EngineeringAn Engineering s View of s View of Mathematics Mathematics 希爾伯特空間淺述希爾伯特空間淺述希爾伯特空間淺述希爾伯特空間淺述 兼談從工程的角度看數(shù)學(xué)兼談從工程的角度看數(shù)學(xué)兼談從工程的角度看數(shù)學(xué)兼談從工程的角度看數(shù)學(xué) 唐遠(yuǎn)炎唐遠(yuǎn)炎 Yuan Yan Tang IEEE Fellow IAPR Fellow 唐遠(yuǎn)炎唐遠(yuǎn)炎唐遠(yuǎn)炎唐遠(yuǎn)炎 Yuan Yan TangYuan Yan Tang IEEE Fellow IEEE Fellow IAPR FellowIAPR Fellow 數(shù)學(xué)是自然現(xiàn)象和社會(huì)現(xiàn)象包括工程技術(shù)的高 度概括和抽象描述 本學(xué)術(shù)報(bào)告以泛函分析中的 一個(gè)比較難理解的數(shù)學(xué)概念 希爾伯特空間為例 從工程的角度給出了形象的 比較好理解的描述 將抽象的數(shù)學(xué)還原為實(shí)際的工程問(wèn)題 此報(bào)告還 介紹了有關(guān)希爾伯特空間理論在模式識(shí)別中的應(yīng) 用實(shí)例 此報(bào)告通俗易懂 通過(guò)形象的比喻加深聽眾對(duì) 數(shù)學(xué)理論的理解 為工程技術(shù)人員更好地應(yīng)用數(shù) 學(xué)理論以及數(shù)學(xué)家如何將數(shù)學(xué)理論和實(shí)際應(yīng)用相 結(jié)合提供幫助 此為作者在國(guó)家基金委信息科學(xué)部所作報(bào)告的 講稿整理修改而成 和大家分享 崔景泰 Charles K Chui An Introduction to Waves Academic Press 1992 Access to wavelet theory has been limited because much of the wavelet literature requires that the reader understand the Access to wavelet theory has been limited because much of the wavelet literature requires that the reader understand the mathematicsmathematics ofof functional analysis泛函分析functional analysis泛函分析 Hilbert space theory希爾伯特空間Hilbert space theory希爾伯特空間 etc etc L2 0 2 Functional Analysis 泛函分析泛函分析 Norm 范數(shù)范數(shù) Normed Space 賦范空間賦范空間 Hilbert Space Linear Space 線性空間線性空間 Bannach Space Abstract Space 抽象空間抽象空間 Normed Space 賦范線性空間賦范線性空間 Linear Space 線性空間線性空間 Set 集合集合 A setsetsetset is a collection of elements LimitLimit Algebraic operationAlgebraic operationAlgebraic operationAlgebraic operation addition number multiplication is applied Norm 范數(shù)范數(shù) Norm 范數(shù)范數(shù) LimitLimitLimitLimit is described by the distancedistancedistancedistance Abstract Space 抽象空間抽象空間 A abstract spaceabstract spaceabstract spaceabstract space is a set with limit VectorVectorVectorVector is an element in the space Inner Product Space內(nèi)內(nèi)積空間積空間 Bannach Space 巴拿赫空間巴拿赫空間 Complete normed space Hilbert Space 希爾伯特空間希爾伯特空間 Complete inner product space完備的內(nèi)積空間完備的內(nèi)積空間完備的內(nèi)積空間完備的內(nèi)積空間 0 ff fggf L2 RL2 R 2 2 空間的函數(shù)空間的函數(shù)空間的函數(shù)空間的函數(shù) 的重要性質(zhì)的重要性質(zhì)的重要性質(zhì)的重要性質(zhì) 如果 f x y 是L2 RL2 R 2 2 空間的函數(shù) 即空間的函數(shù) 即 f x y L2 R2 則 f x y 是平方可積函數(shù) 即函數(shù) 的能量有限 2 2 R dxdyyxf 函數(shù)的能量 f x 是平方 可積函數(shù) 是平方 可積函數(shù) dtxf 2 f x L2 R f x x x f x f x x x f x f x x x f x x f x x f x 小波函數(shù)小波函數(shù) x y f x y 圖像的面積是有限的 圖像的像素灰度級(jí)是有限 的 0 f x y 255 所以 222 255255 00dxdydxdyyxfdxdy 圖像是圖像是圖像是圖像是L2 RL2 R 2 2 空間空間空間空間 的函數(shù)的函數(shù)的函數(shù)的函數(shù) f 是平方可積函數(shù)是平方可積函數(shù) f x y L2 R2 2 2 R dxdyyxf 222 255255 00dxdydxdyyxfdxdy 這個(gè)公式僅僅考慮在圖像面積 內(nèi)的積分 從數(shù)學(xué)的角度應(yīng)該考慮在整個(gè) 空間R2內(nèi)的積分 我們?cè)谡麄€(gè) 空間R2內(nèi)制造一個(gè)新的圖像 0 yx yxyxf yxf 因此 2 22 255 0 R dxdyyxf 圖像是圖像是圖像是圖像是L2 RL2 R 2 2 空間的函數(shù)空間的函數(shù)空間的函數(shù)空間的函數(shù) L2 RL2 R n n 空間的一類重要空間的一類重要空間的一類重要空間的一類重要 函數(shù)函數(shù)函數(shù)函數(shù) 小波函數(shù)小波函數(shù)小波函數(shù)小波函數(shù) WaveletsWavelets Waves Wavelets and Waves Wavelets and Waves Wavelets and Waves Wavelets and TransformsTransformsTransformsTransforms 波 小波和變換波 小波和變換波 小波和變換波 小波和變換 Waves f0 x 1 f1 x sin x f1 x sin x f2 x cos 2x f2 x cos 2x f3 x cos 3x f3 x cos 3x f4 x sin 18x f4 x sin 18x f x f0 x f x f0 x f1 x f1 x 2 2 f2 x f2 x 4 4 f3 x f3 x f4 x f4 x f1 2f2 4f3 f4 f0 f0 x 1 f1 x sin x f2 x cos 2x f3 x cos 3x f4 x sin 18x f0 x 1 f0 x 1 f1 x sin x f1 x sin x f2 x cos 2x f2 x cos 2x f3 x cos 3x f3 x cos 3x f4 x sin 18x f4 x sin 18x f f0f f0 f1 f1 2f2 2f2 4f3 4f3 f4 6 4 2 0 2 4 6 8 0123 Wave Transform波變換波變換波變換波變換 Spectrum Spectrum Spectrum F 0 12 1 3 18 2 4 SignalSignal Signal Fourier analysis based on analyzing global Fourier analysis based on analyzing global frequency distribution of a signal can not frequency distribution of a signal can not characterize the characterize the local behaviorlocal behavior of the signalof the signal Spectrum Spectrum Spectrum F 0 12 1 318 2 4 SignalSignal Signal 1000 Detection of Breast Cancer Detection of Breast Cancer using Mammographyusing Mammography MammographyMammograms CC viewMLO view Estimated new breast cancer cases and deaths in women by age United States 1999 AgeAgeIn SituIn Situ InvasiveInvasive DeathsDeaths 301000 3800 0 5 1000 2 30 391 400 3 57 4004 2 1 2002 8 40 499 00022 6 32 100 18 3 5 60012 9 50 59 10 000 25 1 37 40021 4 7 00016 2 60 698 500 21 3 32 60018 6 7 10016 4 70 798 200 20 6 40 70023 2 11 00025 4 80 2 7006 824 000 13 7 11 30026 1 Total 39 900 100 0 175 000 100 043 300 100 0 Due to rounding percentages may not exactly total 100 American Cancer Society Surveillance Research 1999 High Risk of Breast CancerHigh Risk of Breast Cancer 85 five years after diagnosis85 five years after diagnosis 43 for leukemia43 for leukemia 14 for lung cancer14 for lung cancer 71 after 10 years71 after 10 years 57 after 15 years57 after 15 years 52 after 20 years52 after 20 years Breast Cancer Facts Figures 1999Breast Cancer Facts Figures 1999 20002000 American Cancer SocietyAmerican Cancer Society Expected survival rates for Expected survival rates for women diagnosed with women diagnosed with breast cancerbreast cancer Lesions Masses or Lesions Masses or MicrocalcificationsMicrocalcifications Mass Microcalcifications Tumors Benign or MalignantTumors Benign or Malignant Benign Malignant 1 dttfbafW a bt R a Wavelet Transform 小波變換小波變換小波變換小波變換 函數(shù) t R小波函數(shù) 在L2 R 空間 小波 變換為 a 是頻率參數(shù) b 是時(shí)間參數(shù) 其中 Wave Transform 波變換波變換波變換波變換 dtetfF tj w是頻率參數(shù) 1822年 1986年 1822年 1986年 V VV V j j j j V V V Vj 1 j 1 j 1 j 1 WWWWj 1 j 1j 1j 1 Wavelet Transform小波變換小波變換小波變換小波變換 低頻低頻低頻低頻 高頻高頻高頻高頻 t f t Signal WaveletWavelet transformtransform Inverse waveletInverse wavelet transformtransform 小波變換產(chǎn)生音樂(lè)樂(lè)譜小波變換產(chǎn)生音樂(lè)樂(lè)譜小波變換產(chǎn)生音樂(lè)樂(lè)譜小波變換產(chǎn)生音樂(lè)樂(lè)譜 Time Frequency Musical notationWavelet components 頻率 時(shí)間 t f t Signal FourierFourier transformtransform Inverse FourierInverse Fourier transformtransform Time Frequency Musical notation Fourier components 波變換波變換波變換波變換不能不能不能不能產(chǎn)生音樂(lè)樂(lè)譜產(chǎn)生音樂(lè)樂(lè)譜產(chǎn)生音樂(lè)樂(lè)譜產(chǎn)生音樂(lè)樂(lè)譜 多分辨分析多分辨分析 MRA 一個(gè)在 L L2 2 R R 空間的閉子空間系列 V V j j j j Z Z如果滿 足以下條件 就稱為多分辨分析 MRAMRA 1 1 V V j j V Vj j 1 1 for any jfor any j Z Z 2 clos2 clos L L2 2 R R V V j j L L 2 2 R R V V j j 0 0 3 u x 3 u x V V j j u 2x u 2x V V j j 1 1 4 u x 4 u x V V 0 0 u xu x k k V V 0 0 5 5 存在一個(gè)生成函數(shù)g x g x V V 0 0 它可以構(gòu)成閉子 空間 V V 0 0 的 RieszRiesz基 圖像灰度的變化頻率圖像灰度的變化頻率圖像灰度的變化頻率圖像灰度的變化頻率 Grey level Position 255 0 255 1 F 256 Grey level Position 255 0 255 1 F 1 任何一個(gè)圖像 f x y 都屬 于某個(gè)閉子空間Vj Grey level Position 255 0 Grey level Position 255 0 Grey level Position 255 0 Grey level Position 255 0 VjVj 1 Vj 2 Vj 2 Vj 1 Vj V VV V j j j j V VV Vj 1 j 1j 1j 1 WWWWj 1 j 1j 1j 1 低頻低頻低頻低頻 高頻高頻高頻高頻 VjVj Vj 1Vj 1 Vj 2Vj 2 Vj 3Vj 3 Vj 4Vj 4 Vj 5Vj 5 Vj 2 Vj 1 Vj Vj Vj 1Wj 1 Wj 2Vj 2 11 jjjjjj VWVVWV 22 jjjj VWVW 33 jjjj VWVW L Wj 2 Vj 2 Vj 1 Wj 3 Wj 4 Vj 3 Vj 4 L L2 2 R R 多分辨分析中的閉子空間多分辨分析中的閉子空間多分辨分析中的多分辨分析中的閉子空間閉子空間 Vj 1 0 Wj Vj Wj 1 Vj 1 A WaveletA Wavelet based Progressive Digital Image based Progressive Digital Image Transmission Scheme Transmission Scheme 基于小波的基于小波的基于小波的基于小波的累進(jìn)圖象傳輸累進(jìn)圖象傳輸累進(jìn)圖象傳輸累進(jìn)圖象傳輸 PIT PIT ChinChin Chen Chang Chen Chang TzuTzu ChuenChuen LuLu National Chung Cheng UniversityNational Chung Cheng University 希爾伯特空間理論應(yīng)用到 圖象傳輸 希爾伯特空間理論應(yīng)用到 圖象傳輸 圖象傳輸圖象傳輸圖象傳輸圖象傳輸 Sender Receiver Internet Receiver First PhaseSecond PhaseThird Phase Fourth PhaseFifth PhaseSixth Phase Receiver 基于小波的基于小波的基于小波的基于小波的累進(jìn)圖象累進(jìn)圖象累進(jìn)圖象累進(jìn)圖象 傳輸傳輸傳輸傳輸 PIT PIT First PhaseSecond PhaseThird Phase Fourth PhaseFifth PhaseSixth Phase 希爾伯特空間理論應(yīng)用到 模式識(shí)別 文本分析領(lǐng)域 希爾伯特空間理論應(yīng)用到 模式識(shí)別 文本分析領(lǐng)域 文本分析的非層次理論文本分析的非層次理論文本分析的文本分析的非層次理論非層次理論 基于小波的文本分析理論基于小波的文本分析理論基于小波基于小波的文本分析理論的文本分析理論 在國(guó)際一流的IEEE期刊 其他國(guó)際權(quán)威的期刊和 重要的國(guó)際會(huì)議上發(fā)表論文 在國(guó)際一流的IEEE期刊 其他國(guó)際權(quán)威的期刊和 重要的國(guó)際會(huì)議上發(fā)表論文 美國(guó)美國(guó)A K Jain教授對(duì)將 教授對(duì)將 非層次理論非層次理論非層次理論非層次理論 列為國(guó) 際上目前公認(rèn)的文本分 析 列為國(guó) 際上目前公認(rèn)的文本分 析重要算法重要算法 給予了肯 定評(píng)價(jià) 給予了肯 定評(píng)價(jià) 1 IEEE Trans PAMI 1998 Vol 20 3 294 307 評(píng)價(jià) 處為第 評(píng)價(jià) 處為第296 297頁(yè) 頁(yè) 國(guó)際著名模式識(shí)別專家國(guó)際著名模式識(shí)別專家 原 原IEEE Trans on Pattern Analysis and Machine Intelligence主編 美國(guó)主編 美國(guó) Michigan大學(xué)的大學(xué)的 A K Jain教授教授 在在IEEE Trans PAMI的帶總結(jié)性 的論文中 1 稱這些理論 的帶總結(jié)性 的論文中 1 稱這些理論 解 決了高復(fù)雜度幾何結(jié)構(gòu)的文本分 析問(wèn)題 解 決了高復(fù)雜度幾何結(jié)構(gòu)的文本分 析問(wèn)題 評(píng)價(jià)唐遠(yuǎn)炎的論文 評(píng)價(jià)唐遠(yuǎn)炎的論文 82 IEEE Trans PAMI 1997 19 8 921 926 國(guó) 際 著 名 模 式 識(shí) 別 專 家國(guó) 際 著 名 模 式 識(shí) 別 專 家 George Nagy 在國(guó)際權(quán)威 的 在國(guó)際權(quán)威 的IEEE PAMI總結(jié)性的論文 文本圖像分析20年 2 中 對(duì)我們的工作給予了高 度評(píng)價(jià) 總結(jié)性的論文 文本圖像分析20年 2 中 對(duì)我們的工作給予了高 度評(píng)價(jià) 2 IEEE Trans PAMI 2000 22 1 38 62 公開評(píng)價(jià)處為第公開評(píng)價(jià)處為第296 297頁(yè)頁(yè) 論文 82 論文 82 提出了一個(gè)基于數(shù)據(jù)而不是基于模型 的方法來(lái)去掉表格線條 它的創(chuàng)新點(diǎn)不在于如何去 掉表格文本中的那些水平和垂直線條 而在于 提出了一個(gè)基于數(shù)據(jù)而不是基于模型 的方法來(lái)去掉表格線條 它的創(chuàng)新點(diǎn)不在于如何去 掉表格文本中的那些水平和垂直線條 而在于打 破了那些墨守成規(guī)的方法 打 破了那些墨守成規(guī)的方法 應(yīng)用了二維多分 辨率小波分析 應(yīng)用了二維多分 辨率小波分析 MRA 實(shí)驗(yàn)的結(jié)果被三種 金融文本所論證 實(shí)驗(yàn)的結(jié)果被三種 金融文本所論證 正如作者所述 這種新方法 正如作者所述 這種新方法 展示了完美的性能展示了完美的性能 論文 82 論文 82 提出了一個(gè)基于數(shù)據(jù)而不是基于模型 的方法來(lái)去掉表格線條 它的創(chuàng)新點(diǎn)不在于如何去 掉表格文本中的那些水平和垂直線條 而在于 提出了一個(gè)基于數(shù)據(jù)而不是基于模型 的方法來(lái)去掉表格線條 它的創(chuàng)新點(diǎn)不在于如何去 掉表格文本中的那些水平和垂直線條 而在于打 破了那些墨守成規(guī)的方法 打 破了那些墨守成規(guī)的方法 應(yīng)用了二維多分 辨率小波分析 應(yīng)用了二維多分 辨率小波分析 MRA 實(shí)驗(yàn)的結(jié)果被三種 金融文本所論證 實(shí)驗(yàn)的結(jié)果被三種 金融文本所論證 正如作者所述 這種新方法 正如作者所述 這種新方法 展示了完美的性能展示了完美的性能 評(píng)價(jià)唐遠(yuǎn)炎的論文 評(píng)價(jià)唐遠(yuǎn)炎的論文 25 IEEE Trans PAMI 1997 Vol 19 8 921 926 國(guó)際著名模式識(shí)別專 家 美國(guó) 國(guó)際著名模式識(shí)別專 家 美國(guó)Drexel大學(xué) 大學(xué) IMPACT 主任主任 Meystel教授對(duì)對(duì) 小 波 文本分析理論 小 波 文本分析理論 的 高度評(píng)價(jià) 3 的 高度評(píng)價(jià) 3 3 IEEE Trans SMC C 2003 Vol 33 1 86 101 公 開評(píng)價(jià)處為第92頁(yè) 公 開評(píng)價(jià)處為第92頁(yè) 基于小波變換的理論基于小波變換的理論 可能被下面的問(wèn)題所困 擾 大多數(shù)小波變換對(duì)不同解析層次的表示處 理趨于相似的功效 另外一個(gè)重要的不足 每 個(gè)層次處理的精度經(jīng)常應(yīng)該是一樣的 這樣它 沒(méi)有導(dǎo)致希望的在各種情況下復(fù)雜度下降 然 而 可能被下面的問(wèn)題所困 擾 大多數(shù)小波變換對(duì)不同解析層次的表示處 理趨于相似的功效 另外一個(gè)重要的不足 每 個(gè)層次處理的精度經(jīng)常應(yīng)該是一樣的 這樣它 沒(méi)有導(dǎo)致希望的在各種情況下復(fù)雜度下降 然 而 25 的最新研究成果解決了上 述問(wèn)題 25 的最新研究成果解決了上 述問(wèn)題 基于小波變換的理論基于小波變換的理論 可能被下面的問(wèn)題所困 擾 大多數(shù)小波變換對(duì)不同解析層次的表示處 理趨于相似的功效 另外一個(gè)重要的不足 每 個(gè)層次處理的精度經(jīng)常應(yīng)該是一樣的 這樣它 沒(méi)有導(dǎo)致希望的在各種情況下復(fù)雜度下降 然 而 可能被下面的問(wèn)題所困 擾 大多數(shù)小波變換對(duì)不同解析層次的表示處 理趨于相似的功效 另外一個(gè)重要的不足 每 個(gè)層次處理的精度經(jīng)常應(yīng)該是一樣的 這樣它 沒(méi)有導(dǎo)致希望的在各種情況下復(fù)雜度下降 然 而 25 的最新研究成果解決了上 述問(wèn)題 25 的最新研究成果解決了上 述問(wèn)題 28 Wavelet Theory and its Application to Pattern Recognition World Scientific Singapore 1999 29 Advances in Oriental Document Analysis and Recognition Techniques World Scientific Singapore 1999 30 IEEE Trans PAMI 21 6 544 551 1999 4 Computer Vision and Image Understanding 199