信號處理入門：若干分水嶺

1、信號處理入門：若干分水嶺信號處理入門：若干分水嶺（1）統(tǒng)計分布：從拉普拉斯到高斯再到拉普拉斯）統(tǒng)計分布：從拉普拉斯到高斯再到拉普拉斯（2）信息采樣：從拉格朗日到耐奎斯特、香農(nóng)到壓縮采樣）信息采樣：從拉格朗日到耐奎斯特、香農(nóng)到壓縮采樣（3）優(yōu)化準則：從條件期望到最小均方誤差、最小二乘到稀疏約束）優(yōu)化準則：從條件期望到最小均方誤差、最小二乘到稀疏約束（4）吝嗇原理：線性與非線性、凸與非凸）吝嗇原理：線性與非線性、凸與非凸（5）針對即將開題的針對即將開題的2010級碩士研究生級碩士研究生2021-12-112內(nèi)容內(nèi)容n從幾個問題開始從幾個問題開始n稀疏信號處理模型、問題描述、基本原理稀疏信號處理模型

2、、問題描述、基本原理n稀疏信號處理常用算法、軟件工具稀疏信號處理常用算法、軟件工具n稀疏信號處理的例子稀疏信號處理的例子n一些問題討論一些問題討論2021-12-113一、從幾個問題開始一、從幾個問題開始n高斯分布憑什么無所不在？高斯分布憑什么無所不在？ nMMSE是最優(yōu)的？是最優(yōu)的？n吝嗇原則：免費的午餐？吝嗇原則：免費的午餐？n分辨率受孔徑限制？分辨率受孔徑限制？n機器學習：支持向量是稀疏的？機器學習：支持向量是稀疏的？n什么是多維標度問題什么是多維標度問題?2021-12-114譜的概念最初是從哪里得來的呢？譜的概念最初是從哪里得來的呢？n譜是信號處理中最重要的概念之一。譜是信號處理中最

3、重要的概念之一。n信號處理經(jīng)常要在時域與頻域之間的轉(zhuǎn)換，這信號處理經(jīng)常要在時域與頻域之間的轉(zhuǎn)換，這種轉(zhuǎn)換稱為傅里葉變換，也常叫做頻譜分析。種轉(zhuǎn)換稱為傅里葉變換，也常叫做頻譜分析。n在信號處理中，經(jīng)常會遇到頻譜、功率譜、能在信號處理中，經(jīng)常會遇到頻譜、功率譜、能量譜、幅度譜、相位譜等各式各樣的關(guān)于譜的量譜、幅度譜、相位譜等各式各樣的關(guān)于譜的概念。概念。2021-12-115牛頓：牛頓：1666年，科學史上的奇跡年年，科學史上的奇跡年n1642年出生在英國，是世界近代科學技術(shù)史上年出生在英國，是世界近代科學技術(shù)史上偉大的物理學家、天文學家和數(shù)學家。偉大的物理學家、天文學家和數(shù)學家。n1666年，年

4、，23歲的牛頓為了躲避瘟疫，回到鄉(xiāng)下歲的牛頓為了躲避瘟疫，回到鄉(xiāng)下的老家度假。的老家度假。n在那段日子里，他一個人獨立完成了幾項開天在那段日子里，他一個人獨立完成了幾項開天辟地的工作，包括發(fā)明了微積分（流數(shù)），完辟地的工作，包括發(fā)明了微積分（流數(shù)），完成了光分解的實驗分析，以及對于萬有引力定成了光分解的實驗分析，以及對于萬有引力定律的開創(chuàng)性思考。律的開創(chuàng)性思考。 2021-12-116光學光學n公元公元1669年，牛頓剛剛成為劍橋大學盧卡斯席位的特聘年，牛頓剛剛成為劍橋大學盧卡斯席位的特聘教授。也許是這個席位與生俱來的貴族傳統(tǒng)，也許是牛教授。也許是這個席位與生俱來的貴族傳統(tǒng)，也許是牛頓的聲名太

5、顯赫，這個教授席位在日后的科學史中，不頓的聲名太顯赫，這個教授席位在日后的科學史中，不僅是劍橋的榮耀、英國科學家的榮耀，更記載著人類對僅是劍橋的榮耀、英國科學家的榮耀，更記載著人類對自然探索的光榮。自然探索的光榮。n牛頓開始的第一項研究即是光學，為此甚至不惜推后對牛頓開始的第一項研究即是光學，為此甚至不惜推后對微積分理論的進一步完善。實際上，不管是光學，還是微積分理論的進一步完善。實際上，不管是光學，還是微積分，基礎(chǔ)都來源于他微積分，基礎(chǔ)都來源于他1665至至1666年在老家躲避瘟年在老家躲避瘟疫的開創(chuàng)性工作。而對于光學，最開始是因為他發(fā)現(xiàn)了疫的開創(chuàng)性工作。而對于光學，最開始是因為他發(fā)現(xiàn)了一種

6、幾乎是完美的研磨透鏡的新方法。一種幾乎是完美的研磨透鏡的新方法。 2021-12-117色差現(xiàn)象n利用這些透鏡，他發(fā)現(xiàn)當白光通過透鏡的時候會產(chǎn)生很多顏色的光，也就是色差現(xiàn)象。如何來解釋這一現(xiàn)象呢？n牛頓自己的理論是白光由各種顏色的光組成，透鏡本身并不能產(chǎn)生顏色，僅僅是將光的組成部分進行了分解。n但是在嚴格的實驗驗證之前，他還不能貿(mào)然發(fā)表他的這些觀點。上述實驗或許將證明他的理論。 2021-12-118實驗n主要實驗設(shè)備是兩個三棱鏡：一個用于將白光分解為各種不同顏色的光，另一個希望能將各種顏色的光恢復成白光。n他已經(jīng)非常仔細地研磨這些三棱鏡，保證即便實驗不成功也不會是棱鏡的原因。n他舉起光源，將

7、其對準第一個三棱鏡：在兩個棱鏡之間是七色的彩虹，在第二個棱鏡之后，又是白光。n又經(jīng)過多次的反復實驗，每次都得到了預想的結(jié)果。于是他確信，對這個實驗，即便是皇家學會那些最挑剔的批評者也將無話可說了。 2021-12-119譜（spectrum）的由來n牛頓認識到，白光包含了各種顏色的光。n他將這些通常用肉眼看不見的各種種顏色的光，看做是幽靈一般。n于是，在他的拉丁文手稿中用了specter這個詞。后來，經(jīng)過逐步的演化，人們用spectrum來表示譜：意思是彩虹中的各種顏色。這就是譜（spectrum）的由來。 2021-12-1110停步不前n牛頓的下一步工作本來應(yīng)該是去深入認識這些不同顏色的光

8、源于其頻率的不同。n然而很遺憾的是，即便是那個時代最杰出的科學家牛頓，也終于沒能邁出這一步。n主要原因：他堅信光的粒子性而不是波動性。2021-12-1111頻譜的概念n在此之后，光的波/粒大戰(zhàn)還將延續(xù)幾百年，并深刻影響著物理學的進程，這已經(jīng)是題外話了。n將頻率與譜聯(lián)系并統(tǒng)一起來，才構(gòu)筑了信號處理中我們通常所說的頻譜的概念。2021-12-1112高斯分布：高斯分布：An equation is for eternityAn equation is for eternity The fundamental nature of this distribution and its main pro

9、perties were derived by Laplace (1781) when Gauss was six years old.The distribution itself had been found by de Moivre (1733) before Laplace was born.2021-12-1113高斯的問題高斯的問題(1809)(1809)n最簡單最簡單n最優(yōu)最優(yōu)2021-12-1114高斯的推導高斯的推導 (1809)n什么情況下樣本均值是最大似然估計問題什么情況下樣本均值是最大似然估計問題的解？的解？2021-12-1115若解是樣本均值，則應(yīng)滿足：若解是樣本均

10、值，則應(yīng)滿足：nany real number can be arbitrarily accurately approximated by rational numbers2021-12-1116Result nGauss assumed the sample mean due to its computational convenience and derived the Gaussian law.nThis line of reasoning is quite the opposite to the modern exposition in textbooks on statistics

11、and signal processing where the LS method is derived from the assumed Gaussianity.2021-12-1117為什么要折衷？為什么要折衷？n性能最優(yōu)n計算最簡單2021-12-11181.1 高斯分布憑什么無所不在？高斯分布憑什么無所不在？nThe role of Gaussian models in signal processing is based on the optimal property of the Gaussian distribution minimizing Fisher information

12、 over the class of distributions with a bounded variance.nThe central limit theorem (CLT) is not only a unique reason but perhaps it is even not the main reason2021-12-1119Fisher information2021-12-11201.2 MMSE是最優(yōu)的是最優(yōu)的？If h is known to be sparse, can we do even better than the MMSE estimate? And if

13、so, how much better can we do?有偏估計！有偏估計！2021-12-1121NP-Hard ？現(xiàn)代最小二乘現(xiàn)代最小二乘(P0) 0min xsubject to 2bAx(P1) 1min xsubject to 2bAx2021-12-11221.3 吝嗇原則：免費的午餐？吝嗇原則：免費的午餐？n多成分混合（合成，正問題）n分離各個成分（感知，反問題）1()Mkkkxa2( )( )Hsax2021-12-1123貪婪的譜估計貪婪的譜估計 = = 濾波：濾波：2( )( )Hswx211121121121111/22( )( )( )( )( )1( )( )( )( )( )( )( )( )( )( )( )( )1( )( )( )( )( )MHCBFkkkMVDRHMHkkkHPPvARHHHPPPHnnnMUSICHHHnnkk PwasaqR awsaR aaqqqawsaqqaaqUU awsaU U aaq1M2021-12-11241.4 分辨率受孔徑限制？分辨率受孔徑限制？nDFTOOOOOOOO=O O O O O O O OO O O O O O O OO O O O O O O OO O O O O O O OO O O O O O O OO O O O O O O