信號處理入門：若干分水嶺

信號處理入門：若干分水嶺（1）統(tǒng)計(jì)分布：從拉普拉斯到高斯再到拉普拉斯（2）信息采樣：從拉格朗日到耐奎斯特、香農(nóng)到壓縮采樣（3）優(yōu)化準(zhǔn)則：從條件期望到最小均方誤差、最小二乘到稀疏約束（4）吝嗇原理：線性與非線性、凸與非凸（5）……針對即將開題的2010級碩士研究生2024/5/202內(nèi)容從幾個問題開始稀疏信號處理模型、問題描述、基本原理稀疏信號處理常用算法、軟件工具稀疏信號處理的例子一些問題討論2024/5/203一、從幾個問題開始高斯分布憑什么無所不在？

MMSE是最優(yōu)的？吝嗇原則：免費(fèi)的午餐？分辨率受孔徑限制？機(jī)器學(xué)習(xí)：支持向量是稀疏的？什么是多維標(biāo)度問題?2024/5/204譜的概念最初是從哪里得來的呢？譜是信號處理中最重要的概念之一。信號處理經(jīng)常要在時域與頻域之間的轉(zhuǎn)換，這種轉(zhuǎn)換稱為傅里葉變換，也常叫做頻譜分析。在信號處理中，經(jīng)常會遇到頻譜、功率譜、能量譜、幅度譜、相位譜等各式各樣的關(guān)于譜的概念。2024/5/205牛頓：1666年，科學(xué)史上的奇跡年1642年出生在英國，是世界近代科學(xué)技術(shù)史上偉大的物理學(xué)家、天文學(xué)家和數(shù)學(xué)家。1666年，23歲的牛頓為了躲避瘟疫，回到鄉(xiāng)下的老家度假。在那段日子里，他一個人獨(dú)立完成了幾項(xiàng)開天辟地的工作，包括發(fā)明了微積分（流數(shù)），完成了光分解的實(shí)驗(yàn)分析，以及對于萬有引力定律的開創(chuàng)性思考。

2024/5/206光學(xué)公元1669年，牛頓剛剛成為劍橋大學(xué)盧卡斯席位的特聘教授。也許是這個席位與生俱來的貴族傳統(tǒng)，也許是牛頓的聲名太顯赫，這個教授席位在日后的科學(xué)史中，不僅是劍橋的榮耀、英國科學(xué)家的榮耀，更記載著人類對自然探索的光榮。牛頓開始的第一項(xiàng)研究即是光學(xué)，為此甚至不惜推后對微積分理論的進(jìn)一步完善。實(shí)際上，不管是光學(xué)，還是微積分，基礎(chǔ)都來源于他1665至1666年在老家躲避瘟疫的開創(chuàng)性工作。而對于光學(xué)，最開始是因?yàn)樗l(fā)現(xiàn)了一種幾乎是完美的研磨透鏡的新方法。

2024/5/207色差現(xiàn)象利用這些透鏡，他發(fā)現(xiàn)當(dāng)白光通過透鏡的時候會產(chǎn)生很多顏色的光，也就是色差現(xiàn)象。如何來解釋這一現(xiàn)象呢？牛頓自己的理論是白光由各種顏色的光組成，透鏡本身并不能產(chǎn)生顏色，僅僅是將光的組成部分進(jìn)行了分解。但是在嚴(yán)格的實(shí)驗(yàn)驗(yàn)證之前，他還不能貿(mào)然發(fā)表他的這些觀點(diǎn)。上述實(shí)驗(yàn)或許將證明他的理論。2024/5/208實(shí)驗(yàn)主要實(shí)驗(yàn)設(shè)備是兩個三棱鏡：一個用于將白光分解為各種不同顏色的光，另一個希望能將各種顏色的光恢復(fù)成白光。他已經(jīng)非常仔細(xì)地研磨這些三棱鏡，保證即便實(shí)驗(yàn)不成功也不會是棱鏡的原因。他舉起光源，將其對準(zhǔn)第一個三棱鏡：在兩個棱鏡之間是七色的彩虹，在第二個棱鏡之后，又是白光。又經(jīng)過多次的反復(fù)實(shí)驗(yàn)，每次都得到了預(yù)想的結(jié)果。于是他確信，對這個實(shí)驗(yàn)，即便是皇家學(xué)會那些最挑剔的批評者也將無話可說了。2024/5/209譜（spectrum）的由來牛頓認(rèn)識到，白光包含了各種顏色的光。他將這些通常用肉眼看不見的各種種顏色的光，看做是幽靈一般。于是，在他的拉丁文手稿中用了specter這個詞。后來，經(jīng)過逐步的演化，人們用spectrum來表示譜：意思是彩虹中的各種顏色。這就是譜（spectrum）的由來。2024/5/2010停步不前牛頓的下一步工作本來應(yīng)該是去深入認(rèn)識這些不同顏色的光源于其頻率的不同。然而很遺憾的是，即便是那個時代最杰出的科學(xué)家牛頓，也終于沒能邁出這一步。主要原因：他堅(jiān)信光的粒子性而不是波動性。2024/5/2011頻譜的概念在此之后，光的波/粒大戰(zhàn)還將延續(xù)幾百年，并深刻影響著物理學(xué)的進(jìn)程，這已經(jīng)是題外話了。將頻率與譜聯(lián)系并統(tǒng)一起來，才構(gòu)筑了信號處理中我們通常所說的頻譜的概念。2024/5/2012高斯分布：Anequationisforeternity

ThefundamentalnatureofthisdistributionanditsmainpropertieswerederivedbyLaplace(1781)

whenGausswassixyearsold.ThedistributionitselfhadbeenfoundbydeMoivre(1733)

beforeLaplacewasborn.2024/5/2013高斯的問題(1809)最簡單最優(yōu)2024/5/2014高斯的推導(dǎo)(1809)什么情況下樣本均值是最大似然估計(jì)問題的解？2024/5/2015若解是樣本均值，則應(yīng)滿足：anyrealnumbercanbearbitrarilyaccuratelyapproximatedbyrationalnumbers2024/5/2016ResultGaussassumedthesamplemeanduetoitscomputationalconvenienceandderivedtheGaussianlaw.ThislineofreasoningisquitetheoppositetothemodernexpositionintextbooksonstatisticsandsignalprocessingwheretheLSmethodisderivedfromtheassumedGaussianity.2024/5/2017為什么要折衷？性能最優(yōu)計(jì)算最簡單2024/5/20181.1 高斯分布憑什么無所不在？TheroleofGaussianmodelsinsignalprocessingisbasedontheoptimalpropertyoftheGaussiandistributionminimizingFisherinformationovertheclassofdistributionswithaboundedvariance.Thecentrallimittheorem(CLT)isnotonlyauniquereasonbutperhapsitisevennotthemainreason2024/5/2019Fisherinformation2024/5/20201.2 MMSE是最優(yōu)的？Ifhisknowntobesparse,canwedoevenbetterthantheMMSEestimate?Andifso,howmuchbettercanwedo?有偏估計(jì)！2024/5/2021NP-Hard？現(xiàn)代最小二乘(P0)

subjectto

(P1)

subjectto

2024/5/20221.3 吝嗇原則：免費(fèi)的午餐？多成分混合（合成，正問題）分離各個成分（感知，反問題）2024/5/2023貪婪的譜估計(jì)=濾波：2024/5/20241.4 分辨率受孔徑限制？DFTOOOOOOOO=OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOX

2024/5/2025BWE2024/5/20