壓縮感知-介紹課件

2022/12/231壓縮感知概述

IntroductiontoCompressiveSensing22022/12/23目錄一、背景與現(xiàn)狀

理論產(chǎn)生背景

研究現(xiàn)狀二、壓縮感知理論介紹

壓縮感知的基本思想壓縮感知的數(shù)學(xué)模型壓縮感知要解決的問題三、應(yīng)用與展望

壓縮感知的初步應(yīng)用壓縮感知研究的公開問題

壓縮感知的總結(jié)與展望

2022/12/233

一、背景現(xiàn)狀52022/12/231.1理論產(chǎn)生背景1、背景現(xiàn)狀原始圖像采樣數(shù)據(jù)采樣壓縮數(shù)據(jù)傳輸解壓縮數(shù)據(jù)傳輸恢復(fù)圖像通過顯示器顯示圖像

另一方面，在實際應(yīng)用中,為了降低存儲、處理和傳輸?shù)某杀?人們常采用壓縮方式以較少的比特數(shù)表示信號,大量的非重要的數(shù)據(jù)被拋棄。這種高速采樣再壓縮的過程浪費了大量的采樣資源。62022/12/231.1理論產(chǎn)生背景1、背景現(xiàn)狀大部分冗余信息在采集后被丟棄采樣時造成很大的資源浪費能否直接采集不被丟棄的信息？72022/12/231.1理論產(chǎn)生背景1、背景現(xiàn)狀被感知對象重建信號壓縮感知名詞解釋：壓縮感知—直接感知壓縮后的信息基本方法：信號在某一個正交空間具有稀疏性（即可壓縮性），就能以較低的頻率（遠低于奈奎斯特采樣頻率）采樣該信號，并可能以高概率重建該信號。82022/12/231.2研究現(xiàn)狀1、背景現(xiàn)狀2006《RobustUncertaintyPrinciples：ExactSignalReconstructionfromHighlyIncompleteFrequencyInformation》TerenceTao、EmmanuelCandès2006《CompressedSensing》DavidDonoho2007《CompressiveSensing》RichardBaraniuk上述文章奠定了壓縮感知的理論基礎(chǔ)。國內(nèi)也將其翻譯成壓縮傳感或壓縮采樣。102022/12/231.2研究現(xiàn)狀1、背景現(xiàn)狀西安電子科技大學(xué)石光明教授在《電子學(xué)報》發(fā)表綜述文章，系統(tǒng)地闡述了壓縮傳感的理論框架以及其中涉及到的關(guān)鍵技術(shù)問題。燕山大學(xué)練秋生教授的課題組針對壓縮感知的稀疏重建算法進行了系統(tǒng)深入的研究，提出一系列高質(zhì)量的圖像重建算法。中科院電子所的方廣有研究員等，探索了壓縮感知理論在探地雷達三維成像中的應(yīng)用。除此之外，還有很多國內(nèi)學(xué)者在壓縮感知方面做了重要的工作，如清華大學(xué)、天津大學(xué)、國防科技大學(xué)、廈門大學(xué)、湖南大學(xué)、西南交通大學(xué)、南京郵電大學(xué)、華南理工大學(xué)、北京理工大學(xué)、北京交通大學(xué)等等單位，在此不一一列舉。122022/12/232.1壓縮感知的基本思想2、壓縮感知理論介紹

壓縮感知理論與傳統(tǒng)奈奎斯特采樣定理不同，它指出，只要信號是可壓縮的或在某個變換域是稀疏的，那么就可以用一個與變換基不相關(guān)的觀測矩陣將變換所得高維信號投影到一個低維空間上，然后通過求解一個優(yōu)化問題就可以從這些少量的投影中以高概率重構(gòu)出原信號，可以證明這樣的投影包含了重構(gòu)信號的足夠信息。在該理論框架下，采樣速率不決定于信號的帶寬，而決定于信息在信號中的結(jié)構(gòu)和內(nèi)容。142022/12/232.2壓縮感知的數(shù)學(xué)模型2、壓縮感知理論介紹這里為正交基字典矩陣，滿足，展開系數(shù)向量為假設(shè)系數(shù)向量θ是K稀疏的，即其中非零系數(shù)的個數(shù)K<<N，那么采用另一個與正交基不相關(guān)的矩陣Φ：M×N（M<<N）（這里Φ的每一行可以看作是一個傳感器，它與系數(shù)相乘，獲取了信號的部分信息），對信號Ⅹ執(zhí)行一個壓縮觀測：（3）152022/12/232.2壓縮感知的數(shù)學(xué)模型2、壓縮感知理論介紹就可以得到M個線性觀測（或投影），這些少量線性投影中則包含了重構(gòu)信號X的足夠信息，如下圖所示：162022/12/232.2壓縮感知的數(shù)學(xué)模型2、壓縮感知理論介紹

從y中恢復(fù)x是一個解線性方程組的問題，但從方程（3）上看，這似乎是不可能的，因為這是一個未知數(shù)個數(shù)大于方程個數(shù)的病態(tài)方程，存在無窮多個解。但是，將式（2）帶入式（3），記CS信息算子可以得到：（4）

雖然從y中恢復(fù)θ也是一個病態(tài)問題，但是因為系數(shù)θ是稀疏的，這樣未知數(shù)的個數(shù)就大大減少，使得信號重構(gòu)成為可能。那么在什么情況下式（4）的解是存在的呢？？？172022/12/232.2壓縮感知的數(shù)學(xué)模型2、壓縮感知理論介紹

可以證明：只要矩陣中任意2K列都是線性獨立的，那么至少存在一個K-稀疏的系數(shù)向量θ滿足。換言之，在滿足上述要求的情況下，通過解一個非線性優(yōu)化問題就能從觀測y、觀測矩陣和字典矩陣中近乎完美的重建信號x。信號壓縮感知的過程如下圖所示：182022/12/232.3壓縮感知要解決的問題2、壓縮感知理論介紹

從上述數(shù)學(xué)模型可知,壓縮感知理論的實現(xiàn)包含三個關(guān)鍵要素：稀疏性、非相關(guān)觀測、非線性優(yōu)化重建，其中信號的稀疏性是壓縮感知的必備條件,非相關(guān)觀測是壓縮感知的關(guān)鍵,非線性優(yōu)化是壓縮感知重建信號的手段。

要解決的問題有以下三方面：1、信號的稀疏表示

2、觀測矩陣的設(shè)計

3、信號重構(gòu)算法的設(shè)計202022/12/232.3壓縮感知要解決的問題2、壓縮感知理論介紹1、信號的稀疏表示212022/12/232.3壓縮感知要解決的問題2、壓縮感知理論介紹1、信號的稀疏表示研究現(xiàn)狀：（1）多種變換域分析方法為稀疏表示提供了可能。（2）許多信號，諸如自然圖像，本身就存在著變換域稀疏性。（3）信號在冗余字典下的稀疏表示目前信號在冗余字典下的稀疏表示的研究集中在兩個方面:(a)如何構(gòu)造一個適合某一類信號的冗余字典;(b)如何設(shè)計快速有效的稀疏分解算法.232022/12/232.3壓縮感知要解決的問題2、壓縮感知理論介紹3、信號重構(gòu)算法的設(shè)計

目前為止出現(xiàn)的重構(gòu)算法都可以歸入以下3大類：（1）貪婪追蹤算法：這類方法是通過每次迭代時選擇一個局部最優(yōu)解來逐步逼近原始信號，這類算法包括MP（MatchingPursuit,匹配追蹤）算法，OMP（OrthogonalMatchingPursuit,正交匹配追蹤)算法，分段OMP算法和正則化OMP算法。（2）凸松弛法:這類方法通過將非凸問題轉(zhuǎn)化為凸問題求解找到信號的逼近,如BP算法,內(nèi)點法，梯度投影方法和迭代閾值法。（3）組合算法：這類方法要求信號的采樣支持通過分組測試快速重建，如傅立葉采樣，鏈?zhǔn)阶粉櫤虷HS(HeavgHittersonSteroids)追蹤等。242022/12/232.3壓縮感知要解決的問題2、壓縮感知理論介紹3、信號重構(gòu)算法的設(shè)計

可以看出，每種算法都有其固有的缺點。凸松弛法重構(gòu)信號所需的觀測次數(shù)最少，但往往計算負擔(dān)很重。貪婪追蹤算法在運行時間和采樣效率上都位于另兩類算法之間。重構(gòu)算法和所需的觀測次數(shù)密切相關(guān)。當(dāng)前，壓縮感知理論的信號重構(gòu)問題的研究主要集中在如何構(gòu)造穩(wěn)定的、計算復(fù)雜度較低的、對觀測數(shù)量要求較少的重構(gòu)算法來精確地恢復(fù)原信號。262022/12/233.1壓縮感知的初步應(yīng)用3、應(yīng)用與展望

直接信息采樣特性使得壓縮感知理論具有巨大的吸引力和應(yīng)用前景，隨之出現(xiàn)的是相關(guān)的理論完善和實踐成果。應(yīng)用研究已經(jīng)涉及到眾多領(lǐng)域，如：CS雷達、DCS(DistributedCompressedSensing)理論、無線傳感網(wǎng)絡(luò)、圖像采集設(shè)備的開發(fā)、醫(yī)學(xué)圖像處理、生物傳感、Analog2to2Information、光譜分析、超譜圖像處理等。1、在成像方面,壓縮感知理論的出現(xiàn)激起了人們研究新型傳感器的熱情,壓縮感知采樣對昂貴的成像器件的設(shè)計產(chǎn)生重大影響。

2、在地震勘探成像和核磁共振成像中,對目標(biāo)信號將有望采用少量的隨機觀測次數(shù)就能獲得高精度重構(gòu)。272022/12/233.1壓縮感知的初步應(yīng)用3、應(yīng)用與展望3、取代傳統(tǒng)數(shù)碼相機拍照時采集大量像素的一種新型單像素CS相機已經(jīng)得到論證。

4、美國Rice大學(xué)也已經(jīng)研制出單像素相機。

5、在寬帶無線頻率信號分析中,由于目前A/D轉(zhuǎn)換器技術(shù)的限制,可以用遠低于奈奎斯特采樣頻率的速率采集信號。

6、在X射線和生物醫(yī)學(xué)中,可以通過采集遠少于未知像素點數(shù)的觀測樣本來獲取感興趣的圖像信息。

7、基因表達研究也開始使用壓縮感知理論,試圖從少量的觀測樣本中,

例如幾十種來推斷成千上萬種基因的表達。282022/12/233.2壓縮感知研究的公開問題（摘自09年文獻）3、應(yīng)用與展望1、p2范數(shù)優(yōu)化問題

壓縮感知理論在圖像壓縮編碼等方面也應(yīng)該有很廣泛的前景，但由于信號的恢復(fù)方法是建立在p2范數(shù)意義下，數(shù)據(jù)之間還有很大的冗余性沒有去除，相比傳統(tǒng)的小波變換編碼，壓縮感知理論應(yīng)用于圖像壓縮的效果還不理想，p2范數(shù)的優(yōu)化是提高基于壓縮感知理論的壓縮算法效果的必經(jīng)之路。p2范數(shù)的優(yōu)化方法是一個公開問題(openproblem)，對它的研究將推動壓縮感知理論在壓縮方面的應(yīng)用，具有很深遠的意義。302022/12/233.2壓縮感知研究的公開問題（摘自09年文獻）3、應(yīng)用與展望3、觀測矩陣與恢復(fù)性能關(guān)系觀測矩陣與稀疏變換基的不相干特性是壓縮感知理論具有良好性能的基礎(chǔ)。由于隨機高斯分布的觀測矩陣具有與其它固定基都不相關(guān)的特性而被廣泛采用。但在實際的應(yīng)用中,這種觀測矩陣存在存儲矩陣元素容量巨大、計算復(fù)雜度高的缺點。觀測矩陣的隨機不相關(guān)特性是正確恢復(fù)信號的一個充分條件,觀測矩陣和信號的高度不相干是有效恢復(fù)信號的保證。但是,現(xiàn)在仍然無法確定隨機不相關(guān)特性是否是最優(yōu)恢復(fù)信號的必要條件,這仍是一個公開問題。另外,如何衡量觀測矩陣的不相干特性,以及它們與恢復(fù)性能之間的關(guān)系也是一個尚未解決的問題。312022/12/233.2壓縮感知研究的公開問題（摘自09年文獻）3、應(yīng)用與展望4、分布式壓縮感知理論(DistributedCompressedSensing,DCS)

目前，針對單個信號的壓縮感知的研究和應(yīng)用已經(jīng)開展得比較深入,但是對分布式信號的處理仍然研究得不夠。例如，對于一個包含大量傳感器節(jié)點的傳感器網(wǎng)絡(luò)，每個傳感器都會采集大量的數(shù)據(jù)，這些數(shù)據(jù)將會傳輸?shù)揭粋€控制中心，也會在各個節(jié)點之間傳輸。顯然，在這種分布式傳感器網(wǎng)絡(luò)中，數(shù)據(jù)傳輸對功耗和帶寬的需求非常大，那么，如何對分布式信號進行壓縮以減少通信壓力成為非常緊迫的需求。322022/12/233.3壓縮感知研究的總結(jié)與展望3、應(yīng)用與展望

壓縮感知理論利用了信號的稀疏特性,將原來基于奈奎斯特采樣定理的信號采樣過程轉(zhuǎn)化為基于優(yōu)化計算恢復(fù)信號的觀測過程。也就是利用長時間積分換取采樣頻率的降低,省去了高速采樣過程中獲得大批冗余數(shù)據(jù)然后再舍去大部分無用數(shù)據(jù)的中間過程,從而有效緩解了高速采樣實現(xiàn)的壓力,減少了處理、存儲和傳輸?shù)某杀?使得用低成本的傳感器將模擬信息轉(zhuǎn)化為數(shù)字信息成為可能。這種新的采樣理論將可能成為將采樣和壓縮過程合二為一的方法的理論基礎(chǔ)。332022/12/233.3壓縮感知研究的總結(jié)與展望3、應(yīng)用與展望

壓縮感知理論的研究已經(jīng)有了一些成果,但是仍然存在大量的問題需