小波變換及稀疏表述初步-梅樹立

小波變換及稀疏表示初步梅樹立2023/2/61三維空間屬于線性空間大多數(shù)的信號如圖像等，無法在線性空間描述線性向量空間和泛函空間典型的泛函空間：距離空間，Banah空間，內(nèi)積空間，Hilbert空間。構(gòu)成線性空間的元素是向量（N維），構(gòu)成泛函空間的基本元素是函數(shù)（基函數(shù)）。因此，泛函簡稱為“函數(shù)的函數(shù)”2023/2/62概述-從空間解析幾何談起2023/2/63基函數(shù)

和

三角板如何用數(shù)學(xué)公式表達這種基函數(shù)逼近？2023/2/64基函數(shù)如何用數(shù)學(xué)公式表達這種基函數(shù)逼近？如何提高逼近精度？2023/2/65基函數(shù)V0:在整數(shù)區(qū)間內(nèi)為常數(shù)的所有平方可積函數(shù)構(gòu)成的空間，可表示為以下形式：2023/2/66基函數(shù)空間V1:在半整數(shù)區(qū)間內(nèi)為常數(shù)的所有平方可積函數(shù)構(gòu)成的空間，可表示為以下形式：2023/2/67基函數(shù)空間V2:在1/4整數(shù)區(qū)間內(nèi)為常數(shù)的所有平方可積函數(shù)構(gòu)成的空間，可表示為以下形式：2023/2/68基函數(shù)空間V0V2V12023/2/69Vj:在1/2j整數(shù)區(qū)間內(nèi)為常數(shù)的所有平方可積函數(shù)構(gòu)成的空間，可表示為以下形式：2023/2/610基函數(shù)空間思考：將一個函數(shù)分別表達在V0空間和V1空間，這兩種逼近表達之間的誤差是多少？換句話說，我們能否找到誤差補空間W0，滿足:2023/2/611RECALL2023/2/612函數(shù)f(x)=a-(x-b)2在V0空間的映射（在V0空間被逼近）若a=b=1,則h=2/32023/2/613函數(shù)f(x)=a-(x-b)2在V1空間的映射（在V1空間被逼近）若a=b=1,則h1=5/12,h2=11/122023/2/614V0的補空間？2023/2/6152023/2/6162023/2/6172023/2/618TranslatingStretching2023/2/619f(x)=a-(x-b)2在V0空間內(nèi)的逼近表達式（紅色直線）：在V1空間內(nèi)的逼近表達式（綠藍色直線）：在補空間W1空間內(nèi)的逼近表達式：2023/2/620….因此，有進一步可表示為2023/2/621Haar小波通過平移和伸縮可以得到Haar小波族2023/2/622平移2023/2/623伸縮2023/2/624小波的一般表達式Haar小波的正交特性2023/2/625多尺度分析Only0functioninallspaces如果某函數(shù)在所有空間中，必然在任意區(qū)間上是常數(shù)，而且平方可積，因此只能是0。所謂平方可積，即：2023/2/626多尺度分析可以逼近所有的平方可積函數(shù)f(x)以上盡管涉及到了內(nèi)積運算，但實質(zhì)屬于插值。即以上討論內(nèi)容均在巴拿赫空間進行。完備的線性賦范空間稱為Banach空間由于沒有定義內(nèi)積概念，只能用線性泛函代替內(nèi)積。如插值算子，Laplace算子（微分算子）等。（算子是泛函的一種）。坐標就是線性泛函。完備的內(nèi)積空間稱為Hilbert空間。數(shù)值逼近理論在Hilbert空間定義。Banach空間和Hilbert空間設(shè)X是n維實向量空間，對其中向量內(nèi)積舉例定義內(nèi)積正交的定義:(x,y)=0利用內(nèi)積定義正交任何n維空間都存在正交基正交推論：Hilbert空間中的最佳逼近設(shè)線性內(nèi)積空間的最佳逼近是線性內(nèi)積空間X的n+1個線性無關(guān)元素，子集在中尋求對X的某一元素f的最佳逼近時指在中存在一元素S*，使對于任意都有定理：作為最佳逼近元素的充要條件是集對f的最佳逼近元素的充要條件是S1-f與所有的正交。假設(shè)f是集合中的元素，則，f可以被集合中的基函數(shù)精確線性表達。誤差S1-f=0。若表達式的誤差不為零，且誤差仍然能被基函數(shù)表達，說明表達式還不完整。根據(jù)定理推導(dǎo)逼近向量表達式由下列方程組決定對應(yīng)的矩陣形式為舉例被逼近函數(shù)為F=MC=F39RelationtomeasurementsDenoisingByEnergyMinimizationThomas

Bayes1702-1761Priororregularizationy:Givenmeasurementsx:UnknowntoberecoveredManyoftheproposeddenoisingalgorithmsarerelatedtotheminimizationofanenergyfunctionoftheformThisisin-factaBayesianpointofview,adoptingtheMaximum-AposterioriProbability(MAP)estimation.Clearly,thewisdominsuchanapproachiswithinthechoiceoftheprior–modelingtheimagesofinterest.40TheEvolutionOfPr(x)DuringthepastseveraldecadeswehavemadeallsortofguessesaboutthepriorPr(x)forimages:Mumford&Shahformulation,Compressionalgorithmsaspriors,…EnergySmoothnessAdapt+SmoothRobustStatisticsTotal-VariationWaveletSparsitySparse&RedundantImageDenoisingViaLearnedDictionariesandSparserepresentationsBy:MichaelElad41TheSparselandModelforImagesMKNAfixedDictionaryEverycolumninD(dictionary)isaprototypesignal(Atom).Thevector

isgeneratedrandomlywithfew(sayL)non-zerosatrandomlocationsandwithrandomvalues.Asparse&randomvectorND-y

=-

OurMAPEnergyFunctionWeLonormiseffectivelycountingthenumberofnon-zerosin.Thevectoristherepresentation(sparse/redundant).Theaboveissolved(approximated!)usingagreedyalgorithm-theMatchingPursuit[Mallat&Zhang(`93)].Inthepast5-10yearstherehasbeenamajorprogressinthefieldofsparse&redundantrepresentations,anditsuses.WhatShouldDBe?OurAssumption:Good-behavedImageshaveasparserepresentationDshouldbechosensuchthatitsparsifiestherepresentationsTheapproachwewilltakeforbuildingDistrainingit,basedonLearningfromImageExamples

OneapproachtochooseDisfromaknownsetoftransforms(Steerablewavelet,Curvelet,Contourlets,Bandlets,…)欠定方程組的稀疏解測量矩陣有關(guān)欠定方程組的兩個等價特性則:Z,X均為2-稀疏向量，且AX=AZ，但X~=Z欠定方程組稀疏解的唯一性表達式則表示矩陣A的列子矩陣(從N列中抽出S列構(gòu)成的子矩陣)，類似地，對向量,我們用表示X中的S個元素構(gòu)成的子向量，即四個等價的唯一性表達式如果x和z都是s-稀疏的,且Ax=Az,則x=z除0向量外，零空間核A中不包含任何2s-稀疏向量Proof.設(shè)v是零空間A中一2s-稀疏向量。若s-稀疏向量x和z中非0元素的位置不重疊，換句話說，x-z屬于2s-稀疏向量。不失一般性，設(shè)v=x-z.根據(jù)(a),對于任一s-稀疏N維向量X和Z，若滿足AX=AZ，則X=Z.因此,v=0(b)(a)設(shè)x,z是s-稀疏向量，且滿足Ax=Az.X-z是2s-稀疏向量，且A(x-z)=0。如果A中不包含2s-稀疏非0向量，則x=z以上兩條等價性定理說明：s-稀疏信號對應(yīng)的測量矩陣A中不包含2s-稀疏向量；A的行數(shù)m<=2s取矩陣A的S列（card(S)<=2s）構(gòu)成的子矩陣As是CS->Cm之間的單一映射矩陣(Y和X之間形成單一映射)Z,X均為2-稀疏向量，且AX=AZ，但X~=Z不符合前述哪些條件？矩陣的秩至少應(yīng)該為2s2s-稀疏N維向量V的支撐區(qū)間為S=supp(v).因此，AV=AsVs.注意到S=suppV涵蓋了[N]所有的可能子集。根據(jù)測量矩陣A得到的壓縮信號：Y=AX，X∈CN，Y∈Cm稀疏表示的目標：根據(jù)壓縮信號Y∈Cm恢復(fù)稀疏信號X∈CN該目標對A的要求是：由于稀疏表示對A的要求為：定理2(s-稀N維疏信號的壓縮測量矩陣的存在性)對于N維s-稀疏信號X，一定存在2s*N測量矩陣A,使得壓縮測量得到的向量Y可以唯一恢復(fù)。定理2因此，As可逆且是一單射矩陣，符合定理1中的等價性質(zhì)c,定理得證。符合以上要求的矩陣還有很多，如上述討論告訴我們：Y=AX，測量矩陣A對N維s-稀疏信號進行壓縮測量得到的壓縮數(shù)據(jù)Y，當A滿足一定條件時，可由Y唯一恢復(fù)原始信號X。A是m*N（N>>m）矩陣，即A不存在逆矩陣。如何由Y恢復(fù)X？設(shè)N維向量x是s-稀疏向量，假設(shè)該向量是通過2s個離散Fourier變換系數(shù)：觀測。其中考慮以下三角多項式當時，上式精確消失，因此我們重點尋找集合S欠定方程組的稀疏解MohimaniGH,Babaie-ZadehM,JuttenC.Fastsparserepresentationbasedo