結(jié)構(gòu)稀疏模型研究綜述

結(jié)構(gòu)稀疏模型研究綜述

1.自然正義模型在計(jì)算機(jī)械學(xué)習(xí)和研究中，有必要學(xué)習(xí)高維數(shù)據(jù)的模型。示例維數(shù)達(dá)到數(shù)十萬維。如果高維數(shù)據(jù)強(qiáng)制高維模型，建立模型，模型的解釋性將失去模型的解釋性，并找不到與輸出變量最相關(guān)的輸入因素。此外，根據(jù)人類大腦的認(rèn)知、學(xué)習(xí)和推理過程，高維數(shù)據(jù)總是在低維空間中進(jìn)行學(xué)習(xí)和推理。信息論、編碼理論和壓縮傳感器理論也表明，高維數(shù)據(jù)可以從低維數(shù)據(jù)重建。我們可以知道，基于概率意義上的統(tǒng)計(jì)重建誤差很小。另一個(gè)原因是統(tǒng)計(jì)學(xué)中發(fā)現(xiàn)模型降維,即只選擇少量的預(yù)測(cè)變量比精確地求解包含全部預(yù)測(cè)變量的最小二乘和極大似然估計(jì)問題,能夠解決模型過擬合問題.但是難點(diǎn)在于選擇幾個(gè)預(yù)測(cè)變量,選擇哪幾個(gè)變量,有的學(xué)者提出用Cp、AIC和BIC等準(zhǔn)則確定所選變量的個(gè)數(shù).套索模型(Leastabsoluteshrinkageandselectionoperator,Lasso)滿足不等式套索只能實(shí)現(xiàn)普通的非結(jié)構(gòu)稀疏化效果,其示意圖如圖1所示,從7個(gè)變量中選擇出的變量不具有任何結(jié)構(gòu)化的形式,然而有時(shí)樣本的多個(gè)變量之間本身具有某種結(jié)構(gòu),來看一個(gè)實(shí)例,Hosmer等人圖2中令β=v=(v其中Φ(β;X,y)為最小二乘、鉸鏈或邏輯斯蒂損失函數(shù),Ω(β)為產(chǎn)生各種結(jié)構(gòu)稀疏模型的罰函數(shù),這里m不同的結(jié)構(gòu)稀疏化模型所實(shí)現(xiàn)的稀疏化效果往往不同,因此本文按照稀疏模型所實(shí)現(xiàn)的稀疏化效果對(duì)其進(jìn)行分類,即按照其實(shí)現(xiàn)的稀疏化結(jié)構(gòu)將其分為組結(jié)構(gòu)稀疏模型、結(jié)構(gòu)稀疏字典學(xué)習(xí)、雙層結(jié)構(gòu)稀疏模型、樹結(jié)構(gòu)稀疏模型和圖結(jié)構(gòu)稀疏模型這幾個(gè)部分來進(jìn)行討論,其具體分類如圖3所示2稀疏結(jié)構(gòu)模型2.1組子模型向量組模型典型的例子如用二值指示變量表示分類輸入變量所屬的類,同一類輸入變量,有一個(gè)組子模型向量;對(duì)于非參數(shù)加回歸模型,組模型子向量β引入虛擬(啞)變量π=(π假定模型為組套索的變量選擇效果如圖4所示,其中每個(gè)橢圓形中的變量對(duì)應(yīng)一個(gè)組.2.2LL其中2.3非重疊組稀疏模型組套索在實(shí)際應(yīng)用中具有局限性,例如在微陣列基因表達(dá)數(shù)據(jù)分析中,由于基因以多路徑(multiplepathways)的方式參與模型的構(gòu)造過程,因此一個(gè)基因可能同時(shí)屬于多個(gè)組,即組與組之間包含的變量存在重疊.非重疊組稀疏模型沒有考慮不同的組子模型向量可能包含相同的某些變量,這些變量組合情況被非重疊組稀疏模型排除在外了.假設(shè)P個(gè)變量被分為J個(gè)組g這里,w2.4廣義線性模型組套索可以通過定義μ=Xβ,Σ=I,y~N(μ,Σ),求解y的負(fù)對(duì)數(shù)似然函數(shù)即可得到線性模型最小二乘目標(biāo)函數(shù)這里f(·)為線性或非線性連接函數(shù),θ為自然參數(shù),T(y)為y的充分統(tǒng)計(jì)量,由于Bregman離差和指數(shù)分布簇的等價(jià)表示形式有一一對(duì)應(yīng)關(guān)系,這里ue788(·)為ψ(·)的Legendre對(duì)偶函數(shù),所以廣義線性模型組套索的目標(biāo)函數(shù)為當(dāng)取連接函數(shù)為時(shí),得到邏輯斯蒂模型邏輯斯蒂模型組套索模型為2.5LL其中這里γ>2,λue0240.當(dāng)γ→∞時(shí),式(13)等于ue7882.6L已知式(5)中的線性回歸模型,L其中2.7LMC(MinimaxConcavepenalties)罰函數(shù)為使用MC罰函數(shù),L由式(17),令γ→∞、3多層結(jié)構(gòu)稀疏模型3.1組內(nèi)稀疏性檢驗(yàn)。根據(jù)第5個(gè)變量組所謂雙層結(jié)構(gòu)稀疏模型指的是既能夠?qū)崿F(xiàn)變量組稀疏又能夠?qū)崿F(xiàn)變量組內(nèi)變量選擇的稀疏模型,即同時(shí)實(shí)現(xiàn)組稀疏性和組內(nèi)變量的稀疏性,其變量選擇的示意圖如圖7所示,變量選擇的結(jié)果為從5個(gè)變量組中選擇出了2個(gè)變量組,與此同時(shí)被選擇出的變量組中也并非包含原變量組中的全部變量,換句話說既具有組稀疏性又具有組內(nèi)稀疏性.例如,在文獻(xiàn)[36]的表3中,不僅期望探究哪些組變量對(duì)體質(zhì)指數(shù)有顯著影響,而且期望探究哪些組變量中的哪個(gè)變量對(duì)體質(zhì)指數(shù)具有顯著影響;再比如,在遺傳關(guān)聯(lián)研究中,每個(gè)基因上都有多個(gè)變異點(diǎn),這些位于同一個(gè)基因上的變異點(diǎn)自然應(yīng)該被視為位于同一個(gè)分組,因而希望在識(shí)別出與疾病發(fā)生相關(guān)的產(chǎn)生變異的基因的同時(shí)也識(shí)別出基因內(nèi)部與疾病發(fā)生相關(guān)的變異點(diǎn)3.1.1模型稀疏性檢驗(yàn)和變量選擇困難套索導(dǎo)致的模型稀疏性是變量水平上的稀疏性,能夠?qū)崿F(xiàn)組內(nèi)的變量選擇;組套索導(dǎo)致的模型稀疏性是組水平上的稀疏性,能夠?qū)崿F(xiàn)組內(nèi)的變量選擇.然而很多時(shí)候我們既希望將重要的變量組選擇出來,又希望將變量組中重要的變量選擇出來,組套索顯然不能滿足這種要求.如果將L3.1.2由級(jí)別懲罰組成的雙層稀疏模型圖7所示為雙層結(jié)構(gòu)稀疏模型的稀疏化效果.Huang等人其中d3.2多層稀疏模型其中4稀疏模型的結(jié)構(gòu)4.1樹組拉伸模型樹組套索假定特征組結(jié)構(gòu)之間滿足偏序關(guān)系.例如,圖像處理中各像素間的關(guān)系往往為樹結(jié)構(gòu)或森林結(jié)構(gòu)樹組套索目標(biāo)函數(shù)為這里4.2多輸出樹組套索在多輸出變量情形下,假設(shè)輸出變量具有分層的樹結(jié)構(gòu),其中葉子節(jié)點(diǎn)對(duì)應(yīng)單個(gè)輸出變量,而內(nèi)部節(jié)點(diǎn)對(duì)應(yīng)一組輸出變量,子節(jié)點(diǎn)只與包含子節(jié)點(diǎn)元素的父節(jié)點(diǎn)有邊連接,根節(jié)點(diǎn)為所有葉子節(jié)點(diǎn)元素組成的集合.將此樹結(jié)構(gòu)作為先驗(yàn)信息,可以得到輸出具有樹結(jié)構(gòu)的多輸出樹組套索.多變量線性模型為這里,X∈R其第1行對(duì)應(yīng)的分組情況如圖9所示,其中一個(gè)橢圓對(duì)于一個(gè)組,第一行對(duì)應(yīng)的輸出變量的樹結(jié)構(gòu)關(guān)系如圖10所示.圖9中的組即為圖10中的節(jié)點(diǎn),兩者均用g4.3輸入和輸出連接lTurlach等人其等價(jià)形式為這里5概率圖模型學(xué)習(xí)稀疏正則化思想還被應(yīng)用于概率圖模型的學(xué)習(xí)中.概率圖模型學(xué)習(xí)的本質(zhì)任務(wù)為對(duì)其precision矩陣的學(xué)習(xí),于是利用L其中S為經(jīng)驗(yàn)協(xié)方差矩陣,Θ=Σ其中其中6基于a的無監(jiān)督學(xué)習(xí)結(jié)構(gòu)化稀疏字典學(xué)習(xí)分類如圖11所示.信號(hào)處理和統(tǒng)計(jì)學(xué)中稀疏編碼或者字典學(xué)習(xí)的一個(gè)起源來自于矩陣因式化,即用兩個(gè)未觀測(cè)的矩陣A和D表示一個(gè)已知矩陣X≈AD,PCA是這一思想的典型應(yīng)用這里,ψ(a這體現(xiàn)了字典的因式分解觀點(diǎn)形式.這種表示得到字典學(xué)習(xí)與其他無監(jiān)督學(xué)習(xí)如非負(fù)矩陣因式化和聚類等之間的關(guān)聯(lián)關(guān)系.除了稀疏假設(shè)外,實(shí)際的數(shù)據(jù)的支集本身具有結(jié)構(gòu)約束,例如在網(wǎng)絡(luò)異常檢測(cè)時(shí),可以假設(shè)異常行為從某些網(wǎng)絡(luò)節(jié)點(diǎn)產(chǎn)生,形成星形模式子網(wǎng)結(jié)構(gòu).在基因表達(dá)研究中,某些不同個(gè)體的基因組對(duì)同一類型疾病具有某一相同的生物學(xué)機(jī)制,在這一情況,基因表達(dá)矩陣的支集應(yīng)該是其子矩陣,能否用這些結(jié)構(gòu)信息進(jìn)一步地增加稀疏模型對(duì)真實(shí)支集估計(jì)算法的性能是值得研究的.6.1分布式多任務(wù)協(xié)作層次稀疏漢字組稀疏字典罰為(2)層次稀疏字典層次稀疏字典罰為層次稀疏字典罰不但用(3)樹層次稀疏字典假定p個(gè)字典元素中每個(gè)字典元素對(duì)應(yīng)樹中的某個(gè)節(jié)點(diǎn),p個(gè)字典元素存在層次組稀疏樹關(guān)系,樹結(jié)構(gòu)由先驗(yàn)知識(shí)人為確定,此時(shí),罰函數(shù)ψ(a實(shí)驗(yàn)發(fā)現(xiàn),字典元素自然地把圖像塊組合成樹結(jié)構(gòu),圖像低頻區(qū)域位于樹的根節(jié)點(diǎn),圖像高頻區(qū)域位于葉子節(jié)點(diǎn).樹中的父節(jié)點(diǎn)與其子節(jié)點(diǎn)具有更強(qiáng)的相關(guān)關(guān)系,子節(jié)點(diǎn)代表的圖像與父節(jié)點(diǎn)圖像更相似,但是子節(jié)點(diǎn)代表的圖像比父節(jié)點(diǎn)代表的圖像具有更高的頻率并且表示的圖像稍微有些變化(4)多任務(wù)協(xié)作層次稀疏字典很多情況下,我們希望n個(gè)訓(xùn)練樣例{x多任務(wù)協(xié)作層次稀疏字典罰函數(shù)為當(dāng)設(shè)置λ6.2層次卷積稀疏碼顯著認(rèn)知模型與前述圖像塊學(xué)習(xí)相反,Zhu等人Zeiler等人這里,卷積稀疏碼模型學(xué)習(xí)時(shí),對(duì)圖像集X={Xz相似于文獻(xiàn)[58]提出的卷積稀疏碼方法,Bo等人在文獻(xiàn)[61]提出組合具有不同層數(shù)的多個(gè)網(wǎng)絡(luò),使用層次匹配追蹤(hierarchicalmatchingpursuit)方法構(gòu)造多路徑稀疏碼(Multipathsparsecoding),對(duì)每個(gè)圖像構(gòu)造多層特征映射序列,但是編碼過程對(duì)卷積稀疏碼進(jìn)行了簡化,簡化的部分主要有:所有圖像塊的特征映射編碼相互獨(dú)立,使用貪心正交匹配過程構(gòu)造編碼,Bo等人的方法在圖像識(shí)別任務(wù)中大獲成功.另外,只具有單層的簡化版的此類層次卷積稀疏碼也顯示能夠有效地替代梯度直方圖構(gòu)造的低水平特征另外,類似于獨(dú)立成分分析形式,Kavukcuoglu等人Garrigues和Olshausen在文獻(xiàn)[66]中提出可以在近鄰變量組上定義隱變量概率模型構(gòu)造混合稀疏碼,Gregor等人在文獻(xiàn)[67]提出字典元素之間存在禁止近鄰關(guān)系的網(wǎng)狀結(jié)構(gòu)字典學(xué)習(xí)模型.7稀疏模型的統(tǒng)一結(jié)構(gòu)7.1稀疏結(jié)構(gòu)與伯里斯理論之間的關(guān)系網(wǎng)絡(luò)貝葉斯理論認(rèn)為,可以把組套索表示為貝葉斯最大后驗(yàn)估計(jì)問題7.2稀疏結(jié)構(gòu)與編碼復(fù)雜度的關(guān)系Huang等人7.3稀疏結(jié)構(gòu)與子模型函數(shù)之間的關(guān)系網(wǎng)絡(luò)Bach等人7.4結(jié)構(gòu)稀疏模型構(gòu)造Micchelli等人其中向量集Λ的選定非常重要,選擇不同的向量集Λ就會(huì)構(gòu)造出不同的結(jié)構(gòu)稀疏模型.例如,Micchelli等人構(gòu)造了一種結(jié)構(gòu)稀疏模型,這種結(jié)構(gòu)稀疏模型的罰函數(shù)叫做箱形罰,由其得到的模型向量β的各分量均處于規(guī)定的區(qū)間中,他們指出此時(shí)選定Λ={(γ8結(jié)構(gòu)稀疏模型的參數(shù)估計(jì)一致性參數(shù)估計(jì)一致性、變量選擇一致性和oracle性質(zhì)是結(jié)構(gòu)稀疏模型中被討論最多的統(tǒng)計(jì)特性,而這些統(tǒng)計(jì)特性當(dāng)前主要出現(xiàn)在組結(jié)構(gòu)稀疏模型中,樹結(jié)構(gòu)和圖結(jié)構(gòu)等結(jié)構(gòu)稀疏模型的統(tǒng)計(jì)特性當(dāng)前尚少有研究,因此本節(jié)以組結(jié)構(gòu)稀疏模型為例探討實(shí)現(xiàn)這些統(tǒng)計(jì)特性的附加條件.參數(shù)估計(jì)一致性是指對(duì)于任意正數(shù)ε(1)變量選擇一致性:(2)參數(shù)估計(jì)漸近正態(tài)性:令與Tibshirani的套索類似,組套索的估計(jì)值一般不具有變量選擇一致性,或者說只有在很強(qiáng)的假設(shè)條件下才具有變量選擇一致性.這是因?yàn)榻M套索對(duì)于各個(gè)組對(duì)應(yīng)的子模型向量β不可表示條件是組套索滿足變量選擇一致性的必要條件,分為強(qiáng)不可表示條件和弱不可表示條件.Bach等人其中則稱設(shè)計(jì)矩陣X滿足關(guān)于給定的常數(shù)q則稱滿足限制特征值條件.9指數(shù)組套索稀疏模型結(jié)構(gòu)稀疏模型按實(shí)現(xiàn)的稀疏化效果可分為組結(jié)構(gòu)稀疏模型、雙層結(jié)構(gòu)稀疏模型、樹結(jié)構(gòu)稀疏模型和圖結(jié)構(gòu)稀疏模型.組結(jié)構(gòu)稀疏模型中,組套索忽視了變量組之間重疊的情況,重疊組套索是在組套索基礎(chǔ)上考慮了分組之間重疊的情況而提出的;組套索只是基于線性回歸模型的,邏輯斯蒂組套索將組套索從線性回歸模型推廣到邏輯斯蒂回歸模型;組套索不具有變量選擇一致性,針對(duì)組套索這一缺點(diǎn)而提出的自適應(yīng)組套索、L2范數(shù)組SCAD模型、L2范數(shù)組MC模型和L2范數(shù)組橋模型與組套索相比往往在變量選擇一致性和變量組選擇一致性方面表現(xiàn)更佳.在雙層結(jié)構(gòu)稀疏模型中,稀疏組套索可實(shí)現(xiàn)分組水平上和分組內(nèi)變量水平上雙層的稀疏化結(jié)構(gòu),但稀疏組套索在變量選擇一致性和變量組選擇一致性方面表現(xiàn)很差,而L1范數(shù)組SCAD模型、L1范數(shù)組MC模型、L1范數(shù)組橋模型和指數(shù)組套索內(nèi)部采用了L1范數(shù)罰而外部采用了非凸罰,因此其與稀疏組套索相比在變量組選擇一致性上往往表現(xiàn)更佳;復(fù)合組MC模型和復(fù)合組橋模型內(nèi)部與外部均采用了非凸罰,其相對(duì)于前述幾種內(nèi)部采用L1范數(shù)罰的雙層稀疏模型來說在組內(nèi)變量選擇的一致性上往往表現(xiàn)更佳.樹結(jié)構(gòu)稀疏模型中,樹組套索實(shí)現(xiàn)的稀疏效果為解釋變量的樹結(jié)構(gòu)稀疏化,而多輸出樹組套索實(shí)現(xiàn)的稀疏效果為響應(yīng)變量的樹結(jié)構(gòu)稀疏化.圖結(jié)構(gòu)稀疏模型中,圖套索只可實(shí)現(xiàn)圖的precision矩陣中元素稀疏化,而L10塊坐標(biāo)梯度下降算法結(jié)構(gòu)稀疏模型優(yōu)化算法首先使用控制-受控不等式(Majority-Minority,MM)技術(shù)(1)變分不等式.利用變分不等式可將不光滑的函數(shù)等價(jià)地轉(zhuǎn)化為光滑的函數(shù),但該方法會(huì)引入一個(gè)輔助變量,故接下來往往利用輪換方向乘子法繼續(xù)求解.例如,在多輸出樹組套索模型中利用柯西-施瓦茲不等式將非光滑的問題轉(zhuǎn)化為光滑問題然后利用輪換方向乘子法求解.(2)Nesterov技巧.假定f=g+h中假定g連續(xù)可微,而h不可微.Nesterov把損失函數(shù)加正則化項(xiàng)雙目標(biāo)最優(yōu)化問題f=g+h中的可微函數(shù)g用近似函數(shù)替代,然后在近似替代后的使用固定步長s這里C為常數(shù),βNesterov提出的方法還包括引入對(duì)偶范數(shù),同時(shí)將原來變量塊不可分離的問題轉(zhuǎn)化成了變量塊可分離的問題,經(jīng)過預(yù)處理后的優(yōu)化問題可以采用梯度法等諸多傳統(tǒng)凸優(yōu)化方法進(jìn)行求解,該方法非常適用于對(duì)重疊組套索和樹組套索這類不光滑且變量塊不可分離的結(jié)構(gòu)稀疏模型的目標(biāo)函數(shù)進(jìn)行預(yù)處理(3)對(duì)偶范數(shù)和對(duì)偶函數(shù).該預(yù)處理手法主要用于解決變量塊不可分離的問題,利用引入的對(duì)偶變量將原變量塊不可分離的問題轉(zhuǎn)化為對(duì)偶變量塊可分離的問題.例如,重疊組套索模型和樹組套索模型的目標(biāo)函數(shù)均不光滑且變量塊不可分離,可經(jīng)過該方法預(yù)處理后得到不光滑但變量塊可分離的目標(biāo)函數(shù),然后利用塊坐標(biāo)下降算法求解.(4)局部近似.該預(yù)處理方法分為局部二次近似和局部線性近似兩種,主要應(yīng)用于組SCAD模型、組MC模型和組橋模型最優(yōu)化問題,局部近似使用控制-受控不等式(Majority-Minority,MM)技術(shù),把結(jié)構(gòu)稀疏化目標(biāo)函數(shù)替換為二次函數(shù),解決非凸非光滑的SCAD罰、橋罰和MC罰在進(jìn)行優(yōu)化時(shí)的困難,但由于涉及海森矩陣的重復(fù)求逆問題因而計(jì)算復(fù)雜度很大,局部二次近似方法還需要設(shè)定一個(gè)初始解,在初始解處開始迭代,該初始解的設(shè)定好壞在很大程度上影響了算法收斂的快慢,并且該方法為了避免數(shù)值不穩(wěn)定問題需要設(shè)置一個(gè)閾值參數(shù)ε(5)(組)最小角回歸算法.套索提出后缺乏高效的求解算法,因此沒有立刻廣泛流行,直到最小角回歸算法被提出后,套索等基于正則化方法的稀疏模型受到越來越多的關(guān)注,可見最小角回歸算法的重要地位.組套索被提出后,最小角回歸算法又被推廣為組最小角回歸算法,但最小角回歸算法和組最小角回歸算法均只適用于解路徑為分段線性的稀疏模型,這是因?yàn)橹挥邢∈枘Ｐ偷慕饴窂綖榉侄尉€性時(shí),由最小角回歸算法和組最小角回歸算法所求得的解路徑才是稀疏模型的解路徑.例如,對(duì)于組套索模型來說應(yīng)用組最小角回歸算法求解的條件為設(shè)計(jì)矩陣為正交矩陣,因?yàn)橹挥性O(shè)計(jì)矩陣為正交矩陣時(shí)組套索模型的解路徑才是分段線性的.組最小角回歸算法與最小角回歸算法均由于解路徑為分段線性函數(shù),可以求解整個(gè)解路徑,發(fā)現(xiàn)最優(yōu)權(quán)衡參數(shù)λ下的稀疏解.(6)(塊)坐標(biāo)下降算法.塊坐標(biāo)下降算法的前身是坐標(biāo)下降算法,該算法使用分而治之的策略,把多變量的優(yōu)化問題,分解為子多變量迭代優(yōu)化問題,問題的規(guī)模變小,靠時(shí)間復(fù)雜性增加,減少優(yōu)化問題的復(fù)雜性.在迭代過程,任意選擇多變量β=(β且不同坐標(biāo)塊(坐標(biāo)向量)β(7)局部坐標(biāo)下降算法.由于基于層次罰的雙層稀疏模型不具有關(guān)于單變量的解析解,因此不能直接利用坐標(biāo)下降算法求解.為了解決這個(gè)問題,Huang等人(8)塊坐標(biāo)梯度下降算法.塊坐標(biāo)梯度下降算法首先求解原目標(biāo)函數(shù)的凸二次近似函數(shù),使用Armijo法則線搜索確定步長,使用塊坐標(biāo)下降求解結(jié)構(gòu)稀疏化問題的凸二次近似函數(shù)的最優(yōu)解,故塊坐標(biāo)梯度下降算法可被視為梯度法與塊坐標(biāo)下降算法的結(jié)合.塊坐標(biāo)梯度下降算法與塊坐標(biāo)下降算法比較,塊坐標(biāo)梯度下降算法適用于大規(guī)模問題求解,方法簡單,可并行執(zhí)行,算法收斂快.例如在邏輯斯蒂組套索模型的求解中,關(guān)于第j個(gè)組的優(yōu)化問題中邏輯斯蒂組套索模型的解β(9)活動(dòng)集算法.活動(dòng)集算法一般用于大規(guī)模復(fù)雜問題的求解,利用最優(yōu)性條件如KKT條件把大規(guī)模復(fù)雜問題分解為一系列簡單子問題的求解,一般是用時(shí)間復(fù)雜性增高換取空間復(fù)雜性的降低,但也可能由于算法迭代過程中出現(xiàn)滿足最優(yōu)性條件提前結(jié)束,從而實(shí)現(xiàn)同時(shí)降低算法的時(shí)空復(fù)雜性,該算法目前主要用于對(duì)L(10)交替方向乘子算法.由于在第一階段對(duì)結(jié)構(gòu)稀疏化模型進(jìn)行了近似變換,替換后的目標(biāo)函數(shù)往往具有雙變量目標(biāo)函數(shù)約束凸優(yōu)化形式這里g(β):Rρ>0為固定常數(shù),對(duì)于拉格朗日乘子μ∈R由于目標(biāo)函數(shù)對(duì)變量β和θ是分離的,g(β):R輪換方向乘子法適用于分布式和并行算法求解,可用來求解各種結(jié)構(gòu)稀疏模型.(11)譜投影梯度法.譜投影梯度法是對(duì)投影梯度算法的改進(jìn),主要用于克服后者收斂速度慢的缺點(diǎn).投影梯度算法存在兩方面的問題:一是每次選擇最速下降方向會(huì)導(dǎo)致收斂速度變慢;二是投影步驟的計(jì)算復(fù)雜度過高.譜投影梯度法使用非單調(diào)線搜索技術(shù)確定步長,算法迭代過程目標(biāo)函數(shù)可能不總是下降的,并且需要結(jié)合譜梯度法的Barzilai-Borwein步長來選擇譜投影梯度法在迭代過程中的步長.譜投影梯度法適用于投影步驟計(jì)算高效的情形,因此投影步驟的計(jì)算方法非常關(guān)鍵,當(dāng)前該方法主要用于對(duì)于L(12)小結(jié)與分析.不同結(jié)構(gòu)稀疏模型所用來求解的方法(預(yù)處理方法與優(yōu)化算法)不同,不同的算法也有各自的適用條件,因此在面對(duì)一種新的組稀疏模型時(shí),往往需要從該組稀疏模型的目標(biāo)函數(shù)的特點(diǎn)出發(fā),根據(jù)其目標(biāo)函數(shù)是否平滑、是否變量塊可分離和是否為凸函數(shù)等方面進(jìn)行全盤考慮從而確定最佳的求解方法.各預(yù)處理方法與求解算法的優(yōu)點(diǎn)與不足如表3所示,文獻(xiàn)中已有的對(duì)各種組稀疏模型求解算法如表4所示.陶等人11結(jié)構(gòu)稀疏模型的應(yīng)用總體來說,結(jié)構(gòu)稀疏模型在模型預(yù)測(cè)和特征選擇上取得了很大的成功.下面以結(jié)構(gòu)稀疏模型在生物信息學(xué)和醫(yī)藥學(xué)、在時(shí)變和空間暫態(tài)數(shù)據(jù)上的應(yīng)用,在文本處理中的應(yīng)用,在圖像檢索和圖像理解的應(yīng)用和在壓縮傳感和圖像重構(gòu)中等典型應(yīng)用予以介紹.11.1在生物免疫和基因表達(dá)中的應(yīng)用在基因網(wǎng)逆向工程和發(fā)現(xiàn)與腦功能關(guān)聯(lián)的模式等任務(wù)中,目標(biāo)為重構(gòu)感興趣的變量之間的依賴關(guān)系,找出與所感興趣疾病最相關(guān)的基因或基因組和腦區(qū)域.文獻(xiàn)[44]提出樹結(jié)構(gòu)稀疏罰模型應(yīng)用DNACGH(ComparativeGenomicHybridization)微陣列數(shù)據(jù)診斷癌癥疾病.在神經(jīng)科學(xué)中,讓受試者說一段與某個(gè)主題有關(guān)的話,或者看一些特定的圖片,記錄下同一腦區(qū)域功能磁共振(functionalMagneticResonanceImaging,fMRI)三維像素(voxels)文獻(xiàn)[98,99]給出另一個(gè)使用稀疏馬爾科夫網(wǎng)對(duì)心理狀態(tài)預(yù)測(cè)的成功應(yīng)用例子.這里,目標(biāo)為發(fā)現(xiàn)局部腦功能異常的精神分裂癥精神疾病患者最相關(guān)的腦區(qū)域fMRI三維像素特征,即統(tǒng)計(jì)生物學(xué)標(biāo)記物,即生物學(xué)家認(rèn)為從fMRI得到的精神分裂癥和健康受試者執(zhí)行簡單的聽覺任務(wù)的三維像素,從整個(gè)腦部獲取的fMRI三維像素特征用于構(gòu)造腦功能相互作用網(wǎng)絡(luò),該網(wǎng)絡(luò)的拓?fù)涮卣靼素S富的信息,實(shí)驗(yàn)表明,稀疏馬爾科夫網(wǎng)能夠準(zhǔn)確地判別兩組受試者,得到了86%的正確率.稀疏馬爾科夫網(wǎng)也用于阿爾茨海默氏癥11.2基于scad的氣候預(yù)測(cè)模型在酵母細(xì)胞周期微陣列時(shí)間過程基因表達(dá)數(shù)據(jù)上,應(yīng)用組SCAD回歸模型,能夠有效地辨識(shí)變系數(shù)生物過程基因調(diào)控轉(zhuǎn)錄因子,能夠正確地發(fā)現(xiàn)已知的與細(xì)胞周期過程有關(guān)的21個(gè)轉(zhuǎn)錄因子中的19個(gè),而且能辨識(shí)其他與細(xì)胞周期過程有關(guān)的周期轉(zhuǎn)錄效果的52個(gè)轉(zhuǎn)錄因子.實(shí)驗(yàn)結(jié)論為組SCAD回歸模型非常適合估計(jì)和選擇時(shí)變過程有關(guān)變量,能夠發(fā)現(xiàn)隨時(shí)間變化的轉(zhuǎn)錄因子氣候預(yù)測(cè)數(shù)據(jù)具有高維和空間暫態(tài)特性,需要使用具有變量選擇功能的模型,文獻(xiàn)[104]使用海洋氣候數(shù)據(jù)構(gòu)造陸地氣候預(yù)測(cè)模型,采用樹結(jié)構(gòu)稀疏組范數(shù)作為正則化項(xiàng)回歸模型,論文證明了統(tǒng)計(jì)估計(jì)一致性,實(shí)驗(yàn)表明優(yōu)于以前的預(yù)測(cè)性能,而且模型是氣候?qū)W上可解釋的.11.3在生物醫(yī)療數(shù)據(jù)上的應(yīng)用Web和社交媒體數(shù)據(jù)上大量存在短文本數(shù)據(jù)(ShortTextClassification,STC),短文本數(shù)據(jù)相較于普通文本(TextClassification,TC)具有特征稀疏性,以前的適用于一般文本的模型不再適用,存在的處理STC的方法是附加新的信息或?qū)⑼鈦碚Z料庫添加到TC里,如果選擇外來內(nèi)容數(shù)量和性質(zhì)不適當(dāng),會(huì)使預(yù)測(cè)得性能惡化,且不一定存在合適的外來語料庫,獲取外來語料庫也需要人力,文獻(xiàn)引入凸包頂點(diǎn)選擇減少字典冗余和相關(guān)系數(shù)構(gòu)造STC結(jié)構(gòu)稀疏模型,在5個(gè)STC數(shù)據(jù)上分類結(jié)果好于以前最好的使用外部語料庫的分類效果使用隱主題分布先驗(yàn)把隱主題作為稀疏退避樹(SparseBackoffTree,SBT)的葉子節(jié)點(diǎn),利用稀疏樹結(jié)構(gòu)上的collapsed抽樣方法,基于SBT文本模型能夠在上百萬主題上有效地推理主題主題模型在發(fā)現(xiàn)醫(yī)療,金融和計(jì)算機(jī)視覺中的隱結(jié)構(gòu)很有用,但是,即使使用稀疏技術(shù),還是很難發(fā)現(xiàn)可解釋的主題,使用本體單詞之間的關(guān)系上的圖稀疏LDA,在生物醫(yī)療數(shù)據(jù)上,建立層次主題模型,得到更少的可解釋的隱概念-單詞主題多文本總結(jié)能夠節(jié)省閱讀時(shí)間,很快地發(fā)現(xiàn)文本中的主要的內(nèi)容.基于數(shù)據(jù)重構(gòu)和語句解噪模型,提出兩級(jí)稀疏表示模型,使用模擬退火算法在基準(zhǔn)數(shù)據(jù)DUC2006和DUC2007上從多個(gè)文本集提取總結(jié),實(shí)現(xiàn)重構(gòu)總結(jié),實(shí)現(xiàn)了滿足全覆蓋、稀疏和多樣性的文本總結(jié)11.4輸出結(jié)構(gòu)組稀疏圖像標(biāo)注正則化回歸模型神經(jīng)元空間暫態(tài)熒光動(dòng)力可以表示為光場(chǎng)中每一個(gè)神經(jīng)元空間位置的矩陣與每一個(gè)神經(jīng)元隨著時(shí)間變化的鈣離子指示劑中心矩陣的乘積,結(jié)構(gòu)矩陣因式化神經(jīng)團(tuán)鈣離子成像,可應(yīng)用于活體樹突狀大規(guī)模神經(jīng)元成像數(shù)據(jù)中的空間重疊分量解混合,以及鈣離子指示劑動(dòng)態(tài)變化中神經(jīng)元脈沖活動(dòng)的解噪和解卷積,可估計(jì)鈣離子指示劑動(dòng)力曲線在圖像檢索和圖像理解中的圖像自動(dòng)標(biāo)注問題(AutomaticImageAnnotation,AIA),文獻(xiàn)[110]研究了結(jié)構(gòu)化視覺圖像特征選擇和層次相關(guān)結(jié)構(gòu)多標(biāo)注問題,提出同時(shí)實(shí)現(xiàn)輸入輸出結(jié)構(gòu)組稀疏圖像標(biāo)注正則化回歸模型,提升了圖像標(biāo)注的性能.考慮到輸入高維異構(gòu)特征如顏色、紋理以及形狀等,不同的特征具有不同的概念識(shí)別分辨力,文獻(xiàn)[111]提出的同時(shí)考慮輸入輸出結(jié)構(gòu)組稀疏圖像標(biāo)注正則化回歸模型的結(jié)構(gòu)特征選擇方法Bi-MtBGS(BilayerregressionmodelforMultilabelBoostingbytheselectionofheterogeneousfeatureswithstructuralGroupingSparsity)能實(shí)現(xiàn)組內(nèi)和組級(jí)特征選擇,輸出類標(biāo)簽層次相關(guān)結(jié)構(gòu)用稀疏樹結(jié)構(gòu)表示,提出的回歸模型具有兩層結(jié)構(gòu),第一層回歸模型實(shí)現(xiàn)每一個(gè)標(biāo)簽的判別特征選擇,第二層回歸為多標(biāo)簽集成方法,在基準(zhǔn)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果顯示模型增加了圖像理解的可解釋性.計(jì)算機(jī)視覺視頻理解人類行為識(shí)別中,假定視頻分解為關(guān)鍵詞分量,局部圖像特征作為詞匯表的視覺單詞組成袋子模型(BagofvisualWords,BoW),采用人類行為中的暫態(tài)結(jié)構(gòu)組稀疏碼的系數(shù)構(gòu)造直方圖作為BoW,實(shí)時(shí)采集視覺單詞結(jié)構(gòu)稀疏系數(shù)作為人類行為分量的幾何特征,文獻(xiàn)[112]提出的方法量化誤差小,暫態(tài)結(jié)構(gòu)減少了模型參數(shù)和存儲(chǔ)空間復(fù)雜性,在基于人類行為識(shí)別數(shù)據(jù)集KTH、Weismann和UCF-sportsandUCF50上的實(shí)驗(yàn)結(jié)果表明比先前的方法要好.高光譜圖像研究中,文獻(xiàn)[113]考慮構(gòu)造屬于同一類標(biāo)簽的類內(nèi)聚類簇樣例保持圖結(jié)構(gòu)低維投影,不需要像傳統(tǒng)線性判別分析那樣預(yù)先知道已標(biāo)識(shí)樣例個(gè)數(shù),提出的稀疏圖判別分析可以用廣義特征值方法求解,實(shí)驗(yàn)顯示算法同時(shí)實(shí)現(xiàn)降維和判別分析.11.5在壓縮傳感和圖像重構(gòu)中的應(yīng)用信號(hào)重構(gòu)中需要發(fā)現(xiàn)所要查詢信號(hào)的最近樹稀疏信號(hào),即樹投影問題,長度為n的信號(hào)投影到稀疏參數(shù)為k的樹結(jié)構(gòu),信號(hào)的取值區(qū)間為r,原來最優(yōu)的算法的復(fù)雜性為O(nk),提出的近似算法具有O(nlogkr)存儲(chǔ)復(fù)雜性,算法可應(yīng)用于大規(guī)模高維樹稀疏壓縮傳感問題壓縮傳感研究中,某個(gè)基函數(shù)上的未知信號(hào)的稀疏表示特性可用作信號(hào)重構(gòu)時(shí)的先驗(yàn)知識(shí).基于結(jié)構(gòu)稀疏表示模型重構(gòu)算法除了利用稀疏先驗(yàn)信息外還使用了未知信號(hào)的特殊結(jié)構(gòu)信息,分段平滑信號(hào)的小波變換上常用的結(jié)構(gòu)為稀疏樹結(jié)構(gòu),文獻(xiàn)[115]提出一種利用稀疏樹先驗(yàn)信息壓縮傳感模型,使用基于樹的正交匹配追蹤算法求解壓縮傳感問題.文獻(xiàn)[116]提出結(jié)構(gòu)稀疏信號(hào)的支集估計(jì)自適應(yīng)壓縮傳感算法,該算法對(duì)觀測(cè)數(shù)據(jù)噪聲魯棒,文獻(xiàn)同時(shí)給出了自適應(yīng)壓縮傳感的估計(jì)一致性的上界和下界.文獻(xiàn)[117]考慮盲聚類結(jié)構(gòu)稀疏重構(gòu)問題,實(shí)現(xiàn)了基于模型的非線性濾波壓縮傳感,提出的模型假定稀疏信號(hào)非0分量組成塊結(jié)構(gòu),非0塊數(shù),維數(shù)和位置均未知,引入確定性非隨機(jī)近鄰非凸非可分罰,用L1迭代賦權(quán)方法,提出的模型不需要稀疏模式任何信息,實(shí)驗(yàn)結(jié)果顯示壓縮傳感性能優(yōu)于以前的研究結(jié)果.文獻(xiàn)[118]利用多視圖構(gòu)造語義一致的圖像特征表示,提出組稀疏多視圖塊對(duì)齊框架,使得各視圖語義相互補(bǔ)充,利用投影矩陣L12實(shí)驗(yàn)分析12.1mc模型未被選取的變量本節(jié)選取套索、組套索和復(fù)合組MC模型來比較其實(shí)現(xiàn)的(結(jié)構(gòu))稀疏化效果.組套索代表了L為了驗(yàn)證復(fù)合組MC模型的雙層變量結(jié)構(gòu)稀疏化效果,生成一基于線性回歸模型y=Xβ+ε的人工數(shù)據(jù)集,該人工數(shù)據(jù)集中共包含40個(gè)變量,各變量的分組情況及其真實(shí)系數(shù)值如下:實(shí)驗(yàn)結(jié)果如表5、表6、表7和表8所示,表中未列出的變量均為實(shí)驗(yàn)結(jié)果中未被選中的變量.對(duì)比套索和組套索的實(shí)驗(yàn)結(jié)果,容易看出套索只得到了普通的非結(jié)構(gòu)稀疏化效果,其變量選擇結(jié)果沒有任何結(jié)構(gòu)化形式.而組套索卻實(shí)現(xiàn)了組結(jié)構(gòu)化的稀疏性,其實(shí)驗(yàn)結(jié)果中位于同一個(gè)變量組的變量要么同時(shí)被選中要么同時(shí)不被選中.對(duì)比套索和復(fù)合組MC模型的實(shí)驗(yàn)結(jié)果,容易看出復(fù)合組MC模型沒有選中變量V40,而套索卻選中了該變量,復(fù)合組MC模型沒有選中變量V40的原因?yàn)閂40與9個(gè)真實(shí)回歸系數(shù)為0的冗余變量位于同一組,大量非重要變量的存在導(dǎo)致該變量組為非重要的變量組,V40受到這9個(gè)同組中非重要變量的牽扯,從而沒有被選中,也就是說復(fù)合組MC模型中屬于同一個(gè)組的10個(gè)變量沒有同時(shí)被選中,即實(shí)現(xiàn)了組稀疏性.對(duì)比組套索與復(fù)合組MC模型的實(shí)驗(yàn)結(jié)果,容易看出GroupLasso只實(shí)現(xiàn)了變量組選擇,被分為同一個(gè)變量組的變量的系數(shù)同時(shí)為零或同時(shí)非零,復(fù)合組MC模型實(shí)現(xiàn)了組內(nèi)的變量選擇,同一個(gè)分組內(nèi)的變量系數(shù)有的為零有的非零.綜上所述,復(fù)合組MC模型具有雙層結(jié)構(gòu)稀疏化效果,而套索不具有結(jié)構(gòu)稀疏化效果,組套索具有組結(jié)構(gòu)稀疏化效果.12.2預(yù)測(cè)性能對(duì)比人工數(shù)據(jù)實(shí)驗(yàn)比較分為回歸和分類實(shí)驗(yàn).回歸時(shí),如果是預(yù)設(shè)3個(gè)變量組成組關(guān)系,使用產(chǎn)生人工數(shù)據(jù),多個(gè)變量為一組的生成過程類似.ε~N(0,σ值為1添加高斯噪聲.分類時(shí)對(duì)上述輸出進(jìn)行邏輯斯蒂函數(shù)變換得到類標(biāo)簽:取N=500、P=200,在人工數(shù)據(jù)集上,Grouplasso、GroupMCP、GroupSCAD和GroupBridge采用局部二次近似(LocalQuadraticApproximation,LQA),局部線性近似(LocalLinearApproximation(LLA),局部坐標(biāo)下降(LocalCoordinateDescent,LCD)算法,對(duì)運(yùn)行時(shí)間進(jìn)行了比較,結(jié)果見表9.取N=500、P=200和J=20,對(duì)Grouplasso、GroupMCP、GroupSCAD和GroupBridge的預(yù)測(cè)性能進(jìn)行了對(duì)比.特征選擇的性能按真正是0的組未被選中計(jì)算得到虛假的正發(fā)現(xiàn)率FP(FalsePositive)和按真正非0的組未被選中計(jì)算得到虛假的負(fù)發(fā)現(xiàn)率FN(FalseNegatives),100次平均實(shí)驗(yàn)結(jié)果見表10,表10中GN為選中的組數(shù),VN為變變量選擇個(gè)數(shù).從表10可以看出,GroupMCP、GroupSCAD選擇變量個(gè)數(shù)比Grouplasso少,模型更加稀疏;GroupMCP比GroupSCAD選擇更少的變量,更加稀疏.12.3實(shí)驗(yàn)比較結(jié)果按表11選擇8組數(shù)據(jù),數(shù)據(jù)特性如表11所示,表11中N為樣本個(gè)數(shù),P為樣例維數(shù),J為樣例維數(shù)中的分組個(gè)數(shù).由于連續(xù)變量不知道分組情況,所以采用5階樣條基函數(shù)作為加模型擬合原有數(shù)據(jù),把樣條基函數(shù)的展開式的系數(shù)作為組變量,從而實(shí)現(xiàn)分組.使用誤差公式計(jì)算誤差,這里,β實(shí)驗(yàn)時(shí),每組數(shù)據(jù)劃分為60%為訓(xùn)練數(shù)據(jù),40%為測(cè)試數(shù)據(jù),每組數(shù)據(jù)實(shí)驗(yàn)執(zhí)行100次,對(duì)實(shí)驗(yàn)結(jié)果求平均后計(jì)算得到最終實(shí)驗(yàn)比較結(jié)果.各結(jié)構(gòu)稀疏模型在8組數(shù)據(jù)上的運(yùn)行時(shí)間對(duì)比如表12所示.表13為各結(jié)構(gòu)稀疏模型4組數(shù)據(jù)上回歸時(shí)的性能對(duì)比.表14為各稀疏模型在4組分類數(shù)據(jù)集上的性能.13未來研究13.1結(jié)構(gòu)稀疏模型將組套索和非凸罰組稀疏模型擴(kuò)展到Probit回歸模型、負(fù)二項(xiàng)回歸模型(negativebinomialregressionmodels)、Poisson回歸模型、多項(xiàng)邏輯斯蒂回歸模型(multinomiallogisticregressionmodel)等廣義線性模型、索引模型(Indexmodel)、部分線性模型(PartiallyLinearModels)、變系數(shù)模型(varyingcoefficientmodels)等半?yún)?shù)回歸模型以及AR模型,MA模型和ARMA模型、生存分析中的加速失效時(shí)間模型(acceleratedfailuretimemodel)等情形,極大地豐富組稀疏模型,拓展結(jié)構(gòu)稀疏模型的應(yīng)用范圍.13.2其他非凸獎(jiǎng)懲函數(shù)引入稀疏結(jié)構(gòu)模型L13.3稀疏模型的在線算法Yang等人13.4稀疏結(jié)構(gòu)模型的統(tǒng)計(jì)性質(zhì)當(dāng)前,很多結(jié)構(gòu)稀疏模型的統(tǒng)計(jì)性質(zhì)研究仍是空白.另外,最近vandeGeer等人13.5稀疏化和結(jié)構(gòu)稀疏化理論應(yīng)用于概率圖模型的研究將稀疏化與結(jié)構(gòu)稀疏化思想應(yīng)用到概率圖模型的學(xué)習(xí)中值得探究.最近,有學(xué)者分別將圖套索推廣到了部分隨機(jī)變量不可觀的圖模型13.6要求估計(jì)誤差的協(xié)方差矩陣和自由度使用AIC和BIC準(zhǔn)則選擇模型的權(quán)衡參數(shù)時(shí),要求估計(jì)誤差的協(xié)方差矩陣和自由度,K-倍交叉校驗(yàn)方法不需要估計(jì)誤差的協(xié)方差矩陣和自由度,但是計(jì)算量較大.最近,Meinshausen等人13.7x與x的關(guān)系在圖套索模型中,變量之間的關(guān)系可能依賴于變量的值,例如如果x1=1,那么x2與x3是非常相關(guān)的;如果x1=0,那么x2與x4是非常相關(guān)的.而且特征變量分組也可以是概率的而非確定性的.這也是一種可能的進(jìn)一步研究方向.13.8基于數(shù)據(jù)的研究方法結(jié)構(gòu)稀疏模型還可以引入樣例級(jí)結(jié)構(gòu)依賴關(guān)系,特征變量之間的關(guān)系也有可能與樣例有關(guān).一個(gè)例子是數(shù)據(jù)是有關(guān)用戶的各種行為描述的元組,那么描述男性和女性用戶各種行為關(guān)系的樣例可能是不一樣的.所以一種可能的研究方向是將變量分組和訓(xùn)練樣本分組(如使用k-近鄰、高斯混合模型和狄氏混合模型等無監(jiān)督學(xué)習(xí)過程對(duì)樣例進(jìn)行分組)結(jié)合起來,這樣能更充分地利用數(shù)據(jù)上存在的先驗(yàn)信息,實(shí)現(xiàn)更加符合數(shù)據(jù)本身特性的結(jié)構(gòu)稀疏化模型.13.9基于主機(jī)的結(jié)構(gòu)稀疏模型在科學(xué)、技術(shù)、商業(yè)、國防、電信、搜索引擎、電子商務(wù)、社交網(wǎng)絡(luò)、多媒體、信號(hào)處理、計(jì)算機(jī)視覺、生物信息學(xué)和核磁共振影像學(xué)等領(lǐng)域,處理的數(shù)據(jù)往往為無法裝載進(jìn)內(nèi)存中的數(shù)據(jù),即大數(shù)據(jù)稀疏模型和結(jié)構(gòu)稀疏模型可在消除冗余特征方面起到作用.可考慮:(1)研究面向高維流數(shù)據(jù)的在線結(jié)構(gòu)稀疏模型和算法;(2)研究并行和分布式稀疏結(jié)構(gòu)化模型和求解算法;(3)研究具有時(shí)變和自適應(yīng)特征的結(jié)構(gòu)稀疏化模型和求解算法,實(shí)現(xiàn)動(dòng)態(tài)的結(jié)構(gòu)稀疏模型;(4)研究面向重尾分布的貝葉斯結(jié)構(gòu)稀疏化模型和相應(yīng)的求解算法.隨著與結(jié)構(gòu)稀疏模型相配套的優(yōu)化算法不斷發(fā)展,例如(塊)坐標(biāo)下降和ADMM算法等的提出與應(yīng)用14結(jié)構(gòu)稀疏模型的其他研究本文按照組結(jié)構(gòu)稀疏模型、雙層結(jié)構(gòu)稀疏模型、樹結(jié)構(gòu)稀疏模型和圖結(jié)構(gòu)稀疏模型的順序系統(tǒng)地綜述了結(jié)構(gòu)稀疏模型,并且對(duì)其求解算法也進(jìn)行了介紹.接著,本文綜述了研究結(jié)構(gòu)稀疏模型的參數(shù)估計(jì)一致性、變量選擇一致性和oracle性質(zhì)等統(tǒng)計(jì)特性時(shí)的一些附加條件:不可表示條件、稀疏Riesz條件和限制特征值條件.另外,還綜述了結(jié)構(gòu)稀疏化理論與貝葉斯觀點(diǎn)、編碼復(fù)雜度理論和子模函數(shù)之間的聯(lián)系.最后,本文揭示了結(jié)構(gòu)稀疏模型未來的研究方向.結(jié)構(gòu)稀疏模型作為當(dāng)下主流的建模方法,無論是理論研究,還是求解算法都處于發(fā)展階段,如何在未知真實(shí)模型的結(jié)構(gòu)和稀疏程度的情況下確定模型的結(jié)構(gòu)和模型的稀疏程度,如何量化評(píng)價(jià)結(jié)構(gòu)稀疏模型的好壞等問題,還需要長期的研究.svs結(jié)構(gòu)稀疏模型Nowadays,High-dimensionalandsmallsampledatasets,wherethenumberofunknownvariableswhicharetobeestimatedasoneorseveralordersofmagnitudelargerthanthenumberofsamplesinthedata,aretheruleratherthantheexceptioninbioinformatics,psychologydiagnosis,computationallinguisticsandphone