矩陣和Tensors近似聯(lián)合對(duì)角化算法研究及其應(yīng)用

1、電子科技大學(xué)UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA碩士學(xué)位論文MASTER THESIS論文題目 矩陣和Tensors近似聯(lián)合對(duì)角化算法研究及其應(yīng)用學(xué)科專業(yè)些學(xué) 號(hào)201621100109作者姓名繆吉飛指導(dǎo)教師程光輝教授分類號(hào)密級(jí)UDC 注學(xué)位論文矩陣和 Tensors 近似聯(lián)合對(duì)角化算法研究及其應(yīng)用（題名和副題名）繆吉飛（作者姓名）指導(dǎo)教師程光輝 教授電子科技大學(xué)成都（姓名、職稱、單位名稱）申請(qǐng)學(xué)位級(jí)別 碩士學(xué)科專業(yè)棗室提交論文日期2019.3.22論文答辯日期學(xué)位授予單位和日期電子科技大學(xué) 2019年6月答辯委員會(huì)主

2、席評(píng)閱人注1：注明國(guó)際十進(jìn)分類法UDC的類號(hào)。Researches and Applications of Matrices and TensorsApproximate Joint Diagonalization AlgorithmsA Master Thesis Submitted toUniversity of Electronic Science and Technology of ChinaDiscipline:MathematicsAuthor:Jifei MiaoSupervisor:Pn)f Guanghui ChengSchool:School of Mathematical

3、 Sciences獨(dú)創(chuàng)性聲明本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作 及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地方 外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為 獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與 我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的 說明并表示謝意。作者簽名：以之又 日期：2療年/月日論文使用授權(quán)本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文 的規(guī)定，有權(quán)保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤, 允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可以將學(xué)位論文的全 部或部分內(nèi)容編入有

4、關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描 等復(fù)制手段保存、匯編學(xué)位論文。（保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定）作者簽舟公k導(dǎo)師簽名：摘要盲源分離(Blind source separation (BSS)是一個(gè)在很多文獻(xiàn)中被廣泛討論的 重要問題，它影響到天文學(xué)、生物醫(yī)學(xué)、地震學(xué)、光譜學(xué)以及數(shù)字通信等諸多領(lǐng) 域。一個(gè)處理BSS問題非常重要且有效的方法就是矩陣或者高階張量(Tensor)的 近似聯(lián)合對(duì)角化(Approximate joint diagonalization (AJD)o而矩陣或者高階張量的 AJD算法在除BSS外的很多重要領(lǐng)域都有應(yīng)用，比如圖像處理、獨(dú)立成分分析 (Indepen

5、dent component analysis (ICA)等。本文主要考慮其在BSS中的應(yīng)用。傳 統(tǒng)的AJD算法主要面向?qū)ΨQ矩陣、Hermitian矩陣以及對(duì)稱高階張量，這在BSS 的應(yīng)用中一般只能處理單數(shù)據(jù)集的問題。然而，多集和多模信號(hào)可用性的迅速發(fā) 展對(duì)傳統(tǒng)BSS方法，即單數(shù)據(jù)集的BSS問題，提出了重大挑戰(zhàn)。因此聯(lián)合盲源分 離(Joint blind source separation (JBSS)算法，即針對(duì)多數(shù)據(jù)集的BSS算法，在近 年來引起了該領(lǐng)域研究者極大的興趣。本文的目的就是將傳統(tǒng)的AJD問題推廣到 non-Hermitian矩陣以及非對(duì)稱高階張量上，介紹幾種高效的AJD算法并將

6、其應(yīng)用 到JBSS問題中。本文討論了 non-Hermitian矩陣以及非對(duì)稱高階張量的AJD問題 與JBSS問題之間的聯(lián)系，闡述了與傳統(tǒng)AJD算法(即面向?qū)ΨQ矩陣、Hermitian 矩陣以及對(duì)稱高階張量的算法)的區(qū)別。論文的主要?jiǎng)?chuàng)新性成果總結(jié)如下：介紹了一種non-Hermitian正交AJD算法，也可以稱之為近似聯(lián)合奇異值分 解(Approximate joint singular value decomposition (AJSVD)算法(本文簡(jiǎn)稱： N-AJSVD)o對(duì)酉旋轉(zhuǎn)矩陣賦予了一個(gè)新的參數(shù)結(jié)構(gòu)，該參數(shù)結(jié)構(gòu)只依賴于 一個(gè)未知參數(shù)。利用復(fù)數(shù)求導(dǎo)方法以及一個(gè)合理的近似技巧可以得到未

7、知 參數(shù)的解析解。該算法可以同時(shí)獲得最優(yōu)的左右旋轉(zhuǎn)矩陣，而基于Givens 旋轉(zhuǎn)矩陣的傳統(tǒng)AJSVD算法只能通過交替優(yōu)化更新的方式獲得左右Givens 旋轉(zhuǎn)矩陣。因此，本文介紹的算法在保證精確度更高的前提下也加快了收 斂速度。此外，該算法可以被應(yīng)用于處理經(jīng)過預(yù)白化之后的雙數(shù)據(jù)集JBSS 問題，本文通過數(shù)值實(shí)驗(yàn)證明了其有效性。介紹了一種non-Hermitian非正交AJD算法(本文簡(jiǎn)稱：NNAJD-ALS)。該 算法是基于梯度和最佳秩1近似的方法來最小化一個(gè)最小二乘代價(jià)函數(shù)。 闡述了該算法應(yīng)用于三階張量Canonical polyadic decomposition (CPD)的有 效性，并在

8、數(shù)值實(shí)驗(yàn)中與傳統(tǒng)CPD算法進(jìn)行了比較。可以看出本文介紹的 算法在穩(wěn)定性與精確度上都優(yōu)于傳統(tǒng)的CPD算法。此外，本文通過數(shù)值實(shí) 驗(yàn)驗(yàn)證了該算法應(yīng)用于處理雙數(shù)據(jù)集JBSS問題的有效性，該算法不需要對(duì) 觀測(cè)信號(hào)進(jìn)行預(yù)白化處理。與已有的一些經(jīng)典JBSS算法相比，其整體性能 更有競(jìng)爭(zhēng)性。介紹了一種針對(duì)非對(duì)稱高階張量的正交AJD算法(本文簡(jiǎn)稱：NOHTJD), 該算法在一定程度上可以看作前面N-AJSVD算法在高階張量上的拓展。闡 述了 L(L 3)階張量的AJD與具有L個(gè)正交因子矩陣的L + 1階張量的 CPD之間的關(guān)系，并與已有算法進(jìn)行了比較。此外，本文通過AJD時(shí)延 互高階累積量(由預(yù)白化之后的多數(shù)

9、據(jù)集觀測(cè)信號(hào)得到)來進(jìn)行多數(shù)據(jù)集 (3)的JBSS。文中以四個(gè)數(shù)據(jù)集為例，與巳有算法比較，該算法表現(xiàn)出更 有競(jìng)爭(zhēng)力的性能。關(guān)鍵詞：矩陣，高階張量，近似聯(lián)合對(duì)角化，canonical polyadic decomposition (CPD),聯(lián)合盲源分離ABSTRACTBlind source separation (BSS) is an important issue that has been widely discussed in many literatures. It affects such as astronomy, biomedicine, seismology, spectro

10、scopy and digital communications. A very important and effective way to deal with BSS problems is the approximate joint diagonalization (AJD) of a set of matrices or higher-order tensors. Besides in the BSS, these AJD algorithms are also used in many other important fields, such as image processing

11、and independent component analysis (ICA). This thesis mainly considers their application in the BSS. The traditional AJD algorithms mainly focus on symmetric matrices, Hermitian matrices or symmetric higher-order tensors, which can only deal with single-set data BSS problems. However, the increasing

12、 availability of multiset and multimodal signals has posed significant challenges for conventional BSS methods which are originally designed to analyze single-set data. Therefore, the joint BSS (JBSS) algorithms have attracted great interests, which can simultaneously recover the underlying multiple

13、 variables from multiple datasets, in recent years. The purpose of this thesis is to extend the traditional AJD problem to that of non-Hermitian matrices and non-symmetric higher-order tensors, and then introduce efficient AJD algorithms applied in the JBSS. This thesis discussed the relationship be

14、tween the AJD problems including non-Hermitian matrices and non-symmetric higher-order tensors and JBSS problems, and illustrated the difference from the traditional AJD algorithms which focus on symmetric matrices, Hermitian matrices or symmetric higher-order tensors.The primaiy contributions inclu

15、ded in this thesis are summarized blow:This thesis introduced a non-Hermitian orthogonal AJD algorithm which can also be called as the approximate joint singular value decomposition (AJSVD) algorithm (N-AJSVD). A new parameter structure of unitary rotation matrix is proposed. This parameter structur

16、e only depends on one unknown parameter. Using the complex derivative method and a reasonable approximation technique, we obtained the analytical solution of the unknown parameter. The algorithm can obtain the optimal left and right rotation matrix at the same time, however, the traditional AJSVD al

17、gorithm based on Givens rotation matrix can only obtain the left and right Givens rotation matrix by alternately optimizing and updating. Therefore, the introduced algorithm can accelerate the convergence speed and can ensure higher accuracy. In addition, we applied the algorithm to the two datasets

18、 JBSS problem after pre-whitening, and proved its effectiveness through numerical experiments.This thesis introduced a non-Hermitian non-orthogonal AJD algorithm ( NNAJD- ALS). The algorithm is based on the gradient and an optimal rank-1 approximation approach to minimize a least squares cost functi

19、on. We also illustrated the effectiveness of the algorithm for the canonical polyadic decomposition (CPD) of the third-order tensor, and compared it with the traditional CPD algorithm in numerical experiments. It can be seen that the introduced algorithm outperforms the traditional CPD algorithm in

20、terms of stability and accuracy. In addition, we applied the algorithm to the problem of two datasets JBSS without pre-whitening. Compared with some existing classic JBSS algorithms, the overall performance of the introduced algorithm is more competitive.3.1n this thesis, an orthogonal AJD algorithm

21、 (NOHTJD) for non-symmetric higher- order tensors is introduced. This algorithm, to some extent, can be regarded as an extension of the N-AJSVD algorithm on higher-order tensors. We described the relationship between the AJD of LL 3) order tensors and the CPD of Z + 1 order tensors with L orthogonal

22、 factor matrices, and compared them with existing algorithms. In addition, we separate mixed source signals, based on the introduced algorithm, thiough jointly diagonalizing a set of time-delay cross-high-order cumulants established by observed signals (pre-whited) from multiple ( 3) datasets, direc

23、tly. Taking four data sets as an example, the algorithm shows more competitive performance compared with the existing algorithms.Keywords: Matrix, higher-order tensor, approximate joint diagonalization, canonical polyadic decomposition (CPD), joint blind source separation目錄 TOC o 1-5 h z HYPERLINK l

24、 bookmark23 o Current Document 第一章緒論1 HYPERLINK l bookmark32 o Current Document 1.1近似聯(lián)合對(duì)角化問題的研究背景與意義1 HYPERLINK l bookmark26 o Current Document 1.1.1矩陣近似聯(lián)合對(duì)角化問題的研究背景與意義1 HYPERLINK l bookmark29 o Current Document 1.1.2高階張量近似聯(lián)合對(duì)角化問題的研究背景與意義 3 HYPERLINK l bookmark35 o Current Document 1.2近似聯(lián)合對(duì)角化問題的國(guó)內(nèi)外研

25、究歷史與現(xiàn)狀 5 HYPERLINK l bookmark38 o Current Document 1.2.1矩陣近似聯(lián)合對(duì)角化問題的國(guó)內(nèi)外研究歷史與現(xiàn)狀5 HYPERLINK l bookmark41 o Current Document 1.2.2高階張量近似聯(lián)合對(duì)角化問題的國(guó)內(nèi)外研究歷史與現(xiàn)狀6 HYPERLINK l bookmark44 o Current Document 1.3本文研究?jī)?nèi)容及結(jié)構(gòu)6 HYPERLINK l bookmark47 o Current Document 1.3.1本文研究的主要內(nèi)容6 HYPERLINK l bookmark50 o Current

26、Document 1.3.2各章內(nèi)容安排7 HYPERLINK l bookmark53 o Current Document 第二章張量及近似聯(lián)合對(duì)角化相關(guān)基礎(chǔ)介紹9 HYPERLINK l bookmark56 o Current Document 2.1張量基礎(chǔ)簡(jiǎn)介9 HYPERLINK l bookmark59 o Current Document 2.1.1秩1張量10 HYPERLINK l bookmark62 o Current Document 2.1.2對(duì)稱張量和對(duì)角張量10 HYPERLINK l bookmark65 o Current Document 2.1.3張量

27、的矩陣化和n-模乘積11Kronecker 乘積和 Khatri-Rao 乘積 11Canonical polyadic decomposition (CPD) 12 HYPERLINK l bookmark69 o Current Document 2.2兩類近似聯(lián)合對(duì)角化問題 13 HYPERLINK l bookmark72 o Current Document 2.3近似聯(lián)合對(duì)角化的代價(jià)函數(shù)介紹14 HYPERLINK l bookmark75 o Current Document 2.3.1最小化間接擬合代價(jià)函數(shù) 14 HYPERLINK l bookmark83 o Current

28、 Document 2.3.2最小化直接擬合代價(jià)函數(shù) 15 HYPERLINK l bookmark86 o Current Document 2.3.3最大化對(duì)數(shù)似然代價(jià)函數(shù)16 HYPERLINK l bookmark92 o Current Document 第三章一種基于類Givens旋轉(zhuǎn)的近似聯(lián)合奇異值分解算法 17 HYPERLINK l bookmark95 o Current Document 3.1引言17 HYPERLINK l bookmark98 o Current Document 3.2問題的提出17 HYPERLINK l bookmark101 o Curren

29、t Document 3.3算法的建立18 HYPERLINK l bookmark89 o Current Document 3.3.1更新矩陣的解析推導(dǎo)19 HYPERLINK l bookmark104 o Current Document 3.4仿真實(shí)驗(yàn)23 HYPERLINK l bookmark107 o Current Document 3.4.1兩個(gè)性能指標(biāo)23 HYPERLINK l bookmark110 o Current Document 3.4.2算法性能23 HYPERLINK l bookmark113 o Current Document 3.4.3 結(jié)論29

30、HYPERLINK l bookmark116 o Current Document 第四章一種非Hermitian非正交的近似聯(lián)合對(duì)角化算法 30 HYPERLINK l bookmark119 o Current Document 4.1引言30 HYPERLINK l bookmark122 o Current Document 4.2問題的提出30 HYPERLINK l bookmark125 o Current Document 4.3算法的建立31 HYPERLINK l bookmark128 o Current Document 4.3.1估計(jì)矩陣D 32 HYPERLINK

31、 l bookmark131 o Current Document 4.3.2估計(jì)矩陣P 33 HYPERLINK l bookmark134 o Current Document 4.3.3提取矩陣A乙和Ar 34 HYPERLINK l bookmark137 o Current Document 4.4仿真實(shí)驗(yàn)36 HYPERLINK l bookmark145 o Current Document 4.5結(jié)論50第五章一種基于類Givens旋轉(zhuǎn)的非對(duì)稱高階張量的酉近似聯(lián)合對(duì)角化算法 51 HYPERLINK l bookmark151 o Current Document 5.1引言5

32、1 HYPERLINK l bookmark154 o Current Document 5.2問題的提出51 HYPERLINK l bookmark160 o Current Document 5.3算法的建立54 HYPERLINK l bookmark163 o Current Document 5.4仿真實(shí)驗(yàn)57 HYPERLINK l bookmark166 o Current Document 5.5結(jié)論63 HYPERLINK l bookmark169 o Current Document 第六章結(jié)束語66 HYPERLINK l bookmark172 o Current

33、Document 6.1全文總結(jié)66 HYPERLINK l bookmark175 o Current Document 6.2工作展望67 HYPERLINK l bookmark180 o Current Document 致謝69 HYPERLINK l bookmark183 o Current Document 參考文獻(xiàn)70附錄A 75 HYPERLINK l bookmark267 o Current Document 附錄B 76 HYPERLINK l bookmark276 o Current Document 附錄C 78 HYPERLINK l bookmark282

34、o Current Document 攻碩期間取得的研究成果79縮略詞表縮略詞英文全稱中文全稱BSSBlind source separation盲源分離JBSSJoint blind source separation聯(lián)合盲源分離AJDApproximate joint diagonalization近似聯(lián)合對(duì)角化ICAIndependent component analysis獨(dú)立成分分析PCAPrincipal component analysis主成分分析CPDCanonical polyadic decomposition張量CP分解AJSVDApproximate joint si

35、ngular value decomposition近似聯(lián)合奇異值分解MIMOMultiple-input, multiple-output多輸入，多輸出DOADirection of arrival波達(dá)方向SOSSecond-order statistics二階統(tǒng)計(jì)量HOSHigher-order statistics高階統(tǒng)計(jì)量主要符號(hào)表符號(hào)C說明實(shí)數(shù)集合復(fù)數(shù)集合a小寫字母表示標(biāo)量aATIlog(-) logic () 7k()r () ()T (),粗體小寫字母表示向量粗體大寫字母表示矩陣書法體大寫字母表示張量單位矩陣對(duì)數(shù)函數(shù)以10為底的對(duì)數(shù)函數(shù)從1到K的所有整數(shù)的集合(Zx = 1,.,

36、 K) 轉(zhuǎn)置復(fù)共藐轉(zhuǎn)置求逆求偽逆()* 或 G)lII復(fù)共軸復(fù)數(shù)求?；?qū)崝?shù)求絕對(duì)值向量的Euclidian范數(shù)，矩陣的Frobenius范數(shù)，張量的Frobenius 范數(shù)vec(-) vec_l(jCum()E.Coo向量化算子矩陣化算子,vec(-)的逆算子 累積量算子數(shù)學(xué)期望算子協(xié)方差算子向量外積odet(-)ZDiag-Kronecker 乘積Khatri-Rao 乘積Hadamard 乘積矩陣行列式將矩陣對(duì)角線元素設(shè)置為零得到的矩陣符號(hào)說明ZTdiag.將張量對(duì)角線元素設(shè)置為零得到的張量 Diag.將矩陣非對(duì)角線元素設(shè)置為零得到的矩陣Tdiag.將張量非對(duì)角線元素設(shè)置為零得到的張量第

37、一章緒論1.1近似聯(lián)合對(duì)角化問題的研究背景與意義1.1.1矩陣近似聯(lián)合對(duì)角化問題的研究背景與意義矩陣的AJD近年來被認(rèn)為是信號(hào)處理的重要工具，這主要是因?yàn)樗诤芏?實(shí)際信號(hào)處理問題中的重要性，比如BSS【i-3、盲波束形成4】、雷達(dá)多普勒頻移 反演、波達(dá)方向(Direction of arrival (DOA)估計(jì)6多輸入多輸出(Multipleinput, multiple-output (MIMO)遠(yuǎn)程通信系統(tǒng)的盲信道識(shí)別以及ICA&9等。下 面以經(jīng)典的線性BSS混合模型為背景，介紹矩陣AJD問題的研究意義。該模型被 描述為：x(t) = As(t)+ n(t),(1-1)其中x(t) e

38、 CM表示觀測(cè)信號(hào)向量，s(t) e CN表示源信號(hào)向量，n() e CM表示 噪聲向量，A e CMxN表示混合矩陣(Mixing matrix),并假設(shè)其為列滿秩矩陣, 即MNO指標(biāo)t描述信號(hào)的可變性，通常為時(shí)間指標(biāo)，但也可以是頻率指標(biāo) 或者是一張圖片的位置指標(biāo)或者是描述所考慮信號(hào)的任何物理變量。為簡(jiǎn)單起見, 本文將其考慮為更一般的時(shí)間指標(biāo)。在BSS中，混合矩陣以及源信號(hào)都假設(shè)是不可預(yù)知的，目標(biāo)就是僅僅通過觀 測(cè)信號(hào)來估計(jì)源信號(hào)。當(dāng)噪聲的統(tǒng)計(jì)(或其他)信息巳知時(shí)，可以在未知混合矩 陣的估計(jì)中以及在源信號(hào)的估計(jì)中考慮這樣的信息。但是為了捕捉問題的本質(zhì)及 其與AJD的聯(lián)系，這里一般先忽略噪聲項(xiàng)

39、，即假設(shè)n(Z) = Oo雖然該混合模型不是唯一確定的，但除了源信號(hào)的兩個(gè)經(jīng)典的不確定性(陳 列次序的不確定性和縮放比例即振幅的不確定性)夕卜，它們是可以被估計(jì)的?？?以估計(jì)出混合矩陣A的(左)偽逆(或者在A為方陣的情況下估計(jì)其逆矩陣)矩陣, 將其表示為B (在BSS背景下，一般稱之為解混矩陣(De-mixing matrix)o這里一 般有兩種途徑：第一種是首先估計(jì)混合矩陣A,然后計(jì)算其偽逆矩陣從而估計(jì)出 源信號(hào)；第二種是直接估計(jì)解混矩陣B,從而估計(jì)出源信號(hào)。矩陣A或者B的估計(jì)被發(fā)現(xiàn)可以通過一組精選矩陣的聯(lián)合分解得到，通常 稱這組矩陣為目標(biāo)矩陣。因此，第一步就是去選擇一組目標(biāo)矩陣，并要求這組

40、目本文主要考慮“適定”和“超定”的BSS/JBSS問題，即假設(shè)觀測(cè)信號(hào)的個(gè)數(shù)等于或者大于源信號(hào)的個(gè) 數(shù)。標(biāo)矩陣擁有關(guān)于最終所要尋找矩陣(A或者B)的一個(gè)共同的特殊分解結(jié)構(gòu)。通 常有用目標(biāo)矩陣的選擇取決于源信號(hào)的模型。一般地，目標(biāo)矩陣是通過觀測(cè)信號(hào)的某種統(tǒng)計(jì)方式得到的。在BSS中，一種 常見的假設(shè)是源信號(hào)具有零均值，因此其一階統(tǒng)計(jì)量是沒有意義的。所以一般考 慮其二階統(tǒng)計(jì)量(Second-order statistics (SOS)。對(duì)于一個(gè)復(fù)值隨機(jī)觀測(cè)信號(hào)向量 定義如下二階統(tǒng)計(jì)矩陣：Rjt, 丁) = Ex(匕)- 丁)=AEs(t)sH (t t)Ah=AMsA,(1-2)其中風(fēng)(小)為經(jīng)典的

41、相關(guān)矩陣,T表示時(shí)間延遲。除SOS外，也可以考慮高階統(tǒng)計(jì)量(Higher-order statistics (HOS)或稱為累積 量(Cumulants),這在(1.1.2)節(jié)關(guān)于高階張量AJD的部分會(huì)詳細(xì)講解，這里僅考 慮SOS的情況。從(1-2)可以看出，如果對(duì)于源信號(hào)不再有進(jìn)一步的假設(shè)，那么矩陣Ms就不 具有任何特殊結(jié)構(gòu)，所以這樣的分解就是無益的。但是關(guān)于源信號(hào)某些特性的合 理假設(shè)卻可以使矩陣Ms具有特殊的簡(jiǎn)化結(jié)構(gòu)(對(duì)角結(jié)構(gòu)或者其他)。一般地，對(duì) 于隨機(jī)源，經(jīng)典的可識(shí)別性假設(shè)是它們具有統(tǒng)計(jì)獨(dú)立性。所以很顯然，一旦源信 號(hào)被假設(shè)具有統(tǒng)計(jì)獨(dú)立性之后，矩陣Ms就總是具有對(duì)角結(jié)構(gòu)2Y 8,10。

42、但是，在實(shí)際應(yīng)用中，真正的目標(biāo)矩陣一般無法獲得，即對(duì)于觀測(cè)信號(hào)真正 的SOS或者HOS無法獲得。一般只有這些矩陣的樣本估計(jì)是可用的，且這些樣 本估計(jì)矩陣可能不再真正具有可精確聯(lián)合對(duì)角化的結(jié)構(gòu)。這就使得AJD概念的產(chǎn) 生，即試圖找到與精確聯(lián)合對(duì)角化盡可能接近的變換，并且采用各種度量來衡量 其擬合程度。通過簡(jiǎn)化符號(hào)，我們一般考慮一組K個(gè)目標(biāo)矩陣C*它們具有如下共同的 潛在分解結(jié)構(gòu)：Ca； = AD&A + E& k Ik,(1-3)其中Dk,keIK為對(duì)角矩陣,k,keIK為由估計(jì)誤差或者模型誤差等產(chǎn)生的擾動(dòng) 矩陣。相對(duì)于分解結(jié)構(gòu)(1-3),還有如下更一般的分解結(jié)構(gòu)in：C& = AlD/jA巖

43、+ E& k E ,(1-4) 其中Al和Ar通常是沒有聯(lián)系的，因此這也被稱為非對(duì)稱或者non-Hermitian的 情況。實(shí)際上，分解結(jié)構(gòu)(1-4)在BSS中對(duì)應(yīng)于雙數(shù)據(jù)集的情況，即具有兩個(gè)數(shù) 據(jù)集的JBSS。相對(duì)于傳統(tǒng)線性BSS混合模型(1-1),本文考慮如下具有兩個(gè)數(shù)據(jù) 集的混合模型：xr(Z) = Arsr(t) + nr(t), r = 1,2,(1-5)其中 xr(t) e CM, sr(t) e CN, n(Z) e CM, Ar e CMxN 分別表示第 r (r=l, 2)個(gè)數(shù) 據(jù)集的觀測(cè)信號(hào)向量，源信號(hào)向量，噪聲向量和混合矩陣。方表示時(shí)間指標(biāo)。考慮觀測(cè)信號(hào)X1和X2的如下時(shí)

44、延互相關(guān)矩陣：R2 (七，丁) = Exi (Z)xf (t 一 丁) =AiEsi(Z)sf (Z-r)Af=AiM51)S2 o(1-6)由于在JBSS中通常假設(shè)數(shù)據(jù)集內(nèi)部統(tǒng)計(jì)獨(dú)立，數(shù)據(jù)集之間統(tǒng)計(jì)相關(guān)12,13,因此 矩陣Msi,s2總是具有對(duì)角結(jié)構(gòu)。同樣由于有限的取樣等原因，只能做到AJD,即 得到形如(1-4)的一般分解結(jié)構(gòu)。然后在允許BSS兩個(gè)經(jīng)典不確定性(陳列次序的 不確定性和縮放比例即振幅的不確定性)的前提下去估計(jì)混合矩陣Al和Ar (或 者它們的偽逆)。實(shí)際上這兩個(gè)經(jīng)典不確定性在分解結(jié)構(gòu)(1-4)中分別反應(yīng)為矩陣 AL和Ar (或者它們的偽逆)列范數(shù)的不唯一性和列的排列順序的不

45、唯一性。對(duì)于矩陣的AJD問題，本文所介紹的算法主要是針對(duì)分解結(jié)構(gòu)(1-4),因?yàn)榉?解結(jié)構(gòu)(1-4)相對(duì)于分解結(jié)構(gòu)(1-3)更一般化且能解決具有兩個(gè)數(shù)據(jù)集的JBSS問 題。JBSS相對(duì)于傳統(tǒng)的BSS應(yīng)用更加廣泛，比如多主題，多模式的生物醫(yī)學(xué)數(shù)據(jù) 融合問題MF,多頻箱中轉(zhuǎn)換信號(hào)的BSS問題mi,心率測(cè)量SI等。傳統(tǒng)的BSS 無法利用不同數(shù)據(jù)集之間的關(guān)聯(lián)性，因此這可能導(dǎo)致諸如排列錯(cuò)位，精度丟失等 問題19,2。所以將只能解決單數(shù)據(jù)集BSS問題的分解結(jié)構(gòu)(1-3)推廣至U能解決雙 數(shù)據(jù)集JBSS問題的分解結(jié)構(gòu)(1-4)是非常有意義且非常必要的。對(duì)于更多數(shù)據(jù)集 (大于等于3)的JBSS的問題本文將通過

46、非對(duì)稱高階張量的AJD來解決，(1.1.2)節(jié) 將詳細(xì)講解。1.1.2高階張量近似聯(lián)合對(duì)角化問題的研究背景與意義高階張量對(duì)角化的概念最早由P. Comon及其合作者提出1,并闡述了其 與ICA之間的聯(lián)系。由于高階張量能充分利用隱藏在高階數(shù)據(jù)中的豐富結(jié)構(gòu)，所 以關(guān)于高階張量的AJD具有非常廣泛的應(yīng)用22-25,更是BSS、JBSS等信號(hào)處理 領(lǐng)域極其重要的工具26-2刃。下面以多數(shù)據(jù)集(大于等于3) JBSS問題為背景，闡 述高階張量AJD的研究意義?？紤]如下多數(shù)據(jù)集混合模型：x() = Arsr(Z) + nr(Z), r eIR,(1-7)其中 Xr(i) e CM, sr(t) e CN,

47、 nr(t) e CM, Ar e CMxN 分別表示第 r(re!R,R 3)個(gè)數(shù)據(jù)集的觀測(cè)信號(hào)向量，源信號(hào)向量，噪聲向量和混合矩陣。方表示時(shí)間指 標(biāo)。和矩陣的對(duì)應(yīng)情況一樣，為了捕捉問題的本質(zhì)，這里先忽略噪聲項(xiàng)，即假設(shè) nr(t)=0,reIRo然后計(jì)算R個(gè)數(shù)據(jù)集觀測(cè)信號(hào)的互HOS,即互高階累積量。如 下：T = Cumxi(),(X2)*(t 一 口),.(XR)g(t 一氣丘_1)=Cumsi(Z), (s2)*( - n),. .,(sR)bR(t -X1 Al X2(A2)*. Xl(Ar)如= Px1Ai x2 (A2)* (Ar)如，(1-8)其中口,.,4_1表示時(shí)間延遲，對(duì)于

48、奇數(shù)指標(biāo)r, = 1 (此時(shí)不取共貌)，對(duì)于 偶數(shù)指標(biāo)t,底=* (此時(shí)取共輒)。由于在JBSS中通常假設(shè)數(shù)據(jù)集內(nèi)部統(tǒng)計(jì)獨(dú) 立，數(shù)據(jù)集之間統(tǒng)計(jì)相關(guān)12，13,因此張量?？偸蔷哂袑?duì)角結(jié)構(gòu)或稱為超對(duì)角 (Superdiagonal)(見第二章，張量基礎(chǔ)簡(jiǎn)介部分)。由于有限取樣等原因，對(duì) 高階張量同樣只能做到AJD。所以，對(duì)于高階張量的AJD問題一般考慮如下分解 結(jié)構(gòu)：Tk = Vk xi A1 x2 A2-xjRAjR+fc, keIK, (1-9) 其中為對(duì)角張量，kkeIK為由估計(jì)誤差或者模型誤差等產(chǎn)生的擾動(dòng)張 量。然后就是在允許BSS兩個(gè)經(jīng)典不確定性的前提下估計(jì)混合矩陣A【i】,.,A網(wǎng) (

49、或者它們的偽逆)。因此，由(1-3)、(1-4)和(1-9)可知，通過矩陣、高階張量的AJD可解決BSS 及JBSS問題，而AJD本身也是優(yōu)化問題、矩陣?yán)碚摷皬埩糠纸獾葐栴}的結(jié)合, 其研究成果也會(huì)帶動(dòng)數(shù)學(xué)等相關(guān)領(lǐng)域的發(fā)展。所以，不管是對(duì)于數(shù)學(xué)學(xué)科自身而 言，還是對(duì)于其相關(guān)的應(yīng)用而言，矩陣和張量的AJD算法研究都是非常有意義且 有價(jià)值的工作。1.2近似聯(lián)合對(duì)角化問題的國(guó)內(nèi)外研究歷史與現(xiàn)狀1.2.1矩陣近似聯(lián)合對(duì)角化問題的國(guó)內(nèi)外研究歷史與現(xiàn)狀關(guān)于對(duì)稱或者Hermitian矩陣的AJD算法是AJD算法中最早開始且發(fā)展最 為純熟的一部分。早期的工作主要致力于研究正交的AJD算法，代表性算法有 Card

50、oso等人在1993年基于Givens旋轉(zhuǎn)提出的關(guān)于特征矩陣的AJD算法(JADE： joint approximate diagonalization of eigenmatrices)】以及同年 Bunse-Gerstner 等人在 文獻(xiàn)31中對(duì)復(fù)可交換的正規(guī)矩陣建立的類雅克比(Jacobi-like) AJD算法，另外 文獻(xiàn)32中基于二階統(tǒng)計(jì)量的盲辨識(shí)(SOBI： Blind identification using second order statistics)算法就是正交AJD算法的典型應(yīng)用。這些算法都是將解混矩陣(混合矩 陣的偽逆矩陣)考慮為正交矩陣或者酉矩陣。在最近十年左右，為

51、了避免對(duì)解混矩 陣的正交性限制，很多學(xué)者開始把重點(diǎn)放在非正交的AJD算法上。Yeredor首先 在文獻(xiàn)33中提出了最小二乘代價(jià)函數(shù)并得到了一種非正交的AJD算法(ACDC： Alternating columns diagonal centers)o該算法具有較高的精確度，但在優(yōu)化過程中 需要交替估計(jì)混合矩陣和對(duì)角矩陣，因此該算法在收斂速度上會(huì)有一定限制。此 外，文獻(xiàn)34和文獻(xiàn)35中提出了基于信息論代價(jià)函數(shù)來解決AJD問題的算法。 該類算法不同于前面基于最小二乘代價(jià)函數(shù)的算法，其整體性能良好，但是該類 算法的目標(biāo)矩陣必須限制為對(duì)稱正定矩陣，因此其應(yīng)用范圍具有很大的局限性。 繼ACDC算法之后，

52、文獻(xiàn)36提出了一種行交替優(yōu)化更新的算法(ARD： Altering row diagonalization)。該算法具有良好的收斂速度，但是ARD算法以及同年在文 獻(xiàn)37中提出的QDIAG算法等都比較容易收斂到退化解(即可能得到奇異的解 混矩陣)。為了避免算法收斂到退化解，一些學(xué)者提出了很多有效的策略，比如 對(duì)解混矩陣添加一些人為的限制，在傳統(tǒng)代價(jià)函數(shù)后面添加懲罰項(xiàng)以及提出能有 效避免算法收斂到退化解的代價(jià)函數(shù)等。受到傳統(tǒng)Jacobi算法的啟發(fā)，很多學(xué)者 考慮對(duì)解混矩陣賦予合理的參數(shù)結(jié)構(gòu)，這在避免算法收斂到退化解上顯示出非常 好的效果。比如基于LU分解思想的算法LUCJD【38、ALUJA的以

53、及LUJ1D4O和 LUJ2Dt40o基于QR分解思想的算法QRJ1D4O和QRJ2D【40?；赟hear和Givens 旋轉(zhuǎn)建立的CJDi算法MH等。以上提到的算法主要是針對(duì)對(duì)稱或者Hermitian矩陣 的AJD,這類算法一般都只適用于單個(gè)數(shù)據(jù)集的BSS問題，對(duì)于多重?cái)?shù)據(jù)集的 JBSS問題一般需要更加復(fù)雜的結(jié)構(gòu)。其中雙數(shù)據(jù)集對(duì)應(yīng)的情況就可以歸結(jié)為非對(duì) 稱或者non-Hermitian矩陣的AJD問題。但這類算法的發(fā)展還較緩慢。Korczowski 等人在文獻(xiàn)42中利用高斯平面變換(GPT: Gauss Planar Transformation)的思想 提出了一個(gè)非對(duì)稱的AJD算法BAJ

54、D，但此算法比較容易得到退化解。另外，還 有一些學(xué)者在考慮對(duì)觀測(cè)信號(hào)預(yù)白化之后提出了 AJSVD算法，比如文獻(xiàn)20中Congedo等人利用Givens旋轉(zhuǎn)矩陣提出的AJSVD算法，但該算法需要通過交替 的方式來得到左右奇異矩陣，這在一定程度上影響了收斂速度，且該算法主要考 慮的是實(shí)數(shù)域的情況。最近，Tichavsky及其合作者在文獻(xiàn)43中對(duì)三階張量提出 了雙邊的對(duì)角化算法TEDIA,該算法與非對(duì)稱或者non-Hermitian矩陣的AJD算 法是等價(jià)的。但總體而言這類算法由于內(nèi)在結(jié)構(gòu)更顯復(fù)雜，所以發(fā)展較慢，提出 的算法也非常有限。1.2.2高階張量近似聯(lián)合對(duì)角化問題的國(guó)內(nèi)外研究歷史與現(xiàn)狀張量對(duì)

55、角化的概念最早由P. Comon及其合作者提出i，2i,他們的算法是基 于Jacobi旋轉(zhuǎn)，并且闡述了其與ICA之間的聯(lián)系。緊接著，Lathauwer受矩陣中 JADE算法的啟發(fā)在文獻(xiàn)27中提出了關(guān)于三階張量的同時(shí)對(duì)角化算法(STOTD: Simultaneous Third-Order Tensor Diagonalization) o Moreau 在文獻(xiàn)3中得到將統(tǒng)計(jì) 量推廣到任意階的算法。作為3的一個(gè)特殊情況，文獻(xiàn)44中利用Givens旋轉(zhuǎn) 矩陣提出了關(guān)于三階張量的正交AJD算法。以上關(guān)于張量的AJD算法都只考慮 了對(duì)稱的情況。最近幾年開始關(guān)注非對(duì)稱張量的AJD算法。例如，文獻(xiàn)45中提

56、 出的關(guān)于三階張量的非正交非對(duì)稱的AJD算法(T-ALUJA, T-ALUJA-A),該算法 利用矩陣的LU分解思想在三階張量的不同模上分別優(yōu)化更新。另外關(guān)于張量的 AJD算法在特定情況下可以應(yīng)用于張量的CPD。CPD是張量非常重要的分解方 式，但目前的算法還相對(duì)單一，主要還是基于交替最小二乘思想提出的一些方法。 總之，由于高階張量本身的抽象性及理論的復(fù)雜性，目前關(guān)于高階張量的AJD算 法還在發(fā)展的初級(jí)階段，尤其是應(yīng)用在復(fù)數(shù)域中的算法還是一個(gè)較大的空缺。1.3本文研究?jī)?nèi)容及結(jié)構(gòu)1.3.1本文研究的主要內(nèi)容AJD問題的研究已有二十多年的歷史，特別是面向?qū)ΨQ或者Hermitian矩陣 的AJD問題

57、，不論是在理論與算法上還是在應(yīng)用上都已經(jīng)趨于純熟。但是，面向 結(jié)構(gòu)更顯復(fù)雜的非對(duì)稱或者非Hermitian矩陣以及高階張量的AJD算法卻很少。 針對(duì)高階非對(duì)稱張量的AJD算法更是剛處于起步階段。然而，這些結(jié)構(gòu)更加復(fù)雜 的AJD問題應(yīng)用卻更加廣泛，典型的就是非對(duì)稱或者非Hermitian矩陣以及非對(duì) 稱張量的AJD算法能直接用來處理雙數(shù)據(jù)集或者多數(shù)據(jù)集的JBSS問題，這是傳 統(tǒng)AJD算法所不具備的。所以，本文主要研究了非Hermitian矩陣以及高階非對(duì) 稱張量的AJD問題。針對(duì)該問題，本文所介紹的算法主要包括：針對(duì)非Hermitian 矩陣的AJSVD算法(或稱為非Hermitian矩陣的正交

58、AJD算法)，針對(duì)非Hermitian 矩陣的非正交AJD算法以及針對(duì)高階非對(duì)稱張量的正交AJD算法。前兩個(gè)算法 本文主要驗(yàn)證了它們處理雙數(shù)據(jù)集JBSS問題的有效性，第三個(gè)算法可以處理具 有任意多個(gè)數(shù)據(jù)集的JBSS問題。需要指出的是，與同類算法比較，本文所介紹 的算法在穩(wěn)定性、收斂速度以及精確度上都有一定的優(yōu)勢(shì)。1.3.2各章內(nèi)容安排本文共分為六章，第一章（本章）主要敘述了 AJD問題的研究背景與意義以及 該問題在國(guó)內(nèi)外的研究歷史與現(xiàn)狀。具體地說，本章以BSS與JBSS的線性混合 模型為背景，分矩陣和張量?jī)刹糠株U述了 AJD問題的由來及研究意義。分矩陣和 張量分析了 AJD問題的研究現(xiàn)狀，介紹

59、了巳有的經(jīng)典AJD算法并簡(jiǎn)要分析了它 們的優(yōu)缺點(diǎn)。第二章對(duì)張量及AJD相關(guān)基礎(chǔ)進(jìn)行了介紹。本章將AJD問題分為酉（正交） 和非正交兩大類，介紹了它們?cè)贐SS/JBSS應(yīng)用中的區(qū)別。具體地說，酉（正交） AJD算法在BSS/JBSS應(yīng)用中需要對(duì)觀測(cè)信號(hào)進(jìn)行預(yù)白化處理，本章對(duì)預(yù)白化過 程做了簡(jiǎn)單介紹，而非正交AJD算法則不需要預(yù)白化處理過程。此外，本章介 紹了 AJD算法主要的代價(jià)函數(shù)并作了簡(jiǎn)要分析，為后面章節(jié)的研究?jī)?nèi)容奠定了基 礎(chǔ)。第三章介紹了一種基于類Givens旋轉(zhuǎn)的AJSVD算法（或稱為非Hermitian矩 陣的正交AJD算法）。對(duì)酉旋轉(zhuǎn)矩陣?yán)靡粋€(gè)特殊的參數(shù)結(jié)構(gòu)，該算法能同時(shí)獲 得左右

60、奇異矩陣，這相對(duì)于傳統(tǒng)的左右交替優(yōu)化方法加快了收斂速度也提高了算 法的穩(wěn)定性。本章做了將該算法應(yīng)用于處理雙數(shù)據(jù)集JBSS的仿真實(shí)驗(yàn)（對(duì)觀測(cè)信 號(hào)做了預(yù)白化處理），并與其它JBSS算法在雙數(shù)據(jù)集的特殊情況下進(jìn)行了比較。第四章介紹了一種在最小二乘意義下非Hermitian矩陣的非正交AJD算法。 本章將傳統(tǒng)的面向?qū)ΨQ或者Hermitian矩陣的非正交AJD算法推廣到了更一般的 非Hermitian矩陣情況。闡述了基于該模型的算法與三階張量CPD之間的關(guān)系, 并在實(shí)驗(yàn)中與傳統(tǒng)的CPD算法進(jìn)行了比較。本章最后做了將該算法應(yīng)用于處理雙 數(shù)據(jù)集JBSS的仿真實(shí)驗(yàn)（由于是非正交的AJD算法，所以無須對(duì)觀測(cè)信