ー信號処理用

1、信號処理用信號処理用音源分離基礎(chǔ)音源分離基礎(chǔ)奈良先端科學(xué)技術(shù)大學(xué)院大學(xué)情報科學(xué)研究科音情報処理學(xué)講座猿渡洋本日內(nèi)容処理概説音源分離研究背景解説 獨立成分分析音源分離 獨立成分分析問題點獨立成分分析統(tǒng)合 反復(fù)學(xué)習(xí)內(nèi)學(xué)習(xí)後 音聲認識応用例今後展開研究背景応用古典的： 遅延和型：低実現(xiàn)困難 適応型：目的音方位無音區(qū)間情報必要 高性能 hands-free 通信 雑音音聲認識自由度大技術(shù)開発必要自由度大技術(shù)開発必要問題點遅延和型：素子係數(shù)指向特性制御適応型：雑音到來方向指向特性適応目的音目的音雑音同時雑音同時拾拾目的音目的音指定指定雑音観測雑音観測時間必要時間必要死角死角音源分離登場Blind Sou

2、rce Separation (BSS) 複數(shù)音源信號混合観測場合、観測信號音源信號推定技術(shù) 目的音方位無音區(qū)間情報不要獨立成分分析（ICA）基BSS J. Cardoso, 1989 C. Jutten, 1990 （高次無相関化） P. Common, 1994 （ICA言葉定義） A. Bell et al., 1995 （infomax定式化）互獨立既知ICA基BSS ？Human 2Human 1Microphone 1Microphone 2Observed signal 1Observed signal 2Source 2Source 1音源信號推定音源信號推定ICA基BSS定式

3、化)()()()(111111txtxtstsAAAALKLKLK線形混合過程線形混合過程混合行列音源信號観測信號分離過程分離過程分離信號分離行列)()()()(111111txtxWWWWtytyLKLKLK獨立?関數(shù)関數(shù)最適化最適化ICA様関數(shù)無相関化 信號間相関最小化非線形関數(shù) 高次相関最小化非線形関數(shù) 源信號確率密度関數(shù)仮定分離信號：T21)(),.,()(tytyt y :関數(shù)等ICA基BSS問題點ICA本質(zhì)的非線形最適化問題含 局所最適解落込 収束性能悪化音聲獨立？ 周波數(shù)帯域獨立場合 場合？ ICA分離性能限界程度ICA統(tǒng)合指向特性介ICA-based BSS古典的統(tǒng)合化非獨立帯

4、域分離性能向上情報幾何學(xué)音響信號処理情報幾何學(xué)音響信號処理融合高精度融合高精度BSS本概念図両者間対応付繰返処理用、高精度分離音取得統(tǒng)一感情報源統(tǒng)一感情報源脳內(nèi)部分類化脳內(nèi)部分類化獨立成分分析獨立成分分析A聲音源方位音源方位聞耳立聞耳立具體的手法例ICA切替反復(fù)學(xué)習(xí)処理最後行（反復(fù)學(xué)習(xí)後）ICA切替反復(fù)學(xué)習(xí)過程中周期的行（反復(fù)學(xué)習(xí)內(nèi)周期的）ICA切替反復(fù)學(xué)習(xí)過程中適宜行（反復(fù)學(xué)習(xí)內(nèi)）反復(fù)學(xué)習(xí)後（1）帯域分割型ICABSS 形成指向特性音源方位陽推定（）音源方位利用死角制御型（）（），（）統(tǒng)合（）帯域分割型ICA音源分離周波數(shù)変換時間遅含混合問題単純化（）學(xué)習(xí) Iterative off-lin

5、e learning algorithm :where(ICA)HH)ICA(ICA)1)()(diagiiiWYYYYWW YYYYYYYofpartimaginaryofpartrealj :, :exp11exp11(I)(R)(I)(R)（）死角制御型 ICA推定W指向特性算出、音源方位求。推定音源方位死角制御型構(gòu)成。)()()()()()BF(22)BF(21)BF(12)BF(11(BF)fWfWfWfWfW W1212目的方位死角目的方位死角1212目的方位死角目的方位死角21/sin2exp),(kklklcfdjWfF2/1)(2NmmllfN逆混合行列 指向特性：l 番目音

6、源 DOA ：WSource 1Source 2指向特性空間対形成利得分布指向特性空間対形成利得分布（）統(tǒng)合帯域毎以下ICA切替周波數(shù)音源方位推定値場合、lllllllklklkhhffWWW| ,| ,)()()BF()ICA(f)( fl)(:fll偏差収束性悪獨立性低帯域分離性能向上:h閾値実験條件素子間隔 4 cm 2 素子音源 : 方位 30, 方位 40 2 音源（36通）音響條件 : 殘響時間 RT= 0, 0.15, 0.30 sec逆混合行列學(xué)習(xí) ： 1, 3, 5 秒間観測信號利用評価基準 ： Noise reduction rate (NRR) = 出力SNR dB 入力

7、SNR dB比較対象： Murata法（in ICA99; 狹帯域波形包絡(luò)間類似性利用）実験結(jié)果：効果2 23 34 45 56 67 78 89 9h=0 (Nullh=0 (Nullbeamformer)beamformer)h=1h=1h=2h=2 h= (IC A- h= (IC A-based BSS)based BSS)Noise Reduction Rate dBNoise Reduction Rate dB5 sec5 sec3 sec3 sec1 sec1 sec學(xué)習(xí)區(qū)間, ICA-based BSSSNR向上RT=0.15 sec 場合実験結(jié)果：音聲認識評価53.853.8

8、535334.834.885.685.658.358.389.489.4727249.349.393.993.90 02020404060608080100100RT=0 secRT=0 secRT=0.15RT=0.15secsecRT=0.30RT=0.30secsecWord Recognition Rate %Word Recognition Rate %MixedMixedProposedProposedMuratasMuratas學(xué)習(xí)區(qū)間= sec場合提案法認識率改善分離音聲無殘響実験 混合音 分離音 (女性,村田池田手法) 分離音 (女性, 提案手法) 分離音 (男性, 提案手法

9、) 殘響付與実験 (殘響時間 300 ms) 混合音 分離音 (女性,村田池田手法) 分離音 (女性, 提案手法) 分離音 (男性, 提案手法) (逆混合行列學(xué)習(xí) 3 秒間観測信號利用)InitICA)( fW W)( fW WDirection of ArrivalEstimation2/1)(2NmmllfN elseif finallBF)( fW W反復(fù)學(xué)習(xí)內(nèi)周期的 ), 1, 0, 1, 1, 0(diagHH1jPiijPijPijPWWYYYYW ), 1, 0, 1, 1, 0(diagHH1jPiijPijPijPWWYYYYW), 2, 1()BF(22)BF(21)BF(

10、12)BF(11jWWWWjPW W1212目的方位死角目的方位死角Ordering & Scalingl)( fW W反復(fù)學(xué)習(xí)反復(fù)學(xué)習(xí)指向特性指向特性- 従來従來ICA場合場合 -反復(fù)學(xué)習(xí)反復(fù)學(xué)習(xí)指向特性指向特性- 提案法場合提案法場合 -14161820222426100200300400500The Number of IterationsNRRdBProposedMethodConventionalMethod無殘響下実験結(jié)果5.566.577.588.5100200300400500The Number of IterationsNRRdBProposedMethodConv

11、entionalMethodRT=150msec場合実験結(jié)果考察無殘響下NRR値大幅向上見 ICA間射影反復(fù)有効機能殘響下NRR値向上見 殘響下必性能保証適切反復(fù)回數(shù)切替収束高上有効問題點：全帯域同時BF切替必要 BF切替最適改善法：反復(fù)學(xué)習(xí)內(nèi)ONE TIME ICA)(Initf0 0W W)(),(),(),(),(diag)()(HH1ftftftftfffittiiW WW WW WYYYYDirection of Arrival Estimation)(ICA)f1 1i iW W21/sin2exp),(kklklcfdjWfF2/1)(2NmmllfN逆混合行列 指向特性：l 番

12、目音源 DOA ：WSource 1Source 2指向特性指向特性空間対形成利得分布BFl)()()()()()BF(22)BF(21)BF(12)BF(11(BF)fWfWfWfWfW W1212目的方位死角目的方位死角Diversity with Cost Function)(BF)fW W)(ICA)f1 1i iW W)(fW Welseif final)(fi iW W1ii)(fW W関數(shù)(2出力間Cosine距離)21(ICA) 21(ICA) (ICA) (ICA) 22*(ICA),(),(),(),()(ttttftftftffJ2 21 12 21 1Y YY YY Y

13、Y Y)( fJ小2出力無相関(獨立)21(BF)21(BF) (BF)(BF)22*(BF),(),(),(),()(ttttftftftffJ2 21 12 21 1Y YY YY YY Y関數(shù)(Contd)(ICAfJ)(BFfJ大死角制御型選択)(ICAfJ)(BFfJ以下ICA選択ICA収束帯域分離行収束遅帯域?qū)W習(xí)加速反射成分殘響成分考慮獨立分離殘響時間 150 msec 場合分離性能選択狀況例(殘響時間 150 msec)選択ICA収束遅反復(fù)初期最適解近傍早近可能程度學(xué)習(xí)進反復(fù)後期反射成分殘響成分考慮獨立分離ICA選択ICA収束帯域全反復(fù)選択殘響時間 300 msec 場合分離性能

14、考察提案法分離性能従來法上回(RT150 msec : 4.6 dB, RT 300 msec : 1.5 dB)演算量考慮提案法収束速反復(fù)學(xué)習(xí)內(nèi) 反復(fù)初期學(xué)習(xí)遅ICA死角制御型選學(xué)習(xí)加速 學(xué)習(xí)進反復(fù)後期ICA 選択反射成分殘響成分考慮分離行 ICA収束帯域反復(fù)全般死角制御型選分離音聲一例殘響時間 150 msec 混合音聲(男性、女性) 従來法分離音聲(女性) 提案法分離音聲(女性)殘響時間 300 msec 混合音聲(男性、女性) 従來法分離音聲(女性) 提案法分離音聲(女性)今後展開ICABSS行? 數(shù)理解析上進展飽和 実際音環(huán)境取扱未至 共通音源分離用相互比較獨立成分分析融合高性能BS

15、S関 2素子以上拡張 學(xué)習(xí)化（動音源分離）現(xiàn)在：解問題機上解現(xiàn)在：解問題機上解今後：実環(huán)境今後：実環(huán)境ICA実力発揮実力発揮今後展開時間-周波數(shù)領(lǐng)域関限界 周波數(shù)分割數(shù)増加殘響対応可能分離性能劣化分離性能劣化 分割數(shù)増加狹帯域信號間獨立性評価困難 Permutation影響？（荒木，西川他，2001）周波數(shù)領(lǐng)域殘響強手法提案望6.1226.1225.0595.0597.3567.3565.7295.7298.0188.0186.9066.9069.9449.9447.5817.58112.13212.1328.6378.63712.73612.7369.5699.56911.89611.896

16、9.5279.5270 02 24 46 68 8101012121414NRR dBNRR dB323264641281282562565125121024102420482048Number of SubbandsNumber of SubbandsRT=150msecRT=150msecRT=300msecRT=300msec帯域分割數(shù) vs. 分離精度分離性能劣化！分離性能劣化！実験結(jié)果：従來BSS法比較6.414.95.85.817.617.60 05 5101015152020RT=0 secRT=0 secRT=0.15RT=0.15secs

17、ecRT=0.30RT=0.30secsecNoise Reduction Rate dBNoise Reduction Rate dBProposedProposedMuratasMuratas學(xué)習(xí)區(qū)間=5 sec実験結(jié)果：従來BSS法比較5.812.517.50 05 5101015152020RT=0 secRT=0 secRT=0.15RT=0.15secsecRT=0.30RT=0.30secsecNoise Reduction Rate dBNoise Reduction Rate dBProposedProposedMuratasM