凸優(yōu)化-中文筆記答案ch7統(tǒng)計估計

1、Convex OptimizationChapter 7 統(tǒng)計估計shijuanfeng2013-12-02Outline參數(shù)分布估計：ML，MAP非參數(shù)分布估計可以參看模式分類假設檢驗最優(yōu)檢測器設計Chebyshev界和Chernoff界實驗設計參數(shù)分布估計量的概率密度為 px ()，其中x為概率分布的參數(shù) ，隨且參數(shù)未知。參數(shù)估計的目標就是通過一些已知樣本估計獲得參數(shù)的最優(yōu)近似值。最大似然 ML：參數(shù)x是確定的值最大后驗MAP：參數(shù)x是服從某種分布的隨量最大似然 MLize(x C)log px( y)y為樣本觀測值；l(x) log px ( y)為對數(shù)似然函數(shù)若似然函數(shù)為凹函數(shù)，則優(yōu)化

2、問題為凸優(yōu)化問題。一個疑問：P337頁ML舉例2r白噪聲1p(r) N (0, 2 ) 2 2e2 對數(shù)似然函數(shù)：nn1i1l(x) log(2 2？) 2 2(a x yi )2T2i最大后驗 MAPxmap arg max xpx|y ( x, y) arg max xpy|x ( x, y) px ( x) arg max xp( x, y)非參數(shù)分布估計概率密度參數(shù)形式未知基于先驗信息，可能還要觀測值和測量值，估計概率分布概率和期望值的界最大似然最大墑最小散度假設檢驗+檢測器量 X 1, 2,., n，有m種可能（假定）的分布；隨pj p1 j , p2 j ,., pnj 假定 j

3、：X 的概率分布為假定測驗的目標：由觀察值猜測隨種假定的分布。量最有可能服從哪確定性檢測器隨機性檢測器：魯棒檢測器隨機檢測子：非負元素矩陣T R2nt prob( i | x k )ik檢測概率矩陣檢測概率矩陣1 PPfpfnD TT 1 Pfn 12PfpPfp 為當 X 實際服從第1種假定分布而猜測為第2種假定分布的概率；Pfn為當 X 實際服從第2種假定分布而猜測為第1種假定分布的概率；最優(yōu)檢測器設計線性規(guī)劃尺度優(yōu)化形式：minimizesubject to PfnPfpt1k t2k 1, k 1,., n 0,t2k 0, k 1,., nt1k最小最大值形式minimizesubject tomax(Pfp , Pfn ) t2k 1, k 1,., n 0,t2k 0, k 1,., nt1kt1k例子 0.7 0.20.10.1P 0.7X 在兩種假設下的概率分布為：0.050.050.1界Chebyshev界已知期望值（如均值和方差），給出概率的上界Chernoff界誤差上界實驗設計實驗設計的目標：尋找測量向量 ，使得誤差的協(xié)方差方差矩陣最小。Summary參數(shù)分布估計