粒子物理與核物理實驗中的數(shù)據(jù)分析課件

粒子物理與核物理實驗中的數(shù)據(jù)分析楊振偉清華大學(xué)第九講：最小二乘法粒子物理與核物理實驗中的數(shù)據(jù)分析楊振偉上一章回顧四種方法給出最大似然估計的方差數(shù)值方法蒙特卡羅方法RCF邊界方法圖解法雙參數(shù)的最大似然法（等高線）推廣的最大似然法（樣本總量為隨機(jī)數(shù)）最大似然法處理分區(qū)數(shù)據(jù)（區(qū)間大?。┯米畲笏迫环ê喜⒍嘟M測量結(jié)果12/2/20222上一章回顧四種方法給出最大似然估計的方差12/1/2022212/2/20223本講要點最小二乘法與最大似然法的關(guān)系線性情況下的最小二乘估計非線性情況下的最小二乘估計*約束情況下的最小二乘法*檢驗最小二乘法的擬合優(yōu)度應(yīng)用最小二乘法處理分區(qū)數(shù)據(jù)不等精度關(guān)聯(lián)實驗結(jié)果的并合問題12/1/20223本講要點最小二乘法與最大似然法的關(guān)系12/2/20224最小二乘法與最大似然法設(shè)有高斯隨機(jī)變量:yi,i=1,…,N,均值為對應(yīng)的對數(shù)似然函數(shù)(去掉與

無關(guān)的項)為對于獨立的高斯變量yi，聯(lián)合概率密度函數(shù)為12/1/20224最小二乘法與最大似然法設(shè)有高斯隨機(jī)變量:12/2/20225最小二乘估計量的定義如果

yi是多維高斯變量，協(xié)方差矩陣為V，滿足那么其對數(shù)似然函數(shù)為也就是說，我們應(yīng)求下式的最小值它的最小值定義了最小二乘法的估計量，即使yi不是高斯變量，該定義依然適用。(實際上，yi

通常是高斯的，因為中心極限定理會導(dǎo)出測量誤差近似高斯。)12/1/20225最小二乘估計量的定義如果yi是多維高12/2/20226兩種情況下的最小二乘參數(shù)估計盡管上式對任何含參數(shù)函數(shù)的具體形式均成立，但是，對參數(shù)的估計，可以根據(jù)理論預(yù)期值中所含參數(shù)的具體特征而采用不同的參數(shù)估計處理方法，簡化問題。線性情況：非線性情況：12/1/20226兩種情況下的最小二乘參數(shù)估計盡管上式對任12/2/20227線性最小二乘法估計這里aj(x)

是x

的任意線性獨立函數(shù)。用矩陣來表示時，令A(yù)ij=aj(xi)，有對

i

求偏微分，并令結(jié)果等于零，有解方程得到最小二乘法的估計量12/1/20227線性最小二乘法估計這里aj(x)是12/2/20228最小二乘估計量的方差等效地，可以利用下式來計算如果

yi是高斯變量時，其與RCF邊界一致。12/1/20228最小二乘估計量的方差等效地，可以利用下式12/2/20229最小二乘估計量的方差(續(xù))12/1/20229最小二乘估計量的方差(續(xù))12/2/202210多項式的最小二乘法擬合用一個多項式來擬合右圖第0階(一個參數(shù))第1階(兩個參數(shù))第4階(五個參數(shù))對于單參數(shù)擬合(例如上圖的橫線):例如:12/1/202210多項式的最小二乘法擬合用一個多項式來擬12/2/202211多項式的最小二乘法擬合(續(xù))對于雙參數(shù)擬合的情形(有非零斜率的直線)傾角給出相關(guān)系數(shù)。對于五個參量擬合的情形(有非零斜率的直線)2min值的大小反映了數(shù)據(jù)與假設(shè)之間的符合程度?？梢杂脕頇z驗擬合優(yōu)度。曲線通過所有點；2min=0，參數(shù)的數(shù)目=數(shù)據(jù)點的數(shù)目。12/1/202211多項式的最小二乘法擬合(續(xù))對于雙參數(shù)12/2/202212非線性最小二乘法估計*如果采用牛頓法求上式的最小值，第n+1次迭代公式可采用12/1/202212非線性最小二乘法估計*如果采用牛頓法求12/2/202213約束情況下的最小二乘法擬合*實際問題中會遇到測量量本身要受到某些物理定律的約束。求解可采用拉格朗日乘子法，對每一個約束引入因子i，例如，能動量守恒，衰變頂點約束等等。對一個事例有m個觀測量，無參數(shù)的最小二乘問題變?yōu)?2/1/202213約束情況下的最小二乘法擬合*實際問題中12/2/202214約束情況下的最小二乘法(續(xù)一)為了找到最小值，可以通過求微商方法而n+1

次迭代后設(shè)經(jīng)過n

次迭代以后，找到一組解，得到函數(shù)的值。在上對(n)

進(jìn)行線性展開，并略去高階項，得到12/1/202214約束情況下的最小二乘法(續(xù)一)為了找到12/2/202215約束情況下的最小二乘法(續(xù)二)兩式聯(lián)立消掉項，可以得到因此，可以得到第n+1

次迭代的l個拉格朗日乘子取值以及第n+1

次迭代的m

個測量量的預(yù)期值12/1/202215約束情況下的最小二乘法(續(xù)二)兩式聯(lián)立12/2/202216約束情況下的最小二乘法(續(xù)三)當(dāng)經(jīng)過n+1

次迭代以后，滿足下式時即可終止實驗中，為了提高測量精度而采用的四動量守恒約束擬合(4-Cfit)，頂點或質(zhì)量約束擬合(1-Cfit)，大都采用該方式來進(jìn)行。此時的

2值應(yīng)滿足自由度為（m-l）的

2分布。12/1/202216約束情況下的最小二乘法(續(xù)三)當(dāng)經(jīng)過12/2/202217例：粒子動量分辨的改進(jìn)例如，實驗觀測衰變通常情況下，探測器對光子探測的能量分辨率較差，從而影響到0粒子動量重建的精度。已知：r12/1/202217例：粒子動量分辨的改進(jìn)例如，實驗觀測衰12/2/202218例：粒子動量分辨的改進(jìn)（續(xù)）因此，每一個衰變事例的觀測量期待值為對應(yīng)于每個觀測量有誤差估計，而且已知相互間不相關(guān)。則無參數(shù)的最小二乘問題可寫為利用一個約束條件下，改進(jìn)的光子動量觀測值進(jìn)行重建研究，從的不變質(zhì)量譜可以看出光子的動量得到了明顯的改進(jìn)。12/1/202218例：粒子動量分辨的改進(jìn)（續(xù)）因此，每一12/2/202219檢驗最小二乘法的擬合優(yōu)度那么2min

服從N-m自由度的最小二乘概率密度函數(shù)分布。

據(jù)此來計算P-值例如在前面雙參數(shù)擬合中

也就是說，重復(fù)實驗多次，有26.3%的值將大于2min。進(jìn)行1000次蒙特卡羅實驗而對于水平線擬合，有P-值太??！12/1/202219檢驗最小二乘法的擬合優(yōu)度那么2min12/2/202220擬合優(yōu)度與誤差的最小值小的統(tǒng)計誤差并不意味著是一個好的擬合(反之亦然)2曲線在其最小值附近變化給出統(tǒng)計誤差；

2min的曲率大小給出擬合的優(yōu)度。在水平線擬合中，可以人為改變數(shù)據(jù)點縱向的位置，但保持誤差不變，使得方差與改變前一樣，但2min變“好”了。2(0)曲線只是向下平移，表明與數(shù)據(jù)符合更好。但曲線形狀并沒有發(fā)生變化，即誤差并沒有改變。12/1/202220擬合優(yōu)度與誤差的最小值小的統(tǒng)計誤差并不12/2/202221擬合優(yōu)度與誤差的最小值(續(xù))估計量的方差告訴我們：P-值告訴我們：如果實驗從復(fù)多次，估計量

分布有多寬。但是，它并不告訴我們假設(shè)是否正確。P-值太低，則假設(shè)可能有誤，即存在系統(tǒng)誤差。如果假設(shè)正確，并且實驗重復(fù)了多次，實驗與假設(shè)按照統(tǒng)計的2min

完全符合或符合得更差的比率是多少。12/1/202221擬合優(yōu)度與誤差的最小值(續(xù))估計量的方12/2/202222最小二乘法處理分區(qū)數(shù)據(jù)最小二乘法擬合使下式有最小值把yi

看做泊松分布的隨機(jī)變量，方差為改進(jìn)的最小二乘法雖方便了計算，但對于有些區(qū)間頻數(shù)太少時2min不再服從最小二乘的概率密度分布函數(shù)(或無定義)。12/1/202222最小二乘法處理分區(qū)數(shù)據(jù)最小二乘法擬合使12/2/202223最小二乘法的歸一化問題例如n=400次，N=20個區(qū)間解決的方法是從數(shù)據(jù)中直接得到n，或者最好是用最大似然法定n。12/1/202223最小二乘法的歸一化問題例如n=412/2/202224用最小二乘法并合各實驗結(jié)果用最小二乘法得到

的N個測量的權(quán)重平均值在各測量量不相關(guān)的情況下，并合方法與最大似然法一樣。12/1/202224用最小二乘法并合各實驗結(jié)果用最小二乘法12/2/202225兩個相關(guān)實驗的平均值假設(shè)有兩相關(guān)測量量y1,y2，且因第二個測量導(dǎo)致方差倒數(shù)的增加為加權(quán)平均的結(jié)果將不在y1和y2之間。如果是由于使用相同數(shù)據(jù)的話，上述情況不可能發(fā)生，但有卻可能來自共同的隨機(jī)效應(yīng)；此時的平均值很不可信，例如，1，2不正確。第二個測量結(jié)果對平均值有幫助。12/1/202225兩個相關(guān)實驗的平均值假設(shè)有兩相關(guān)測量量12/2/202226例：用不同尺子測量長度實驗上采用兩把由不同材質(zhì)做成的尺子測量一物體的長度。已知它們在不同溫度下有不同的伸縮系數(shù)，即根據(jù)誤差傳遞公式，可以計算長度估計量的誤差為假設(shè)測量是無偏的，也就是方差矩陣為12/1/202226例：用不同尺子測量長度實驗上采用兩把由12/2/202227例：用不同尺子測量長度（續(xù)）相關(guān)系數(shù)為加權(quán)平均值為如果溫度的誤差很小可以忽略，則均值的估計值必在兩測量值之間。而如果長度測量誤差很小可以忽略，而且相關(guān)系數(shù)接近1時，則會出現(xiàn)方差為零的極端情況這種情況通常是溫度測量極不可靠造成的。12/1/202227例：用不同尺子測量長度（續(xù)）相關(guān)系數(shù)為12/2/202228小結(jié)與最大似然法的聯(lián)系線性的最小二乘法估計非線性的最小二乘法估計約束條件下的最小二乘法擬合用最小二乘法檢驗擬合優(yōu)度用最小二乘法處理分區(qū)數(shù)據(jù)不等精度關(guān)聯(lián)實驗結(jié)果的并合問題對于高斯分布量yi，兩者相同估計是通過求矩陣的逆來完成，估計量是測量量yi的線性函數(shù)

估計是通過迭代來完成，方差可采用線性情況2=2min+1來估計

用2min做擬合優(yōu)度統(tǒng)計，滿足N-m自由度下的2概率密度函數(shù)分布把yi當(dāng)作泊松量，得到誤差估計i，或yi(推廣最小二乘法)對關(guān)聯(lián)情況的處理，誤差的修正

在約束條件下引入拉格朗日乘子改進(jìn)實驗觀測量的精度12/1/202228小結(jié)與最大似然法的聯(lián)系對于高斯分布量粒子物理與核物理實驗中的數(shù)據(jù)分析楊振偉清華大學(xué)第九講：最小二乘法粒子物理與核物理實驗中的數(shù)據(jù)分析楊振偉上一章回顧四種方法給出最大似然估計的方差數(shù)值方法蒙特卡羅方法RCF邊界方法圖解法雙參數(shù)的最大似然法（等高線）推廣的最大似然法（樣本總量為隨機(jī)數(shù)）最大似然法處理分區(qū)數(shù)據(jù)（區(qū)間大?。┯米畲笏迫环ê喜⒍嘟M測量結(jié)果12/2/202230上一章回顧四種方法給出最大似然估計的方差12/1/2022212/2/202231本講要點最小二乘法與最大似然法的關(guān)系線性情況下的最小二乘估計非線性情況下的最小二乘估計*約束情況下的最小二乘法*檢驗最小二乘法的擬合優(yōu)度應(yīng)用最小二乘法處理分區(qū)數(shù)據(jù)不等精度關(guān)聯(lián)實驗結(jié)果的并合問題12/1/20223本講要點最小二乘法與最大似然法的關(guān)系12/2/202232最小二乘法與最大似然法設(shè)有高斯隨機(jī)變量:yi,i=1,…,N,均值為對應(yīng)的對數(shù)似然函數(shù)(去掉與

無關(guān)的項)為對于獨立的高斯變量yi，聯(lián)合概率密度函數(shù)為12/1/20224最小二乘法與最大似然法設(shè)有高斯隨機(jī)變量:12/2/202233最小二乘估計量的定義如果

yi是多維高斯變量，協(xié)方差矩陣為V，滿足那么其對數(shù)似然函數(shù)為也就是說，我們應(yīng)求下式的最小值它的最小值定義了最小二乘法的估計量，即使yi不是高斯變量，該定義依然適用。(實際上，yi

通常是高斯的，因為中心極限定理會導(dǎo)出測量誤差近似高斯。)12/1/20225最小二乘估計量的定義如果yi是多維高12/2/202234兩種情況下的最小二乘參數(shù)估計盡管上式對任何含參數(shù)函數(shù)的具體形式均成立，但是，對參數(shù)的估計，可以根據(jù)理論預(yù)期值中所含參數(shù)的具體特征而采用不同的參數(shù)估計處理方法，簡化問題。線性情況：非線性情況：12/1/20226兩種情況下的最小二乘參數(shù)估計盡管上式對任12/2/202235線性最小二乘法估計這里aj(x)

是x

的任意線性獨立函數(shù)。用矩陣來表示時，令A(yù)ij=aj(xi)，有對

i

求偏微分，并令結(jié)果等于零，有解方程得到最小二乘法的估計量12/1/20227線性最小二乘法估計這里aj(x)是12/2/202236最小二乘估計量的方差等效地，可以利用下式來計算如果

yi是高斯變量時，其與RCF邊界一致。12/1/20228最小二乘估計量的方差等效地，可以利用下式12/2/202237最小二乘估計量的方差(續(xù))12/1/20229最小二乘估計量的方差(續(xù))12/2/202238多項式的最小二乘法擬合用一個多項式來擬合右圖第0階(一個參數(shù))第1階(兩個參數(shù))第4階(五個參數(shù))對于單參數(shù)擬合(例如上圖的橫線):例如:12/1/202210多項式的最小二乘法擬合用一個多項式來擬12/2/202239多項式的最小二乘法擬合(續(xù))對于雙參數(shù)擬合的情形(有非零斜率的直線)傾角給出相關(guān)系數(shù)。對于五個參量擬合的情形(有非零斜率的直線)2min值的大小反映了數(shù)據(jù)與假設(shè)之間的符合程度?？梢杂脕頇z驗擬合優(yōu)度。曲線通過所有點；2min=0，參數(shù)的數(shù)目=數(shù)據(jù)點的數(shù)目。12/1/202211多項式的最小二乘法擬合(續(xù))對于雙參數(shù)12/2/202240非線性最小二乘法估計*如果采用牛頓法求上式的最小值，第n+1次迭代公式可采用12/1/202212非線性最小二乘法估計*如果采用牛頓法求12/2/202241約束情況下的最小二乘法擬合*實際問題中會遇到測量量本身要受到某些物理定律的約束。求解可采用拉格朗日乘子法，對每一個約束引入因子i，例如，能動量守恒，衰變頂點約束等等。對一個事例有m個觀測量，無參數(shù)的最小二乘問題變?yōu)?2/1/202213約束情況下的最小二乘法擬合*實際問題中12/2/202242約束情況下的最小二乘法(續(xù)一)為了找到最小值，可以通過求微商方法而n+1

次迭代后設(shè)經(jīng)過n

次迭代以后，找到一組解，得到函數(shù)的值。在上對(n)

進(jìn)行線性展開，并略去高階項，得到12/1/202214約束情況下的最小二乘法(續(xù)一)為了找到12/2/202243約束情況下的最小二乘法(續(xù)二)兩式聯(lián)立消掉項，可以得到因此，可以得到第n+1

次迭代的l個拉格朗日乘子取值以及第n+1

次迭代的m

個測量量的預(yù)期值12/1/202215約束情況下的最小二乘法(續(xù)二)兩式聯(lián)立12/2/202244約束情況下的最小二乘法(續(xù)三)當(dāng)經(jīng)過n+1

次迭代以后，滿足下式時即可終止實驗中，為了提高測量精度而采用的四動量守恒約束擬合(4-Cfit)，頂點或質(zhì)量約束擬合(1-Cfit)，大都采用該方式來進(jìn)行。此時的

2值應(yīng)滿足自由度為（m-l）的

2分布。12/1/202216約束情況下的最小二乘法(續(xù)三)當(dāng)經(jīng)過12/2/202245例：粒子動量分辨的改進(jìn)例如，實驗觀測衰變通常情況下，探測器對光子探測的能量分辨率較差，從而影響到0粒子動量重建的精度。已知：r12/1/202217例：粒子動量分辨的改進(jìn)例如，實驗觀測衰12/2/202246例：粒子動量分辨的改進(jìn)（續(xù)）因此，每一個衰變事例的觀測量期待值為對應(yīng)于每個觀測量有誤差估計，而且已知相互間不相關(guān)。則無參數(shù)的最小二乘問題可寫為利用一個約束條件下，改進(jìn)的光子動量觀測值進(jìn)行重建研究，從的不變質(zhì)量譜可以看出光子的動量得到了明顯的改進(jìn)。12/1/202218例：粒子動量分辨的改進(jìn)（續(xù)）因此，每一12/2/202247檢驗最小二乘法的擬合優(yōu)度那么2min

服從N-m自由度的最小二乘概率密度函數(shù)分布。

據(jù)此來計算P-值例如在前面雙參數(shù)擬合中

也就是說，重復(fù)實驗多次，有26.3%的值將大于2min。進(jìn)行1000次蒙特卡羅實驗而對于水平線擬合，有P-值太??！12/1/202219檢驗最小二乘法的擬合優(yōu)度那么2min12/2/202248擬合優(yōu)度與誤差的最小值小的統(tǒng)計誤差并不意味著是一個好的擬合(反之亦然)2曲線在其最小值附近變化給出統(tǒng)計誤差；

2min的曲率大小給出擬合的優(yōu)度。在水平線擬合中，可以人為改變數(shù)據(jù)點縱向的位置，但保持誤差不變，使得方差與改變前一樣，但2min變“好”了。2(0)曲線只是向下平移，表明與數(shù)據(jù)符合更好。但曲線形狀并沒有發(fā)生變化，即誤差并沒有改變。12/1/202220擬合優(yōu)度與誤差的最小值小的統(tǒng)計誤差并不12/2/202249擬合優(yōu)度與誤差的最小值(續(xù))估計量的方差告訴我們：P-值告訴我們：如果實驗從復(fù)多次，估計量

分布有多寬。但是，它并不告訴我們假設(shè)是否正確。P-值太低，則假設(shè)可能有誤，即存在系統(tǒng)誤差。如果假設(shè)正確，并且實驗重復(fù)了多次，實驗與假設(shè)按照統(tǒng)計的2min

完全符合或符合得更差的比率是多少。12/1/202221擬合優(yōu)度與誤差的最小值(續(xù))估計量的方12/2/202250最小二乘法處理分區(qū)數(shù)據(jù)最小二乘法擬合使下式有最小值把yi

看做泊松分布的隨機(jī)變量，方差為改進(jìn)的最小二乘法雖方便了計算，但對于有些區(qū)間頻數(shù)太少時2min不再服從最小二乘的概率密度分布函數(shù)(或無定義)。12/1/202222最小二乘法處理分區(qū)數(shù)據(jù)最小二乘法擬合使12/2/202251最小二乘法的歸一化問題例如n=400次，N=20個區(qū)間解決的方法是從數(shù)據(jù)中直接得到n，或者最好是用最大似然法定n。12/1/202223最小二乘法的歸一化問題例如n=412/2/202252用最小二乘法并合各實驗結(jié)果用最小二乘法得到

的N個測量的權(quán)重平均值在各測量量不相關(guān)的情況下，并合方法與最大似然法一樣。12/1/202224用