數(shù)據(jù)處理及回歸分析

數(shù)據(jù)處理及回歸分析第1頁，課件共65頁，創(chuàng)作于2023年2月幾種常見的數(shù)據(jù)處理方法線性回歸分析目錄第2頁，課件共65頁，創(chuàng)作于2023年2月§1列表法

---三線式表格一、幾種常見的數(shù)據(jù)處理方法表格的基本結(jié)構(gòu)：通常由表頭、項目欄和數(shù)據(jù)欄組成

表頭:表格的編號、名稱。

項目欄：相關(guān)物理量，單位等。

數(shù)據(jù)欄：記錄測量數(shù)據(jù)。第3頁，課件共65頁，創(chuàng)作于2023年2月三線式表格無邊框的表格，只由三條橫線組成。分別是：

起始線：表格序號和名稱應(yīng)寫在起始線上方。分隔線：用來分隔項目欄和數(shù)據(jù)欄。終止線：數(shù)據(jù)到此為止。第4頁，課件共65頁，創(chuàng)作于2023年2月

列表的要求是：（1）簡明。（2）標明物理量的意義，注明單位及數(shù)量級。（3）正確反映測量結(jié)果的有效數(shù)字。第5頁，課件共65頁，創(chuàng)作于2023年2月第6頁，課件共65頁，創(chuàng)作于2023年2月§2圖解圖示法

圖示法可以形象、直觀地顯示出物理量之間的函數(shù)關(guān)系，也可以得出某些物理參數(shù)，因此它是一種重要的數(shù)據(jù)處理方法。作圖時要先整理出數(shù)據(jù)表格，并要用坐標紙作圖。圖解法是將實驗測量數(shù)據(jù)按其對應(yīng)關(guān)系在坐標紙上描繪出一條光滑的曲線。此曲線可以顯示出物理量間的關(guān)系。第7頁，課件共65頁，創(chuàng)作于2023年2月作圖要求：

坐標軸：一般以自變量為X軸,應(yīng)變量為Y軸。并畫出坐標軸，用箭頭標明坐標軸方向，寫上物理量名稱或符號、單位。

定標尺：標明坐標紙上的一小格代表的大小。

描點：清晰準確地標出實驗數(shù)據(jù)點。

選坐標紙：選擇合適的坐標紙,包括類型和大小。

連線：用直尺、曲線板等把數(shù)據(jù)點連成直線或光滑曲線。連線時應(yīng)該使數(shù)據(jù)點均勻分布在圖線兩邊。

標上圖名。

第8頁，課件共65頁，創(chuàng)作于2023年2月I(mA)U(V)8.004.0020.0016.0012.0018.0014.0010.006.002.0002.004.006.008.0010.001.003.005.007.009.00電阻伏安特性曲線圖A(1.00,2.76)B(7.00,18.58)由圖上A、B兩點可得被測電阻R為：作者：xx圖名作圖者姓名第9頁，課件共65頁，創(chuàng)作于2023年2月nλ(nm)1.6500500.0700.01.67001.66001.70001.69001.6800600.0400.0玻璃材料色散曲線圖圖1曲線太粗，不均勻，不光滑。應(yīng)該用直尺、曲線板等工具把實驗點連成光滑、均勻的細實線。錯在哪里？第10頁，課件共65頁，創(chuàng)作于2023年2月nλ(nm)1.6500500.0700.01.67001.66001.70001.69001.6800600.0400.0玻璃材料色散曲線圖第11頁，課件共65頁，創(chuàng)作于2023年2月I(mA)U(V)02.008.004.0020.0016.0012.0018.0014.0010.006.002.001.003.00電學(xué)元件伏安特性曲線圖橫軸坐標分度選取不當(dāng)。橫軸以3cm

代表1V，使作圖和讀圖都很困難。實際在選擇坐標分度值時，應(yīng)既滿足有效數(shù)字的要求又便于作圖和讀圖，一般以1mm代表的量值是10的整數(shù)次冪或是其2倍或5倍。錯在哪里？第12頁，課件共65頁，創(chuàng)作于2023年2月I(mA)U(V)o1.002.003.004.008.004.0020.0016.0012.0018.0014.0010.006.002.00電學(xué)元件伏安特性曲線第13頁，課件共65頁，創(chuàng)作于2023年2月定容氣體壓強～溫度曲線1.20001.60000.80000.4000圖3P(×105Pa)t(℃)60.00140.00100.00o120.0080.0040.0020.00圖紙使用不當(dāng)。實際作圖時，坐標原點的讀數(shù)可以不從零開始。錯在哪里？第14頁，課件共65頁，創(chuàng)作于2023年2月物理實驗中心定容氣體壓強～溫度曲線1.00001.15001.20001.10001.0500

P(×105Pa)50.0090.0070.0020.0080.0060.0040.0030.00t(℃)第15頁，課件共65頁，創(chuàng)作于2023年2月圖解法根據(jù)已有圖線，采用解析方法得出物理量之間的函數(shù)關(guān)系，這種由圖線求經(jīng)驗公式的方法稱為圖解法。斜率計算及不確定度第16頁，課件共65頁，創(chuàng)作于2023年2月曲線的改直在實際工作中，許多物理量之間的關(guān)系并不都是線性的，但仍可通過適當(dāng)?shù)淖儞Q而成為線性關(guān)系，即把曲線變換成直線，這種方法叫做曲線改直。作這樣的變換不僅是由于直線容易描繪，更重要的是直線的斜率和截距所包含的物理內(nèi)涵是我們所需要的，例如：（1），式中a，b為常量，可變換成的線性函數(shù)斜率為b，截距為lg

a。（2），式中a，b為常量，可變換成的線性函數(shù)，斜率為lg

b，截距為lg

a。第17頁，課件共65頁，創(chuàng)作于2023年2月（3）PV=C，式中C為常量，可變換成P=C(1/V)，P是1/V的線性函數(shù)，斜率為C。（4），式中p為常量，可變換成的線性函數(shù)，斜率為。（5），式中a，b為常量，可變換成的線性函數(shù)，斜率為a，截距為b。第18頁，課件共65頁，創(chuàng)作于2023年2月目的：在數(shù)據(jù)處理過程中，能把所有的數(shù)據(jù)都用上，這樣可以使誤差小一點。

§3逐差法第19頁，課件共65頁，創(chuàng)作于2023年2月砝碼質(zhì)量(Kg)彈簧伸長位(cm)

0.00x01.00x12.00x23.00x34.00x45.00x56.00x67.00x7例：測量每增加1kg，彈簧的平均伸長量？測量彈簧的倔強系數(shù)數(shù)據(jù)表第20頁，課件共65頁，創(chuàng)作于2023年2月逐項逐差法處理這樣,彈簧的平均伸長量為:這樣處理的缺點在哪里？第21頁，課件共65頁，創(chuàng)作于2023年2月跳項逐差法處理首先把數(shù)據(jù)分為兩組然后計算每增加4kg，彈簧的伸長量，最后算出每增加1kg，彈簧的平均伸長量。不確定度？第22頁，課件共65頁，創(chuàng)作于2023年2月

優(yōu)點：充分利用數(shù)據(jù)，達到多次測量以減小誤差的效果。

適用條件①因變量和自變量之間為線性關(guān)系。②自變量是等量變化。第23頁，課件共65頁，創(chuàng)作于2023年2月§4最小二乘法第24頁，課件共65頁，創(chuàng)作于2023年2月二、回歸分析§1相關(guān)與回歸客觀世界中普遍存在著變量間的關(guān)系，而變量間的關(guān)系一般可分為兩類：確定性關(guān)系和非確定性關(guān)系。

確定性關(guān)系：變量間的函數(shù)關(guān)系。第25頁，課件共65頁，創(chuàng)作于2023年2月非確定性關(guān)系：不能用函數(shù)來表示的變量間關(guān)系，也稱為相關(guān)關(guān)系或統(tǒng)計關(guān)系。身高與體重；血壓與年齡；樹高與生長時間；商品的銷售量與單價相關(guān)關(guān)系：對于兩個變量，當(dāng)自變量取值一定是，因變量的取值帶有一定隨機性的兩個變量之間的關(guān)系第26頁，課件共65頁，創(chuàng)作于2023年2月§2回歸分析（1）確定變量之間數(shù)量關(guān)系的可能形式，并用一個數(shù)學(xué)模型來表示這種關(guān)系形式（2）X是非隨機變量或隨機變量，Y是隨機變量，對X的每一確定值都有Y的一個確定分布與之對應(yīng)。第27頁，課件共65頁，創(chuàng)作于2023年2月一個自變量兩個及兩個以上自變量回歸分析多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸第28頁，課件共65頁，創(chuàng)作于2023年2月§3相關(guān)分析和回歸分析的區(qū)別與聯(lián)系1.聯(lián)系二者具有共同的研究對象，而且在具體應(yīng)用時，常常必須互相補充。相關(guān)分析需要依靠回歸分析來表明現(xiàn)象數(shù)量相關(guān)的具體形式，而回歸分析則需要依靠相關(guān)分析來表明現(xiàn)象數(shù)量變化的相關(guān)程度。只有當(dāng)變量之間存在著高度相關(guān)時，進行回歸分析尋求其相關(guān)的具體形式才有意義。第29頁，課件共65頁，創(chuàng)作于2023年2月2.區(qū)別（1）相關(guān)分析研究變量之間相關(guān)的方向和程度，但不能指出變量間相互關(guān)系的具體形式，也無法從一個變量的變化來推測另一個變量的變化情況?；貧w分析則研究變量之間相互關(guān)系的具體形式，它對具有相關(guān)關(guān)系的變量之間的數(shù)量聯(lián)系進行測定，確定一個相關(guān)的數(shù)學(xué)方程式，根據(jù)這個數(shù)學(xué)方程式可以從已知量來推測未知量，從而為估算和預(yù)測提供一個重要的方法。第30頁，課件共65頁，創(chuàng)作于2023年2月（2）相關(guān)分析可以不必確定變量中哪個是自變量，哪個是因變量，其所涉及的變量可以都是隨機變量。而回歸分析則必須事先研究確定具有相關(guān)關(guān)系的變量中哪個為自變量，哪個為因變量。第31頁，課件共65頁，創(chuàng)作于2023年2月§4.回歸分析主要解決的問題：⑴從一組數(shù)據(jù)出發(fā)，確定這些變量之間的數(shù)學(xué)表達式——回歸方程或經(jīng)驗公式。⑵對回歸方程的可信程度進行統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著。⑶利用所求的關(guān)系式，根據(jù)一個或幾個變量的值，預(yù)測或控制另一個變量的值，并要知道這種預(yù)測或控制可達到的精密度。第32頁，課件共65頁，創(chuàng)作于2023年2月§5回歸分析的基本過程1、在定性和定量分析的基礎(chǔ)上確定變量間的相關(guān)關(guān)系。2、建立回歸分析模型。3、對模型中的參數(shù)求解。4、對回歸模型的顯著性進行檢驗。5、回歸模型的修正和改進。第33頁，課件共65頁，創(chuàng)作于2023年2月§6回歸模型的建立（1）一元線性回歸模型

假定因變量y主要受自變量x的影響，它們之間的簡單線性回歸模型如下：為參數(shù)，為隨機誤差項。⑴y是x的線性函數(shù)部分加上誤差項⑵線性部分反映了由于x的變化而引起y的變化

第34頁，課件共65頁，創(chuàng)作于2023年2月對于誤差項，在回歸分析中有如下假設(shè)：（1）誤差項是隨機變量，它的期望值為0；（2）對于所有的x值，誤差項的方差為常數(shù)；（3）誤差項之間相互獨立，即與一個值相聯(lián)系的誤差對與另一個值相聯(lián)系的誤差沒有影響；（4）隨機誤差項服從正態(tài)分布。第35頁，課件共65頁，創(chuàng)作于2023年2月§7一元線性回歸方程

描述y的均值或期望與x的關(guān)系的方程叫做回歸方程。由于，，所以不難看出，簡單線性回歸方程的圖形是一條直線。這條直線被稱為總體回歸直線。是回歸直線的截距，是回歸直線的斜率，E(y)是給定某個x的值y的均值或期望值。各實際觀測點與總體回歸線垂直方向的間隔，就是隨機誤差項ε，即第36頁，課件共65頁，創(chuàng)作于2023年2月如果因變量y與自變量x的相關(guān)關(guān)系是近似直線的關(guān)系，則一元線性回歸的模型為：——y的估計值或預(yù)測值，——回歸系數(shù)。確定了a與b的值，直線的位置也就相應(yīng)地確定了。第37頁，課件共65頁，創(chuàng)作于2023年2月§8最小二乘法確定模型參數(shù)最小二乘法的基本原理就是尋一條總的看來離各散點最近的一條直線，使實際值y與相應(yīng)的理論值之間的誤差達到最小。即：第38頁，課件共65頁，創(chuàng)作于2023年2月根據(jù)微積分的極值定理，Q最小的必要條件為：第39頁，課件共65頁，創(chuàng)作于2023年2月整理后得如下方程，稱最小二乘法的標準方程：解方程得第40頁，課件共65頁，創(chuàng)作于2023年2月例：以下表的數(shù)據(jù)擬合生產(chǎn)費用對產(chǎn)量的回歸直線方程企業(yè)編號產(chǎn)量x生產(chǎn)費用y12345678910111240425055657884100116125130140130150155140150154156170167180175185160017642500302542256084705610000134561562516900196001690022500240251960022500237162722528900278893240030625342255200630077507700975012012138601700019372225002275025900合計10251921101835310505170094第41頁，課件共65頁，創(chuàng)作于2023年2月將表中有關(guān)數(shù)據(jù)代入公式中：第42頁，課件共65頁，創(chuàng)作于2023年2月生產(chǎn)費用對產(chǎn)量的直線回歸方程為：其中a＝124.15（千克）的含義為生產(chǎn)費用的起點值；b＝0.4027表示產(chǎn)品產(chǎn)量每增加1千件，生產(chǎn)費用平均增加0.4027千元。第43頁，課件共65頁，創(chuàng)作于2023年2月下圖可看散點圖與回歸直線的關(guān)系：············第44頁，課件共65頁，創(chuàng)作于2023年2月§9回歸效果的F檢驗從一組數(shù)據(jù)根據(jù)最小二乘法可以擬合出一元線性方程，但是如果散點圖中的數(shù)據(jù)點分散，不呈線性，此時的線性回歸方程是沒有意義的。因此，提出了所得到的直線是否有顯著意義，即是否與兩個變量問實際關(guān)系相符合的問題，即必須對回歸的效果做顯若性檢驗?；貧w顯著性檢驗(regressionsignificanttest)方法有：①相關(guān)系數(shù)r檢驗法、②t檢驗法、③F檢驗法，下面討論F檢驗法。第45頁，課件共65頁，創(chuàng)作于2023年2月xyy{}}離差分解圖第46頁，課件共65頁，創(chuàng)作于2023年2月測量值y1,y2,…,yn之間的差異，是由兩個方面的原因引起的：一是自變量x取值的不同；二是測量誤差等其他因素的影響。為了對線性回歸的效果進行檢驗，需要將他們分離出來，將變量y的n個測值yi與其平均值的偏差（）分解為有x的不同取值引起的回歸偏差（）和由測量誤差等其他因素造成的殘余誤差（）即第47頁，課件共65頁，創(chuàng)作于2023年2月兩端平方后求和有SST=SSR+SSE總變差平方和（SST）{回歸平方和（SSR）{殘差平方和（SSE）{并進一步用n個取值的偏離平方和來描述它們，分別記為

第48頁，課件共65頁，創(chuàng)作于2023年2月總偏差平方和分解為回歸平方和及殘余平方和?；貧w平方和反映了在y總的偏差中因x和y的線性關(guān)系而引起y變化的大小。殘余平方和反映了在y總的偏離中除了x對y線性影響之外的其他因素而引起y變化的大小。這些因素包括測量誤差，x和y不能用直線關(guān)系描述的因柬以及其他未加控制的因素等。如上節(jié)所述，回歸分析的要求就是使殘余平方和最小，即∑殘愈小，回歸效果愈好。

第49頁，課件共65頁，創(chuàng)作于2023年2月

總偏差平方和回歸平方和殘余平方和意義反映因變量的n個觀測值與其均值得總偏差在總的偏差中因x和y的線性關(guān)系而引起變化的大小在總的偏離中除了x對y線性影響之外的其它因素而引起y變化的大小三個平方和的意義：第50頁，課件共65頁，創(chuàng)作于2023年2月由回歸平方和及殘余平方和的意義可知，一個線性回歸方程是否顯著，取決于和的大小。若愈大而愈小，則說明與的線性回歸的關(guān)系愈密切。構(gòu)造統(tǒng)計量：

其中，為回歸平方和的自由度，為殘余平方和的自由度第51頁，課件共65頁，創(chuàng)作于2023年2月自由度是指獨立觀測值的個數(shù)，因中n個觀測值受平均值的約束，則有一個觀測值不是獨立的，即失去了一個自由度，=n-1,

中只有b是獨立變化的，即自由度=1。

則=n-2,則有第52頁，課件共65頁，創(chuàng)作于2023年2月在給定顯著性水平α下，由F分布表差得臨界值，將計算值F與比較，若F＞，則認為該回歸效果顯著，反之，則不顯著。

第53頁，課件共65頁，創(chuàng)作于2023年2月中的分母為殘余方差：殘余標準差為：

它的意義表征除了x與y線性關(guān)系之外其他因素影響y值偏的大小

第54頁，課件共65頁，創(chuàng)作于2023年2月§10回歸直線的擬合優(yōu)度及測定系數(shù)擬合優(yōu)度：回歸直線與各觀測點的接近程度稱為回歸直線對數(shù)據(jù)的擬合優(yōu)度。工具一──判定系數(shù)：對估計的回歸方程擬合優(yōu)度的度量工具。第55頁，課件共65頁，創(chuàng)作于2023年2月工具二──估計標準誤：度量各實際觀察點在直線周圍的離散狀況的統(tǒng)計量，其實質(zhì)是對誤差項e的標準差的估計,它可以看做是在排除了x對y的線性影響后，y隨機波動大小的一個估計量。第56頁，課件共65頁，創(chuàng)作于2023年2月§11非線性回歸1.化曲線擬合為直線擬合的步驟：⑴選擇回歸模型。根據(jù)實驗數(shù)據(jù)散點圖分布的特點以及所掌握的物理規(guī)律，選擇可線化函數(shù)的模型⑵作線性化變量變換后，按一元線性回歸問題計算待定的系數(shù)、原的剩余平方和。⑶如果對擬合結(jié)果不滿意，再選擇其它模型，重復(fù)以上步驟。⑷