試驗數(shù)據(jù)的獲取準備和處理方法劉愛陽

試驗設(shè)計數(shù)據(jù)獲取、處理和準備方法

目錄

試驗設(shè)計與數(shù)據(jù)處理的概念

試驗數(shù)據(jù)的分類及獲取方法

試驗數(shù)據(jù)的準備及整理

試驗數(shù)據(jù)的表圖表示法1試驗設(shè)計與數(shù)據(jù)處理的概念200220012000

試驗設(shè)計與數(shù)據(jù)處理是以概率論、數(shù)理統(tǒng)計及線性代數(shù)為理論基礎(chǔ)，結(jié)合專業(yè)知識和實踐經(jīng)驗，研究經(jīng)濟、合理地安排試驗方案以及系統(tǒng)、并對試驗數(shù)據(jù)進行計算分析，最終達到減少試驗次數(shù)、縮短試驗周期、迅速找到優(yōu)化方案的一種科學計算方法。它主要應(yīng)用于工農(nóng)業(yè)生產(chǎn)和科學研究過程中的科學試驗，是產(chǎn)品設(shè)計、質(zhì)量管理和科學研究的重要工具和方法。2試驗數(shù)據(jù)的分類及獲取方法

2.1數(shù)量資料數(shù)量資料是指通過測量、計量或計數(shù)方式而獲得的數(shù)據(jù)，有計量資料（連續(xù)性資料）和計數(shù)資料（間斷性資料）之分。（1）計量資料指用度、量、衡等計量工具直接測定而獲得的數(shù)據(jù)資料。各個觀測值不一定是整數(shù)，兩個相鄰的整數(shù)間可以有帶小數(shù)的數(shù)值出現(xiàn)，各個觀測值之間的變異是連續(xù)性的。因此計量資料又稱為連續(xù)性變異資料。如食品中各種營養(yǎng)成分的含量、蘋果個體的重量、小麥中淀粉的含量等。（2）計數(shù)資料指用計數(shù)方式得到的數(shù)據(jù)資料。在試驗數(shù)據(jù)可分為以下幾種，且不同的數(shù)據(jù)類型有不同途徑的獲取方法。（2）計數(shù)資料指用計數(shù)方式得到的數(shù)據(jù)資料。在這類資料這類資料中，各個觀測值只能以整數(shù)表示，各個觀測值不是連續(xù)的,因此該類資料也稱為不連續(xù)性變異資料或間斷性變異資料。如盒裝方便面的份數(shù)、一箱飲料的瓶數(shù)、微生物的個數(shù)、腐爛蘋果的個數(shù)等。2.2質(zhì)量資料質(zhì)量資料是指不方便直接測量，只能通過觀察，用文字來描述其特征而獲得的資料，如食品顏色、風味等。這類特征不能直接用數(shù)值表示，要獲得這類特征的數(shù)據(jù)，需要對其結(jié)果作必要的數(shù)量化處理。（1）評分法這是食品感官中常用的一種方法。一般請若干有經(jīng)驗的人，根據(jù)相關(guān)評判標準，對試驗產(chǎn)品的指標綜合評判打分，用評分進行統(tǒng)計分析。例如，分析面包的質(zhì)量時，可以按照國際面包評分細則進行打分，綜合評價面包質(zhì)量。（2）統(tǒng)計次數(shù)法在一定的總體或樣本中，根據(jù)某一質(zhì)量性狀的類別統(tǒng)計其次數(shù)，以次數(shù)作為質(zhì)量性狀的數(shù)據(jù)。例如，在研究批次產(chǎn)品合格數(shù)與次品數(shù)時，可以統(tǒng)計其合格與次品個數(shù)。（3）分級法將變異的性狀分成幾級，每一級分別指定以適當?shù)臄?shù)值表示。例如食品褐變程度按深淺分為五級。（4）秩次法將各種處理按指標性狀的好壞依次排隊，排隊的順序為秩，用處理的秩和進行統(tǒng)計分析，這在食品感官評定過程中常用到。（5）化學分析法對于某些質(zhì)量指標，雖然用分級法、評分法、統(tǒng)計次數(shù)法也能得到數(shù)量資料，但得到的多數(shù)是次數(shù)資料。若借助化學分析手段即可得到計量資料。例如果汁的色澤可通過測定果汁中花青苷的光密度來表示，澄清度可用測定其透光率來表示等。除以上幾種方法以外，也可以借助必要的先進儀器來評價質(zhì)量指標，獲得數(shù)量資料。如質(zhì)構(gòu)儀、色差計、色譜儀、質(zhì)譜儀等。3試驗數(shù)據(jù)的準備及整理獲得的數(shù)據(jù)在在未整理之前，稱為原始數(shù)據(jù)。通常，通過生產(chǎn)記錄、抽樣檢驗和試驗研究得到的大量原始數(shù)據(jù)都是零星的、孤立的、和雜亂無章的，少有規(guī)律性可循。但通過對它們進行科學的整理和分析，則可發(fā)現(xiàn)其規(guī)律性，揭示事物的本質(zhì)。數(shù)據(jù)資料的準備及整理是進一步分析處理的基礎(chǔ)。3.1數(shù)據(jù)的檢查與核對在對原始數(shù)據(jù)進行整理之前，首先要對全部數(shù)據(jù)進行檢查與核對，然后再根據(jù)數(shù)據(jù)資料的類型及研究的目的對數(shù)據(jù)進行整理。檢查與核對原始數(shù)據(jù)的目的在于確保原始資料的完整性和正確性。所謂正確性是指原始數(shù)據(jù)的測量或記載無差錯。檢查中要特別注意特大、特小或異常數(shù)據(jù)。對于有重復、異?；蜻z漏的數(shù)據(jù)，應(yīng)予以刪除或補齊；對于有錯誤或相互矛盾的數(shù)據(jù)資料應(yīng)進行更正，必要時進行復查或重新試驗。3.2可疑值檢驗檢驗和剔除異常數(shù)據(jù)是統(tǒng)計分析中應(yīng)當注意的重要問題?？梢芍禉z驗是用數(shù)理統(tǒng)計方法檢驗測定數(shù)據(jù)是否存在應(yīng)剔除的值。方法：Q值檢驗法和格魯布斯檢驗法目的：確定某個數(shù)據(jù)是否可用3.2.1Q值檢驗法步驟:（1）數(shù)據(jù)從小至大排列x1，x2，……，xn（2）求極差xn－x1（3）求出可疑值與其最相鄰數(shù)據(jù)之間的差值的絕對值。（4）計算：（5）根據(jù)測定次數(shù)和要求的置信度（如90%）查表：不同置信度下，舍棄可疑數(shù)據(jù)的Q值表

測定次數(shù)Q0.90Q0.95

3

0.940.98

40.760.85

50.640.73

60.560.69

70.510.59

80.470.54

90.440.51

100.410.48（6）判斷：將Q計與Q表（如Q0.90）相比，Q計>Q表舍棄該數(shù)據(jù),否則應(yīng)予保留，當數(shù)據(jù)較少時舍去一個后，應(yīng)補加一個數(shù)據(jù)。

3.2.2格魯布斯(Grubbs)檢驗法步驟:（1）數(shù)據(jù)從小至大排列x1，x2，……，xn（2）計算該組數(shù)據(jù)的平均值和標準偏差S（3）確定檢驗端：比較可疑數(shù)據(jù)與平均值之差-x1與xn-，先檢驗差值大的一端（4）計算：（5）根據(jù)測定次數(shù)和要求的置信度（如95%）查表：

表1-2不同置信度下，舍棄可疑數(shù)據(jù)的G值表測定次數(shù)G0.95G0.993

1.151.1541.461.49

51.671.7561.821.9471.942.1082.032.2292.112.32102.182.41（6）將G計與G表（如G0.95）相比，若G計>G表舍棄該數(shù)據(jù),否則應(yīng)予保留。當數(shù)據(jù)較少時舍去一個后，應(yīng)補加一個數(shù)討論：由于格魯布斯(Grubbs)檢驗法使用了所有數(shù)據(jù)的平均值和標準差，故準確性比Q檢驗法好。3.3連續(xù)性數(shù)據(jù)資料的整理連續(xù)性數(shù)據(jù)資料的整理通常采用組距式分組的方法，基本步驟是先確定全距、組數(shù)、組距、組中值及組限，然后將全部觀測值計數(shù)歸組。

表3-1120位同學的考試成績

（1）求全距。全距是數(shù)據(jù)中最大值與最小值之差，又稱極差，極為R。表中最大值為95，最小值為64，則全距為R=95-64=31.0（2）確定組數(shù)。組數(shù)要適當，一般以達到既簡化數(shù)據(jù)又不影響反應(yīng)數(shù)據(jù)的規(guī)律性為原則。（3）確定組距。每組最大值與最小值之差稱為組距，記為i。等組距分組時，組距的計算公式為：組距（i）=全距/組數(shù)本例i=31.0/16=2.0（4）確定組限及組中值。各組的最大值與最小值稱為組限。最小值稱為下限，最大值稱為上限。每一組的中點值稱為組中值。顯然，組中值=（組下限+組上限）/2，它是該組的代表值。組距確定后，首先要選定第一組的組中值。為了避免第一組歸組后數(shù)據(jù)太多，且能較正確地反應(yīng)數(shù)據(jù)的規(guī)律性，第一組的組中值以近似于或等于數(shù)據(jù)中的最小值為好。第一組組中值確定后該組組限即可確定。（5）制作次數(shù)分布表。分組結(jié)束后，將數(shù)據(jù)資料中的每一觀測值逐一歸組，統(tǒng)計每組組限內(nèi)所包含的觀測值個數(shù)，作為各組的次數(shù)，如此便完成了次數(shù)分布表。120位同學的成績分布表見表3-2。從表中可以看出數(shù)據(jù)的分布情況。表3-2120位同學的成績的次數(shù)分布

次數(shù)分布表不僅簡化了數(shù)據(jù)，達到了壓縮統(tǒng)計數(shù)據(jù)的目的，給人更加清晰的概念，同時對試驗數(shù)據(jù)的集中與分散程度有了進一步的認識。例如，120位同學的成績，多數(shù)集中在79.5~81.5，約占觀測值總個數(shù)的三分之一，用它來代表同學們成績的平均水平，有較強的代表性。由次數(shù)分布表還可看出，同學們的成績小于65及大于93的，均為極少數(shù)，分別只占到觀測值的0.6%。而且通過次數(shù)分布表，可以更加清楚地看到，120位同學的成績分于正態(tài)分布，即以79.5~81.5為中心，向兩邊做遞減的對稱分布。次數(shù)分布表不僅便于觀察數(shù)據(jù)的規(guī)律性，而且可根據(jù)它繪成次數(shù)分布圖及計算平均數(shù)、標準差等統(tǒng)計量。3.3間斷性數(shù)據(jù)資料的整理間斷性數(shù)據(jù)資料的整理常采用單項式分組法。其方法是用樣本的觀測值直接進行分組，每組均用一個觀測值表示。分組時，將數(shù)據(jù)中的每個觀測值歸入相應(yīng)的組內(nèi)，然后計數(shù)，制成次數(shù)分布表。若資料中數(shù)據(jù)的變異范圍較大時也應(yīng)采用組距式分組法，此時各組的上下限均應(yīng)列出。3.4質(zhì)量資料的整理對于質(zhì)量資料可以按照類別或等級進行分組，分別統(tǒng)計各組的次數(shù)，然后制成次數(shù)分布表。

同時，在試驗過程中由于實驗儀器精度的限制，實驗方法的不完善，科研人員認識能力的不足和科學水平的限制等方面的原因，在試驗中獲得的試驗值與它的客觀真實值并不一致，這種矛盾在數(shù)值上表現(xiàn)為誤差（error）?？梢?，誤差是與準確相反的一個概念，可以用誤差來說明試驗數(shù)據(jù)的準確程度。試驗結(jié)果都具有誤差，誤差自始至終存在于一切科學實驗過程中。隨著科學水平的提高和人們經(jīng)驗、技巧、專門知識的豐富，誤差可以被控制的越來越小，但是不能完全消除。3.5.1真值與平均值

真值（truevalue）是指在某一時刻或者某一狀態(tài)下，某量的客觀值或?qū)嶋H值。

在科學試驗中，雖然試驗誤差在所難免，但平均值（mean）可綜合反應(yīng)試驗值在一定條件下的一般水平，所以在科學試驗中，經(jīng)常將多次試驗值的平均值作為真值的近似值。3.5.2誤差的基本概念

試驗值與真值之差稱為絕對誤差，即絕對誤差=試驗值-真值

絕對誤差雖然在一定條件下能反映試驗值的準確程度，但還不全面。例如兩城市之間的距離為200450m，若測量的絕對誤差為2m，則這次測量的準確度是很高的；但是2m的絕對誤差對于人身高的測量而言是不能容許的。所以，為了判斷試驗值的準確性，還必須考慮試驗值本身的大小，故引出了相對誤差。3.5試驗數(shù)據(jù)的誤差分析3.5.3試驗數(shù)據(jù)的來源及分類

誤差根據(jù)其性質(zhì)或產(chǎn)生的原因，可分為隨機誤差、系統(tǒng)誤差、和過失誤差

隨機誤差是指在一定試驗條件下，以不可預(yù)知的規(guī)律變化著的誤差，多次試驗值的絕對誤差時大時小。

系統(tǒng)誤差是指在一定試驗條件下，由某個或某些因素按照某一確定的規(guī)律起作用而形成的誤差

過失誤差是一種與事實不符的誤差，沒有一定的規(guī)律，它主要由于實驗人員粗心大意造成的。3.5.4試驗數(shù)據(jù)的精準度

精密度反映了隨機誤差大小的程度，是指在一定的試驗條件下，多次試驗值的彼此符合程度或一致程度。精密度的概念與重復試驗時單次試驗值的變動性有關(guān)，如果試驗數(shù)據(jù)分散程度較小，則說明是精密的。例如，甲、乙兩人對同一個量進行測量，得到兩組試驗值：

甲：11.4511.4611.4511.44乙：11.3911.4511.4811.50很顯然，甲組數(shù)據(jù)的彼此符合程度好于乙組，故甲組數(shù)據(jù)的精密度較高

正確度：正確度是指大量測試結(jié)果的（算術(shù)）平均值與真值或接受參照值之間的一致程度，它反映了系統(tǒng)誤差的大小，是指在一定的試驗條件下，所有系統(tǒng)誤差的綜合。

準確度：反映了系統(tǒng)誤差和隨機誤差的綜合，表示了試驗結(jié)果與真值或標準值的一致程度

。

4試驗數(shù)據(jù)的表圖表示法

統(tǒng)計表是用表格的形式來表示數(shù)量關(guān)系，使數(shù)據(jù)條理化、系統(tǒng)化，便于理解、分析和比較。統(tǒng)計圖是用幾何圖形來表示數(shù)量關(guān)系，不同形狀的幾何圖形可以將研究對象的特征、內(nèi)部構(gòu)成、相互關(guān)系等形象直觀地表達出來，便于比較分析。4.1統(tǒng)計表4.1.1統(tǒng)計表的結(jié)構(gòu)和要求（1）標題。標題要簡明扼要，有時須注明時間、地點，列于表的上方。（2）標目。標目分橫標目和縱標目兩項。橫標目列在標的左側(cè)，用于表示被說明事項的主要標志；縱標目列在表的上統(tǒng)計表的結(jié)構(gòu)和要求

標題要簡明扼要，有時須注明時間、地點，列于表的上方。表的上下兩條邊線略粗，縱、橫標目間及合計可用細線分開，表的左右邊線應(yīng)略去?，F(xiàn)在多用所謂“三線表”，即表中不繪縱線。

（1）標題（2）標目標目分橫標目和縱標目兩項。橫標目列在標的左側(cè)，用于表示被說明事項的主要標志；縱標目列在表的上端，說明橫標目各統(tǒng)計指標的內(nèi)容，并注明計算單位，如%、kg、cm等。（3）線條4.1.2統(tǒng)計表的種類1簡單表由一橫標目和一縱標目組成，縱、橫標目均未分組的統(tǒng)計表稱為簡單表。2復合表縱、橫標目兩者至少有其中之一被分為兩組或兩組以上的統(tǒng)計表稱為復合表。表4-1為復合表。表4-1不同品種的蘋果貯藏4個月時果實硬度的變化4.2統(tǒng)計圖統(tǒng)計圖是用圖形將統(tǒng)計資料形象化，利用線條的高低、面積的大小及點的分布來表示數(shù)量的變化，形象直觀、一目了然。常用的統(tǒng)計圖有長條