試驗(yàn)數(shù)據(jù)的獲取準(zhǔn)備和處理方法劉愛(ài)陽(yáng)

試驗(yàn)設(shè)計(jì)數(shù)據(jù)獲取、處理和準(zhǔn)備方法

目錄

試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理的概念

試驗(yàn)數(shù)據(jù)的分類(lèi)及獲取方法

試驗(yàn)數(shù)據(jù)的準(zhǔn)備及整理

試驗(yàn)數(shù)據(jù)的表圖表示法1試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理的概念200220012000

試驗(yàn)設(shè)計(jì)與數(shù)據(jù)處理是以概率論、數(shù)理統(tǒng)計(jì)及線性代數(shù)為理論基礎(chǔ)，結(jié)合專(zhuān)業(yè)知識(shí)和實(shí)踐經(jīng)驗(yàn)，研究經(jīng)濟(jì)、合理地安排試驗(yàn)方案以及系統(tǒng)、并對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行計(jì)算分析，最終達(dá)到減少試驗(yàn)次數(shù)、縮短試驗(yàn)周期、迅速找到優(yōu)化方案的一種科學(xué)計(jì)算方法。它主要應(yīng)用于工農(nóng)業(yè)生產(chǎn)和科學(xué)研究過(guò)程中的科學(xué)試驗(yàn)，是產(chǎn)品設(shè)計(jì)、質(zhì)量管理和科學(xué)研究的重要工具和方法。2試驗(yàn)數(shù)據(jù)的分類(lèi)及獲取方法

2.1數(shù)量資料數(shù)量資料是指通過(guò)測(cè)量、計(jì)量或計(jì)數(shù)方式而獲得的數(shù)據(jù)，有計(jì)量資料（連續(xù)性資料）和計(jì)數(shù)資料（間斷性資料）之分。（1）計(jì)量資料指用度、量、衡等計(jì)量工具直接測(cè)定而獲得的數(shù)據(jù)資料。各個(gè)觀測(cè)值不一定是整數(shù)，兩個(gè)相鄰的整數(shù)間可以有帶小數(shù)的數(shù)值出現(xiàn)，各個(gè)觀測(cè)值之間的變異是連續(xù)性的。因此計(jì)量資料又稱(chēng)為連續(xù)性變異資料。如食品中各種營(yíng)養(yǎng)成分的含量、蘋(píng)果個(gè)體的重量、小麥中淀粉的含量等。（2）計(jì)數(shù)資料指用計(jì)數(shù)方式得到的數(shù)據(jù)資料。在試驗(yàn)數(shù)據(jù)可分為以下幾種，且不同的數(shù)據(jù)類(lèi)型有不同途徑的獲取方法。（2）計(jì)數(shù)資料指用計(jì)數(shù)方式得到的數(shù)據(jù)資料。在這類(lèi)資料這類(lèi)資料中，各個(gè)觀測(cè)值只能以整數(shù)表示，各個(gè)觀測(cè)值不是連續(xù)的,因此該類(lèi)資料也稱(chēng)為不連續(xù)性變異資料或間斷性變異資料。如盒裝方便面的份數(shù)、一箱飲料的瓶數(shù)、微生物的個(gè)數(shù)、腐爛蘋(píng)果的個(gè)數(shù)等。2.2質(zhì)量資料質(zhì)量資料是指不方便直接測(cè)量，只能通過(guò)觀察，用文字來(lái)描述其特征而獲得的資料，如食品顏色、風(fēng)味等。這類(lèi)特征不能直接用數(shù)值表示，要獲得這類(lèi)特征的數(shù)據(jù)，需要對(duì)其結(jié)果作必要的數(shù)量化處理。（1）評(píng)分法這是食品感官中常用的一種方法。一般請(qǐng)若干有經(jīng)驗(yàn)的人，根據(jù)相關(guān)評(píng)判標(biāo)準(zhǔn)，對(duì)試驗(yàn)產(chǎn)品的指標(biāo)綜合評(píng)判打分，用評(píng)分進(jìn)行統(tǒng)計(jì)分析。例如，分析面包的質(zhì)量時(shí)，可以按照國(guó)際面包評(píng)分細(xì)則進(jìn)行打分，綜合評(píng)價(jià)面包質(zhì)量。（2）統(tǒng)計(jì)次數(shù)法在一定的總體或樣本中，根據(jù)某一質(zhì)量性狀的類(lèi)別統(tǒng)計(jì)其次數(shù)，以次數(shù)作為質(zhì)量性狀的數(shù)據(jù)。例如，在研究批次產(chǎn)品合格數(shù)與次品數(shù)時(shí)，可以統(tǒng)計(jì)其合格與次品個(gè)數(shù)。（3）分級(jí)法將變異的性狀分成幾級(jí)，每一級(jí)分別指定以適當(dāng)?shù)臄?shù)值表示。例如食品褐變程度按深淺分為五級(jí)。（4）秩次法將各種處理按指標(biāo)性狀的好壞依次排隊(duì)，排隊(duì)的順序?yàn)橹?，用處理的秩和進(jìn)行統(tǒng)計(jì)分析，這在食品感官評(píng)定過(guò)程中常用到。（5）化學(xué)分析法對(duì)于某些質(zhì)量指標(biāo)，雖然用分級(jí)法、評(píng)分法、統(tǒng)計(jì)次數(shù)法也能得到數(shù)量資料，但得到的多數(shù)是次數(shù)資料。若借助化學(xué)分析手段即可得到計(jì)量資料。例如果汁的色澤可通過(guò)測(cè)定果汁中花青苷的光密度來(lái)表示，澄清度可用測(cè)定其透光率來(lái)表示等。除以上幾種方法以外，也可以借助必要的先進(jìn)儀器來(lái)評(píng)價(jià)質(zhì)量指標(biāo)，獲得數(shù)量資料。如質(zhì)構(gòu)儀、色差計(jì)、色譜儀、質(zhì)譜儀等。3試驗(yàn)數(shù)據(jù)的準(zhǔn)備及整理獲得的數(shù)據(jù)在在未整理之前，稱(chēng)為原始數(shù)據(jù)。通常，通過(guò)生產(chǎn)記錄、抽樣檢驗(yàn)和試驗(yàn)研究得到的大量原始數(shù)據(jù)都是零星的、孤立的、和雜亂無(wú)章的，少有規(guī)律性可循。但通過(guò)對(duì)它們進(jìn)行科學(xué)的整理和分析，則可發(fā)現(xiàn)其規(guī)律性，揭示事物的本質(zhì)。數(shù)據(jù)資料的準(zhǔn)備及整理是進(jìn)一步分析處理的基礎(chǔ)。3.1數(shù)據(jù)的檢查與核對(duì)在對(duì)原始數(shù)據(jù)進(jìn)行整理之前，首先要對(duì)全部數(shù)據(jù)進(jìn)行檢查與核對(duì)，然后再根據(jù)數(shù)據(jù)資料的類(lèi)型及研究的目的對(duì)數(shù)據(jù)進(jìn)行整理。檢查與核對(duì)原始數(shù)據(jù)的目的在于確保原始資料的完整性和正確性。所謂正確性是指原始數(shù)據(jù)的測(cè)量或記載無(wú)差錯(cuò)。檢查中要特別注意特大、特小或異常數(shù)據(jù)。對(duì)于有重復(fù)、異常或遺漏的數(shù)據(jù)，應(yīng)予以刪除或補(bǔ)齊；對(duì)于有錯(cuò)誤或相互矛盾的數(shù)據(jù)資料應(yīng)進(jìn)行更正，必要時(shí)進(jìn)行復(fù)查或重新試驗(yàn)。3.2可疑值檢驗(yàn)檢驗(yàn)和剔除異常數(shù)據(jù)是統(tǒng)計(jì)分析中應(yīng)當(dāng)注意的重要問(wèn)題。可疑值檢驗(yàn)是用數(shù)理統(tǒng)計(jì)方法檢驗(yàn)測(cè)定數(shù)據(jù)是否存在應(yīng)剔除的值。方法：Q值檢驗(yàn)法和格魯布斯檢驗(yàn)法目的：確定某個(gè)數(shù)據(jù)是否可用3.2.1Q值檢驗(yàn)法步驟:（1）數(shù)據(jù)從小至大排列x1，x2，……，xn（2）求極差xn－x1（3）求出可疑值與其最相鄰數(shù)據(jù)之間的差值的絕對(duì)值。（4）計(jì)算：（5）根據(jù)測(cè)定次數(shù)和要求的置信度（如90%）查表：不同置信度下，舍棄可疑數(shù)據(jù)的Q值表

測(cè)定次數(shù)Q0.90Q0.95

3

0.940.98

40.760.85

50.640.73

60.560.69

70.510.59

80.470.54

90.440.51

100.410.48（6）判斷：將Q計(jì)與Q表（如Q0.90）相比，Q計(jì)>Q表舍棄該數(shù)據(jù),否則應(yīng)予保留，當(dāng)數(shù)據(jù)較少時(shí)舍去一個(gè)后，應(yīng)補(bǔ)加一個(gè)數(shù)據(jù)。

3.2.2格魯布斯(Grubbs)檢驗(yàn)法步驟:（1）數(shù)據(jù)從小至大排列x1，x2，……，xn（2）計(jì)算該組數(shù)據(jù)的平均值和標(biāo)準(zhǔn)偏差S（3）確定檢驗(yàn)端：比較可疑數(shù)據(jù)與平均值之差-x1與xn-，先檢驗(yàn)差值大的一端（4）計(jì)算：（5）根據(jù)測(cè)定次數(shù)和要求的置信度（如95%）查表：

表1-2不同置信度下，舍棄可疑數(shù)據(jù)的G值表測(cè)定次數(shù)G0.95G0.993

1.151.1541.461.49

51.671.7561.821.9471.942.1082.032.2292.112.32102.182.41（6）將G計(jì)與G表（如G0.95）相比，若G計(jì)>G表舍棄該數(shù)據(jù),否則應(yīng)予保留。當(dāng)數(shù)據(jù)較少時(shí)舍去一個(gè)后，應(yīng)補(bǔ)加一個(gè)數(shù)討論：由于格魯布斯(Grubbs)檢驗(yàn)法使用了所有數(shù)據(jù)的平均值和標(biāo)準(zhǔn)差，故準(zhǔn)確性比Q檢驗(yàn)法好。3.3連續(xù)性數(shù)據(jù)資料的整理連續(xù)性數(shù)據(jù)資料的整理通常采用組距式分組的方法，基本步驟是先確定全距、組數(shù)、組距、組中值及組限，然后將全部觀測(cè)值計(jì)數(shù)歸組。

表3-1120位同學(xué)的考試成績(jī)

（1）求全距。全距是數(shù)據(jù)中最大值與最小值之差，又稱(chēng)極差，極為R。表中最大值為95，最小值為64，則全距為R=95-64=31.0（2）確定組數(shù)。組數(shù)要適當(dāng)，一般以達(dá)到既簡(jiǎn)化數(shù)據(jù)又不影響反應(yīng)數(shù)據(jù)的規(guī)律性為原則。（3）確定組距。每組最大值與最小值之差稱(chēng)為組距，記為i。等組距分組時(shí)，組距的計(jì)算公式為：組距（i）=全距/組數(shù)本例i=31.0/16=2.0（4）確定組限及組中值。各組的最大值與最小值稱(chēng)為組限。最小值稱(chēng)為下限，最大值稱(chēng)為上限。每一組的中點(diǎn)值稱(chēng)為組中值。顯然，組中值=（組下限+組上限）/2，它是該組的代表值。組距確定后，首先要選定第一組的組中值。為了避免第一組歸組后數(shù)據(jù)太多，且能較正確地反應(yīng)數(shù)據(jù)的規(guī)律性，第一組的組中值以近似于或等于數(shù)據(jù)中的最小值為好。第一組組中值確定后該組組限即可確定。（5）制作次數(shù)分布表。分組結(jié)束后，將數(shù)據(jù)資料中的每一觀測(cè)值逐一歸組，統(tǒng)計(jì)每組組限內(nèi)所包含的觀測(cè)值個(gè)數(shù)，作為各組的次數(shù)，如此便完成了次數(shù)分布表。120位同學(xué)的成績(jī)分布表見(jiàn)表3-2。從表中可以看出數(shù)據(jù)的分布情況。表3-2120位同學(xué)的成績(jī)的次數(shù)分布

次數(shù)分布表不僅簡(jiǎn)化了數(shù)據(jù)，達(dá)到了壓縮統(tǒng)計(jì)數(shù)據(jù)的目的，給人更加清晰的概念，同時(shí)對(duì)試驗(yàn)數(shù)據(jù)的集中與分散程度有了進(jìn)一步的認(rèn)識(shí)。例如，120位同學(xué)的成績(jī)，多數(shù)集中在79.5~81.5，約占觀測(cè)值總個(gè)數(shù)的三分之一，用它來(lái)代表同學(xué)們成績(jī)的平均水平，有較強(qiáng)的代表性。由次數(shù)分布表還可看出，同學(xué)們的成績(jī)小于65及大于93的，均為極少數(shù)，分別只占到觀測(cè)值的0.6%。而且通過(guò)次數(shù)分布表，可以更加清楚地看到，120位同學(xué)的成績(jī)分于正態(tài)分布，即以79.5~81.5為中心，向兩邊做遞減的對(duì)稱(chēng)分布。次數(shù)分布表不僅便于觀察數(shù)據(jù)的規(guī)律性，而且可根據(jù)它繪成次數(shù)分布圖及計(jì)算平均數(shù)、標(biāo)準(zhǔn)差等統(tǒng)計(jì)量。3.3間斷性數(shù)據(jù)資料的整理間斷性數(shù)據(jù)資料的整理常采用單項(xiàng)式分組法。其方法是用樣本的觀測(cè)值直接進(jìn)行分組，每組均用一個(gè)觀測(cè)值表示。分組時(shí)，將數(shù)據(jù)中的每個(gè)觀測(cè)值歸入相應(yīng)的組內(nèi)，然后計(jì)數(shù)，制成次數(shù)分布表。若資料中數(shù)據(jù)的變異范圍較大時(shí)也應(yīng)采用組距式分組法，此時(shí)各組的上下限均應(yīng)列出。3.4質(zhì)量資料的整理對(duì)于質(zhì)量資料可以按照類(lèi)別或等級(jí)進(jìn)行分組，分別統(tǒng)計(jì)各組的次數(shù)，然后制成次數(shù)分布表。

同時(shí)，在試驗(yàn)過(guò)程中由于實(shí)驗(yàn)儀器精度的限制，實(shí)驗(yàn)方法的不完善，科研人員認(rèn)識(shí)能力的不足和科學(xué)水平的限制等方面的原因，在試驗(yàn)中獲得的試驗(yàn)值與它的客觀真實(shí)值并不一致，這種矛盾在數(shù)值上表現(xiàn)為誤差（error）。可見(jiàn)，誤差是與準(zhǔn)確相反的一個(gè)概念，可以用誤差來(lái)說(shuō)明試驗(yàn)數(shù)據(jù)的準(zhǔn)確程度。試驗(yàn)結(jié)果都具有誤差，誤差自始至終存在于一切科學(xué)實(shí)驗(yàn)過(guò)程中。隨著科學(xué)水平的提高和人們經(jīng)驗(yàn)、技巧、專(zhuān)門(mén)知識(shí)的豐富，誤差可以被控制的越來(lái)越小，但是不能完全消除。3.5.1真值與平均值

真值（truevalue）是指在某一時(shí)刻或者某一狀態(tài)下，某量的客觀值或?qū)嶋H值。

在科學(xué)試驗(yàn)中，雖然試驗(yàn)誤差在所難免，但平均值（mean）可綜合反應(yīng)試驗(yàn)值在一定條件下的一般水平，所以在科學(xué)試驗(yàn)中，經(jīng)常將多次試驗(yàn)值的平均值作為真值的近似值。3.5.2誤差的基本概念

試驗(yàn)值與真值之差稱(chēng)為絕對(duì)誤差，即絕對(duì)誤差=試驗(yàn)值-真值

絕對(duì)誤差雖然在一定條件下能反映試驗(yàn)值的準(zhǔn)確程度，但還不全面。例如兩城市之間的距離為200450m，若測(cè)量的絕對(duì)誤差為2m，則這次測(cè)量的準(zhǔn)確度是很高的；但是2m的絕對(duì)誤差對(duì)于人身高的測(cè)量而言是不能容許的。所以，為了判斷試驗(yàn)值的準(zhǔn)確性，還必須考慮試驗(yàn)值本身的大小，故引出了相對(duì)誤差。3.5試驗(yàn)數(shù)據(jù)的誤差分析3.5.3試驗(yàn)數(shù)據(jù)的來(lái)源及分類(lèi)

誤差根據(jù)其性質(zhì)或產(chǎn)生的原因，可分為隨機(jī)誤差、系統(tǒng)誤差、和過(guò)失誤差

隨機(jī)誤差是指在一定試驗(yàn)條件下，以不可預(yù)知的規(guī)律變化著的誤差，多次試驗(yàn)值的絕對(duì)誤差時(shí)大時(shí)小。

系統(tǒng)誤差是指在一定試驗(yàn)條件下，由某個(gè)或某些因素按照某一確定的規(guī)律起作用而形成的誤差

過(guò)失誤差是一種與事實(shí)不符的誤差，沒(méi)有一定的規(guī)律，它主要由于實(shí)驗(yàn)人員粗心大意造成的。3.5.4試驗(yàn)數(shù)據(jù)的精準(zhǔn)度

精密度反映了隨機(jī)誤差大小的程度，是指在一定的試驗(yàn)條件下，多次試驗(yàn)值的彼此符合程度或一致程度。精密度的概念與重復(fù)試驗(yàn)時(shí)單次試驗(yàn)值的變動(dòng)性有關(guān)，如果試驗(yàn)數(shù)據(jù)分散程度較小，則說(shuō)明是精密的。例如，甲、乙兩人對(duì)同一個(gè)量進(jìn)行測(cè)量，得到兩組試驗(yàn)值：

甲：11.4511.4611.4511.44乙：11.3911.4511.4811.50很顯然，甲組數(shù)據(jù)的彼此符合程度好于乙組，故甲組數(shù)據(jù)的精密度較高

正確度：正確度是指大量測(cè)試結(jié)果的（算術(shù)）平均值與真值或接受參照值之間的一致程度，它反映了系統(tǒng)誤差的大小，是指在一定的試驗(yàn)條件下，所有系統(tǒng)誤差的綜合。

準(zhǔn)確度：反映了系統(tǒng)誤差和隨機(jī)誤差的綜合，表示了試驗(yàn)結(jié)果與真值或標(biāo)準(zhǔn)值的一致程度

。

4試驗(yàn)數(shù)據(jù)的表圖表示法

統(tǒng)計(jì)表是用表格的形式來(lái)表示數(shù)量關(guān)系，使數(shù)據(jù)條理化、系統(tǒng)化，便于理解、分析和比較。統(tǒng)計(jì)圖是用幾何圖形來(lái)表示數(shù)量關(guān)系，不同形狀的幾何圖形可以將研究對(duì)象的特征、內(nèi)部構(gòu)成、相互關(guān)系等形象直觀地表達(dá)出來(lái)，便于比較分析。4.1統(tǒng)計(jì)表4.1.1統(tǒng)計(jì)表的結(jié)構(gòu)和要求（1）標(biāo)題。標(biāo)題要簡(jiǎn)明扼要，有時(shí)須注明時(shí)間、地點(diǎn)，列于表的上方。（2）標(biāo)目。標(biāo)目分橫標(biāo)目和縱標(biāo)目?jī)身?xiàng)。橫標(biāo)目列在標(biāo)的左側(cè)，用于表示被說(shuō)明事項(xiàng)的主要標(biāo)志；縱標(biāo)目列在表的上統(tǒng)計(jì)表的結(jié)構(gòu)和要求

標(biāo)題要簡(jiǎn)明扼要，有時(shí)須注明時(shí)間、地點(diǎn)，列于表的上方。表的上下兩條邊線略粗，縱、橫標(biāo)目間及合計(jì)可用細(xì)線分開(kāi)，表的左右邊線應(yīng)略去?，F(xiàn)在多用所謂“三線表”，即表中不繪縱線。

（1）標(biāo)題（2）標(biāo)目標(biāo)目分橫標(biāo)目和縱標(biāo)目?jī)身?xiàng)。橫標(biāo)目列在標(biāo)的左側(cè)，用于表示被說(shuō)明事項(xiàng)的主要標(biāo)志；縱標(biāo)目列在表的上端，說(shuō)明橫標(biāo)目各統(tǒng)計(jì)指標(biāo)的內(nèi)容，并注明計(jì)算單位，如%、kg、cm等。（3）線條4.1.2統(tǒng)計(jì)表的種類(lèi)1簡(jiǎn)單表由一橫標(biāo)目和一縱標(biāo)目組成，縱、橫標(biāo)目均未分組的統(tǒng)計(jì)表稱(chēng)為簡(jiǎn)單表。2復(fù)合表縱、橫標(biāo)目?jī)烧咧辽儆衅渲兄槐环譃閮山M或兩組以上的統(tǒng)計(jì)表稱(chēng)為復(fù)合表。表4-1為復(fù)合表。表4-1不同品種的蘋(píng)果貯藏4個(gè)月時(shí)果實(shí)硬度的變化4.2統(tǒng)計(jì)圖統(tǒng)計(jì)圖是用圖形將統(tǒng)計(jì)資料形象化，利用線條的高低、面積的大小及點(diǎn)的分布來(lái)表示數(shù)量的變化，形象直觀、一目了然。常用的統(tǒng)計(jì)圖有長(zhǎng)條