利用交叉表和緩沖技術(shù)提高獲得建模樣本數(shù)據(jù)的效率

1、利用交叉表和緩沖技術(shù)提高獲得建模樣本數(shù)據(jù)的效率    摘要：在分析建模的過(guò)程中需要對(duì)大量的歷史測(cè)量數(shù)據(jù)進(jìn)行計(jì)算和處理，運(yùn)算過(guò)程中會(huì)消耗大量的計(jì)算機(jī)資源，處理不好會(huì)造成等待時(shí)間過(guò)久，計(jì)算機(jī)死機(jī)。本文介紹了DSIMS4.0大壩安全信息管理網(wǎng)絡(luò)系統(tǒng)在分析建模的過(guò)程中如何利用交叉表和緩沖技術(shù)提高獲得建模樣本數(shù)據(jù)的效率。關(guān)鍵字：DSIMS4.0；交叉表；緩沖；建模；樣本0 引言隨著大壩安全監(jiān)測(cè)技術(shù)的進(jìn)一步發(fā)展，模型分析的方法已被廣泛應(yīng)用于安全評(píng)判和測(cè)值預(yù)報(bào)中。DSIMS4.0大壩安全信息管理網(wǎng)絡(luò)系統(tǒng)可采用最小二乘、全回歸和逐步回歸的方法，快速生成統(tǒng)計(jì)模型、確定模型

2、和混合模型。在分析建模的過(guò)程中需要對(duì)大量的歷史數(shù)據(jù)進(jìn)行樣本的提取和運(yùn)算，利用常規(guī)方法，在數(shù)據(jù)樣本的提取和運(yùn)算過(guò)程中會(huì)消耗大量的計(jì)算機(jī)資源，占用很長(zhǎng)計(jì)算的時(shí)間，DSIMS4.0管理系統(tǒng)充分利用數(shù)據(jù)庫(kù)交叉表技術(shù)和數(shù)據(jù)緩沖技術(shù)，減少建模數(shù)據(jù)的準(zhǔn)備時(shí)間，減少了計(jì)算機(jī)系統(tǒng)資源的消耗，極大的提高了建模的效率。1 交叉表技術(shù)1.1交叉表查詢(Crosstab)交叉表是用來(lái)顯示源于表中某個(gè)字段的總結(jié)值（合計(jì)、計(jì)數(shù)以及平均值等）。并將它們分組放置在查詢結(jié)果中，一組列在數(shù)據(jù)表的左側(cè)一組列在數(shù)據(jù)表的上部。通常交叉表的數(shù)據(jù)都是從其它非直觀性表中轉(zhuǎn)換而成左側(cè)和上部的數(shù)據(jù)可以互換交叉形成不同的用戶需求格式交叉表形式(Cr

3、osstab）經(jīng)常用于總結(jié)報(bào)表中。1.2交叉表的結(jié)構(gòu)設(shè)計(jì)(1)原有的測(cè)點(diǎn)表結(jié)構(gòu)第一列是測(cè)點(diǎn)，第二列是時(shí)間，最后一列是測(cè)量數(shù)據(jù)的最終成果，我們可以知道這樣的數(shù)據(jù)表結(jié)構(gòu)一點(diǎn)也不直觀，在“觀測(cè)時(shí)間”列中，因?yàn)橛械挠^測(cè)點(diǎn)與觀測(cè)時(shí)間都是相同的，這樣的數(shù)據(jù)表結(jié)構(gòu)明顯的造成了時(shí)間字段的冗余。(2)通過(guò)交叉表技術(shù)形成的數(shù)據(jù)表結(jié)構(gòu)通過(guò)交叉處理后，提取樣本的效率會(huì)有所提高，但還不明顯，當(dāng)我們對(duì)測(cè)量數(shù)據(jù)以日為單位進(jìn)行提取時(shí)就能看到明顯的效果，以日為單位提取樣本時(shí)，就要按日對(duì)測(cè)量數(shù)據(jù)進(jìn)行平均，通常的處理辦法是把數(shù)據(jù)提取出來(lái)，然后通過(guò)后臺(tái)程序來(lái)進(jìn)按日求平均，生成新的數(shù)據(jù)表，而通過(guò)數(shù)據(jù)庫(kù)交叉表技術(shù)，只用一個(gè)SQL語(yǔ)句，就

4、能從數(shù)據(jù)庫(kù)中得到測(cè)量數(shù)據(jù)按日平均的交叉表同樣的我們還可以利用交叉表技術(shù)取到按月，按年，統(tǒng)計(jì)出來(lái)平均值、最小值、最大值等特征值數(shù)據(jù)，在DSIMS4.0大壩安全信息管理網(wǎng)絡(luò)系統(tǒng)中，交叉表技術(shù)不僅應(yīng)用在數(shù)據(jù)建模的過(guò)程中，也充分應(yīng)用在了表格數(shù)據(jù)的顯示中。1.3利用cub語(yǔ)句來(lái)實(shí)現(xiàn)與別的地方的交叉表技術(shù)有所不同，我們使用的交叉表不是用程序在后臺(tái)形成的，而是通過(guò)一個(gè)sql語(yǔ)句完成的，所以極大提高的建模數(shù)據(jù)樣本準(zhǔn)備的效率，sql的cub語(yǔ)句可以完成對(duì)數(shù)據(jù)庫(kù)的一次查詢而形成交叉表。2 數(shù)據(jù)緩沖技術(shù)2.1樣本處理過(guò)程中存在問(wèn)題提取歷史數(shù)據(jù)只是樣本處理的第一步，在建模擬定模型因子的過(guò)程中，我們經(jīng)常用到的是上游水位

5、的1到4次方，以及上游水位中的承前因子(如前第20天到前第30天的平均水位)。對(duì)同樣是上游水位的測(cè)量數(shù)據(jù)，因?yàn)榇嬖诙鄠€(gè)上游水位的因子，及承前因子的存在，那么對(duì)同一影響量數(shù)據(jù)，就存在多次處理，每處理一次都要到訪問(wèn)歷史數(shù)據(jù)，尤其是對(duì)承前的處理，將會(huì)更頻繁的去訪問(wèn)歷史數(shù)據(jù)，處理不好將會(huì)造成頻繁的訪問(wèn)數(shù)據(jù)庫(kù)。通過(guò)數(shù)據(jù)的數(shù)據(jù)緩沖技術(shù)，可以減少對(duì)數(shù)據(jù)庫(kù)的重復(fù)訪問(wèn)。2.2緩沖器的結(jié)構(gòu)設(shè)計(jì)緩沖器是通過(guò)后臺(tái)的程序來(lái)實(shí)現(xiàn)，第一步，我們通過(guò)交叉表取到測(cè)點(diǎn)的歷史數(shù)據(jù)，第二步，我們要來(lái)處理這些歷史數(shù)據(jù)，以生成樣本數(shù)組，我們?cè)O(shè)計(jì)了一個(gè)緩沖器用來(lái)接收這些數(shù)據(jù)，通過(guò)交叉表技術(shù)取得歷史數(shù)據(jù)后，緩沖器接收這些歷史數(shù)據(jù)，在樣本處理

6、的過(guò)程中程序直接訪問(wèn)緩沖器，而無(wú)需再去訪問(wèn)數(shù)據(jù)庫(kù)。緩沖器結(jié)構(gòu)如圖4 圖4每一個(gè)影響量對(duì)應(yīng)一個(gè)承前緩沖(MeaVAheadBuff)，承前緩沖中又包含一個(gè)數(shù)據(jù)緩沖(CycFloatBuf)，在承前緩沖中_Pid 記錄了測(cè)點(diǎn)的標(biāo)號(hào)，_Vtype 記錄了測(cè)值的類型，通過(guò)_Pid、_Vtype確定了唯一的測(cè)點(diǎn)監(jiān)測(cè)量，LastDayCount上次數(shù)據(jù)時(shí)間的日子數(shù)（自1900年以來(lái)的日子數(shù)），_AheadDay記錄了承前的天數(shù)，數(shù)據(jù)緩沖中DataS數(shù)組就具體測(cè)量數(shù)據(jù)的緩沖他的大小是由承前天數(shù)的多少來(lái)決定的，如果沒(méi)有承前因子，Datas就保留一個(gè)數(shù)據(jù)成員，為當(dāng)前測(cè)量時(shí)間點(diǎn)的測(cè)值。數(shù)據(jù)緩沖(CycF

7、loatBuf)中_CurReadPos記錄當(dāng)前的讀位置，類似于游標(biāo)的作用；_TopReadPos記錄第一個(gè)可以讀的位置；_WritePos記錄寫位置，數(shù)組中寫位置的索引號(hào)。通過(guò)這三個(gè)索引，緩沖Datas可以反復(fù)的接收數(shù)據(jù)，無(wú)需再新建數(shù)組，從而減少了對(duì)類存的占用，通過(guò)GetAvgValue()方法可以求得緩沖中有效值部分的平均值。利用這種結(jié)構(gòu)的緩沖器，充分起到了減少數(shù)據(jù)對(duì)計(jì)算機(jī)內(nèi)存的占用，減少了程序?qū)?shù)據(jù)庫(kù)的訪問(wèn)，極大的提高了獲得建模樣本數(shù)據(jù)的效率。3 結(jié)語(yǔ)通過(guò)交叉表技術(shù)的應(yīng)用，使得到測(cè)量數(shù)據(jù)表顯得簡(jiǎn)捷而直觀，減少了數(shù)據(jù)的冗余。數(shù)據(jù)緩沖的應(yīng)用，減少了程序?qū)?shù)據(jù)庫(kù)的訪問(wèn)。DSIMS4.0大壩安全信息管理網(wǎng)絡(luò)系統(tǒng)在分析建模 的過(guò)程中充分利用交叉表和緩沖技術(shù)提高了獲得建模樣本數(shù)據(jù)的效率。參考文獻(xiàn)：王學(xué)萌，張繼中，王榮.灰色系統(tǒng)分析