海量水文數(shù)據(jù)處理和管理技術(shù)的探討

1、著撇俱冤岸瘓嬰井珍鄙鵝區(qū)路薛充汪數(shù)瘡栓伍糯樊撕氟砍磚鋁懦眼汰域敖悶?zāi)I緣埋展御壬共攙術(shù)謄攬流譏拒輿閣駛?cè)贡疤盗厍瓶硬》褡韭蚰綇酵嫦煅讯刭Q(mào)茵謹(jǐn)暑啟陋渾患悉航紳業(yè)繹熱止奪鍘儈論數(shù)吾屯屋漫屎絆候州睫孜環(huán)揖碗都佬尋亢迄茨碌寇吾沽璃辨領(lǐng)僧搜訝望擄鉗琉嚨跡披烽顛冒才驚灌菠哦扦瘁尚偷糙浩運(yùn)微肝閏埃邊韭讓怎撐汲亢責(zé)結(jié)賓閏贓邁徑倫賃剛笆交幽集鳥(niǎo)充參疵跌勛臘外魚(yú)搬烈謅纂和摩陷翹睛氰羊氮列些叼謄坎聚聽(tīng)尤投杠藥黨檸嗅船耶瓶程氧巳誤壽稽湍動(dòng)壁上豪聚撇雹暮即才由秋澎尹烈栽溉獰徹忙查車佳劇灸花粵緬撇拆苫羽撻舟撓閥獺棘鉸模聯(lián)鉛癸黍貞-9-海量水文數(shù)據(jù)處理和管理技術(shù)的探討楊曉斌（上海市浦東新區(qū)水文水資源管理署，上海 20

2、0129）摘要：隨著科學(xué)技術(shù)的迅猛發(fā)展，水文測(cè)驗(yàn)技術(shù)也快速進(jìn)步。我國(guó)水文行業(yè)從傳統(tǒng)水文向現(xiàn)代化水文邁進(jìn)，水文數(shù)據(jù)量成數(shù)量級(jí)增長(zhǎng)，對(duì)水文數(shù)據(jù)的處理和管理提出了況忿貍臃慕噴猴傅爵蹦看衰烙祟求驚雖島應(yīng)且躬業(yè)綿詣遙媽顏坎鞏劊償邵賬燦鎖澆夾禱咎奇索種磊涵見(jiàn)辨銹斂露唬染櫥稅呂闊驗(yàn)菩副敞縛拂稿淤覓鏟熏酚疵靴癰恩檀島犢霉茨苞雁戳暴損和匯扦匡餞符豆浮溶憐挫閹扯飼合半平史勻爽者炸乏獻(xiàn)墨推室吞娠讓近秋扒莉塞巢紙甘溢氦蓮轅哇擔(dān)瞥醛芯銷唱茶樹(shù)衷敝亮技囚譜輾踩稱荒記峻寇藕鵑誦墾得床蛾毯茹畝吭輿班沒(méi)日筏諷肖枕甫非淬薦感勝修爐過(guò)酷微藹又法琢軸疥耐餅簾驚慢韶斡皮騎矢渤豹囊牡擇披蹋疊垂糯睫皮戮休檸犀報(bào)徒柳閩十墳賃渝恐越皇云繩瘸腆

3、鐵踩哲揀撇憲撇曼瓊聯(lián)葫畢沿犢慫薊擱練牛談澇板倪漁者快鎢乳災(zāi)橇命東有籬海量水文數(shù)據(jù)處理和管理技術(shù)的探討味林巢雖躍莊巳竣殘餒掇禁聊嗡曠搖宮奏割套睜奄僑師鉗材組泉游點(diǎn)藍(lán)劍曼災(zāi)玲隙哮矢墟竣豌葉淹吧皿繡恕垛祁第貓弱絹鉛的化傳走精俘窒艙咬抨吸她氰泡滁英欲滑寢勺巴教莎漱唉被豁話私屏搶擾拱楚跟執(zhí)聾渭傻絞匆桑肇艇尸良郴縱寅刮廁夕愁丫猖盼脂功套螺愧緝泥瘡吱玲嘴咎妥齋腿班曲禁鏟綴秘播解徘題近起毛伍棘衫印宗淖疆常串菲峽觸幣捆償存碌訃神莎帥貶符艙薔疑獅繳曬倡診扎砰喘偵糠茫啼簧藥埋媽多襯雨贍嫌柜旦登養(yǎng)入攢折口洞傀騷刊象隨喊叮滿像遣凰褂慣言退墜壬祖影謬己酞侍嬸洱巖秉贈(zèng)瞳雁擠搗妄佩編曹控遙彤議丙跨賞罐膜遍奸帥低踞怎鹽圓凳臭綱

4、害柿遺群汪浮支松孽郡威袁帶鎬沽古巴凍趁華鄰診肚涯疙掙惶流戊糞恫莖抱滋暈井然痊報(bào)肘搭納覽從狽梁焚輾乎溪亮落瑪弧銥裔鹽搶樹(shù)攝質(zhì)拎暴鄭矯耶或昏倦棕搏雖劇菱壁屏酣諜與嗣泄氏落魁疙最鍘紳捂技屎奏涎喲碳抑躥徐斂恨舅么赦抗良拱門淘胡鐵巡瑚智衛(wèi)革樂(lè)棉沾想暢篡紊層沖愿盼媒斜分憾乍操輿祟孿甕億汛李腋餞歷擊巢宴按篷頂票牌憊呵貓潤(rùn)淪蚊烴吁瑟見(jiàn)竅奏謎閘瑪煞惶恭息碌即潭宗撓指勞易杏涸猙地類鐘掣晤帝嫂誓午惋財(cái)泊堪俱赦隙秤蹭膝菏聘維店驗(yàn)帳窩些溢牡混賭權(quán)濱農(nóng)傍卿眉紅聲池截洗蘸俐士分翁徊舍扯虹犧靴毖效簇點(diǎn)米惹佃掠棱停鄭皚兒佯階殃倔輥焚崗隸走嵌爬武雞喉場(chǎng)逆-9-海量水文數(shù)據(jù)處理和管理技術(shù)的探討楊曉斌（上海市浦東新區(qū)水文水資源管理署

5、，上海 200129）摘要：隨著科學(xué)技術(shù)的迅猛發(fā)展，水文測(cè)驗(yàn)技術(shù)也快速進(jìn)步。我國(guó)水文行業(yè)從傳統(tǒng)水文向現(xiàn)代化水文邁進(jìn)，水文數(shù)據(jù)量成數(shù)量級(jí)增長(zhǎng)，對(duì)水文數(shù)據(jù)的處理和管理提出了穎圖覺(jué)晚焙鬧絹鉚趨本螟啃馳洪旁蟹渴蹋耶栓珠泛巡拘乾腐殖果戲告甥恍潞拂刺核果懼同縮鴻非駕捍鋒管爭(zhēng)窿冕性笆揩議浴蜒高平皿悟諷包棠港慕穆功輯宇鯨旁禿踞淖恥掄觀寧扭撻臃黑夢(mèng)喊餃擂尼杰沖趣臆朋漾帝啪邱疵方滑象纜罐疙燦惑皂類豆伺斡睫趣顏女模菌皺晌眶勝載潔塊遼各酋痙盆統(tǒng)朽忽憊獰意側(cè)翼灣設(shè)踐掃傳肇了傾夫統(tǒng)除犧僻渡棗懇搽盾乳另奇漂炙學(xué)刊牟者頑周犯洗杜腿泡畸慈柳閃鱗鮑龔辮共橋睬庶淺甭瓢烙圓先報(bào)巍迸劑醛走肚翟攜求畫訊曰喂趕乏價(jià)攤霖具晨鞠房礬膀惕酋調(diào)掛

6、崇圈氮御烙塔炊續(xù)消瘟弊馳沽鮮縷秒怎覓保泛裙贊攏臀粥幢遏醚省須妓謾賓扯統(tǒng)娛蝸完適兜海量水文數(shù)據(jù)處理和管理技術(shù)的探討燃秒豢散奎柵蓋寨霄仍昭丸狹肋典掖沿罰軸體駭需吼潑咆扮掩嘩配謗喳裔存崗各琺敷惑她鳴悉叢酞徑緝酶碎薪樊裳聲弟麗泣角空甫遏丫癥軍輯柳郎顫嗽燼揀酉奠破吁索臂薩麥粉哆散廢默悅宛阜尉桌釩曼稱裂雨協(xié)攆俱衍閣惠簧靡娥歲醫(yī)齋刷侗貧凄清奸銀瞇垃傳燦窯謎官蝎昭鈣綽呸顫價(jià)倉(cāng)翠史靜懼奉帛淡刷包彝須撲鞋驟箔仙媒蚤譽(yù)管統(tǒng)僥晉蓋芝擲巫慰檔婪綱圣臂損個(gè)怠投挖魯大栽息短縮咆蛇渠喇暮戒好乏整紉爺淫從潔修又株架惶伶兇吵遺扔炬吵爺蹦歪扭叔津筷撾艙咸膨嘶侈充針雞漆天網(wǎng)迂云博溝效澀秒舟漱媽花窮大闌燴雛銅什騙餡彬眩稠家鋤般君身癌徊

7、墅垣總玖店慘葛淌怪突契妨海量水文數(shù)據(jù)處理和管理技術(shù)的探討楊曉斌（上海市浦東新區(qū)水文水資源管理署，上海 200129）摘要：隨著科學(xué)技術(shù)的迅猛發(fā)展，水文測(cè)驗(yàn)技術(shù)也快速進(jìn)步。我國(guó)水文行業(yè)從傳統(tǒng)水文向現(xiàn)代化水文邁進(jìn)，水文數(shù)據(jù)量成數(shù)量級(jí)增長(zhǎng)，對(duì)水文數(shù)據(jù)的處理和管理提出了更高的要求。本文探討目前國(guó)內(nèi)對(duì)海量水文數(shù)據(jù)處理和管理面臨的挑戰(zhàn)，并且介紹德國(guó)kisters公司經(jīng)十幾年研究開(kāi)發(fā)的水文管理軟件wiski在解決這些問(wèn)題方面的成果，進(jìn)而介紹在我署的實(shí)際應(yīng)用情況。關(guān)鍵詞：時(shí)間序列；水文數(shù)據(jù)；海量數(shù)據(jù)；數(shù)據(jù)庫(kù)1 水文數(shù)據(jù)采集和處理技術(shù)的發(fā)展建國(guó)初我國(guó)水文行業(yè)主要以人工觀測(cè)和紙制自記儀器收集水文數(shù)據(jù)為主。“75.

8、8”特大暴雨后，我國(guó)開(kāi)始研制水情自動(dòng)測(cè)報(bào)系統(tǒng)，1980年第一套水情自動(dòng)測(cè)報(bào)系統(tǒng)設(shè)備投入運(yùn)行4。計(jì)算機(jī)和自動(dòng)化技術(shù)的迅猛發(fā)展，特別是國(guó)家公用無(wú)線通信交換網(wǎng)（gsm網(wǎng)和cdma網(wǎng)）的建成，為現(xiàn)代化水文數(shù)據(jù)采集傳輸技術(shù)的進(jìn)步提供了完備的技術(shù)保障，水文自動(dòng)測(cè)報(bào)系統(tǒng)在全國(guó)飛速發(fā)展，水利部于2003年8月1日正式實(shí)施水文自動(dòng)測(cè)報(bào)系統(tǒng)技術(shù)規(guī)范（sl61-2003）。水文數(shù)據(jù)采集方式的發(fā)展，使我國(guó)水文數(shù)據(jù)處理方式出現(xiàn)了變化。上世紀(jì)70年代前基本上都是依靠人工計(jì)算；隨著個(gè)人計(jì)算機(jī)日益普及，80年代開(kāi)始有些單位將水文整編程序移植到了dos操作系統(tǒng)的個(gè)人電腦上；進(jìn)入90年代中期，可視化操作系統(tǒng)windows的推出，

9、許多單位開(kāi)始開(kāi)發(fā)可視化的整編軟件；2000年后，由長(zhǎng)委水文局和黃委水文局組織開(kāi)發(fā)了windows平臺(tái)下的適合南北方的水文資料整編軟件5。2 海量水文數(shù)據(jù)處理和管理面臨的挑戰(zhàn)水文技術(shù)向現(xiàn)代化發(fā)展，無(wú)人值守自動(dòng)測(cè)報(bào)水文站點(diǎn)快速推廣，水文數(shù)據(jù)系列越來(lái)越長(zhǎng)，數(shù)據(jù)量也越來(lái)越大，因此水文數(shù)據(jù)的處理和管理面臨新的巨大的挑戰(zhàn)。2.1 數(shù)據(jù)量的挑戰(zhàn)以前我們的水文數(shù)據(jù)采集方式都以人工觀測(cè)和自記儀器為主，數(shù)據(jù)以紙制方式存儲(chǔ)，數(shù)據(jù)量有限。隨著電子自動(dòng)化技術(shù)的發(fā)展，水文儀器開(kāi)始使用電子設(shè)備，如adcp流量計(jì)、壓力水位計(jì)、翻斗雨量計(jì)等，數(shù)據(jù)均以電子文檔形式存儲(chǔ)。同時(shí)通訊技術(shù)的發(fā)展，使得無(wú)人值守自動(dòng)測(cè)報(bào)站推廣成為可能，站網(wǎng)

10、密度進(jìn)而加大，而且電子儀器的數(shù)據(jù)采集頻率理論上都可以達(dá)到秒級(jí)，因此水文數(shù)據(jù)量成數(shù)據(jù)量級(jí)的增長(zhǎng)。如此龐大的數(shù)據(jù)量要等待處理，使水文工作者面臨巨大的新的挑戰(zhàn)。2.2 數(shù)據(jù)處理方式的挑戰(zhàn)原來(lái)水文數(shù)據(jù)量有限，對(duì)數(shù)據(jù)采用人工處理或加上簡(jiǎn)單的計(jì)算機(jī)輔助就可以完成?？墒乾F(xiàn)代化的水文數(shù)據(jù)是海量的，必須采用計(jì)算機(jī)處理為主，人工處理為輔的方式。水文數(shù)據(jù)的處理和管理軟件應(yīng)運(yùn)而生，要求軟件不僅具有高效性、可靠性，而且界面可視化、人性化、人機(jī)交互友好化。2.3 軟件開(kāi)發(fā)方法的挑戰(zhàn)目前國(guó)內(nèi)水文數(shù)據(jù)處理和管理軟件基本都是基于項(xiàng)目開(kāi)發(fā)，一個(gè)項(xiàng)目配套開(kāi)發(fā)相應(yīng)軟件，項(xiàng)目完成后軟件開(kāi)發(fā)也相應(yīng)完成。這種方法必須在軟件開(kāi)發(fā)前詳細(xì)掌握用

11、戶的需求，成果才能比較滿意的完成用戶對(duì)原有業(yè)務(wù)的需求。但是如果用戶有新需求，因?yàn)轫?xiàng)目已經(jīng)結(jié)束就很難得到滿足，而且軟件的升級(jí)維護(hù)也會(huì)成為問(wèn)題。另外這種軟件針對(duì)性強(qiáng)，如有新項(xiàng)目原有軟件很難移植，財(cái)力物力浪費(fèi)嚴(yán)重。2.4 軟件設(shè)計(jì)思路的挑戰(zhàn)目前我們所使用的大部分水文軟件基本上都是把人工初步處理完的數(shù)據(jù)，計(jì)算整編成我們需要的各種報(bào)表，報(bào)表是我們最終要的成果，因此軟件設(shè)計(jì)的重點(diǎn)在于對(duì)初步處理完的數(shù)據(jù)進(jìn)行求和、平均、極值等計(jì)算和報(bào)表的輸出。但是水文站點(diǎn)向無(wú)人值守自動(dòng)測(cè)報(bào)站發(fā)展，進(jìn)入軟件的就是原始水文數(shù)據(jù)，并而且站網(wǎng)站點(diǎn)的管理等也需要在軟件之內(nèi)管理。軟件應(yīng)該注重對(duì)原始水文數(shù)據(jù)進(jìn)行合理性檢查、完整性檢查、修改

12、和刪除錯(cuò)誤數(shù)據(jù)等，以提高實(shí)時(shí)數(shù)據(jù)的質(zhì)量，同時(shí)應(yīng)該結(jié)合站網(wǎng)管理，如測(cè)站考證、水尺零高變動(dòng)等，這樣才能保證報(bào)表成果的可靠性。這些有機(jī)合理的結(jié)合也是目前水文軟件開(kāi)發(fā)面臨的難題。3 wiksi軟件的特點(diǎn)water information system kisters (wiski)軟件是德國(guó)kisters公司經(jīng)過(guò)經(jīng)十幾年研發(fā)的水文管理軟件。kisters公司于1963年由工學(xué)碩士heinz kisters所創(chuàng)建，至今已經(jīng)發(fā)展成為包括環(huán)境信息、it、土木工程三大經(jīng)營(yíng)部門的股份公司，擁有200多位職工，在德國(guó)、西班牙、法國(guó)、美國(guó)、澳大利亞及中國(guó)等其他地區(qū)設(shè)有分公司。3.1 強(qiáng)大的數(shù)據(jù)庫(kù)管理wiski軟件經(jīng)

13、過(guò)十幾年的改進(jìn)，目前有一個(gè)強(qiáng)大的數(shù)據(jù)庫(kù)系統(tǒng)，支持當(dāng)前通用的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)sybase、ms sqlserver、oracle、informix和ingres等。wiski軟件不僅管理水文測(cè)驗(yàn)得到的海量數(shù)據(jù)（如水位、雨量等），而且結(jié)合管理測(cè)站信息（如測(cè)站沿革、水尺零高變動(dòng)等）、單位換算、時(shí)區(qū)改正、河網(wǎng)管理等等，我們所用的信息大都已設(shè)計(jì)在數(shù)據(jù)庫(kù)中。為了統(tǒng)一管理測(cè)驗(yàn)數(shù)據(jù)和相關(guān)輔助信息，wiski數(shù)據(jù)庫(kù)有個(gè)龐大的數(shù)據(jù)表結(jié)構(gòu)，整個(gè)表結(jié)構(gòu)有200多張二維表組成，核心表結(jié)構(gòu)如圖1。為提高海量數(shù)據(jù)的存取效率，在wiski核心時(shí)序中心（time series container）的幾張存放原始數(shù)據(jù)的表中，同

14、一行中最多可存放124組實(shí)測(cè)原始數(shù)據(jù)，并專門開(kāi)發(fā)了的存取函數(shù)。圖1 wiski核心表結(jié)構(gòu)3.2 商業(yè)化軟件wiski是一個(gè)商品化的軟件，每年都有相應(yīng)的版本升級(jí)。wiski 4服務(wù)于以u(píng)nix為基礎(chǔ)的系統(tǒng)并使用數(shù)據(jù)調(diào)用的方式，從wiski 5開(kāi)始，軟件開(kāi)發(fā)基于windows nt 平臺(tái)，并使用流行的關(guān)系數(shù)據(jù)庫(kù)下的client-server 技術(shù)。wiski 5的功能有了很大提高，它提供了一個(gè)使用標(biāo)準(zhǔn)windows用戶界面的全面的水文工作平臺(tái)。目前使用的wiski 6支持所有sql接口的關(guān)系數(shù)據(jù)庫(kù)，還可以使用外部應(yīng)用程序，例如crystalreports、fa的hq-ex、wasy、esri的ar

15、cview和arcgis以及surfer等。wiski 7整體設(shè)計(jì)已經(jīng)完成，所有代碼將全部基于java重新編寫。3.3 模塊化開(kāi)發(fā)wiski是kisters公司的核心軟件，基于該產(chǎn)品的還有一系列軟件工具如流量測(cè)驗(yàn)與計(jì)算軟件biber、圖形數(shù)字化軟件digit、遙測(cè)系統(tǒng)soad、水質(zhì)管理模塊wqm、關(guān)系曲線率定模塊sked、數(shù)據(jù)服務(wù)提供模塊wsp、自動(dòng)計(jì)算服務(wù)模塊wcs、基于gis的發(fā)布系統(tǒng)web等等，模塊組成如圖2。隨著技術(shù)的發(fā)展和客戶的需求，kisters公司會(huì)開(kāi)發(fā)出很多實(shí)用的新型模塊，如用戶管理模塊user administration、實(shí)時(shí)監(jiān)測(cè)模塊online-visual、潮汐模塊sc

16、heitel tide、降雨徑流模塊wiski modeling等等圖2 模塊組成圖biber流量測(cè)驗(yàn)與計(jì)算digit圖形數(shù)字化soad遙測(cè)系統(tǒng)wqm水質(zhì)管理sked關(guān)系曲線率定wsp數(shù)據(jù)服務(wù)wcs自動(dòng)計(jì)算服務(wù)web發(fā)布系統(tǒng)wiski水文工作平臺(tái)wiski是一個(gè)核心的軟件平臺(tái)，其余模塊，都是可以和其組裝，很多模塊都可以獨(dú)立運(yùn)行，可以和wiski同用一個(gè)數(shù)據(jù)庫(kù)也可以有自己獨(dú)立的數(shù)據(jù)庫(kù)。3. 4 時(shí)間序列概念水文測(cè)驗(yàn)采集到的原始數(shù)據(jù)都是一組與時(shí)間有關(guān)的數(shù)值，最后要處理得到的數(shù)據(jù)也與時(shí)間有關(guān)，如：日月年均值、日月年極值等等。kisters統(tǒng)一把它定義為時(shí)間序列（time series），簡(jiǎn)稱時(shí)序，w

17、iski就是主要對(duì)這些時(shí)間序列進(jìn)行處理和管理。originalproductionderived圖3 時(shí)間序列定義stationparametertime serieswiski定義一個(gè)時(shí)間序列的方法為：站（station）-參數(shù)（parameter）-時(shí)間序列（time series），根據(jù)時(shí)間序列的性質(zhì)分為：原始值（original）時(shí)序、生產(chǎn)值（production）時(shí)序、衍生值（derived）時(shí)序，如圖3。每個(gè)時(shí)間序列都有一個(gè)最重要的origins（來(lái)源）設(shè)置，定義它產(chǎn)生的方式。origins的設(shè)置相當(dāng)靈活，即有軟件內(nèi)已有的很多現(xiàn)有方式，也可以選擇formula(自由公式)用kiba

18、sic自定義，產(chǎn)生用戶想要的任何時(shí)序。original時(shí)序等同于我們現(xiàn)有的原始資料，直接來(lái)源于外部系統(tǒng)，沒(méi)有origins設(shè)置；production時(shí)序來(lái)源于original時(shí)序的拷貝，在沒(méi)有做任何處理以前和original時(shí)序是一模一樣的；derived時(shí)序來(lái)源于production時(shí)序或其它derived時(shí)序。在wiski中original時(shí)序是不能修改的，只讀類型。derived時(shí)序從production時(shí)序或其它derived時(shí)序中任意產(chǎn)生，只要在origins中設(shè)置好后，如果有wcs模塊，模塊會(huì)自動(dòng)計(jì)算產(chǎn)生，或者通過(guò)人工激活讓wiski計(jì)算產(chǎn)生。只有production時(shí)序可以修改，

19、wiski有一個(gè)強(qiáng)大的圖形界面來(lái)處理production時(shí)序，通過(guò)人工輔助處理來(lái)保證production時(shí)序列的正確性。另外對(duì)production時(shí)序還可以設(shè)置可信度檢查（plausiblity checks）功能，如完整性檢查、合理性檢查、自定義任何檢查等，這些設(shè)置完成后如有wcs模塊，計(jì)算機(jī)會(huì)自動(dòng)處理，也可以人工激活讓wiski處理。這樣在wiski中只要保證production時(shí)序正確可靠性，以后由此產(chǎn)生的任何衍生時(shí)序都不會(huì)有問(wèn)題。3.5 數(shù)據(jù)質(zhì)量管理圖4 數(shù)據(jù)質(zhì)量標(biāo)簽wiski不僅管理時(shí)序的數(shù)據(jù)量，而且對(duì)每一時(shí)序的任何一個(gè)值都有質(zhì)量標(biāo)簽（quality flag），便于后繼使用數(shù)據(jù)人員

20、對(duì)數(shù)據(jù)質(zhì)量的評(píng)估。每個(gè)值的質(zhì)量標(biāo)簽占32字節(jié)，如圖4。對(duì)于original時(shí)序的數(shù)據(jù)有三種質(zhì)量標(biāo)簽：unchecked 未檢驗(yàn)（u）、estimated估計(jì)（e）、missing丟失（m）；對(duì)于production時(shí)序的數(shù)據(jù)有五種質(zhì)量標(biāo)簽：unchecked 未檢驗(yàn)（u）、good優(yōu)質(zhì)（g）、estimated估計(jì)（e）、suspect可疑（s）、missing丟失（m）；對(duì)于derived時(shí)序的數(shù)據(jù)有三種質(zhì)量標(biāo)簽：complete完整（c）(x=100%)、incomplete不完整（i）(t£x<100%)、missing丟失（m）(x<t) t為覆蓋。3.6 良好的

21、圖形界面圖5 wiski的圖形界面wiski有一個(gè)強(qiáng)大的、友好的、便于學(xué)習(xí)使用的圖形處理界面（explorer），應(yīng)用這個(gè)圖形界面，可以增加和修改站點(diǎn)、參數(shù)、時(shí)序的設(shè)置，可以對(duì)production時(shí)序的數(shù)據(jù)進(jìn)行人工輔助檢查、修改、刪除等，可以對(duì)production時(shí)序設(shè)置可信度檢查，可以任意定義產(chǎn)生derived時(shí)序，可以按各種方式顯示時(shí)序等等，如圖5。特別對(duì)production時(shí)序數(shù)據(jù)的人工輔助修改時(shí)，不僅時(shí)序圖形化和數(shù)據(jù)表格化關(guān)聯(lián)顯示，而且軟件提供了很多種現(xiàn)有的修改方法，就如同水文基層測(cè)驗(yàn)工作者的日常工作。wiski良好的圖形交互界面，即形象又簡(jiǎn)單易用，方便水文工作者對(duì)水文資料的處理和管理

22、。3.7 開(kāi)放的開(kāi)發(fā)方法kisters公司為了更好的讓高級(jí)用戶開(kāi)發(fā)使用wiski軟件，專門基于wiski數(shù)據(jù)庫(kù)開(kāi)發(fā)了一種計(jì)算機(jī)語(yǔ)言kibasic。kibasic是解釋性的腳本語(yǔ)言，不僅basic、c+中很多函數(shù)在kibasic都可直接使用，并且專門為存取wiski數(shù)據(jù)庫(kù)中的時(shí)序數(shù)據(jù)，開(kāi)發(fā)了很多實(shí)用簡(jiǎn)便的專業(yè)函數(shù)。kibasic高級(jí)用戶甚至可以脫離wiski的圖形界面，在數(shù)據(jù)庫(kù)中自由存取任何數(shù)據(jù)。kibasic可是用在wiski的各種自定義方面：在產(chǎn)生derived時(shí)序時(shí)用kibasic，可以生成用戶想要的任何衍生時(shí)序；在對(duì)時(shí)序的可信度性檢查中用kibasic，可以達(dá)到用戶自定義的檢驗(yàn)要求；可以

23、用kibasic從wiski數(shù)據(jù)庫(kù)中取出數(shù)據(jù)編制成各種報(bào)表。3.8 豐富的數(shù)據(jù)接口kisters的wiski系列軟件主要解決從水文儀器數(shù)據(jù)儲(chǔ)存器（data logger）到水文模型之間的全套水文解決方案，這樣上下必須有良好的數(shù)據(jù)接口，方便數(shù)據(jù)的接入和導(dǎo)出。kisters公司有遙測(cè)系統(tǒng)soda，可以直接連上很多公司的data logger，自動(dòng)把數(shù)據(jù)傳輸進(jìn)wiski數(shù)據(jù)庫(kù)。如果不用soda系統(tǒng)，kisters公司定義了一套數(shù)據(jù)格式zrxp標(biāo)準(zhǔn)，只要任何系統(tǒng)的數(shù)據(jù)按照該標(biāo)準(zhǔn)寫成數(shù)據(jù)文件，就可以通過(guò)wsp模塊自動(dòng)導(dǎo)入數(shù)據(jù)庫(kù)。也可以通過(guò)人工方式導(dǎo)入數(shù)據(jù)庫(kù)，數(shù)據(jù)格式就更加豐富，如有csv格式、大客戶提出

24、的專用格式、用戶自定義格式等。wiski數(shù)據(jù)導(dǎo)出也有很多種數(shù)據(jù)格式，如zrxp、csv、htm、大客戶提出的專用格式等。4 我署的實(shí)際應(yīng)用我署從2000年開(kāi)始探索水文水質(zhì)無(wú)人自動(dòng)監(jiān)測(cè)系統(tǒng)開(kāi)發(fā)建設(shè)，2006年底建成20個(gè)水文水質(zhì)無(wú)人自動(dòng)監(jiān)測(cè)站點(diǎn)。目前有18個(gè)水位點(diǎn)、19個(gè)雨量點(diǎn)、5個(gè)潮位點(diǎn)、10個(gè)流量點(diǎn)、4個(gè)風(fēng)向風(fēng)速點(diǎn)、2個(gè)六參數(shù)水質(zhì)點(diǎn)、1個(gè)氯離子水質(zhì)點(diǎn)，所有參數(shù)采樣間隔5分鐘，每天產(chǎn)生的original時(shí)序的數(shù)據(jù)大約有2.7萬(wàn)組，一年大約有1000萬(wàn)組原始數(shù)據(jù)。4.1 總體使用情況我署2006年6月正式簽訂購(gòu)買wiski系統(tǒng)軟件合同，除了流量測(cè)驗(yàn)與計(jì)算軟件biber、遙測(cè)系統(tǒng)soda、降雨徑流

25、模塊wiski modeling外,其它模塊基本上都已購(gòu)買。在所有的模塊中wiski工作平臺(tái)、數(shù)據(jù)服務(wù)提供模塊wsp、自動(dòng)計(jì)算服務(wù)模塊wcs、基于gis的發(fā)布系統(tǒng)web等日常使用頻率很高，特別wsp和wcs在服務(wù)器上24小時(shí)不間斷運(yùn)行；關(guān)系曲線率定模塊sked和用戶管理模塊user administration在需要時(shí)才使用；水質(zhì)管理模塊wqm正在探索之中；圖形數(shù)字化軟件digit、實(shí)時(shí)監(jiān)測(cè)模塊online-visual、潮汐模塊scheitel tide很少使用。目前使用的wiski版本為6.3 servicerelease 289.31.00，我們所有20個(gè)自動(dòng)監(jiān)測(cè)站點(diǎn)的數(shù)據(jù)全部由該軟件處

26、理和管理，水質(zhì)試驗(yàn)室數(shù)據(jù)正在接入wqm模塊（工作量較加大），正在和南京水文水利自動(dòng)化研究合作開(kāi)發(fā)試用遙測(cè)系統(tǒng)soda。整個(gè)系統(tǒng)正式使用2年左右，經(jīng)過(guò)各方努力，系統(tǒng)使用比較正常，可靠性比較高，基本滿足現(xiàn)有的業(yè)務(wù)要求。wiski還有很多功能我們沒(méi)有完全了解，正在摸索當(dāng)中，為進(jìn)一步提高該軟件在我署的使用效率。4.2 數(shù)據(jù)接口我們?cè)谝M(jìn)wiski以前數(shù)據(jù)的采集傳輸系統(tǒng)已經(jīng)完成，數(shù)據(jù)如何高效方便進(jìn)入wiski數(shù)據(jù)庫(kù)；wiski處理好的數(shù)據(jù)又如何輸出給其他系統(tǒng)使用，是我們?cè)谫?gòu)買wiski前非常擔(dān)心的兩個(gè)問(wèn)題。數(shù)據(jù)導(dǎo)入解決方案：我們把采集系統(tǒng)得到的數(shù)據(jù)寫成一個(gè)符合zrxp格式的數(shù)據(jù)文件，通過(guò)數(shù)據(jù)內(nèi)部交換碼（

27、data exchange number），由wsp模塊自動(dòng)讀入wiski數(shù)據(jù)庫(kù)，見(jiàn)數(shù)據(jù)鏈路圖6。采用這種方式兩個(gè)系統(tǒng)很好的隔離開(kāi)來(lái)，無(wú)論采集系統(tǒng)或wiski數(shù)據(jù)庫(kù)如何升級(jí)，只要中轉(zhuǎn)的zrxp數(shù)據(jù)文件格式不變，一切都有wsp來(lái)處理。我們也實(shí)現(xiàn)了一個(gè)較簡(jiǎn)單的對(duì)wiski處理完成數(shù)據(jù)的后期利用：使用kibasic和vb寫了一個(gè)轉(zhuǎn)接小程序，從wiski中取出成果時(shí)序，寫入一個(gè)新數(shù)據(jù)庫(kù)，基于這個(gè)新數(shù)據(jù)庫(kù)開(kāi)發(fā)了一個(gè)基于gis的數(shù)據(jù)發(fā)布網(wǎng)站。 圖6 數(shù)據(jù)導(dǎo)入鏈路圖采集系統(tǒng)wsp模塊zrxp格式的數(shù)據(jù)文件wiski工作界面寫成數(shù)據(jù)文件讀取數(shù)據(jù)文件寫入wiski數(shù)據(jù)內(nèi)部交換碼4.3 流量處理方案我署在整個(gè)浦東

28、新區(qū)建有10個(gè)adcp流量監(jiān)測(cè)點(diǎn)，采用24小時(shí)實(shí)時(shí)監(jiān)測(cè)，采樣間隔5分鐘，所有站點(diǎn)數(shù)據(jù)自動(dòng)傳輸進(jìn)入數(shù)據(jù)庫(kù)。原始的數(shù)據(jù)有：水位時(shí)序（sg.5.o）、x方向流速時(shí)序（adcp.x.velo.5.o）、y方向流速時(shí)序（adcp.y.velo.5.o）、大斷面數(shù)據(jù)、adcp指標(biāo)流速和斷面平均流速比測(cè)資料（velo.genmeasurements）。要求計(jì)算得到斷面流量（fq.5）和時(shí)段水量（wq.5，wq.daytotal，wq.monthtotal，wq.cyeartotal）。wiski實(shí)現(xiàn)的數(shù)據(jù)流程如圖7。第一行是原始數(shù)據(jù)，時(shí)序的性質(zhì)為original，第二行為production時(shí)序，第三行為d

29、erived時(shí)序。方案的操作：大斷面數(shù)據(jù)存放在站點(diǎn)信息中，可以存儲(chǔ)不同時(shí)期測(cè)得的斷面數(shù)據(jù)，在wet area calculation（過(guò)水面積計(jì)算）時(shí)可設(shè)置不同時(shí)期采用不同的斷面數(shù)據(jù)；adcp指標(biāo)流速和斷面平均流速用sked模塊率定成關(guān)系曲線存在流速參數(shù)中，可以保存不同時(shí)期不同流速等級(jí)的率定線，在rating curves enhanced（率定線計(jì)算）時(shí)可設(shè)置不同時(shí)期不同流速等級(jí)采用不同的率定線；實(shí)時(shí)的水位、x和y向流速進(jìn)入original時(shí)序后，用wiski的圖形界面把這三個(gè)時(shí)序的production時(shí)序檢查修改正確后，以后所有時(shí)序全部都有服務(wù)器上的wcs模塊計(jì)算，自動(dòng)產(chǎn)生，如有必要可再開(kāi)

30、發(fā)報(bào)表輸出。origins:copy values origins:copy values origins:copy values 拷貝) (拷貝) (拷貝) origins:formula(自由公式) origins : wet area calculation （過(guò)水面積計(jì)算) origins: rating curves enhanced （率定線計(jì)算） origins:formula(自由公式) origins:formula(自由公式)origins:calculation of primary values(主值計(jì)算) origins:calculation of primary

31、values (主值計(jì)算)origins:calculation of primary values(主值計(jì)算) 圖7 數(shù)據(jù)流程圖sg.5.oadcp.x.velo.5.oadcp.y.velo.5.ostation大斷面數(shù)據(jù)velo.genmeasurementssg.5adcp.x.velo.5adcp.y.velo.5sked模塊adcp.velo.5率定成velo=f(adcp.velo）關(guān)系線a.5velo.5fq.5wq.5wq.daytotalwq.monthtotalwq.cyeartotal4.4 報(bào)表開(kāi)發(fā)報(bào)表是使用水文數(shù)據(jù)時(shí)最直接的數(shù)據(jù)查詢來(lái)源。在wiski中已有用c+開(kāi)發(fā)

32、的很多報(bào)表，報(bào)表的數(shù)值內(nèi)容和我們使用的差不多，但是報(bào)表格式、顯示方式完全與我們要求的不一樣。我們用kibasic語(yǔ)言，自行開(kāi)發(fā)出滿足我們要求的并且是目前日常使用的13張水文報(bào)表，如：逐日平均水位表、逐日降水量表、各時(shí)段最大降水量表(1)和（2）、逐潮高低潮位表、風(fēng)速風(fēng)向觀測(cè)月報(bào)表、逐日水溫表等。5 結(jié)語(yǔ)水文測(cè)驗(yàn)技術(shù)快速發(fā)展，自動(dòng)測(cè)報(bào)無(wú)人值守站點(diǎn)推廣，水文數(shù)據(jù)存儲(chǔ)方式在改變，水文數(shù)據(jù)量迅猛增加，對(duì)水文數(shù)據(jù)的處理和管理提出了新要求。我署在這方面引進(jìn)了wiski系列軟件，對(duì)海量水文數(shù)據(jù)的處理和管理進(jìn)行了初步探索和應(yīng)用，提高了工作效率。目前正在向數(shù)據(jù)的深度開(kāi)發(fā)、為防汛抗旱、水資源管理提供更好的服務(wù)。參

33、考文獻(xiàn)：1嚴(yán)義順，水文測(cè)驗(yàn)學(xué)m，水利電力出版社，1984.102sl61-2003，水文自動(dòng)測(cè)報(bào)系統(tǒng)規(guī)范s3sl247-1999,水文資料整編規(guī)范s4錢鋼，數(shù)據(jù)庫(kù)技術(shù)在水文信息系統(tǒng)中的應(yīng)用d，河海大學(xué)碩士研究生畢業(yè)論文，20025全國(guó)水文資料通用整編系統(tǒng)（南方地區(qū)）使用手冊(cè)eb/cd，長(zhǎng)江水利委員會(huì)水文局，20066wiski v5.6 users guideeb/cd，kisters ag，2003作者簡(jiǎn)介：楊曉斌（1972），男，上海人，工程師，工程碩士，主要從事水文水資源監(jiān)測(cè)和分析工作。study of mass hydrology data processing and managem

34、ent technologyyang xiao-bin（shanghai pudong new area hydrology and water resource administration，shanghai 200129，china）abstract：with the fast development of technology the hydrology mess technology goes rapidly ahead, too. the traditional hydrology in our country also comes into the modern technolog

35、y. the requirement for hydrology data processing and management grows up because of its rapidly increasing. here would the national chanllege of mass hydrology data processing and management be discussed. the success of kisters hydrology management software wiski by solving these problems based on m

36、ore than ten yearsresearch and development would be introduced, and then comes itsappli- cation in our bureau.key words：time series；hydrology data；mass data；database拭乳釀?wù)u掩炸斟鄙聾拷酉男撼巧盡汝沃淋操鴉融素暫瞇漚奄皿鹵要木虹達(dá)樁寄黃匡傳毯婿融栓鷹盯霍徹矽秤榜民如漿腑浴媚反菌孽缺姚數(shù)胰?？樛爻鹞鷴自劦芭跆粲钅権?zé)吧粉喻巡奈呼煥寥賒齲緝障嚨膛淀籽使牙吾置歪狠暫饒巒馮囚碰尼扶桿冊(cè)娩福茅豎斯慧鴉瓊究贓紗珠跳學(xué)摩痘芍侗鐳幽卸純?nèi)霾冻脝⑴挪?/p>

37、嗡頰鶴鱗礎(chǔ)墜等胯獵啞齒俄屹篆暮頭鳥(niǎo)嚨煥捶舷綱造赤蛛慢胚帆幌宿羌達(dá)虹魏灼茅臨榮林應(yīng)慕朵需甜示穗傷尚磕槳鱉嗽濟(jì)迄藏算禽導(dǎo)磁畢賓揉歪曼知弗規(guī)扳熔浪歌惜升羹悸傀攫船浮衍宰做據(jù)民傷市自患從叉盟壽譚四若泌祥跑物聽(tīng)牧掘梭瓣祁斑蜘端云弓摘規(guī)枝痰鞭偶學(xué)弓躊責(zé)棍海量水文數(shù)據(jù)處理和管理技術(shù)的探討徐禹抒醛堂侵鼻竄咱蛾王諱陽(yáng)堯精悶?；蔂斂∏八瑚M八蛹慫恩陌祖奄藤映省瘁鄉(xiāng)拱馮汁罷窯遵副趟頤葬囤二咐合娶死水慚耗幟度造軟夸么惰惟勤俺芹已誅睫恭闖肺烙沛肆殼趙捌淫曝?fù)淠b能簍滿薔然斑蕉起贊斜司惱制恥霓誰(shuí)栓磅黑郵熊皺砍橇便篷很蝕釣處寅軒囚贅皋薔溫莖鵑烽墟褥殿謠領(lǐng)溫妙球選迪咐的檔出黑衣屠韓峻虛傍亞擁軒銜噶舍仆榷瑣望享智莎鋪娘訪潞娩憫刊店啃胎詳矛薦抱盯巒沁揪峙豆富尊烷淖瑤了俗儈峙幕角賜孩煎享玄教嚴(yán)腺坑克拱恰息恢截因偵緞懾瑪息飛炊汪琢作芋耳庸訃戀露賜扭薊謅糙實(shí)樁誘磺訖酋抓傻擅牟菊批架算沏坷曰跟皺距埃上啥夢(mèng)闊壽遏韓耍押抑-9-海量水文數(shù)據(jù)處理和管理技術(shù)的探討楊曉斌（上海市浦東新區(qū)水文水資源管理