——數(shù)據(jù)庫技術(shù)與Web技術(shù)的融合

1、數(shù)據(jù)庫技術(shù)與Web技術(shù)的融合唐常杰 于中華 朱敏 張?zhí)鞈c 廖果四川聯(lián)合大學(xué)計算機系 1997年在數(shù)據(jù)庫界中被炒得發(fā)燙的一系列新概念中，一個牽動了理論家、系統(tǒng)研究者、應(yīng)用開發(fā)人員，并使廠商趨之若鶩的概念是Web_DB。 數(shù)據(jù)庫技術(shù)生于60年代，長于70、80年代，如今已過而立之年，凡有計算機的地方，無不散發(fā)著它的成熟的魅力。Web技術(shù)正值豆蔻年華，隨著光纖和無處不在的電話線，把信息技術(shù)的青春氣息帶到千家萬戶。 兩門在年齡上相差大約20個年頭的技術(shù)的結(jié)合，成了數(shù)據(jù)庫研究界的大喜事，人們紛紛辦專題討論、出論文集、出專著；這一事件也成了產(chǎn)業(yè)界的搖錢樹，數(shù)據(jù)庫廠商紛紛宣布自己的Web中間件，Web公司紛

2、紛宣布自己的數(shù)據(jù)庫接口。 人們要問Web和DB結(jié)合的動機是什么?有什么背景?前途如何、將會對世紀之交的信息產(chǎn)業(yè)產(chǎn)生什么影響?1Web_DB，大勢所趨 Web和DB的結(jié)合源于二者各自的優(yōu)勢和缺陷1.1 Web上數(shù)據(jù)特點:量大型多，組織管理不足。 目前Web中字節(jié)量正以高于每月15%(或每年1.1512=5.2倍)的速度增加。由于Web是Internet上非官方聯(lián)結(jié)的資源集合，Web數(shù)據(jù)缺乏結(jié)構(gòu)和規(guī)范，目前Web上數(shù)據(jù)主要由靜態(tài)HTML表達，其優(yōu)點是表現(xiàn)能力強，鏈點跳轉(zhuǎn)靈活，與平臺無關(guān)。但由于Web頁面結(jié)構(gòu)自由性大，使整個Web宏觀上是由以HTML文件為單位的信息自由市場。信息多而結(jié)構(gòu)亂，從管理水

3、平上看，似乎相當于70年代數(shù)據(jù)庫發(fā)展初期的文件管理水平。1.2 HTML文件更新動態(tài)特性差。 HTML文件是Web數(shù)據(jù)的主要載體，其物理格式為普通Text格式，以回車換行符分隔長度不確定的文本行，其邏輯格式(頁面顯示格式)由超文本標記表達. 對HTML文件更新方式有兩種算法(1)新版本覆蓋法(更新量較大時) (A) 對舊版本加讀、寫鎖(暫時不讓W(xué)eb用戶存取舊版本)； (B) 產(chǎn)生新版本，覆蓋舊版本； (C) 解鎖。(2)部分更新法(更新量較小時) (A)對舊版本加讀寫鎖； (B)Seek操作，定位被更新內(nèi)容； (C)更新指定內(nèi)容； (D)解鎖。 兩種方法加鎖時都是以文件為單位。 因此更新特性

4、不好，Web Server中HTML文件內(nèi)容更新周期一般都設(shè)置得較長(一小時、一天、一周或一月)，即令每小時更新一次，例如早800發(fā)布了航班到達時刻表，在859時，用戶從Web上看到的消息仍不能反映這59分鐘內(nèi)發(fā)生的變化。 反之，如果用數(shù)據(jù)庫動態(tài)管理的航班到達時刻，用戶通過瀏覽器訪問庫中內(nèi)容，得到的就是最新的消息。1.3 DBMS上組織管理成熟，但數(shù)據(jù)有限。 當前DBMS已發(fā)展到相當成熟的階段，能高效、高質(zhì)、安全地管理數(shù)據(jù)。數(shù)據(jù)庫可以通過數(shù)據(jù)提煉和重組，進一步加工，組成數(shù)據(jù)倉庫，數(shù)據(jù)倉庫中更注重于統(tǒng)計性數(shù)據(jù)和趨勢性知識。與Web的優(yōu)點相比，DBMS顯得嚴謹有余而靈活不足。經(jīng)二次開發(fā)而產(chǎn)生的應(yīng)用

5、系統(tǒng)，總是針對某個具體使用者(一個公司，一個學(xué)校，一個行政系統(tǒng))，它與Web的數(shù)據(jù)交換依賴于附加的軟件(如CGI公共網(wǎng)關(guān)接口)，而不是DBMS內(nèi)核功能。 在全國第十四屆數(shù)據(jù)庫學(xué)術(shù)會議大會報告中，我們用一幅圖來比喻了DB和Web的關(guān)系在Web方面，用海洋比喻Web(數(shù)據(jù)海洋)，遠洋漁輪比喻Web Server,拖網(wǎng)比喻中間件、而海洋中的魚，則比喻為人們所期望的數(shù)據(jù)或信息。在數(shù)據(jù)庫方面，用碼頭魚庫比喻數(shù)據(jù)庫，加工廠把海洋產(chǎn)品，源源不斷地加工成產(chǎn)品送往(數(shù)據(jù))倉庫。 DB、Web Server和Web三者之間的關(guān)系，正象海產(chǎn)品企業(yè)、遠洋捕撈業(yè)和海洋的關(guān)系，分則俱損、合則俱榮。 試設(shè)想，當人們以Web

6、瀏覽器瀏覽地球另一面某大學(xué)圖書數(shù)據(jù)庫的時候，善解人意的瀏覽器在外表上給用戶以美的感覺，而在后臺卻有成熟數(shù)據(jù)庫技術(shù)的嚴格組織、迅速高效和一絲不茍。正因為如此，Web公司、數(shù)據(jù)庫廠商、有關(guān)研究人員才都把眼光投向了Web_DB。2Web_DB的分類 目前以Web_DB為旗幟的產(chǎn)品、原型或設(shè)計方案及研究論文眾多。Web_DB這一概念在不同方案中，內(nèi)涵有所差異，根據(jù)近年探索工作中的體會，把所見到的方案分為下列四類2.1 以Web為庫，DBMS與Web直接接軌。 一些廠商對DBMS擴展數(shù)據(jù)類型，凡Web上有的數(shù)據(jù)類型都作為DBMS的內(nèi)部數(shù)據(jù)類型。Web頁面、HTML、URL、圖形圖象都存儲在同一個集成式數(shù)

7、據(jù)庫中。處理Web數(shù)據(jù)的機制(HTML和庫中數(shù)據(jù)的互換、頁面顯示、對Web用戶廣播數(shù)據(jù)庫中的數(shù)據(jù))等都成為DBMS內(nèi)部功能。 從用戶角度看，這是一個很理想的模式，在一臺單機或一個局域網(wǎng)上裝上這種方案的Web_DB系統(tǒng)，關(guān)閉它與外界的聯(lián)系，它自成一個小Web(即Intranet),打開它與外界的聯(lián)系，它將以整個Web為庫。 從開發(fā)者角度看，這是一個難度較大的方案。正在成長期的Web上隨時都有可能增加新數(shù)據(jù)類型、新的信息格式，要想與Web同步成長，DBMS也許需要每月更新版本。 Informix技術(shù)人員在全國第十四屆數(shù)據(jù)庫學(xué)術(shù)會議上提交的學(xué)術(shù)論文表明，該公司正致力于這一方案，其體系結(jié)構(gòu)包括 Inf

8、ormix 數(shù)據(jù)庫服務(wù)器和工具 Informix Universal Web Connect(通用Web連接服務(wù)) Web DataBlade模塊 Java AnyWhere Informix Data Director for Java2.2用瀏覽器訪問網(wǎng)上數(shù)據(jù)庫 這一類方案不象第一類那樣企圖包羅萬像，只是致力于用瀏覽器界面存取Web上現(xiàn)存的數(shù)據(jù)庫，其體系結(jié)構(gòu)大致如下 Web 數(shù) 據(jù) 庫 用 戶 瀏覽器 中間件 數(shù)據(jù)庫 服 務(wù) 器 服 務(wù) 器 圖 1 其典型代表是公共網(wǎng)關(guān)接口CGI(Common Gateway Interface),及其改進產(chǎn)品FastCGI，它作為圖1中的中間件。在Win

9、dows NT中具體體現(xiàn)為HTTPODBC.DLL動態(tài)鏈接庫。相關(guān)的工作框圖如下，其中IDC文件是用戶查詢請求(Select.From.Where)，而 HTX文件是用戶為查詢結(jié)果指定的HTML頁面格式。下面的圖2顯示CGI方案的體系結(jié)構(gòu)：這一方案的優(yōu)點是易于實現(xiàn)，用戶可以明用瀏覽器，暗用數(shù)據(jù)庫。用戶在Web頁面上交互式填查詢表，即可通過Web存取異地數(shù)據(jù)庫，并在瀏覽器上顯示結(jié)果。其缺點有二其一，Web服務(wù)器將是一個瓶頸；其二，在Web服務(wù)器和數(shù)據(jù)庫服務(wù)器中加入了中間件，會影響客戶/服務(wù)器性能，特別地，當中間件為CGI時，每次訪問都需重新啟動一個CGI程序?qū)嵗?，它以進程形式運行，占用資源較多，

10、效率較低，且難于解決連續(xù)事務(wù)處理。 HTML(含IDC文件名 Web 和HTX文件名) SQL O D B 服 中 間 件 D 服 務(wù) HttpOCDB.DLL B 務(wù) 器 查詢結(jié)果HTML 結(jié) 果 C 器圖 2 CGI方案2.3以Web資源充實本地數(shù)據(jù)倉庫 另一大類工作研究利用Web上的數(shù)據(jù)資源，包括Web上數(shù)據(jù)庫中的內(nèi)容和非數(shù)據(jù)庫形式的網(wǎng)頁，充實本地的數(shù)據(jù)庫或數(shù)據(jù)倉庫，以期獲取指定專題下的統(tǒng)計性數(shù)據(jù)或趨勢性知識。這一類工作只從Web讀，不向Web寫，其側(cè)重點在于： 建立和更新指定專題下Web資源地址 粗采Web資源礦藏 篩選有價值數(shù)據(jù)段 文獻索引庫 數(shù)據(jù)采掘加工 數(shù)據(jù)倉庫維護。 文獻上常見

11、的Warehousing on Web,Data Mining On Web 屬于這類工作。這類工作”從外界讀”的任務(wù)大多通過第三方軟件實現(xiàn)，例如通過CGI或數(shù)據(jù)庫廠商Web接口。一大批新興的公司，如Centura Software、MicroStratigies、Information Advantage等正研制開發(fā)這方面的產(chǎn)品。2.4 Web Market,在Web上銷售數(shù)據(jù) 專門從事收集和出售信息的信息商從客戶反映中得知，用戶對可能含有矛盾、冗余或可能過時的”信息洪水”已失去信心，如在1.2節(jié)所述，在8點59分得到的到達航班信息是8點鐘發(fā)布的，難作可靠的決策依據(jù)。信息商改用數(shù)據(jù)庫存儲和出

12、售信息。信息銷售方式改“拉”為“推”。過去由用戶自己用“信海撈針”方式去積零為整，現(xiàn)在改為根據(jù)用戶需求，將數(shù)據(jù)打包裝箱，送貨上門。 這一類研究工作中，有下列內(nèi)容 用戶分析。根據(jù)用戶信息數(shù)據(jù)庫，用數(shù)據(jù)采掘的技術(shù)找出用戶職業(yè)、年齡、性別等與信息需求的聯(lián)系，以便推銷。 推銷工具的研制。例如Netscap4.0 中Netscater 和MS的 IExkplorer4.0中的Subsciriptes(定購)功能。 把數(shù)據(jù)庫組織成用戶喜歡的易于銷售的形式。 計費。 捎帶廣告。在用戶喜歡的記錄中捎帶了化妝品、飲料廣告，用戶對鏈點的單擊次數(shù)被累加作為收取廣告費的依據(jù)，等等。3技術(shù)要點 Web_DB技術(shù)旨在用W

13、eb瀏覽器的界面，存取數(shù)據(jù)庫的內(nèi)容，由此大致地決定了其技術(shù)要點，下面以CGI為例說明其主要環(huán)節(jié)。 (1) 用戶從瀏覽器交互式提出查詢要求并指定結(jié)果輸出頁面格式(或采用默認的頁面格式) 例如，在CGI中通過HTML的Or標簽實現(xiàn)<HTML> <Form Action = “MyComprtr / DB /Test_Query. IDC” Method = “POST” > </ Form>< /HTML> 這一段HTML在瀏覽器上顯示一個交互輸入窗口，讓用戶修改查詢文件的名稱(默認為Test_Query.IDC)，其中還可加入口令驗證等項目。 而查

14、詢文件Test_Query.IDC的核心語句如下例所示 Username user1 Template: Test_OutFormat.htx SQL Statment: Select Name, Age From Student Where Age>20其中Test_OutFormat.htx是用戶為查詢結(jié)果指定的HTML頁面格式，是一個用HTML書寫的以變量為占位元的填空表格，以查詢的結(jié)果值取代變量，即可在瀏覽器上顯示頁面。 (2) 瀏覽器根據(jù)Method為POST把Action指定的IDC文件名送到Web服務(wù)器，繼而再將其內(nèi)容送到中間件(CGI)。 (3) 中間件解析出IDC文件的

15、核心語句轉(zhuǎn)成SQL語句，送到數(shù)據(jù)庫服務(wù)器。 (4) 數(shù)據(jù)庫服務(wù)器執(zhí)行查詢，把結(jié)果返回中間件。 (5) 中間件根據(jù) Test_OutFormat.htx指定的格式，把結(jié)果轉(zhuǎn)化為HTML，送Web服務(wù)器。 (6) 再將結(jié)果送回瀏覽器，顯示結(jié)果。4Web_DB技術(shù)產(chǎn)品4.1數(shù)據(jù)庫廠商的Web接口 如2.1中所述，CGI有一系列缺點，這些缺點造就了Web瀏覽器廠商和數(shù)據(jù)庫廠商的商業(yè)機會，各公司競相出臺中間件取代CGI。由于CGI缺點暴露于前，各公司根據(jù)自己優(yōu)勢開發(fā)中間件于后，自然這些產(chǎn)品性能都大大優(yōu)于CGI.其結(jié)構(gòu)如圖3所示 Web Web SQL DB 瀏 服 CGI 服 DB 覽 務(wù) 務(wù) 器 器

16、器 Netscape NSAPI MS ISAPI Informix IUWC Oracle Web Server Sybase IQ 圖 3 Web_DB 產(chǎn)品結(jié)構(gòu) 若干數(shù)據(jù)庫廠商在全國十四屆全國數(shù)據(jù)庫會議上，通過媒體充分介紹了自己的Web接口展品。下面僅簡介這次會議上未到會的部分公司的產(chǎn)品。4.2 NetScape LiveWire 作為中間件，NetScape的 LiveWire可直接訪問 Informix,Oracle,Sybase數(shù)據(jù)庫。用戶可通過 JavaScript國 Navigator入口。并可通過ODBC訪問其它數(shù)據(jù)庫，結(jié)構(gòu)如圖4如下 Navigator Informix 瀏

17、 覽 器 Oracle LiveWire JavaScript Sybase O D B C 其 它 數(shù) 據(jù) 庫 圖 4 4.3 Storm Cloud公司的WebDBC StormCloud的WebDBC可視為一個已經(jīng)編譯過的CGI部件，在Windows95、Windows NT和Unix平臺上已經(jīng)商品化，界面友好，易學(xué)易用，體系結(jié)構(gòu)如圖5所示 Java 應(yīng)用程序 Web Web DB 服 務(wù) 器 DBC Web 瀏 覽 器圖 5 5我們的工作5.1 已作的工作 我們在Hbase for Windows上開發(fā)了一個Web接口，并在此基礎(chǔ)上實現(xiàn)了商品化的Internet英漢機器翻譯系統(tǒng)(以下簡

18、稱信譯系統(tǒng))，實現(xiàn)了保持Web頁面格式、圖、色、聲和鏈點的全文翻譯。 Hbase是在國家自然科學(xué)基金資助下實現(xiàn)的時態(tài)數(shù)據(jù)庫管理系統(tǒng)，有關(guān)細節(jié)請參見數(shù)據(jù)庫管理系統(tǒng)設(shè)計與實現(xiàn)（電子工業(yè)出版社 1993年）和數(shù)據(jù)管理系統(tǒng)內(nèi)部結(jié)構(gòu)及C語言實現(xiàn)（電子科技大學(xué)出版社 1995年）。 信譯英漢翻譯系統(tǒng)是四川省科情所與我校合作的項目，體系結(jié)構(gòu)如下瀏覽器Web 接口 翻 譯 機 Xin_yi.EXEHbase_WWindows 32 / 95 / NT圖 6 信譯系統(tǒng)結(jié)構(gòu) 信譯系統(tǒng)以HBase管理詞庫和知識庫系統(tǒng)大約占磁盤空間30M，其Web接口屬于第二節(jié)中的第三類，即以Web資源充實本地數(shù)據(jù)庫，只從Web上讀

19、，不向Web寫。是為即將展開的Data Mining On Web項目準備的接口。 信譯系統(tǒng)采用Hbase的Web接口完成下列工作 (1) 控制瀏覽器的數(shù)據(jù)流向和部分動作； (2) 設(shè)置URL，獲取URL； (3) 獲取并解析HTML文件，存于本地指定目錄； (4) 設(shè)置CGI參數(shù)，獲取Web數(shù)據(jù)庫數(shù)據(jù)； (5) 將翻譯機譯后的結(jié)果回填大瀏覽器。 有人問，Web_DB設(shè)計技術(shù)環(huán)節(jié)多，操作是否會很復(fù)雜，以信譯系統(tǒng)為例，在HBase查詢Web數(shù)據(jù)且對象相對穩(wěn)定時，用戶只需單擊一兩次鼠標即完成全部工作，大致如下：瀏覽器和信譯系統(tǒng)啟動后，信譯系統(tǒng)表現(xiàn)為一個小窗口，在屏幕右下部位，且總在最前面，瀏覽到需譯頁面時，鼠標單擊翻譯機，光標變?yōu)槭中?，再單擊欲譯頁面，即全文翻譯，譯后的漢字信息自動填回瀏覽器，并保持了原來的顏色、圖象、聲音、頁面布局和鏈點。同時還在本地磁盤上保留了副本，可啟動系統(tǒng)內(nèi)置的譯后編輯器修改。5.2 將作的工作 Hbase的Web接口將擴充以下功能5.2.1 打開Web上數(shù)據(jù)庫庫文件 在Open Database窗中直接輸入 http:/WWW.SCUU5.2.2 存取上述數(shù)據(jù)庫的一個字段 Sele