Deep Web數(shù)據(jù)集成若干關(guān)鍵技術(shù)研究及系統(tǒng)原型實現(xiàn)-碩士論文答辯

1、Deep Web數(shù)據(jù)集成若干關(guān)鍵技術(shù)研究及系統(tǒng)原型實現(xiàn)導(dǎo)師：XXX作者：XXXXDeep Web選題背景大數(shù)據(jù)（Big Data）時代的到來 2012年7月份，美國Brightplanet公司在白皮書Exploiting Big Data from the Deep Web中指出，大數(shù)據(jù)(Big Data)無處不在，每時每刻有204,166,667封郵件在發(fā)送，有571個新網(wǎng)頁生成等等。全球互聯(lián)網(wǎng)數(shù)據(jù)量以40%的速度在增長，在未來的5年將到達(dá)現(xiàn)在的800% 。其中絕大部分來自于Deep Web 。爆炸式的Web信息含量 英國著名網(wǎng)絡(luò)咨詢收集和數(shù)據(jù)統(tǒng)計機構(gòu)Netcraft公司于2012年7月份的

2、統(tǒng)計，目前全球互聯(lián)網(wǎng)上約有698,000,000個站點，是2010年1月份統(tǒng)計的3倍多。中國互聯(lián)網(wǎng)信息中心(CNNIC)于2012年7月發(fā)布第30次中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告顯示，截至2012年6月底，中國域名總數(shù)為873萬個，網(wǎng)站數(shù)量為250萬個，網(wǎng)頁總數(shù)約為870億是2006年(45億)數(shù)目的19倍。 Deep Web信息比Surface Web更豐富 從 Brightplanet公司對Deep Web做較為全面的宏觀統(tǒng)計中，悉知Deep Web所蘊含的信息量是Surface Web的400550倍左右，月平均訪問量要高出Surface Web的15% ，信息質(zhì)量是Surface Web

3、的1000到2000倍。 選題意義研究Deep Web數(shù)據(jù)集成系統(tǒng)相關(guān)技術(shù)，豐富該領(lǐng)域理論知識 ；深入研究若干關(guān)鍵技術(shù)，提出相關(guān)問題的有效解決方法或改進 ；結(jié)合相關(guān)技術(shù)，實現(xiàn)Deep Web數(shù)據(jù)集成原型系統(tǒng)，為對Deep Web數(shù)據(jù)集成研究的進一步探索和應(yīng)用提供參考 。研究現(xiàn)狀研究機構(gòu)研究項目集成系統(tǒng)接口識別接口集成結(jié)果實現(xiàn)華盛頓大學(xué)ShopBot伊利諾斯大學(xué) MetaQuerier斯坦福大學(xué)HiWE哥倫比亞大學(xué)Qprober微軟亞洲研究院第三代搜索引擎人民大學(xué)JobTong蘇州大學(xué)DeepWeb數(shù)據(jù)集成BrightPlanet公司Deep Web數(shù)據(jù)集成系統(tǒng)一些網(wǎng)站則建立了面向特定領(lǐng)域Dee

4、p Web的專用搜索引擎。如去哪網(wǎng)的機票、酒店等查詢，一找網(wǎng)的商品比價等，但是估計由于商業(yè)秘密的限制，相關(guān)的技術(shù)并沒有在公開的資料中闡述。 論文所作工作及貢獻(xiàn)研究一種快速Web數(shù)據(jù)庫發(fā)現(xiàn)的策略 ；提出了一種基于DOM的Deep Web查詢接口模式抽取方法 ；提出了一種基于接口文本VSM的Deep Web數(shù)據(jù)源分類方法 ；設(shè)計一種基于正則表達(dá)式的結(jié)果數(shù)據(jù)抽取方法 ；設(shè)計并實現(xiàn)了一個面向Deep Web的數(shù)據(jù)集成原型系統(tǒng) ；論文結(jié)構(gòu)緒論1Deep Web數(shù)據(jù)集成研究相關(guān)概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3基于DOM的Deep Web查詢接口模式抽取 4 基于接口文本VSM的Web數(shù)據(jù)庫分類 5

5、基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結(jié)與展望 8Deep Web數(shù)據(jù)集成研究相關(guān)概述 2 Web按其蘊涵信息的“深度”可以劃分為Surface Web和Deep Web兩大部分。 Deep Web描述： Deep Web數(shù)據(jù)集成研究相關(guān)概述 2Deep Web數(shù)據(jù)集成描述： Deep Web數(shù)據(jù)集成研究相關(guān)概述 2視圖視圖數(shù)據(jù)庫數(shù)據(jù)庫局部模式局部模式全局模式（中間模式）集成Deep Web數(shù)據(jù)集成研究相關(guān)概述 2緒論1Deep Web數(shù)據(jù)集成研究相關(guān)概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3基于DOM的Deep Web查詢接口模式抽取 4 基

6、于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結(jié)與展望 8Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3Web數(shù)據(jù)庫發(fā)現(xiàn)步驟 1）發(fā)現(xiàn)Web數(shù)據(jù)庫網(wǎng)站，定位。 2）從網(wǎng)站中發(fā)現(xiàn)查詢接口，識別Web數(shù)據(jù)庫入口。基于搜索引擎的Web數(shù)據(jù)庫定位 利用現(xiàn)有搜索引擎，使用一組能描述特定領(lǐng)域Web數(shù)據(jù)庫特征的詞匯當(dāng)作檢索關(guān)鍵詞進行搜索提交，從搜索的網(wǎng)頁記錄頁面中提取目標(biāo)網(wǎng)站鏈接，定位到相關(guān)Web數(shù)據(jù)庫所在的網(wǎng)站。 基于規(guī)則的Deep Web查詢接口識別 通過對大量Deep Web查詢接口與非Deep Web查詢接口表單的觀察，參考一些文獻(xiàn)

7、總結(jié)出的規(guī)則，深入分析Deep Web查詢接口與非Deep Web查詢接口表單固有特點和區(qū)別，結(jié)合實際情況，提出一些Deep Web查詢接口的識別規(guī)則 ，并基于規(guī)則設(shè)計識別算法。 Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3判定規(guī)則：Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3緒論1Deep Web數(shù)據(jù)集成研究相關(guān)概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3基于DOM的Deep Web查詢接口模式抽取 4 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結(jié)與展望 8基于DOM的Deep Web查詢接口模式抽取

8、 4查詢接口模式 查詢接口模式可以被看作是建立在對應(yīng)于Web數(shù)據(jù)庫上的一個視圖，主要由一組領(lǐng)域相關(guān)的屬性集合組成，通過對查詢接口上的若干屬性進行賦值形成對接口后臺數(shù)據(jù)庫的一個查詢?；贒OM的Deep Web查詢接口模式抽取 4基于DOM的查詢接口模式抽取 查詢接口一般是HTML的Form表單，其在瀏覽器中也被解析為DOM。基于DOM的Deep Web查詢接口模式抽取 4基于DOM的查詢接口模式抽取 模式抽取流程?；贒OM的Deep Web查詢接口模式抽取 4元素級抽取元素 = 標(biāo)簽文本 查詢控件元素級抽取算法基于DOM的Deep Web查詢接口模式抽取 41）DOM節(jié)點解析的有序性 ；2）

9、查詢控件內(nèi)部屬性值與標(biāo)簽文本的語義相似性 ?；贒OM的Deep Web查詢接口模式抽取 4屬性級抽取預(yù)聚類：根據(jù)元素的路徑來實現(xiàn)聚類的。即以接口元素的元素路徑所包含的分歧路徑信息作為依據(jù)，把擁有相同分歧路徑的元素聚集到相同的歸類中，于此同時，通過預(yù)聚類也把兩個元素路徑中所包含不相同分歧路徑的元素分開。 再聚類：充分利用構(gòu)成屬性的元素之間所具有的特點，提出了一個元素組合權(quán)值公式GroupWeight ，根據(jù)GroupWeight權(quán)值來實現(xiàn)元素聚類重組成屬性 。 屬性級抽取，預(yù)聚類算法與再聚類算法基于DOM的Deep Web查詢接口模式抽取 4基于DOM的Deep Web查詢接口模式抽取 4查詢

10、接口模式表示基于DOM的Deep Web查詢接口模式抽取 4實現(xiàn)結(jié)果緒論1Deep Web數(shù)據(jù)集成研究相關(guān)概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3基于DOM的Deep Web查詢接口模式抽取 4 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結(jié)與展望 8 基于接口文本VSM的Web數(shù)據(jù)庫分類 5Web數(shù)據(jù)庫分類定義設(shè)有Web數(shù)據(jù)庫集合： 對其進行分類： BrightPlanet根據(jù)Deep Web的內(nèi)容類型分為：主題數(shù)據(jù)庫(Topic DataBase)、內(nèi)部站點(Internal Site)、出版物(publ

11、ications)等12種類別。 UIUC大學(xué)的MetaQuery的數(shù)據(jù)集TEL-81，并將Web數(shù)據(jù)庫分為：航班(Airfares)、酒店(Hotels)、租車(Car Rentals)、圖書(Books)、電影(Movies)、音樂(Music)以及工作(Jobs)和汽車(Automobile)等8個領(lǐng)域。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5VSM模型構(gòu)建關(guān)鍵詞匯集：關(guān)鍵詞匯集是指在某一個領(lǐng)域查詢接口集合上頻繁出現(xiàn)的、最能代表該領(lǐng)域信息的一組詞匯。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5VSM模型構(gòu)建向量空間模型：常用的文本表示方法 。 權(quán)重值計算方法： TF-IDF權(quán)重函數(shù) 、T

12、F-IWF權(quán)重函數(shù) 。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5VSM模型構(gòu)建VSM模型構(gòu)建 基于接口文本VSM的Web數(shù)據(jù)庫分類 5接口文本VSM：抽取接口文本，構(gòu)建VSM模型。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5查詢接口分類實現(xiàn)分類思想： 1）使用已標(biāo)記的查詢接口文本VSM中的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，構(gòu)建區(qū)分查詢接口領(lǐng)域類別的分類模型；2）根據(jù)獲得的分類模型，對未知的查詢接口對象進行分類。 分類實現(xiàn)： 引入數(shù)據(jù)挖掘工具，使用數(shù)據(jù)挖掘分類算法可實現(xiàn)對查詢接口的分類。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5實驗結(jié)果緒論1Deep Web數(shù)據(jù)集成研究相關(guān)概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究

13、3基于DOM的Deep Web查詢接口模式抽取 4 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結(jié)與展望 8基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6結(jié)果數(shù)據(jù)正則表達(dá)式正則表達(dá)式： 結(jié)果數(shù)據(jù)正則表達(dá)式： 描述航班號基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6結(jié)構(gòu)數(shù)據(jù)模式構(gòu)建自動化或人工構(gòu)建結(jié)果模式： 航班查詢領(lǐng)域查詢結(jié)果中包含了一些相同的屬性，如航班號、起飛時間、到達(dá)時間、機型、價格等 基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6結(jié)果數(shù)據(jù)區(qū)域定位結(jié)果數(shù)據(jù)區(qū)域定位基于正則表達(dá)式的Deep Web結(jié)

14、果數(shù)據(jù)抽取 6公共路徑選舉算法： 設(shè)有元素路徑集合：公共路徑選舉算法思想：設(shè)有n個投票人，它們也可以是候選人（即可以自選），其中，假設(shè)在投票中，有m個成為最終候選人，從m個候選人中選定得票最多者為目標(biāo)人選，但該目標(biāo)人選的得票數(shù)c必須不小于此次候選人m。 基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6結(jié)果數(shù)據(jù)區(qū)域定位公共路徑選舉算法： 基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6結(jié)果記錄分離抽取如關(guān)系數(shù)據(jù)庫表有主鍵一樣，Deep Web的結(jié)果數(shù)據(jù)記錄中也存在著唯一的、值不重復(fù)的關(guān)鍵字段，例如，航班機票查詢領(lǐng)域返回的結(jié)果數(shù)據(jù)中的航班號是唯一的、不重復(fù)的 。通過關(guān)鍵數(shù)據(jù)項獲取數(shù)據(jù)區(qū)域中的分歧路

15、徑集合，每一條分歧路徑可以把結(jié)果數(shù)據(jù)區(qū)域中的記錄區(qū)分開，分開抽取每條記錄的Html片段實現(xiàn)數(shù)據(jù)記錄的分離抽取。 基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6結(jié)果數(shù)據(jù)標(biāo)注與抽取基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6結(jié)果保存緒論1Deep Web數(shù)據(jù)集成研究相關(guān)概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7基于DOM的Deep Web查詢接口模式抽取 4總結(jié)與展望 8Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)架構(gòu)Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型

16、系統(tǒng)設(shè)計與實現(xiàn) Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設(shè)計與實現(xiàn) Web數(shù)據(jù)庫發(fā)現(xiàn)器：URL定位、網(wǎng)絡(luò)爬行、Deep Web查詢接口判定 原型系統(tǒng)設(shè)計與實現(xiàn) Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7Web數(shù)據(jù)庫模式抽取：基于Jexplor工具最終實現(xiàn)對查詢接口的模式抽取器。Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設(shè)計與實現(xiàn) Web數(shù)據(jù)庫分類器：編輯領(lǐng)域關(guān)鍵詞匯集 ，構(gòu)建查詢接口VSM ，使用訓(xùn)練集接口文本VSM進行訓(xùn)練、保存和更新分類模型可利用生成的模型，對未知類別的查詢接口進行分類 ?；赪eka二次開發(fā)。Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設(shè)計與實現(xiàn) 接口集成

17、：借用Protg和Jena框架編程實現(xiàn)查詢接口的領(lǐng)域本體構(gòu)建與集成 。Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設(shè)計與實現(xiàn) 查詢提交處理：Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設(shè)計與實現(xiàn) 結(jié)果抽取及標(biāo)注：采用Jsoup開放工具提供的編程接口來實現(xiàn)對Web數(shù)據(jù)的抽取。 緒論1Deep Web數(shù)據(jù)集成研究相關(guān)概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達(dá)式的Deep Web結(jié)果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7基于DOM的Deep Web查詢接口模式抽取 4總結(jié)與展望 8總結(jié)與展望 8本文創(chuàng)新點 1.針對Web數(shù)據(jù)庫發(fā)現(xiàn)問題，提出了一種通過搜索引擎快速發(fā)現(xiàn)Web數(shù)據(jù)庫的策略。2.針對查詢接口模式抽取問題，提出了一種基于DOM的查詢接口模式抽取方法，利用瀏覽器API將查詢接口解析成DOM，通過元素抽取、屬性抽取、查詢接口模式幾個階段最終實現(xiàn)對查詢接口模式的抽取。 3.利用每個領(lǐng)域查詢接口上的一組關(guān)鍵詞匯集構(gòu)建分類特征向量，構(gòu)建查詢接口文本的向量空間模型，引入數(shù)據(jù)挖掘平臺與相關(guān)分類算法完成對查詢接口的分類 。4.利用正則表達(dá)式構(gòu)建領(lǐng)域結(jié)果數(shù)據(jù)模式，通過結(jié)果數(shù)據(jù)區(qū)域定位、數(shù)據(jù)記錄分開抽取、數(shù)據(jù)項識別與標(biāo)注等三階段處理，最終實現(xiàn)結(jié)果數(shù)據(jù)的抽取。 不足之處 無法判定非Form表單查詢接口。Aj