ASP.NET WEB中圖像的檢索技術(shù)研究論文.doc

1第一章前言1.1引言隨著多媒體技術(shù)及Internet網(wǎng)絡(luò)的迅速發(fā)展，圖像來(lái)源不斷擴(kuò)大，大容量高速存儲(chǔ)系統(tǒng)為圖像的海量存儲(chǔ)提供了基本保障，各行各業(yè)對(duì)圖像的使用越來(lái)越多，圖像信息資源的管理和檢索也就顯得越來(lái)越重要。但由于Internet本身結(jié)構(gòu)上、管理上的問(wèn)題，想要在Internet準(zhǔn)確、快速、全面地找到自己所想要的圖像，卻變成了件非常不容易的事。由于Internet現(xiàn)有的問(wèn)題：內(nèi)容沒(méi)有結(jié)構(gòu)；網(wǎng)上信息量龐大且還在不斷的增加。因此，網(wǎng)絡(luò)產(chǎn)生了搜索引擎。雖然這些給網(wǎng)絡(luò)用戶(hù)提供了不少的幫助，但由于但離準(zhǔn)確、快速、全面地搜索自己所要的圖像還相當(dāng)遙遠(yuǎn)，所以對(duì)圖像檢索還要作很大的研究。根據(jù)國(guó)內(nèi)外現(xiàn)有的搜索引擎和國(guó)際上的有關(guān)研究小組的種種資料表明，現(xiàn)有的網(wǎng)絡(luò)資源和搜索引擎有如下特點(diǎn)：(1)索引的數(shù)據(jù)種類(lèi)豐富，如文字、圖像、聲音等多媒體。數(shù)據(jù)的存取協(xié)議也是多種多樣的，如HTTP、FTP、News、Gopher等；(2)索引數(shù)據(jù)量大，以致不可能有某個(gè)數(shù)據(jù)庫(kù)能包括整個(gè)Internet的索引，目前最大的搜索引擎，其中的索引也只不過(guò)覆蓋了Internet的一小部分；(3)資源消耗太大，系統(tǒng)需要將HTML文件傳送至本地然后分析，大量占用昂貴的網(wǎng)絡(luò)帶寬和CPU資源，增加被搜索結(jié)點(diǎn)的負(fù)擔(dān)。另外由于現(xiàn)有的搜索引擎一般是集中式的，所以搜索引擎服務(wù)器本身的硬件配置也極高，才能處理龐大的數(shù)據(jù)量和及時(shí)地響應(yīng)用戶(hù)的查詢(xún)請(qǐng)求；(4)不能有效解決索引失效問(wèn)題，很多時(shí)候，搜索引擎會(huì)返回?zé)o效的查詢(xún)結(jié)果；(5)各檢索工具各行其事，不能相互協(xié)作，在一定意義上講是一種資源的浪費(fèi)。1.2現(xiàn)有的圖像檢索技術(shù)近年來(lái)隨著用戶(hù)對(duì)網(wǎng)上圖像搜索要求的不斷增長(zhǎng)，各種圖像搜索引擎應(yīng)運(yùn)而生，它們各自以不同的工作方式為用戶(hù)提供各種檢索途徑，使網(wǎng)上圖像信息的搜索變得非常簡(jiǎn)單，盡管還不很完善，卻已經(jīng)可以滿足用戶(hù)的大多數(shù)要求。1.2.1搜索引擎的工作原理最基本的搜索引擎的結(jié)構(gòu)，是由Spider不停地從Web網(wǎng)上收集數(shù)據(jù)，存放在搜索引擎的數(shù)據(jù)庫(kù)中。用戶(hù)通過(guò)搜索引擎服務(wù)器上的Web接口，提出搜索請(qǐng)求，WebServer通過(guò)CGI或其它技術(shù)訪問(wèn)數(shù)據(jù)庫(kù)，并將用戶(hù)的搜索請(qǐng)求轉(zhuǎn)換成相應(yīng)的數(shù)據(jù)存取語(yǔ)句，送給數(shù)據(jù)庫(kù)引擎處理，并把查詢(xún)結(jié)果通過(guò)網(wǎng)頁(yè)顯示給用戶(hù)。網(wǎng)絡(luò)搜索的基本原理是通過(guò)網(wǎng)絡(luò)機(jī)器人定期在web網(wǎng)頁(yè)上爬行，然后發(fā)現(xiàn)新的網(wǎng)頁(yè)，把它們?nèi)』貋?lái)放到本地的數(shù)據(jù)庫(kù)中，用戶(hù)的查詢(xún)請(qǐng)求可以通過(guò)查詢(xún)本地的數(shù)據(jù)庫(kù)來(lái)得到。一般來(lái)說(shuō)網(wǎng)絡(luò)信息檢索的實(shí)現(xiàn)機(jī)制一般有兩種，一種是通過(guò)手工方式對(duì)網(wǎng)頁(yè)進(jìn)行索引，它的缺點(diǎn)是Web的覆蓋率比較低，同時(shí)不能保證最新的信息。查詢(xún)匹配是通過(guò)用戶(hù)寫(xiě)入的關(guān)鍵字和網(wǎng)頁(yè)的描述和標(biāo)題來(lái)進(jìn)行匹配，而不是通過(guò)全文的匹配進(jìn)行的。第二種是對(duì)網(wǎng)頁(yè)進(jìn)行自動(dòng)的索引，這種能實(shí)現(xiàn)自動(dòng)的文檔分類(lèi)，實(shí)際上采用了信息提取的技術(shù)。但是在分類(lèi)準(zhǔn)確性上可能不如手工分類(lèi)。在現(xiàn)在所有運(yùn)行的搜索工具來(lái)說(shuō)，一般都有一個(gè)Robot定期的訪問(wèn)一些站點(diǎn)，來(lái)檢查這些站點(diǎn)的變化，同時(shí)查找新的站點(diǎn)。一般站點(diǎn)有一個(gè)robot.txt文件用來(lái)說(shuō)明服務(wù)器不希望Robot訪問(wèn)的區(qū)域，Robot都必須遵守這個(gè)規(guī)定。如果是自動(dòng)索引的話，Robot在得到頁(yè)面2以后，需要對(duì)該頁(yè)面根據(jù)其內(nèi)容進(jìn)行索引，根據(jù)它的關(guān)鍵字的情況把它歸到某一類(lèi)中。頁(yè)面的信息是通過(guò)元數(shù)據(jù)的形式保存的，典型的元數(shù)據(jù)包括標(biāo)題、IP地址、一個(gè)該頁(yè)面的簡(jiǎn)要的介紹，關(guān)鍵字或者是索引短語(yǔ)、文件的大小和最后的更新的日期。盡管元數(shù)據(jù)有一定的標(biāo)準(zhǔn)，但是很多站點(diǎn)都采用自己的模板。文檔提取機(jī)制和索引策略對(duì)Web搜索引擎的有效性有很大的關(guān)系。高級(jí)的搜索選項(xiàng)一般包括：布爾方法或者是短語(yǔ)匹配和自然語(yǔ)言處理。一個(gè)查詢(xún)所產(chǎn)生的結(jié)果按照提取機(jī)制被分成不同的等級(jí)提交給用戶(hù)。最相關(guān)的放在最前面。每一個(gè)提取出來(lái)的文檔的元數(shù)據(jù)被顯示給用戶(hù)。同時(shí)包括該文檔所在的URL地址。另外有一些關(guān)于某一個(gè)主題的專(zhuān)門(mén)的引擎，它們只對(duì)某一個(gè)主題的內(nèi)容進(jìn)行搜索和處理，這樣信息的取全率和精度相對(duì)就比較高。目前，圖像搜索引擎主要通過(guò)以下兩種方法識(shí)別圖像：(1)自動(dòng)查找圖像文件。通過(guò)兩個(gè)HTML標(biāo)簽，即IMGSRC和HREF來(lái)檢測(cè)是否存在可顯示的圖像文件，IMGSRC表示“顯示下面的圖像文件”，導(dǎo)向的是嵌入式圖像；而HREF則表示“下面是一個(gè)鏈接”，導(dǎo)向的是被鏈接的圖像。搜索引擎通過(guò)檢查文件擴(kuò)展名來(lái)判斷其導(dǎo)向的是否為圖像文件，如果文件擴(kuò)展名是.gif或.jpg，即是一個(gè)可顯示的圖像。(2)人工干預(yù)找出圖像。進(jìn)行分類(lèi)，由人工對(duì)網(wǎng)上的圖像及站點(diǎn)進(jìn)行選擇。這種方法可以產(chǎn)生準(zhǔn)確的查詢(xún)體系，但勞動(dòng)強(qiáng)度太大，因此要限制處理圖像的數(shù)量。由于圖像不同于文本，需要人們按照各自的理解來(lái)說(shuō)明其蘊(yùn)含的意義，因此圖像檢索比文本的查詢(xún)和匹配要困難得多。1.2.2圖像搜索引擎的檢索途徑1.關(guān)鍵詞檢索傳統(tǒng)的圖像檢索技術(shù)是基于關(guān)鍵字的精確匹配檢索，系統(tǒng)內(nèi)的圖像用關(guān)鍵字標(biāo)識(shí)，檢索線索是與標(biāo)識(shí)相一致的關(guān)鍵字，即輸入是關(guān)鍵字，輸出是圖像。它又包括兩種途徑：(1)基于圖像外部信息進(jìn)行檢索。即根據(jù)圖像的文件名或目錄名、路徑名、鏈路、ALT標(biāo)簽以及圖像周?chē)奈谋拘畔⒌韧獠啃畔⑦M(jìn)行檢索，這是目前圖像搜索引擎采用最多的方法。在找出圖像文件后，圖像搜索引擎通過(guò)查看文件名或路徑名確定文件內(nèi)容，也可以通過(guò)查看圖像的標(biāo)題來(lái)匹配檢索詞。(2)基于手工標(biāo)注的檢索。手工對(duì)圖像的內(nèi)容（如物體、背景、顏色等）進(jìn)行描述并分類(lèi)，將其標(biāo)注為一系列關(guān)鍵字，并建立索引。檢索時(shí)，將主要在這些描述詞中搜索用戶(hù)輸入的關(guān)鍵字。這種查詢(xún)方式是比較準(zhǔn)確的，一般可以獲得較好的查準(zhǔn)率，但需人工參與，勞動(dòng)強(qiáng)度大，因而限制了可處理的圖像數(shù)量。另外，由于圖像所包含的信息量龐大，不同用戶(hù)對(duì)于同一張圖像的看法又不盡相同，導(dǎo)致了對(duì)圖像的標(biāo)注缺乏統(tǒng)一標(biāo)準(zhǔn)。2.圖像可視屬性的檢索而基于圖像內(nèi)容的檢索主要是由圖像分析軟件自動(dòng)抽取圖像的顏色、形狀、紋理等特征，建立特征索引庫(kù)，其輸入為用戶(hù)要查找的圖像的大致特征描述或示例，通過(guò)一定相似性匹配規(guī)則，輸出為與之具有相近特征的圖像，按相似程度排列，供用戶(hù)選擇，從而把在傳統(tǒng)圖像檢索技術(shù)中一般用戶(hù)難以完成的圖像特征描述、提取與識(shí)別等難題，交由系統(tǒng)去解決。這是一種基于圖像本身特征層次的檢索，特別適用于檢索目標(biāo)明確的查詢(xún)要求，但目前這種較成熟的檢索技術(shù)主要應(yīng)用于圖像數(shù)據(jù)庫(kù)的檢索。在圖像搜索引擎中應(yīng)用這種檢索技術(shù)還有一定困難，但己有部分圖像搜索引擎嘗試了這種檢索方法。1.2.3對(duì)幾個(gè)基本引擎的分析(1)InfoSeek是一個(gè)簡(jiǎn)單但是功能強(qiáng)大的索引，它的一個(gè)優(yōu)點(diǎn)是有一個(gè)面向主題搜索的可擴(kuò)展的分類(lèi)。你可以把你的搜索短語(yǔ)和相似的分類(lèi)目錄的主題短語(yǔ)相互參照，而那些主題短3語(yǔ)會(huì)自動(dòng)加到你的查詢(xún)中去。使你的搜索有更好的主題相關(guān)性。同時(shí)它也支持對(duì)圖象的查詢(xún)。它能夠漫游Web,Usenet,UsenetFAQs等等。不支持布爾操作，但是可以使用符號(hào)+和-。(2)AltaVista是一個(gè)大容量的，基于Robot索引的SearchEngine。它能幫你在WWW網(wǎng)上搜索你所需要的網(wǎng)頁(yè)，新聞組，圖像，視頻音頻片段。AltaVista還支持多種語(yǔ)言和簡(jiǎn)單的自然語(yǔ)言查詢(xún)。AltaVista覆蓋面約為WWW網(wǎng)上可索引的網(wǎng)頁(yè)的30%(3)Scour成立于1998年，自稱(chēng)是第一個(gè)基于web的多媒體搜索引擎。雖嚴(yán)格講，它并非是一個(gè)圖像搜索引擎，但可以將檢索限制在圖像搜索上。它的工作原理是在文件名、路徑名或ALT標(biāo)簽中搜索檢索詞。主要使用關(guān)鍵詞檢索，可以用或來(lái)增加或排除關(guān)鍵詞，使用盡可能少的關(guān)鍵詞會(huì)更有效。在高級(jí)檢索中，可以將檢索結(jié)果圖像限制在GIF、BMP、JPEG等格式中。檢索結(jié)果顯示簡(jiǎn)圖、圖像類(lèi)型（如GIF、BMP）、圖像大小、最后被查找的日期、檢索詞的匹配數(shù)量、標(biāo)引使用的關(guān)鍵詞、成功下載的可靠程度等，并同時(shí)給出圖像文件的URL和源站點(diǎn)的URL。主要缺陷是標(biāo)引深度不足，查準(zhǔn)率較低，但查全率較好。(4)這是由NCRTEC組織開(kāi)發(fā)的一個(gè)真正人工建立的完全的關(guān)鍵詞式索引。AmazingPictureMachine后面的教師負(fù)責(zé)選擇圖像豐富的站點(diǎn)，然后對(duì)每幅選定的圖像內(nèi)容進(jìn)行描述，給出關(guān)鍵詞。因此它的最大特點(diǎn)就是人工干預(yù)，關(guān)鍵詞檢索是主要的檢索手段。AmazingPictureMachine的搜索結(jié)果將顯示一個(gè)簡(jiǎn)短的標(biāo)題、有關(guān)圖像的說(shuō)明（如彩色或黑白）、文件的大小、文件類(lèi)型及象素多少等，但不顯示簡(jiǎn)圖。單擊該標(biāo)題可得到原圖像，但需由該URL回溯才能找出源站點(diǎn)。由于人工干預(yù)檢索過(guò)程，它的查準(zhǔn)率極好，但這也限制了它的查全率。它的檢索范圍很有限，只包括web上人工選擇的部分站點(diǎn)。(5)Lycos對(duì)所收錄的圖像進(jìn)行了詳盡的內(nèi)容描述，并支持短語(yǔ)檢索，從而使其查準(zhǔn)率大大提高。它根據(jù)文件擴(kuò)展名識(shí)別圖像，在描述詞、文件名、目錄名或ALT字段中查詢(xún)檢索詞。結(jié)果顯示的信息極為豐富，包括簡(jiǎn)圖、圖像大小、最后檢索日期、圖像文件名、圖像內(nèi)容描述詞、圖像所在頁(yè)面等。點(diǎn)擊簡(jiǎn)圖將得到原圖及更多的信息，如著作權(quán)人和更多的相關(guān)圖像。比較而言它的檢索效果很好，速度也很快。1.2.4搜索引擎的基本要點(diǎn)(1)索引文檔的容量：現(xiàn)在最大的搜索引擎可能包含了超過(guò)100,000,000個(gè)鏈接，但這也只是整個(gè)Web網(wǎng)上的一小部分。因?yàn)槭占Y料的Robot，只能從“已知”的鏈接開(kāi)始收集網(wǎng)頁(yè)資料，而只有一小部分Web網(wǎng)頁(yè)和這些“已知”的網(wǎng)頁(yè)有連接；現(xiàn)在還沒(méi)有一個(gè)搜索引擎能夠隨網(wǎng)頁(yè)內(nèi)容的更新比較及時(shí)地更新索引；(2)覆蓋面：地理覆蓋面和主題覆蓋面；(3)索引更新頻率：不同的搜索引擎，索引更新頻率相差很大，有的是幾周，有的是一年。索引更新頻率有兩種定義，一種比較少用的定義是新的網(wǎng)頁(yè)能被收錄進(jìn)索引數(shù)據(jù)庫(kù)中，另一種是同一頁(yè)多少時(shí)間才被檢查一次，有必要時(shí)更新索引。有的搜索引擎會(huì)對(duì)經(jīng)常更新的網(wǎng)頁(yè)和多人訪問(wèn)的網(wǎng)頁(yè)進(jìn)行更頻繁的重建索引工作；(4)采集過(guò)程：采集過(guò)程有寬度優(yōu)先、深度優(yōu)先兩種算法；一般認(rèn)為寬度優(yōu)先對(duì)擴(kuò)大內(nèi)容的覆蓋面有利，深度優(yōu)先算法有助于提供更多的細(xì)節(jié)資料；(5)索引算法：有的搜索引擎只處理元標(biāo)記和一小部分文檔內(nèi)容，而有一些搜索引擎則是對(duì)全文進(jìn)行索引；(6)結(jié)果顯示：有的搜索引擎只顯示網(wǎng)頁(yè)的標(biāo)題，有些則有更詳細(xì)的一些信息，比如網(wǎng)頁(yè)的內(nèi)容，更新日期等；(7)查詢(xún)算法：一個(gè)優(yōu)秀的查詢(xún)算法是很重要的，最基本的布爾查詢(xún)，短語(yǔ)查詢(xún)，有的4搜索引擎還提供指定屬性的查詢(xún)，比如可以指定對(duì)網(wǎng)頁(yè)的作者、主題進(jìn)行查詢(xún)。另外有的搜索引擎還采用了相關(guān)度反饋、概念查詢(xún)等算法；(8)用戶(hù)界面：很多搜索引擎都提供了簡(jiǎn)單查詢(xún)和高級(jí)查詢(xún)兩個(gè)界面。并且提供了必要的幫助和范例。1.3圖像檢索的發(fā)展方向圖像檢索技術(shù)給用戶(hù)提供了一個(gè)在互聯(lián)網(wǎng)上搜索感興趣圖像資源的有效手段，基于文本和基于內(nèi)容是圖像檢索發(fā)展的兩個(gè)分支，不過(guò)從目前圖像檢索研究的趨勢(shì)而言，尤其結(jié)合網(wǎng)絡(luò)環(huán)境下圖像的特征嵌入在具有文本內(nèi)容的Web文檔中，出現(xiàn)了三個(gè)不同的研究著眼點(diǎn)。(1)基于文本的檢索研究立足于文本，對(duì)圖像進(jìn)行檢索。試圖將傳統(tǒng)的文本檢索技術(shù)移植于對(duì)多媒體信息的檢索上，因?yàn)榛谖谋镜臋z索技術(shù)發(fā)展已經(jīng)成熟。如Page-Rank方法、概率方法、位置方法、摘要方法、分類(lèi)或聚類(lèi)方法、詞性標(biāo)注法等，不僅技術(shù)發(fā)展較為成熟，同時(shí)分析和實(shí)現(xiàn)的難度略小。但是因?yàn)槭芸卦~匯本身的局限，易歧義，更新慢，所以不太容易應(yīng)對(duì)網(wǎng)絡(luò)上日新月異的各類(lèi)圖像。(2)基于內(nèi)容的檢索研究立足于圖像內(nèi)容，對(duì)圖像進(jìn)行分析和檢索。相比而言，盡管圖像檢索已經(jīng)出現(xiàn)了諸如直方圖、顏色矩、顏色集等多種表征圖像特征的方法，但是要突破對(duì)低層次特征的分析，實(shí)現(xiàn)更高語(yǔ)義上的檢索，實(shí)現(xiàn)難度大，進(jìn)展慢。不過(guò)，基于內(nèi)容的圖像檢索建立在多媒體信息的內(nèi)容語(yǔ)義上，能夠更為客觀地反映媒體本質(zhì)的特征。(3)基于文本內(nèi)容結(jié)合的檢索研究結(jié)合文本和內(nèi)容，二者雖側(cè)重不同但卻互相補(bǔ)充。如果能將二者結(jié)合起來(lái)取長(zhǎng)補(bǔ)短，則網(wǎng)絡(luò)的圖像檢索技術(shù)必有新的進(jìn)展。已有的圖像搜索引擎在信息的自動(dòng)加工和標(biāo)引方面都有待提高，需要開(kāi)發(fā)出計(jì)算機(jī)自動(dòng)識(shí)別和標(biāo)引圖像的算法和技術(shù)，以完善現(xiàn)有的檢索功能，并與已有的成熟的圖像庫(kù)檢索技術(shù)相結(jié)合，這是今后應(yīng)該研究的一個(gè)課題。而且，圖像庫(kù)檢索技術(shù)也應(yīng)面向網(wǎng)絡(luò)，利用網(wǎng)絡(luò)技術(shù)進(jìn)行改造，提供新的WWW訪問(wèn)界面代替原來(lái)的應(yīng)用系統(tǒng)界面。同時(shí)將巨大的圖像庫(kù)資源利用網(wǎng)絡(luò)實(shí)現(xiàn)共享(4)對(duì)基于內(nèi)容編碼技術(shù)的研究可以說(shuō)，三個(gè)方向都是相互影響和促進(jìn)的，任何一個(gè)方向的進(jìn)展都會(huì)促進(jìn)圖像檢索技術(shù)向前更進(jìn)一步。目前，國(guó)際上還沒(méi)有通用的基于內(nèi)容的編碼標(biāo)準(zhǔn)。20世紀(jì)90年代初，國(guó)際上就開(kāi)始了對(duì)基于內(nèi)容的圖像信息檢索方面的研究。從基本的顏色檢索，到綜合利用多種圖像特征進(jìn)行檢索，大量原型系統(tǒng)已經(jīng)推出，其中，部分已投入到實(shí)際應(yīng)用中以檢驗(yàn)其有效性。同時(shí)，MPEG-7標(biāo)準(zhǔn)作為基于內(nèi)容的多媒體編碼標(biāo)準(zhǔn)也正在制定當(dāng)中，即將成為國(guó)際標(biāo)準(zhǔn)中的一員。因此，