基于神經(jīng)網(wǎng)絡(luò)組合不同層的結(jié)果查詢方法

基于神經(jīng)網(wǎng)絡(luò)組合不同層的結(jié)果查詢方法

1總結(jié)如何快速有效地從各種圖像數(shù)據(jù)中收集和提取用戶所需的信息已成為圖像搜索的瓶頸。在文獻(xiàn)2特征屬性檢索s為了有效地支持基于內(nèi)容的圖像查詢，本文將圖像分為物理圖像和邏輯圖像。所謂物理圖像是指存儲(chǔ)實(shí)際圖像數(shù)據(jù)的圖像，邏輯圖像是指存儲(chǔ)圖像特征或語義的圖像。在基于內(nèi)容的圖像查詢中，一個(gè)實(shí)際的圖像查詢系統(tǒng)應(yīng)該既支持物理圖像信息的查詢，如圖像名、創(chuàng)建日期、圖像大小等，同時(shí)也應(yīng)該支持對(duì)邏輯圖像的查詢，如對(duì)圖像的可視特征、空間特征、語義特征的查詢。因此，支持基于內(nèi)容查詢的圖像數(shù)據(jù)庫(kù)的數(shù)據(jù)模型應(yīng)具有表示物理圖像實(shí)體的基本屬性，也應(yīng)該具有表示可視特征、空間特征、語義特征的特征屬性；既應(yīng)該支持按基本屬性的索引，也應(yīng)該支持按特征屬性的空間索引。為此，可以將圖像對(duì)象劃分為5個(gè)層次的對(duì)象：⑴AL(AttributeLevel)：描述圖像特性的文本集合。⑵PL(PhysicalLevel)：物理層，不包含圖像內(nèi)容，其操作也不涉及圖像數(shù)據(jù)內(nèi)部的邏輯組織。從檢索的角度看，圖像數(shù)據(jù)僅僅被看成是一串長(zhǎng)的、無結(jié)構(gòu)的二進(jìn)制流。⑶FL(FeatureLevel)：特征層，管理可度量的全局特征數(shù)。⑷PSL(PseudoSemanticLevel)：描述感興趣的區(qū)域及其關(guān)系。⑸SL(SemanticLevel)：描述對(duì)象的語義特征。在SL層，圖像對(duì)象由特征對(duì)象及其空間關(guān)系描述。特征被分為：基特征(derivedfeatures)，是指單一特征屬性，如顏色特征、形狀特征和紋理特征等。在特征層，每個(gè)對(duì)象可用它的特征來索引。組合特征(compositefeatures)，是指將幾個(gè)特征組合成一多屬性特征以反應(yīng)某一對(duì)象的內(nèi)容；概念特征(conceptualfeatures)是基特征或組合特征附加一定的知識(shí)后形成的圖像語義表示。在一個(gè)IR系統(tǒng)中，查詢結(jié)果可以用與用戶需要信息的相似程度最高的文檔集合來描述。因此，檢索模型定義為由一大類文檔和查詢的表示方法以及檢索函數(shù)組成的集合。文檔和查詢的表示方法由索引方法（或特征提取函數(shù)）生成。檢索函數(shù)由計(jì)算文檔與查詢的相似性度量方法組成。2.1多分辨率檢索如果兩幅圖像有相同的大小，并且在同一位置有相似的值，則它們是相似的。因此，在物理層，圖像的相似性度量可采用模板匹配等低層操作，即逐象素比較模板和子圖像。設(shè)Sue786Obj-data表示一圖像對(duì)象，S(i,j)表示圖像對(duì)象在(i,j)處象素，這里i=0,…,N-1,j=0,…,M-1；設(shè)S實(shí)際上，由于圖像噪聲和量化的影響以及圖像本身存在差異性，模板匹配往往不精確。因此，檢索的結(jié)果是和模板最近似的子圖像。由于這種操作比較費(fèi)時(shí)，對(duì)于大的圖像庫(kù)一般不用。實(shí)際應(yīng)用時(shí)，可以對(duì)這一相關(guān)算法進(jìn)行修改，采用多分辨率來計(jì)算相關(guān)。即首先在低分辨率計(jì)算相似度，通過設(shè)定的閾值過濾明顯不相似的圖像。如：運(yùn)用小波變換的低頻部分計(jì)算相似度，過濾明顯不相似的圖像。2.2特征規(guī)范性編碼由于特征提取函數(shù)不同，得到的特征值的范圍也不一致。為保證在一個(gè)特征矢量?jī)?nèi)每個(gè)特征分量處于同等重要的地位，需要對(duì)特征進(jìn)行規(guī)范化。同樣，為保證在一個(gè)組合查詢中每個(gè)特征處于同等重要的地位，需要在特征間進(jìn)行規(guī)范化，目的是將相似性值范圍轉(zhuǎn)換到[0,1]。在特征層，相似性計(jì)算涉及不同特征。盡管可以采用同一種度量方法，如歐氏距離來度量，但是，對(duì)所有特征都采用同一度量方法與人的視覺度量不一致，因此，對(duì)不同的特征應(yīng)采用不同的度量方法。2.3查詢對(duì)象區(qū)域特征的描述偽語義層的檢索包括圖像區(qū)域?qū)ο?、空間信息以及空間關(guān)系的相似性檢索。空間關(guān)系定義為兩類：相對(duì)關(guān)系和絕對(duì)關(guān)系。相對(duì)關(guān)系指代表對(duì)象的符號(hào)間的相對(duì)空間關(guān)系，如符號(hào)A在符號(hào)B左邊等。絕對(duì)空間關(guān)系指圖像對(duì)象的固定位置關(guān)系。假定圖像區(qū)域?qū)ο笥蓞^(qū)域的特征和區(qū)域?qū)傩越M成。區(qū)域特征包括顏色特征、紋理特征和形狀特征，區(qū)域?qū)傩园▍^(qū)域的空間位置、尺寸和面積。其中區(qū)域位置(x,y)用區(qū)域的矩心表示，區(qū)域的尺寸用區(qū)域的最小外接矩形MBR的寬w和高h(yuǎn)表示，區(qū)域的面積用區(qū)域的像素?cái)?shù)表示。因此，一個(gè)區(qū)域?qū)ο罂梢员硎緸檠鹒,(x,y),(w,h),area妖。設(shè)查詢圖像假定圖像特征和圖像屬性已事先提取，偽語義層查詢步驟為：⑴單區(qū)域查詢；在目標(biāo)圖像T的區(qū)域集t空間位置距離為：面積差度量為：最小MBR差度量為：整個(gè)區(qū)域的形似性度量為：⑵多區(qū)域查詢；多區(qū)域查詢由單區(qū)域查詢的結(jié)果組合而成。設(shè)查詢Q=邀Q多區(qū)域查詢過程為：先按單區(qū)域查詢找出與Q⑶空間對(duì)象關(guān)系匹配。設(shè)查詢圖像有K個(gè)區(qū)域，目標(biāo)圖像有L個(gè)區(qū)域，則查詢圖像和目標(biāo)圖像共有2.4語義對(duì)象的獲取偽語義層的對(duì)象是一些無意義的區(qū)域，而語義層對(duì)象則是在此基礎(chǔ)上給這些區(qū)域賦予一定的語義。語義層檢索一般與具體應(yīng)用有關(guān)，語義往往通過與專家交互獲得，語義對(duì)象的關(guān)系則自動(dòng)獲得。語義層檢索時(shí)，一般先將實(shí)圖像轉(zhuǎn)換為虛圖像，檢索時(shí)，先對(duì)虛圖像檢索，然后通過虛圖像到實(shí)圖像的映射得到目標(biāo)圖像。定義1給定一實(shí)圖像R定義2假定對(duì)象已具有語義信息，Q的空間關(guān)系查詢定義為一個(gè)四元組：(F,G,Rel,t)。這里(邀F∪G妖,Re)是虛圖像，t∈[0,1]是相似度閾值。F是必選對(duì)象，G是可選對(duì)象。只有R定義3設(shè)Q=(F,G,Rel,t)是一個(gè)查詢，且設(shè)Q,P3raken的合并以上，介紹了在各層單獨(dú)進(jìn)行查詢時(shí)的相似性度量方法。對(duì)每一個(gè)抽象層來說，可以按相似度排序，相似度越高表明越相似。但是，由于不同層對(duì)最后結(jié)果所起的作用不同，最終查詢結(jié)果并不是各層搜索結(jié)果簡(jiǎn)單的并，因而在合并不同層產(chǎn)生的結(jié)果集時(shí)，應(yīng)該考慮應(yīng)用非線性變換。一種這樣的變換是對(duì)檢索出來的圖像按相關(guān)度排序，然后用rank（排序號(hào)）最大或最小來合并結(jié)果。但是，這種合并方法存在一個(gè)重要問題：即對(duì)于不同層，由于rank不同，很難找到一種有效的方法來確定最終的rank。例如，設(shè)有一個(gè)查詢系統(tǒng)，對(duì)于數(shù)據(jù)庫(kù)中的圖像A,B，按源數(shù)據(jù)和特征查詢時(shí)的rank表5所示：從表可以看出，圖像A在源數(shù)據(jù)層更相似，而圖像B在特征層更相似。其平均rank很難反映查詢的總體rank。為此，本文提出了一種新的組合查詢方法，其系統(tǒng)結(jié)構(gòu)如圖1所示。圖1中，Q為提交的查詢。f基于圖1提出的結(jié)構(gòu)，本文采用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)組合查詢。該方法分為學(xué)習(xí)和檢索兩個(gè)階段。在學(xué)習(xí)階段，神經(jīng)網(wǎng)絡(luò)以各層度量得到的結(jié)果集作為輸入，通過訓(xùn)練樣本學(xué)習(xí)更新權(quán)值。檢索階段，使用新的權(quán)值組合查詢，并得到查詢結(jié)果。3.1輸出單元設(shè)圖像可以表示為不同對(duì)象層的集合神經(jīng)網(wǎng)絡(luò)的輸入單元是查詢圖像Q與訓(xùn)練圖像P之間在f如果選擇f設(shè)V輸出單元k產(chǎn)生的輸出可由下式給出：f是一個(gè)單向連續(xù)函數(shù)，且λ>03.2搜索步驟給定一個(gè)具有不同子查詢Q3.3測(cè)試數(shù)據(jù)的選取實(shí)驗(yàn)中，輸入神經(jīng)元是圖象對(duì)在各粒度層的相似度，輸出是圖像對(duì)的整體相似度。為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，首先用已知輸出的數(shù)據(jù)集（訓(xùn)練數(shù)據(jù)）反饋給網(wǎng)絡(luò)，以用于計(jì)算最優(yōu)權(quán)值。為了測(cè)試該網(wǎng)絡(luò)，除了訓(xùn)練數(shù)據(jù)外，另外一個(gè)獨(dú)立的數(shù)據(jù)集合（測(cè)試數(shù)據(jù)）反饋給網(wǎng)絡(luò)。希望的輸出和網(wǎng)絡(luò)的輸出進(jìn)行比較來確定網(wǎng)絡(luò)的精確性和有效性。為了獲得訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，作者選擇了400個(gè)圖像對(duì)，從人的視覺來看，它們一半相似，另一半不相似。正圖像（相似）輸出為1，負(fù)圖像輸出為0。作者用一半圖像對(duì)(