全文檢索系統(tǒng)分析論文

1、全文檢索系統(tǒng)分析論文 1相關(guān)工作 目前各行各業(yè)都開始意識到信息系統(tǒng)對于行業(yè)進(jìn)步的影響,但是信息系統(tǒng)也存在著很多安全隱患。怎樣才能夠在文本查詢以及網(wǎng)頁的存儲中達(dá)到安全高效的目的,一直是研究和關(guān)注的重點,這其中的全文檢索技術(shù)和全文數(shù)據(jù)庫技術(shù)成為了國內(nèi)外學(xué)者研究的熱點。我國信息的加密以及檢索技術(shù)在目前的技術(shù)條件下發(fā)展十分迅速,并且也出現(xiàn)了諸多領(lǐng)先的技術(shù)產(chǎn)品,但是全密文高效檢索系統(tǒng)的研究仍舊是當(dāng)前難以解決的科題。這一問題的難點主要集中在如何才能夠安全的實現(xiàn)在外包數(shù)據(jù)庫中進(jìn)行加密數(shù)據(jù)的檢索以及存儲。雖然原始數(shù)據(jù)具有相似性以及有序性,但是在數(shù)據(jù)加密后,很多原始特性就會失去,因而密文數(shù)據(jù)的檢索難度便會加大。

2、這也是一直困擾著我國檢索系統(tǒng)研究技術(shù)人員的主要難點,也正是由于密文數(shù)據(jù)的這一特性,才提高了數(shù)據(jù)庫的安全性。但是如何才能夠在這一條件下,提高檢索效率,仍舊需要進(jìn)一步研究。 2系統(tǒng)比較 2.1傳統(tǒng)全文索引 對于涉密數(shù)據(jù)進(jìn)行加密是一個很自然的趨勢,而對密文檢索技術(shù)的研究也是索引系統(tǒng)發(fā)展的一個趨勢,其思路便是加密全文索引,從而實現(xiàn)密文檢索。而該種加密方式依照加密粒度的不同可以將密文全文檢索分成兩種等級,即索引詞級信息加密以及索引級信息加密。索引級信息索引直接加密密文信息的明文全文索引,在進(jìn)行信息檢索的過程中首先需要進(jìn)行解密,即針對密文索引部分內(nèi)容進(jìn)行全文解密或部分內(nèi)容的解密,繼而在解密的基礎(chǔ)上展開信息

3、的檢索。通過這種方式雖然能夠達(dá)到密文全文檢索的目的,但是需要解密后才能夠檢索,從本質(zhì)分析仍舊是明文信息的檢索,因此安全系數(shù)較低,存在隱患問題,并且為了實現(xiàn)索引的解密,需要增量構(gòu)建,會付出較大的代價。而索引詞級信息檢索則是在原有檢索結(jié)構(gòu)的基礎(chǔ)上通過相同的加密算法進(jìn)行索引詞的加密,在原有索引詞級信息檢索的基礎(chǔ)上通過加密信息檢索以及同一種加密算法,對原有明文索引結(jié)構(gòu)進(jìn)行加密,從而實現(xiàn)針對原有的明文檢索信息進(jìn)行加密的目的,實現(xiàn)密文全文檢索。當(dāng)前使用的ir模型大多都采用了索引詞級密文索引,建立在tlken詞頻信息構(gòu)建以及便宜地址的基礎(chǔ)之上,如果這些內(nèi)容也被加密,那么在查詢過程中的大量運算操作影響下,全文

4、索引系統(tǒng)效率必然會大大降低,如果利用明文索引的形式,信息安全級別便會受到影響,因而傳統(tǒng)的索引系統(tǒng)還需要進(jìn)一步改善。 2.2mimir密文全文索引 全文檢索系統(tǒng)的文檔資源都是海量的,全文索引都采用增量方式構(gòu)建,因此采用一種穩(wěn)定、高效的數(shù)據(jù)結(jié)構(gòu)構(gòu)建全文索引對于實現(xiàn)高效的密文全文檢索是非常重要的。由于b+樹當(dāng)節(jié)點分裂時只影響原節(jié)點和父節(jié)點,因此對于全文索引的增量構(gòu)建在插入索引詞時可以有效地保持索引b+樹的平衡性,保障全文檢索效率。在明文全文檢索系統(tǒng)中,基于明文索引中的索引詞位置的遞增關(guān)系,檢索系統(tǒng)可以方便地判斷一個較長的檢索詞是否出現(xiàn)在某個文檔中,因此在全文檢索系統(tǒng)中,索引詞的位置信息對于較長檢索詞

5、的判斷是非常重要的。與直接加密索引詞改造明文索引的方法不同,為了保證密文索引本身的高安全性,mimir密文全文檢索系統(tǒng)中并沒有標(biāo)識每個索引詞的位置信息,因此如何實現(xiàn)較長檢索詞的匹配就成為了一個關(guān)鍵問題。如果能夠在密文全文索引中存儲文檔所有可能出現(xiàn)的檢索詞,則就可以不需要索引詞的位置信息。但是首先不可能窮舉用戶可能提出所有查詢關(guān)鍵詞,而且大量地插入較長的組合索引詞也會極大地增加密文索引的空間規(guī)模,而導(dǎo)致密文全文檢索效率的下降。同時由于被查詢命中的概率很小,詞長太長的索引詞對于全文檢索的貢獻(xiàn)也比較小,因此必要針對mimir系統(tǒng)特點設(shè)計一種不需要索引詞位置信息支持的文檔歸檔索引詞提取策。 2.3系統(tǒng)

6、排序算法 全文檢索系統(tǒng)大多都被應(yīng)用于海量文檔檢索以及處理中,因而同一條查詢條件相符的,全文檢索系統(tǒng)中需要處理的文檔都是海量的,對于一個查詢條件來說命中的文檔數(shù)量也非常大,結(jié)果排序就是將用戶最感興趣的內(nèi)容優(yōu)先呈現(xiàn)給用戶,對于一個全文檢索系統(tǒng)的可用性來說是非常重要的。目前的全文檢索系統(tǒng)中通常都采用基于檢索關(guān)鍵詞詞頻的評分機(jī)制。 2.4系統(tǒng)效率以及安全性分析 mimir實現(xiàn)不脫密的密文全文檢索服務(wù),其安全性和搜索效率都非常重要,該節(jié)對mimir密文全文檢索系統(tǒng)的檢索效率和安全性進(jìn)行理論分析。mimir系統(tǒng)有3種數(shù)據(jù)需要加密處理:索引詞、索引指針和文檔本身。為保障mimir系統(tǒng)的安全性,以上都采用成熟的加密算法。mimir對文檔進(jìn)行歸檔操作時,索引指針和密文文檔的加密量相對很小,而密文全文索引中分詞數(shù)量很大,因此會產(chǎn)生大量的索引詞加密開銷。 3結(jié)語 在目前海量信息檢索以及安全環(huán)境下,mimir密文檢索系統(tǒng)意義重大,尤其在密文檢索系統(tǒng)效率提升方面具有跨越式的意義。該類系統(tǒng)的研究成果參考價值巨大,并且通過進(jìn)一步的研究,針對系統(tǒng)中檢索環(huán)境下的密鑰管理以及密文檢索功