信息檢索原理和技術(shù)

1、信息檢索原理與技術(shù)信息檢索(information retrieval)，亦稱情報檢索，是指將信息按一定的方式組織和儲存起來，并根據(jù)信息用戶的需要找出有關(guān)信息的過程。20世紀(jì)50年代，美國數(shù)學(xué)家首先提出。信息檢索的全過程包含存儲和檢索兩個過程。存儲過程就是按照檢索語言（主題詞表或分類表）及其使用原則對原始信息進(jìn)行處理，形成信息特征標(biāo)識，為檢索提供經(jīng)過整序（即形成檢索途徑）的信息集合的過程。檢索過程則是按照同樣的檢索語言（主題詞表或分類表）及組配原則分析課題，形成檢索提問標(biāo)識，根據(jù)存儲所提供的檢索途徑，從信息集合中查獲與檢索提問標(biāo)識相符的信息特征標(biāo)識的過程。 信息存儲與檢索的原理 信息處理人員原

2、始信息信息分析、著錄和標(biāo)引用戶檢索課題課題分析檢索語言主題詞/分類號檢索工具檢索結(jié)果存儲過程檢索過程信息檢索原理檢索提問標(biāo)識與存儲在檢索工具中的特征標(biāo)識進(jìn)行比較，兩者一致或信息標(biāo)引的標(biāo)識包含著檢索提問標(biāo)識，則具有該標(biāo)識的信息就從檢索工具中輸出，輸出的信息就是檢索命中的信息。檢索語言檢索語言是信息檢索中用來描述文獻(xiàn)特征和表達(dá)情報提問內(nèi)容的一種專門人工語言。在信息存儲過程中，用它來描述信息的內(nèi)容和外部特征，從而形成檢索標(biāo)識在檢索過程中，用它來描述檢索提問，從而形成提問標(biāo)識當(dāng)提問標(biāo)識與檢索標(biāo)識完全匹配或部分匹配時，結(jié)果即為檢得文獻(xiàn)。 檢索語言的種類1）描述文獻(xiàn)外部特征的檢索語言有：題名、著者、出版者

3、2）描述文獻(xiàn)內(nèi)容特征的檢索語言有: 主題詞、分類號什么是主題詞 一般來說，一篇文獻(xiàn)都是論及某一方面的特定問題的，也就是說，與論題相關(guān)的詞出現(xiàn)的頻率較大。在文獻(xiàn)中出現(xiàn)的頻率既不高也不低的詞，在文獻(xiàn)中約3-20個之間，這些詞恰恰是與文獻(xiàn)的主題相關(guān)度較大的詞，我們稱之為文獻(xiàn)的主題詞或關(guān)鍵詞。文獻(xiàn)中出現(xiàn)頻率最高的詞是冠詞、介詞和連詞等，即其本身沒有具體含義的詞，如a、an、the、this、that、or、and、in、on、with等；絕大部分詞在文獻(xiàn)中出現(xiàn)的頻率較低；分類號-體系分類法中國圖書館分類法中國科學(xué)院圖書館圖書分類法 中國圖書館分類法 5大部 22大類1.馬克思主義、列寧主義、毛澤東思想

4、、鄧小平理論 2.哲學(xué)、宗教3.社會科學(xué)A 馬克思主義、列寧主義 毛澤東思想、鄧小平理論B 哲學(xué)、宗教C 社會科學(xué)總論D 政治、法律E 軍事F 經(jīng)濟(jì)G 文化、科學(xué)、教育、體育H 語言、文字I 文學(xué)J 藝術(shù)K 歷史、地理4.自然科學(xué)5.綜合性圖書 N 自然科學(xué)總論 O 數(shù)理科學(xué)和化學(xué) P 天文學(xué)、地球科學(xué) Q 生物科學(xué) R 醫(yī)藥、衛(wèi)生 S 農(nóng)業(yè)科學(xué) T 工業(yè)科學(xué) U 交通運(yùn)輸 V 航空、航天 X 環(huán)境科學(xué)、安全科學(xué) Z 綜合性圖書T工業(yè)技術(shù)TB 一般工業(yè)技術(shù) TD 礦業(yè)工程 TE 石油、天然氣工業(yè) TF 冶金工業(yè) TG 金屬學(xué)、金屬工藝 TH 機(jī)械、儀表工業(yè) TJ 武器工業(yè) TK 動力工程 TL

5、 原子能技術(shù) TM 電工技術(shù) TN 無線電電子學(xué)、電訊技術(shù)TP 自動化技術(shù)、計算機(jī)技術(shù) TP1自動化基礎(chǔ)理論TP2自動化技術(shù)及設(shè)備TP3計算技術(shù)、計算機(jī)技術(shù)TP30一般性問題TP31計算機(jī)軟件TP32一般計算器和計算機(jī)TP33電子數(shù)字計算機(jī)（不連續(xù)作用電子計算機(jī)）TP34電子模擬計算機(jī)（連續(xù)作用電子計算機(jī)）TP35混合電子計算機(jī)TP36微型計算機(jī)TP37多媒體技術(shù)與多媒體計算機(jī)TP38其他計算機(jī)TP39計算機(jī)的應(yīng)用TP6射流技術(shù)（流控技術(shù)）TP7遙感技術(shù)TP8遠(yuǎn)動技術(shù)TQ 化學(xué)工業(yè) TS 輕工業(yè)、手工業(yè) TU 建筑工程 TV 水利工程TF0一般性問題 TF1冶金技術(shù) TF3冶金機(jī)械、冶金生產(chǎn)自

6、動化 TF4鋼鐵冶煉（黑色金屬冶煉）（總論） TF5煉鐵 TF6鐵合金冶煉 TF7煉鋼 TF79其他黑色金屬冶煉 TF8有色金屬冶煉 TF11提煉冶金（化學(xué)冶金） TF12粉末冶金（金屬陶瓷工藝） TF13真空冶金 TF14電渣重熔 TF15原子能冶金 TF16纖維冶金 TF17鹵素冶金 TF18微生物冶金 TF19其他冶金技術(shù) TF121粉末冶金原理 TF122粉末特性及檢驗(yàn) TF123粉末的制造方法 TF124粉末成型、燒結(jié)及后處理 TF125粉末冶金制品及其應(yīng)用 中圖法分類號樹型結(jié)構(gòu)中國科學(xué)院圖書館圖書分類法 (5大部共25大類)馬克思列寧 主義、毛澤東思想哲學(xué) 社會科學(xué)歷史、歷史學(xué)經(jīng)濟(jì)

7、、經(jīng)濟(jì)學(xué)政治、社會生活法律、法學(xué)軍事、軍事學(xué)文化、科學(xué)、教 育、體育語言、文字學(xué)文學(xué)藝術(shù)無神論、宗教學(xué)自然科學(xué)數(shù)學(xué)力學(xué)物理學(xué)化學(xué)天文學(xué)地球科學(xué)生物科學(xué)醫(yī)藥、衛(wèi)生農(nóng)業(yè)科學(xué)工程技術(shù)綜合性圖書信息檢索基本技術(shù)計算機(jī)檢索式（邏輯表達(dá)式）： 檢索詞+有關(guān)算符邏輯算符位置算符截詞符基本索引字段標(biāo)識符布爾邏輯檢索（boolean logic）： 是當(dāng)今檢索理論中最成熟的理論之一，也是構(gòu)造檢索表達(dá)式最基本、最簡單的匹配模式。布爾邏輯檢索是通過布爾邏輯算符來實(shí)現(xiàn)的。 布爾邏輯算符定義：表達(dá)檢索提問的各概念之間的邏輯關(guān)系。 邏輯算符有三種: AND (與)、OR(或)、NOT(非) 三種算符可同時在一個檢索式中使

8、用，也可單獨(dú)使用。 這些運(yùn)算符能把一些具有簡單概念的檢索詞組配成為一個具有復(fù)雜概念的檢索式，用以表達(dá)用戶的檢索要求?！斑壿嬇c” “AND”用于交叉概念或限定關(guān)系的組配，可以縮小檢索范圍，提高查準(zhǔn)率?？墒褂谩?”或“and ” 來表示。其檢索表達(dá)式為：“A AND B”或“A * B”，即檢索記錄中必須同時包含A詞與B詞才算命中。例如： “中國 * 對外貿(mào)易”。例如：查找“胰島素治療糖尿病”的檢索式為： insulin (胰島素)anddiabetes（糖尿病）例如：查找“關(guān)于激光打印機(jī)”方面的文獻(xiàn) 檢索式為： Laser and printer“邏輯或” “OR”用于并列概念的組配，可以擴(kuò)大檢

9、索范圍，提高查全率，可使用“+” “or” 來表示。其檢索表達(dá)式為：“A or B”或“A + B”，即檢索記錄中含有A詞或者B詞中的任何一詞即可。例如：“高清晰電視 + HDTV” 例如: color or colour“邏輯非” “NOT”用于從原來的檢索范圍中排除不需要的概念，或影響檢索結(jié)果的概念?？墒褂谩?”來表示，其檢索表達(dá)式為：“A NOT B”或“A - B”，即檢索記錄中包含A詞但不含有B詞。例如：“能源 - 太陽能”例如：查找“動物的乙肝病毒（不要人的）” 文獻(xiàn)的檢索式為：hepatitis B virus（乙肝病毒）nothuman（人類）查找有關(guān)殘疾人相關(guān)報道，不需要聽力

10、障礙的相關(guān)文獻(xiàn)disabled NOT deaf注意事項(xiàng)使用邏輯算符時應(yīng)注意的事項(xiàng)：邏輯算符的優(yōu)先級為：NOT、AND、OR，可用括號來改變優(yōu)先順序。(mouse or mice) and gene在邏輯組配時，算符的兩側(cè)必須各留有一個空格。詞位置檢索 位置運(yùn)算符(positional operator) 利用布爾邏輯算符對檢索詞進(jìn)行邏輯組配時,未限定檢索詞之間的位置關(guān)系,會影響某些課題的查準(zhǔn)率并容易造成誤檢。 利用文獻(xiàn)記錄中任何有實(shí)義的關(guān)鍵詞、詞組或字符串作為檢索詞，詞與詞之間的位置關(guān)系可以用位置運(yùn)算符來表達(dá)。位置運(yùn)算符的使用，進(jìn)一步強(qiáng)化了對概念的限制，比布爾邏輯運(yùn)算符更能表達(dá)復(fù)雜的概念，并

11、避免AND邏輯組配產(chǎn)生的詞義含糊或誤檢。位置算符 (W)、(N)(W)：W是with的縮寫，表示兩個詞必須緊挨著，且詞序不可顛倒，(W)算符也可用空括號()代替。 例： solar()energy (nw)：表示兩個詞之間可插入n個詞，且詞序不可顛倒。 例： solar(3w)energy communication(2W)satellite(N)：N是near的縮寫，表示兩個詞之間必須緊挨著，但詞序任意。 例：fiber(N)optic (nN)表示兩個詞之間最多可插入n個詞，詞序任意。 例：fiber(4N)optic位置算符（S）、（F）(S)：S為subfield或sentence的縮

12、寫，表示兩個詞必須在記錄中的同一個句子中出現(xiàn)，且詞序可變。 例：color(S)pigment (F)：F為field的縮寫，表示兩個詞必須在記錄中的同一個字段(題目，文摘)中出現(xiàn)，且詞序可變。例： environment (F) protection表達(dá)式 檢索結(jié)果education(W)school - education school education(1W)school - education school education and music schooleducation(N)school- education school school of educationeducati

13、on(1N)school- education school school of education education and music school school of music and educationeducation(F)school -同時出現(xiàn)在文摘或者題名字段禁用詞 在數(shù)據(jù)庫中，下列九個詞不能作為檢索詞使用，這些詞稱為禁用詞。 禁用詞有： AN、AND、BY、FOR、FROM、OF、TO、 THE、WITH截詞檢索 (truncation) 截詞符 截詞檢索在西文數(shù)據(jù)庫中廣泛使用。是在詞干后可能變化的位置加上使用截詞符號。檢索詞的單復(fù)數(shù)形式，同一詞英、美不同拼法，詞根相同的

14、詞都可用截詞檢索。這樣既可減少檢索詞的輸入量,又可擴(kuò)大查找范圍，提高查全率。截詞符又稱通配符，不同的檢索系統(tǒng)中使用的符號不同，沒有統(tǒng)一標(biāo)準(zhǔn)。通常用 “？”來表示。常用的還有如*、#、&等。按位置分為：右截斷（后），左截斷（前），中間截斷，復(fù)合截斷等。（1）右截斷（后），放在詞尾代表任意長度的字符數(shù)或沒有字符 例如：control? 代表control、controlled、controlling、 controllable 等 （2）中間截斷：放在詞中間代表一個字符數(shù)（中間屏蔽） 例如： wom?n 代表women、woman 等 （3）左截斷（前），放在被截詞的左邊 例如：*magnetic

15、,代表magnetic、thermomagnetic、electro-magnetic等按長度分為：有限截詞、無限截詞 截詞符有“？”、“*”、“！”等，依系統(tǒng)而異，各有所不同。截詞符和屏蔽符(以EI數(shù)據(jù)庫為例,其他數(shù)據(jù)庫大同小異) 1.截詞符：用“*”作為截詞符，有二種用法。 Use truncation (*) to search for words that begin with the same letters. (無限截詞)comput* returns computer, computers, computerize, computerizationTruncation can a

16、lso be used to replace any number of characters internally.(中間截詞) sul*ate returns sulphate or sulfate2.通配符 “？” 加在單詞中間，可以代表1個字符的變化。如：wom?n, 表示women和woman。 Use wildcard (?) to replace a single character. wom?n retrieves woman or women使用截詞應(yīng)注意的幾個問題一是截詞符要緊接在詞干后面，截詞符和詞干之間不能有空格。二是避免將檢索詞的詞干截得過短，一般應(yīng)在三個字母以上。三

17、是截詞應(yīng)該使用得合理。一般不可能出現(xiàn)詞尾變化的單詞，其后不必再使用截詞。四是從希望出現(xiàn)的單詞中取盡可能多的公共字母作為詞干，以提高查準(zhǔn)率字段檢索 (range searching) 字段標(biāo)識符 字段檢索即指定檢索詞出現(xiàn)的字段，被指定的字段也稱檢索入口，檢索時，系統(tǒng)只對指定字段進(jìn)行匹配運(yùn)算，提高了效率和查準(zhǔn)率。西文數(shù)據(jù)庫，字段檢索常用代碼來表示，如下表所示。常用字段： 篇（題）名字段 TI=Title 文摘字段 AB=Abstract 敘詞字段 DE=Descriptor 著者字段 AU=Author 著者機(jī)構(gòu)字段 CS=Corporate Source 刊名字段 JN=Journal 出版年字

18、段 PY=publication Year 文獻(xiàn)類型字段 DT=Document Type 語種字段 LA=Language 分類號字段 CC=Classification Code以CNKI數(shù)據(jù)庫為例：1）TI=生態(tài) and KY=生態(tài)文明 and (AU % 陳+王 ) 可以檢索到篇名包括“生態(tài)”并且關(guān)鍵詞包括“生態(tài)文明”并且作者為“陳”姓和“王”姓的所有文章；2）SU=北京*奧運(yùn) and FT=環(huán)境保護(hù) 可以檢索到主題包括“北京”及“奧運(yùn)”并且全文中包括“環(huán)境保護(hù)”的信息；3）SU=(經(jīng)濟(jì)發(fā)展+可持續(xù)發(fā)展) *轉(zhuǎn)變 -泡沫可檢索“經(jīng)濟(jì)發(fā)展”或“可持續(xù)發(fā)展”有關(guān)“轉(zhuǎn)變”的信息，并且可以去除

19、與“泡沫”有關(guān)的部分內(nèi)容。思考題、pretenting、pretented、fibre 使用截詞符、women（非人類的）寫出檢索式5. environment protection 兩詞中可以最多加入1個詞，兩詞前后順序不可顛倒6. 晶體生長：crystal growth，growth crystal， growth of crystal 兩個詞前后可以顛倒，中間最多加入一個詞 計算機(jī)檢索步驟概念的選?。ù_定檢索詞） （1）核心概念的選取：如：“高溫超導(dǎo)故障限流器”可提出兩個核心概念 高溫超導(dǎo)（High Temperature Superconduct 簡寫HTS)、故障限流器（fault

20、current limiter)如:“數(shù)字化圖書館的文獻(xiàn)檢索服務(wù)” 數(shù)字化圖書館（ digital library ）、 文獻(xiàn)檢索（document retrieval） （2）發(fā)掘隱含概念：隱含概念是指課題中沒有明確提出，但又與課題密切相關(guān)的概念。如“石質(zhì)文物的保護(hù)”，文物、保護(hù)是一級概念，石質(zhì)是二級概念，是對文物的限制。但是這個課題僅以“文物 and 石質(zhì) and 保護(hù)”作為檢索式，是一個意義比較寬泛的檢索式?？梢詫⒄n題分析的深入一些，石質(zhì)文物受自然界的影響，會發(fā)生風(fēng)化、表面剝蝕的現(xiàn)象，一般采用在文物表面涂層的辦法，常用的有兩類涂層：有機(jī)涂層、聚酯涂層，所以在選取概念的時候應(yīng)當(dāng)將涂層、薄膜

21、這樣的隱含概念選出。如果對保護(hù)材料有特殊的要求，還可以將硅、有機(jī)硅或聚酯作為概念提出。石質(zhì)文物也有不少的下位概念：石樓、石碑、紀(jì)念碑、金字塔等。因此檢索式可根據(jù)具體要求靈活調(diào)整。（3）考慮同義詞：一個詞在英語中往往有多個詞與之對應(yīng)：如“保護(hù)”的英文有：conservation, preservation, protection等詞。 （4）使用規(guī)范的用語：應(yīng)當(dāng)使用行業(yè)術(shù)語、通用的概念作為檢索詞，盡量不用俗語等非規(guī)范詞。 （5）排除不必要的概念：如：“利用礦業(yè)廢渣中的綠泥石、千枚巖燒結(jié)制磚的工藝”，其中的“燒結(jié)”就是制磚的工藝，是工藝的附加概念，可以不必提出，礦業(yè)廢渣是一個相對大的概念，在已知原

22、料為綠泥石、千枚巖這樣具體成分后，礦業(yè)廢渣可以不作為概念提出。 （6）使用準(zhǔn)確的代碼：化學(xué)物質(zhì)登記號、產(chǎn)品代碼、德溫特專利號等均可作為檢索詞進(jìn)行檢索。（7）沒有實(shí)在意義的詞不可以做主題詞2. 數(shù)據(jù)庫的選擇（1）合適的主題范圍（2）合適的數(shù)據(jù)庫類型、年度范圍掌握數(shù)據(jù)庫資源所覆蓋的學(xué)科范圍掌握各種數(shù)據(jù)收錄文獻(xiàn)的類型查看數(shù)據(jù)庫的詳細(xì)介紹和說明1、中文數(shù)據(jù)庫：CNKI、萬方、維普、超星電子圖書、國家知識產(chǎn)權(quán)局專利網(wǎng)站2、外文數(shù)據(jù)庫： Elsevier、Springerlink、EBSCO 、 PQDD、 DII 、歐洲專利局網(wǎng)站、美國專利局網(wǎng)站等、 Web of Knowledge 、 EI、 Eme

23、rald3、搜索引擎：sina、yahoo、google、百度等。3. 檢索策略的制定及調(diào)整（1）初步制定檢索式使用邏輯算符(AND, OR, NOT)限制檢索條件：作者, 刊物或年代. （2）如果檢索結(jié)果太少，適當(dāng)調(diào)整策略，以擴(kuò)大檢索范圍 （3）如果檢索結(jié)果太多，也要適當(dāng)調(diào)整策略，以縮少檢索范圍分析檢索結(jié)果不滿意滿 意不滿意 非目標(biāo)性結(jié)果 重新檢索 檢查檢索詞的拼寫 檢查檢索詞的準(zhǔn)確性-查閱詞典、字典，刪 除錯誤名詞 調(diào)查被檢索的數(shù)據(jù)庫數(shù)據(jù)庫說明、期刊列表確定是否覆蓋你所需要檢索的主題不滿意 結(jié)果太多 設(shè)定限制條件、特定的檢索字段及年代 增加檢索名詞的準(zhǔn)確性查閱工具：主題詞表、字典、分類表等

24、 修改檢索策略增加使用AND，減少使用OR。 重新檢索 不滿意 結(jié)果太少檢查檢索詞的正確性、準(zhǔn)確性 增加檢索詞的普遍性查閱工具：主題詞表、字典、分類表等 拓寬檢索策略減少使用AND；使用OR連接增加的同義詞和近義詞 增加檢索數(shù)據(jù)庫確定其他數(shù)據(jù)庫是否覆蓋你所需要的檢索主題 重新檢索 其他方法：調(diào)整數(shù)據(jù)庫、調(diào)整檢索年代、調(diào)整檢索途徑（分類途徑、主題途徑、作者途徑、題名途徑、 ）、調(diào)整檢索詞。是否獲得全部所需? 打印、Email或存檔是否需要獲取全文 ? 對于于全文型數(shù)據(jù)庫，直接可以通過下載全文得到；對于文摘型數(shù)據(jù)庫，可以通過以下途徑得到：滿 意1、根據(jù)原文出處，到圖書館館藏資源中查找原文2、到圖書

25、館已購買的全文數(shù)據(jù)庫中搜索中文科技期刊數(shù)據(jù)庫、萬方學(xué)位論文等和中國國家知識產(chǎn)權(quán)局專利數(shù)據(jù)庫提供圖片格式的原文文件；EBSCO、ELSEVIER等外文數(shù)據(jù)庫大多有論文原文。書生之家、超星等數(shù)字圖書館提供圖片格式的電子圖書3、打開摘要后，查找是否有原文鏈接4、用“google” 搜索，題目用“ ”做精確檢索5、利用文摘信息中作者的EMAIL，直接向作者索取原文6、到圖書館做原文傳遞 國家科技圖書文獻(xiàn)中心的文獻(xiàn)可以付費(fèi)從網(wǎng)上傳遞原 文。 中國國家科技圖書文獻(xiàn)中心(簡稱NSTL) ( :/)檢索表達(dá)式構(gòu)造實(shí)例1、檢索計算機(jī)網(wǎng)絡(luò)方面的中文文獻(xiàn)2、查找版權(quán)中涉及圖書館方面的英文文獻(xiàn)3、要檢索“計算機(jī)輔助設(shè)

26、計”方面的英文文獻(xiàn)4、檢索“上海地區(qū)的大學(xué)但不包括醫(yī)學(xué)院”5、檢索“飛機(jī)”方面的英文文獻(xiàn)，但不希望文獻(xiàn)中出現(xiàn)“直升 飛機(jī)”的主題6、檢索“美日兩國銅質(zhì)量散熱管專利的實(shí)證研究”的中文文獻(xiàn)7、Gordon 所寫的于2000年后發(fā)表的所有文獻(xiàn)8、查找“微型機(jī)”和“個人計算機(jī)”方面的英文文章9、查找“計算機(jī)動畫電影”方面的英文資料10、查找數(shù)字化圖書館的文獻(xiàn)檢索服務(wù)方面的英文文獻(xiàn)例：檢索計算機(jī)網(wǎng)絡(luò)方面的 中文文獻(xiàn)檢索表達(dá)式為： “計算機(jī) and 網(wǎng)絡(luò) 網(wǎng)絡(luò) and 計算機(jī)” 兩個檢索表達(dá)式是等價的。表示只要兩個檢索詞是同一文獻(xiàn)中出現(xiàn)即可。例： 查找版權(quán)中涉及圖書館方面的 英文文獻(xiàn) 檢索表達(dá)式為： Library * copyright Library and copyright例：要檢索“計算機(jī)輔助設(shè)計”方面的英文文獻(xiàn) 檢索表達(dá)式應(yīng)為： CAD OR “computer