信息檢索技術(shù)方法及搜索引擎

信息檢索技術(shù)方法及搜索引擎第一節(jié):信息檢索技術(shù)數(shù)字資源的檢索技術(shù)布爾邏輯檢索技術(shù)1截詞檢索技術(shù)2鄰近檢索技術(shù)3字段檢索技術(shù)4布爾邏輯檢索是指通過標準的布爾邏輯關(guān)系算符來表達檢索詞與檢索詞間的邏輯關(guān)系的檢索方法.主要的布爾邏輯關(guān)系詞有:邏輯與(AND),邏輯或(OR)，邏輯非(NOT)1布爾邏輯檢索技術(shù)邏輯與邏輯乘："and”或〃*〃表示組配方式:A*B或者AandB表示兩個概念的交叉和限定關(guān)系，只有同時含有這兩個概念的記錄才算命中信息作用:增加限制條件，即增加檢索的專指性，以縮小提問范圍，減少文獻輸出量,提高查準率.邏輯或又稱邏輯和："or”,"+"組配方式:AORB或者A+B，表示檢索含有A詞,或含有B詞，或同時包含A,B兩詞的文章.作用:放寬提問范圍，增加檢索結(jié)果，起擴檢作用，提高查全率.邏輯非又稱邏輯差："not""-"組配方式:A-B，表示檢索出含有A詞而不含有B詞的文章.作用：邏輯非用于排除不希望出現(xiàn)的檢索詞，它和"*”的作用相似，能夠縮小命中文獻范圍，增強檢索的準確性.例如檢索:"打印機驅(qū)動程序”查詢關(guān)鍵詞:打印機，驅(qū)動程序檢索表達式:打印機AND驅(qū)動程序例如檢索:"微型計算機”方面的有關(guān)信息查詢關(guān)鍵詞:微型計算機，微機檢索表達式:微型計算機OR微機布爾邏輯檢索舉例布爾運算符優(yōu)先級比較有括號時:括號內(nèi)的先執(zhí)行；無括號時:NOT>AND>OR例:檢索"唐宋詩歌”的有關(guān)信息.關(guān)鍵詞:唐，宋,詩歌；檢索表達式:(唐OR宋)AND詩歌；唐AND詩歌OR宋AND詩歌；錯誤表達式：唐OR宋AND詩歌；唐AND宋AND詩歌；唐OR宋OR詩歌；唐AND宋OR詩歌；布爾邏輯運算符優(yōu)先級、士、請汪意在不同的數(shù)據(jù)庫中，所使用的邏輯符號可能是不同的，有的用〃and,or,not〃有的用〃*,+,-〃.一些檢索工具會完全省略任何符號和關(guān)系，直接把布爾邏輯關(guān)系隱含在菜單中.一些網(wǎng)絡(luò)檢索工具如搜索引擎甚至用〃〕，，，-〃(即空格，逗號，減號)來表示.主要應(yīng)用于西文數(shù)字資源的檢索定義:是指在檢索式中用專門的符號(截詞符號)表示檢索詞的某一部分允許有一定的詞形變化.作用:主要是提高查全率截詞符一般用〃〃或〃*〃表示2截詞檢索技術(shù)截詞位置按截詞位置可分為前截詞,后截詞，前后截詞和中間截詞；按截斷字符數(shù)的不同，可分為有限截斷和無限截斷.右截詞，又稱后截詞，前方一致.允許檢索詞尾有若干變化.例如comput*將檢索出computer,computing,computerised,computerized,computerization等結(jié)果.中間截詞，又稱前后方一致.允許檢索詞中間有若干變化.例如wom*n,檢索到woman,women的結(jié)果.英美的不同拼法,defen*e可同時檢出defence和defense的結(jié)果.左截詞，又稱前截詞，后方一致，允許檢索詞前有若干變化，例如*physics就可檢索到physics,astrophysics,biophysics,chemophysics,geophysics等詞的結(jié)果.前后截詞：詞干的前后各有一個截詞符，允許檢索詞的前端和尾部各有若干變化形式.如computer可檢索computer,computers,computerize,computerized,computerization,minicomputer,minicomputers,microcomputer,microcomputers等結(jié)果.請注意在不同的數(shù)據(jù)庫和聯(lián)機檢索系統(tǒng)中，所使用的截詞符號沒有統(tǒng)一的標準，有的用〃",有的用"*",有的用"#”,用的用"$"等.即便常用的"”和"*"在不同的數(shù)據(jù)庫中其用法也是不一定相同的.在允許截詞的檢索工具中，一般是指右截詞，部分支持中間截詞，左截詞比較少見.我們將要使用的一些數(shù)據(jù)庫，一般用"*"代表一個字符串，用""代表任意一個字符.鄰近檢索又稱位置檢索，主要是通過檢索式中的專門符號來規(guī)定檢索詞在結(jié)果中的相對位置例如檢索"生物防治”的文獻，若用檢索式"biological*control"檢索，則會將"抑制生物"(controlbiological)的文獻也查出來，這顯然不是所需文獻.主要有相鄰位置算符(W),(nW),(N),(nN),句子位置算符(S),字段算符(F).3鄰近檢索技術(shù)(W)算符(W)是with(word)的縮寫，表示此算符兩側(cè)的檢索詞必須按此前后順序相鄰排列，詞序不可變,且兩詞之間不許有其他的詞或字母，但允許有一空格或標點符號.如biological(W)control相當(dāng)于檢索biologicalcontrolCD（W）ROM相當(dāng)于檢索CDROM或CD-ROM.（nW）算符（nW）是nwords的縮寫，表示此算符兩側(cè)的檢索詞之間允許插入最多n個詞，且詞序不可變.如wear（1W）material相當(dāng)于檢索wearmaterials,wearofmaterials等.（N）算符（N）是near的縮寫，表示此算符兩側(cè)的檢索詞必須緊密相連，詞序可變，詞間不允許插入其他詞或字母，但允許有一空格或標點符號.information（N）retrieval可檢出：informationretrievalretrievalinformation（nN）算符（nN）表示兩詞間可插入最多n個詞，詞序可變.如檢索式environment（2N）protection就可檢索出包含"environmentprotection〃，〃environmentoftheprotection”‘"environmentofwaterprotection〃，〃protectionofforestenvironment"（S）,（F）算符（S）是sentence的縮寫，表示兩個檢索詞須同時出現(xiàn)在文獻記錄的同一子字段中，兩詞的詞序不限，兩詞間插入詞的數(shù)量不限.（F）算符:在聯(lián)機檢索中還有對同字段進行檢索的（F）算符.（F）表示此算符兩側(cè)的檢索詞必須同時出現(xiàn)在信息記錄的同一個字段內(nèi)，兩詞的詞序不限,兩詞間插入詞的數(shù)量不限.用此算符時須指定所要查找的字段，如題名字段，文摘字段，敘詞字段等.例如digital（F）computer/TI表示在題名字段（TI）中同時出現(xiàn)這兩個檢索詞的才算命中信息、.字段檢索是限定檢索詞在記錄中出現(xiàn)的字段范圍，檢索時，計算機只對限定字段進行查找.3字段檢索技術(shù)數(shù)據(jù)庫中的字段包括TI（題名），AB（摘要），DE（主題詞），ID（標識詞），SU（主題詞），KW（關(guān)鍵詞）AU（著者），BN（國際標準書號）,SN（國際標準刊號）,CC（分類類目）,CS（機構(gòu)），DT（文獻類型）或PT（出版物類型），JN（刊名）或JA（刊號），LA（語種），PY（出版年），SO（來源出版物）注意:不同的數(shù)據(jù)庫其字段代碼可能不同.舉例在EBSCO數(shù)據(jù)庫檢索中，某一用戶需檢索有關(guān)〃數(shù)字圖書館與信息檢索，參考咨詢〃方面的文獻信息,檢索要求:題名或文摘中包含數(shù)字圖書館digitallibrary,數(shù)字圖書館要求考慮單復(fù)數(shù),主題為信息檢索informationretrieval或參考咨詢reference,請編制其檢索策略（檢索式）.（ti:digitallibrar*orab:digitallibrar*）andsu:（referenceorinformationn2retrieval）第二節(jié):信息檢索方法信息需求分析選擇信息資源選定檢索詞構(gòu)造檢索表達式確定檢索途徑對檢索策略進行調(diào)整實施并輸出檢索結(jié)果1信息需求分析分析信息檢索目的，制定檢索目標.分析所需信息涉及的學(xué)科，確定檢索的學(xué)科范圍.分析所需信息的類型，年代，確定檢索的信息類型和年代范圍.2選擇信息資源（數(shù)據(jù)庫的選擇）數(shù)據(jù)庫的類型學(xué)科范圍時間范圍3選定檢索詞分析主題，找出課題所包含的顯性概念和隱含概念.找出核心概念,排除無關(guān)概念和重復(fù)概念.從待檢數(shù)據(jù)庫和檢索工具的詞表中選取規(guī)范化的詞或詞組.選用上位詞，近義詞或下位詞作為檢索詞.4構(gòu)造檢索表達式分析檢索提問式是數(shù)字資源檢索中用來表達用戶檢索提問的邏輯表達式找出在編制檢索提問式時，準確，合理地運用位置邏輯算符，截詞符，字段符等技術(shù)是編制檢索式的基本要求.5確定檢索途徑第一類是表示主題概念的檢索詞主題詞，包括標題詞，單元詞，敘詞，關(guān)鍵詞.第二類是表示學(xué)科分類的檢索詞，如分類號.第三類是表示作者的檢索詞，如作者姓名，機構(gòu)名稱等.第四類是表示特殊意義的檢索詞，如專利號，國際標準書號，分子式等舉例一個研究生在做論文題：〃數(shù)字圖書館中的元數(shù)據(jù)體系與互操作研究〃，這是一個計算機科學(xué)，信息科學(xué)方面的課題，請你幫助他在維普數(shù)據(jù)庫中找到最新的參考文獻.第三節(jié):搜索引擎SearchEngine搜索引擎利用情況搜索引擎的概念和作用搜索引擎的工作原理搜索引擎的分類搜索引擎的一般檢索技術(shù)搜索引擎利用技巧主要搜索引擎目錄搜索引擎的應(yīng)用現(xiàn)狀從用戶使用的角度，國外的調(diào)查發(fā)現(xiàn)：網(wǎng)上搜索信息的人很少考慮如何找到他們所需要的信息，因此搜索信息時象動物獵食般盲目；只有18%的用戶表示總能在網(wǎng)上搜索到需要的信息.68%的用戶說他們對搜索引擎很失望；平均每個搜搜者在12分鐘的徒勞搜索后就感到惱火和受挫.46%的人只會用同一個關(guān)鍵詞搜啊搜啊，而且是在同一個搜索引擎.國外的應(yīng)用狀況那些每周平均花5個小時以上時間上網(wǎng)的人，將其上網(wǎng)時間的71%都花在了搜索引擎上；人機界面高手nielsen(google的設(shè)計者)研究表明：略超過1/2的互聯(lián)網(wǎng)用戶屬于search-dominant,約1/5用戶屬于link-dominant,其它用戶的搜索傾向?qū)儆诨旌闲袨樾?search-dominant在到達一個網(wǎng)站后直接就奔向搜索按鈕，他們對瀏覽網(wǎng)站不感興趣，他們有明確的目的，傾向于以最快速度找到信息.相反，link-dominant喜歡點擊瀏覽一個網(wǎng)站，即使他們想找特殊信息時也是這樣，只有在他們用點擊超鏈的方法已經(jīng)實在找不到了，才會想起搜索按鈕.國內(nèi)的應(yīng)用狀況國內(nèi)的調(diào)查發(fā)現(xiàn)：cnnic2004年1月的調(diào)查：61.6%的中國互聯(lián)網(wǎng)用戶經(jīng)常使用搜索引擎(僅次于E-mail).83.4%的中國互聯(lián)網(wǎng)用戶得知新網(wǎng)站的主要途徑是搜索引擎賽迪咨詢的搜索引擎調(diào)查:截止2000年8月，92.9%的網(wǎng)民使用過搜索引擎，同時有六成左右的網(wǎng)民將搜索引擎列為經(jīng)常使用的網(wǎng)絡(luò)服務(wù).新浪搜索的統(tǒng)計表明:第1條搜索結(jié)果獲得的點擊量，是第2頁第1條的150倍.百度公司：百度2001年中國互聯(lián)網(wǎng)用戶搜索熱點統(tǒng)計搜索引擎是一個用來搜索世界各地Internet網(wǎng)絡(luò)資源的WEB服務(wù)器.它像一本書的目錄,Internet各個站點的網(wǎng)址就像是頁碼,可以通過關(guān)鍵詞或主題分類的方式來查找感興趣的信息所在的WEB頁面.搜索引擎提供的導(dǎo)航服務(wù)(搜索引擎就是網(wǎng)絡(luò)的指南針)已經(jīng)成為互聯(lián)網(wǎng)上非常重要的網(wǎng)絡(luò)服務(wù),成為和電子郵件并列的最重要的互聯(lián)網(wǎng)應(yīng)用.搜索引擎的概念和作用信息搜集信息索引信息查詢檢索結(jié)果的相關(guān)性處理搜索引擎的工作原理信息搜集各個搜索引擎都派出綽號為蜘蛛(Spider)或機器人(Robots)的〃網(wǎng)頁搜索軟件〃，在互聯(lián)網(wǎng)中漫游，發(fā)現(xiàn)和搜集信息.訪問網(wǎng)絡(luò)中公開區(qū)域的每一個站點并記錄其網(wǎng)址，將它們帶回搜索引擎，要盡可能多，盡可能快地搜集各種類型的新信息.因為互聯(lián)網(wǎng)上的信息更新很快,所以還要定期更新已經(jīng)搜集過的舊信息,以避免死鏈接和無效鏈接.信息索引將〃網(wǎng)頁搜索軟件〃帶回的信息進行分類整理，建立搜索引擎數(shù)據(jù)庫，并定時更新數(shù)據(jù)庫內(nèi)容.有的搜索引擎把〃網(wǎng)頁搜索軟件〃發(fā)往每一個站點，記錄下每一頁的所有文本內(nèi)容，并收入到數(shù)據(jù)庫中從而形成全文搜索引擎；而另一些搜索引擎只記錄網(wǎng)頁的地址，篇名，特點的段落和重要的詞.信息查詢根據(jù)用戶的查詢需求在索引庫中快速檢出相關(guān)網(wǎng)頁，并反饋檢索結(jié)果.一般包括分類目錄及關(guān)鍵詞兩種信息查詢方式.檢索結(jié)果排序概率法是根據(jù)關(guān)鍵詞在文中出現(xiàn)的頻率來判定的，出現(xiàn)的次數(shù)越多，認定其與查詢的相關(guān)程度越高；位置法是根據(jù)關(guān)鍵詞在文中出現(xiàn)的位置來判定，位置越靠前，文件的相關(guān)程度越高；分類或聚類方法是指搜索引擎采用分類或聚類技術(shù)自動把查詢結(jié)果歸入到不同的類別中.關(guān)鍵詞搜索引擎主題分類搜索引擎綜合搜索引擎搜索引擎的分類關(guān)鍵詞搜索引擎界面提供輸入框，用戶通過輸入框提交查詢請求(關(guān)鍵詞)，搜索引擎將檢索結(jié)果反饋給用戶.適用于查找目的明確，并具備一定檢索知識的用戶.主題分類搜索引擎依據(jù)某種分類方式(如學(xué)科分類)，建立主題樹狀層瀏覽體系;搜索程序搜索來的信息被標引后放入瀏覽體系的個大類或子類下面，呈現(xiàn)錯落有致的上下位關(guān)系.查準率高,但查全率低.綜合搜索引擎此類搜索引擎既可以搜索網(wǎng)站也可搜索全文，用戶輸入關(guān)鍵詞后,可以選擇是搜索網(wǎng)站還是網(wǎng)頁,不同的選擇返回不同的結(jié)果，國內(nèi)的搜狐(Sohu)就是此類搜索引擎查全率高,但查準率低.主要搜索引擎百度李彥宏徐勇概況百度,2000年1月創(chuàng)立于北京中關(guān)村，是全球最大的中文搜索引擎.2000年1月1日，公司創(chuàng)始人李彥宏,徐勇攜120萬美元風(fēng)險投資，從美國硅谷回國，創(chuàng)建了百度公司.2000年5月，百度首次為門戶網(wǎng)站——硅谷動力提供搜索技術(shù)服務(wù)，之后迅速占領(lǐng)中國搜索引擎市場，成為最主要的搜索技術(shù)提供商.2001年8月，發(fā)布B搜索引擎Beta版,從后臺服務(wù)轉(zhuǎn)向獨立提供搜索服務(wù)，并且在中國首創(chuàng)了競價排名商業(yè)模式,2001年10月22日正式發(fā)布Baidu搜索引擎.2005年8月5日，百度在美國納斯達克上市.特點〃百度〃二字取自辛棄疾的《青玉案》〃眾里尋她千百度”.現(xiàn)在百度已成為世界上最大的中文搜索引擎，用戶能夠訪問超過10億的中文網(wǎng)頁.網(wǎng)頁搜索功能百度快照相關(guān)搜索拼音提示錯別字提示英漢互譯詞典計算器和度量衡轉(zhuǎn)換專業(yè)文檔搜索股票,列車時刻表和飛機航班查詢高級搜索語法高級搜索,地區(qū)搜索和個性設(shè)置天氣查詢百度快照每個被收錄的網(wǎng)頁,在百度上都存有一個純文本的備份，稱為〃百度快照〃.百度速度較慢，您可以通過〃快照〃快速瀏覽頁面內(nèi)容.如果無法打開某個搜索結(jié)果，或者打開速度特別慢，〃百度快照〃能幫您解決問題.相關(guān)搜索搜索結(jié)果不佳，有時候是因為選擇的查詢詞不是很妥當(dāng).您可以通過參考別人是怎么搜的，來獲得一些啟發(fā).百度的〃相關(guān)搜索",就是和您的搜索很相似的一系列查詢詞.百度相關(guān)搜索排布在搜索結(jié)果頁的下方，按搜索熱門度排序.專業(yè)文檔搜索很多有價值的資料,在互聯(lián)網(wǎng)上并非以普通的網(wǎng)頁形式出現(xiàn),而是以Word,PowerPoint,PDF等文檔格式存在.百度支持對Office文檔(包括Word,Excel,PowerPoint),AdobePDF文檔,RTF文檔的全文搜索.方法為在搜索的關(guān)鍵詞后面加一個"filetype:"文檔類型限定."filetype:”后可以跟以下文件格式:DOC,XLS,PPT,PDF,RTF,ALL.其中,ALL包含所有文件類型.高級搜索把搜索范圍限定在網(wǎng)頁標題中intitle標題通常是對網(wǎng)頁內(nèi)容提綱挈領(lǐng)式的歸納.把查詢內(nèi)容范圍限定在網(wǎng)頁標題中，有時能獲得良好的效果.高級搜索把搜索范圍限定在特定站點中site有時候，您如果知道某個站點中有自己需要找的東西，就可以把搜索范圍限定在這個站點中，提高查詢效率.使用的方式，是在查詢內(nèi)容的后面，加上”site:站點域名”.高級搜索把搜索范圍限定在url鏈接中inurl網(wǎng)頁url中的某些信息，常常有某種有價值的含義.于是，您如果對搜索結(jié)果的url做某種限定,就可以獲得良好的效果.實現(xiàn)的方式，是用"inurl:"，后跟需要在url中出現(xiàn)的關(guān)鍵詞高級搜索精確匹配——雙引號和書名號如果輸入的查詢詞很長，百度給出的搜索結(jié)果中的查詢詞可能是拆分的.如果給查詢詞加上雙引號，就可以精確檢索.被書名號擴起來的內(nèi)容,也不會被拆分，比如,查電影”手機”,如果不加書名號,很多情況下出來的是通訊工具一一手機，而加上書名號后，《手機》結(jié)果就都是關(guān)于電影方面的了.高級搜索要求搜索結(jié)果中不含特定查詢詞一一減號-如果您發(fā)現(xiàn)搜索結(jié)果中，有某一類網(wǎng)頁是您不希望看見的，那么用減號語法,就可以去除所有這些含有特定關(guān)鍵詞的網(wǎng)頁.注意,前一個關(guān)鍵詞，和減號之間必須有空格，否則，減號會被當(dāng)成連字符處理，而失去減號語法功能.SergeyBrinLarryPageGoogle搜索引擎誕生于斯坦福大學(xué)的一個學(xué)生宿舍里，然后迅速傳播到全球的信息搜索者.Google目前被公認為萬維網(wǎng)上最大的搜索引擎，它提供了簡單易用的免費服務(wù)，使用戶能夠訪問一個包含超過80億個網(wǎng)址的索引."Google”來自于數(shù)學(xué)名詞"Googol”,Googol表示一個1后面跟著100個零.這一術(shù)語體現(xiàn)了公司整合網(wǎng)上海量信息的遠大目標.概況Google技術(shù)Google使用一組獨特的高級硬件和軟件，核心軟件稱為PageRank.作為組織管理工具，網(wǎng)頁級別利用了互聯(lián)網(wǎng)獨特的民主特性及其巨大的鏈接結(jié)構(gòu).從網(wǎng)頁A鏈接到網(wǎng)頁B時,Google就認為〃網(wǎng)頁A投了網(wǎng)頁B一票”.Google根據(jù)網(wǎng)頁的得票數(shù)評定其重要性.除了考慮網(wǎng)頁得票數(shù)(即鏈接)的純數(shù)量之外,Google還要分析投票的網(wǎng)頁，"重要”的網(wǎng)頁所投出的票就會有更高的權(quán)重.與大多數(shù)其它搜索引擎的區(qū)別在于:Google只顯示相關(guān)的網(wǎng)頁，其正文或指向它的鏈接包含您所輸入的所有關(guān)鍵詞，而無須再受其它無關(guān)結(jié)果的煩擾.Google的特殊功能Flash文件查找Flash文件，只需搜索"關(guān)鍵詞filetype:swf”.Google已經(jīng)可以支持13種非HTML文件的搜索.除了PDF文檔,Google現(xiàn)在還可以搜索MicrosoftOffice(doc,ppt,xls,rtf),ShockwaveFlash(swf),PostScript(ps)和其它類型文檔.新的文檔類型只要與用戶的搜索相關(guān)，就會自動顯示在搜索結(jié)果中.點擊選中的鏈接手氣不錯按下”手氣不錯”按鈕將自動進入Google查詢到的第一個網(wǎng)頁.您將完全看不到其它的搜索結(jié)果.使用”手氣不錯”進行搜索表示用于搜索網(wǎng)頁的時間較少而用于檢查網(wǎng)頁的時間較多.例如,要查找Stanford大學(xué)的主頁，只需在搜索字段中輸入"Stanford"，然后單擊”手氣不錯"按鈕.Google將直接帶您進入Stanford大學(xué)的官方主頁.錯別字改正Google的錯別字改正軟件系統(tǒng)會對輸入的關(guān)鍵詞進行自動掃描，檢查有沒有錯別字.如果發(fā)現(xiàn)用其他字詞搜索可能會有更好的結(jié)果，它能提供相應(yīng)提示來幫助糾正可能有的錯