管理學(xué)信息組織與檢索第一章概述課件

1、管理學(xué)信息組織與檢索第一章概述課件管理學(xué)信息組織與檢索第一章概述課件2022/9/112課程的目標(biāo)信息管理的核心技術(shù)之一是信息檢索理論信息組織和管理的實(shí)踐和理論基礎(chǔ)應(yīng)用信息檢索系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)和使用基礎(chǔ)2022/9/104課程的目標(biāo)信息管理的核心技術(shù)之一是信息檢2022/9/113兩個(gè)主題信息組織和設(shè)計(jì)模型預(yù)處理信息檢索處理查詢搜索索引結(jié)果表達(dá)（排序）2022/9/105兩個(gè)主題信息組織和設(shè)計(jì)2022/9/114課程安排1 概述42 數(shù)據(jù)形式及其特性23 信息檢索模型44 多媒體內(nèi)容及其模型25 信息預(yù)處理和媒體結(jié)構(gòu)化26 用戶查詢接口27 搜索和索引42022/9/106課程安排1 概述42

2、022/9/115課程安排8 并行與分布信息檢索29 多媒體信息檢索210 Web信息檢索211 數(shù)字圖書(shū)館2*專題討論8-10*考試：課程報(bào)告形式2022/9/107課程安排8 并行與分布信息檢索22022/9/116教材和參考資料教材李國(guó)輝、湯大權(quán)、武德峰.信息組織與檢索.科學(xué)出版社，北京：2002.參考資料Ricardo Baeza-Yates. Modern information retrieval. Addison Wesley Longman Publishing Co. Inc. 1999.Keith V. Rijsbergen, Information Retrieval.

3、The second editon, Butterworths, London, 1979. 2022/9/108教材和參考資料教材2022/9/117參考資料（雜志）Journal of the American society of information science, Wiley and Sons.ACM Transactions on Information Systems, ACM.Magazine. Information Processing & Management, Elsevier Science Ltd. http:/www.elsevier.nl/inca/publ

4、ications/ store/2/4/4/Magazine. Information Systems, Elsevier Science Ltd. http:/www.elsevier.nl/locate/is2022/9/109參考資料（雜志）Journal of t2022/9/118參考資料（雜志）Magazine. Information Retrieval, Kluwer Academic Publisher. /issn/1386-4564Magazine. Knowledge and Information Systems, Springer. /link/service/jo

5、urnals/10115/2022/9/1010參考資料（雜志）Magazine. I2022/9/119國(guó)際會(huì)議ACM SIGIR International Conference on Information Retrieval.ACM International Conference on Digital Libraries (ACM DL).ACM Conference on Information Knowledge and Management (CIKM).Text Retrieval Conference (TREC). /. 2022/9/1011國(guó)際會(huì)議ACM SIGIR

6、Inter2022/9/1110第一章 概述 問(wèn)題：什么是信息檢索？信息檢索與數(shù)據(jù)庫(kù)的查詢有什么區(qū)別？信息檢索領(lǐng)域的背景？總體看，信息檢索系統(tǒng)是什么樣子？如何評(píng)價(jià)檢索性能的好壞？2022/9/1012第一章 概述 問(wèn)題：2022/9/1111第一章 概述 什么是信息組織和檢索信息檢索的發(fā)展信息檢索系統(tǒng)信息檢索的過(guò)程檢索性能的評(píng)價(jià) 2022/9/1013第一章 概述 什么是信息組織和檢索2022/9/11121.1 什么是信息組織和檢索 Web網(wǎng)站的設(shè)計(jì)和使用的例子 什么是信息？信息如何度量？信息的生命周期？信息組織？信息檢索？2022/9/10141.1 什么是信息組織和檢索 Web網(wǎng)2022

7、/9/11131.1.1 Web網(wǎng)站的設(shè)計(jì)和使用的例子 網(wǎng)站的設(shè)計(jì)內(nèi)容設(shè)計(jì)導(dǎo)航設(shè)計(jì)表現(xiàn)設(shè)計(jì) 網(wǎng)站的使用瀏覽搜索2022/9/10151.1.1 Web網(wǎng)站的設(shè)計(jì)和使用的例2022/9/11141.1.1 Web網(wǎng)站的設(shè)計(jì)和使用的例子 crawl thewebcreate a keywordindexstore the documentscreate files of metadataCheshire II內(nèi)容組織2022/9/10161.1.1 Web網(wǎng)站的設(shè)計(jì)和使用的例2022/9/11151.1.1 Web網(wǎng)站的設(shè)計(jì)和使用的例子 Cheshire IIresults shownto use

8、rserver accesses thedatabasesuserquery網(wǎng)站使用2022/9/10171.1.1 Web網(wǎng)站的設(shè)計(jì)和使用的例2022/9/11161.1.2 什么是信息？什么是數(shù)據(jù)？數(shù)據(jù)是按某一規(guī)格化方式對(duì)事實(shí)和概念的一種表示,適于人或自動(dòng)裝置進(jìn)行通信、解釋或處理。它是任何有意義或可以賦予含義的表達(dá)形式,例如字符或數(shù)字。 基本數(shù)據(jù)類型：文本、圖像、視頻、音頻等。2022/9/10181.1.2 什么是信息？什么是數(shù)據(jù)？2022/9/11171.1.2 什么是信息？什么是信息？news or facts about something通知、告知、告知的事情、新聞Define

9、data as conventional representations of facts or ideas, and information as the meaning that people give to data.什么是知識(shí)？通過(guò)經(jīng)驗(yàn)獲得的認(rèn)識(shí)，是個(gè)人的信息范疇，是理論或?qū)嵺`上的理解，是對(duì)已知事實(shí)的經(jīng)驗(yàn)總結(jié)。 2022/9/10191.1.2 什么是信息？什么是信息？2022/9/11181.1.2 什么是信息？信息的層次觀點(diǎn) 最下層是數(shù)據(jù)，是信息的來(lái)源和原始資料，用數(shù)據(jù)可以表達(dá)信息。信息是經(jīng)過(guò)處理、組織和表現(xiàn)出來(lái)的數(shù)據(jù)。讀、聽(tīng)、看、理解的信息，經(jīng)過(guò)歸納和總結(jié)得出知識(shí)。最高層為智慧，

10、是提煉和綜合出來(lái)的知識(shí)和理解，它建立在知識(shí)之上。 2022/9/10201.1.2 什么是信息？信息的層次觀點(diǎn)2022/9/11191.1.2 什么是信息？WisdomKnowledgeInformationData2022/9/10211.1.2 什么是信息？WisdomK2022/9/11201.1.2 什么是信息？我們是否在學(xué)習(xí)知識(shí)中是否忽略了智慧？在獲取信息后，是否進(jìn)一步提煉出知識(shí)？而在數(shù)據(jù)的海洋中是否知道如何獲取有價(jià)值的信息？ 2022/9/10221.1.2 什么是信息？2022/9/11211.1.2 什么是信息？信息的特性信息可以通過(guò)廣播和網(wǎng)絡(luò)進(jìn)行電子化交流因此信息容易復(fù)制和實(shí)

11、現(xiàn)共享直觀上看，信息與事物和事實(shí)有關(guān)，也許是一種物質(zhì)、能量或抽象的概念信息是新聞，因此重復(fù)以前接收到的消息不是信息不正確的或反面的事實(shí)是錯(cuò)誤的信息2022/9/10231.1.2 什么是信息？信息的特性2022/9/11221.1.2 什么是信息？從人的角度看信息人的認(rèn)知處理有多種級(jí)別：感知觀察/關(guān)注推理、形式推論和理解人通過(guò)知識(shí)來(lái)判斷信息的真實(shí)性人們接受信息的過(guò)程通過(guò)參考某些正面的觀點(diǎn)，結(jié)合觀察的事實(shí)和推理過(guò)程，產(chǎn)生歸納的結(jié)果 2022/9/10241.1.2 什么是信息？從人的角度看信2022/9/11231.1.2 什么是信息？從人的角度看信息并不是世界上產(chǎn)生的所有信息都是每個(gè)人關(guān)注的不

12、同的人關(guān)注不同的信息例如，昆蟲(chóng)學(xué)家關(guān)心螞蟻間的通信和信息交流；自然保護(hù)組織關(guān)心城市建設(shè)中樹(shù)木被砍伐的情況等。一個(gè)人不可能接受所有的信息，他/她只關(guān)心與自己有關(guān)的信息2022/9/10251.1.2 什么是信息？從人的角度看信2022/9/11241.1.2 什么是信息？信息的含義和形式含義和形式是信息的兩個(gè)不同的層面 同一個(gè)信息含義可以用不同的形式表達(dá) 信息的含義需要媒體的表示，向信息接受者呈現(xiàn)（表現(xiàn)）信息的內(nèi)容2022/9/10261.1.2 什么是信息？信息的含義和形2022/9/11251.1.3 信息的度量對(duì)消息的接受者來(lái)說(shuō)，事件的信息量與事件發(fā)生的概率有關(guān)：事件發(fā)生的概率越小，其包含

13、的信息量越大；反之亦然。事件是必然的（概率為1），則它包含的信息量為0；事件是不可能的（概率為0），則它含有無(wú)窮的信息量。2022/9/10271.1.3 信息的度量對(duì)消息的接受者來(lái)2022/9/11261.1.3 信息的度量信息量I與事件概率P(x)的關(guān)系：信息量的單位a=2，比特a=e，奈特nat, 約等于1.443比特A=10，笛特 det2022/9/10281.1.3 信息的度量信息量I與事件概2022/9/11271.1.4 信息的生命周期從產(chǎn)生到被利用，信息具有一個(gè)完整的生命周期產(chǎn)生檢索利用 2022/9/10291.1.4 信息的生命周期從產(chǎn)生到被利2022/9/11281.1

14、.4 信息的生命周期2022/9/10301.1.4 信息的生命周期2022/9/11291.1.5 信息組織和檢索概念組織（organization）就是把數(shù)據(jù)按照一定的結(jié)構(gòu)、順序、排列方式組織起來(lái)信息組織就是按照信息檢索的需要，對(duì)數(shù)據(jù)及其特性進(jìn)行組織檢索（retrieval）就是重新獲得或恢復(fù)，是進(jìn)行搜索、定位及讀出數(shù)據(jù)的過(guò)程信息檢索就是從大量的文檔集中獲取用戶需要的相關(guān)信息 2022/9/10311.1.5 信息組織和檢索概念組織（o2022/9/11301.1.5 信息組織和檢索概念數(shù)據(jù)檢索數(shù)據(jù)庫(kù)的查詢用到的是數(shù)據(jù)檢索的概念數(shù)據(jù)檢索就是根據(jù)數(shù)據(jù)庫(kù)的結(jié)構(gòu)化屬性來(lái)搜索，確定哪些文檔的屬性中

15、包含用戶查詢的關(guān)鍵字?jǐn)?shù)據(jù)檢索語(yǔ)言的目標(biāo)就是檢索出滿足定義條件的所有對(duì)象 是一種精確匹配例如，查詢“run”，將只匹配run，而不匹配runs或running 2022/9/10321.1.5 信息組織和檢索概念數(shù)據(jù)檢索2022/9/11311.1.5 信息組織和檢索概念信息檢索檢索出有關(guān)某個(gè)主題（用戶的信息需求）相關(guān)的信息 檢索到的對(duì)象可以不太精確（部分匹配），允許有一些小的不明顯的偏差以某種方式“解釋”文檔庫(kù)中數(shù)據(jù)單元的內(nèi)容，并把檢索的結(jié)果按照與用戶查詢的相關(guān)程度來(lái)排序。 相關(guān)性（relevance）是信息檢索的核心之一 2022/9/10331.1.5 信息組織和檢索概念信息檢索2022/

16、9/11321.1.5 信息組織和檢索概念數(shù)據(jù)檢索與信息檢索信息檢索涉及到用戶的信息需求和提交的查詢不總是結(jié)構(gòu)化的，而且具有語(yǔ)義模糊性數(shù)據(jù)檢索系統(tǒng)，例如關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)，涉及的數(shù)據(jù)具有完好定義的結(jié)構(gòu)和語(yǔ)義2022/9/10341.1.5 信息組織和檢索概念2022/9/11331.1.5 信息組織和檢索概念信息檢索的一種規(guī)范定義 從大量收集的數(shù)據(jù)或文檔集C中,找到與給定的查詢請(qǐng)求q相關(guān)的恰當(dāng)數(shù)目的數(shù)據(jù)或文檔子集A。 2022/9/10351.1.5 信息組織和檢索概念2022/9/11341.2 信息檢索的發(fā)展可以追溯到4000年前經(jīng)典的方法：目錄和索引手工到計(jì)算機(jī)計(jì)算機(jī)化到網(wǎng)絡(luò)網(wǎng)絡(luò)到無(wú)處不在？

17、.未來(lái)?2022/9/10361.2 信息檢索的發(fā)展可以追溯到4002022/9/11351.2 信息檢索的發(fā)展三個(gè)階段人工管理的計(jì)算機(jī)化階段。上世紀(jì)50到60年代，利用計(jì)算機(jī)來(lái)對(duì)圖書(shū)館館藏資料進(jìn)行管理文本信息檢索階段。上世紀(jì)70到80年代，從基于文檔元數(shù)據(jù)的查詢，發(fā)展到能夠基于全文內(nèi)容進(jìn)行文本信息的檢索。網(wǎng)絡(luò)化信息檢索階段。上世紀(jì)90年代開(kāi)始，有Web搜索引擎、數(shù)字圖書(shū)館、多媒體信息檢索、并行和分布信息檢索2022/9/10371.2 信息檢索的發(fā)展三個(gè)階段2022/9/11361.2 信息檢索的發(fā)展Web逐步成為人類知識(shí)和文化的環(huán)球庫(kù)，允許前所未有的思想和信息的共享 這種無(wú)邊際的Web中，

18、如何找到有用的信息（不僅僅是文本表示的，還有多媒體表示的信息）？如何真正找到用戶感興趣的信息，而不是把有價(jià)值的信息淹沒(méi)在一大堆的應(yīng)答文檔中？如何把信息檢索與瀏覽和數(shù)據(jù)庫(kù)查詢結(jié)合起來(lái)，為Web信息環(huán)境提供一種綜合的信息存取手段？ 2022/9/10381.2 信息檢索的發(fā)展Web逐步成為人2022/9/11371.3 信息檢索系統(tǒng)數(shù)據(jù)源 文檔預(yù)處理和媒體結(jié)構(gòu)化 文檔集用戶查詢接口 搜索和索引 2022/9/10391.3 信息檢索系統(tǒng)數(shù)據(jù)源 2022/9/11381.3 信息檢索系統(tǒng)2022/9/10401.3 信息檢索系統(tǒng)2022/9/11391.3 信息檢索系統(tǒng)檢索任務(wù)數(shù)據(jù)檢索信息檢索瀏覽過(guò)

19、濾 檢索是從一堆文檔中抽取一部分相關(guān)的信息，而過(guò)濾是把不相關(guān)的信息排斥掉從統(tǒng)一的角度看，過(guò)濾任務(wù)也可以看作是一種文檔不斷進(jìn)入到系統(tǒng)中來(lái)的信息檢索任務(wù)。 2022/9/10411.3 信息檢索系統(tǒng)檢索任務(wù)2022/9/11401.3 信息檢索系統(tǒng)文檔邏輯視圖文檔的內(nèi)容的一種抽象表示 文本文檔索引項(xiàng)或關(guān)鍵詞表示全文邏輯視圖人工或自動(dòng)產(chǎn)生文本處理：分詞、非用詞去除、獲取詞干（減到公共的語(yǔ)法根）等 2022/9/10421.3 信息檢索系統(tǒng)文檔邏輯視圖2022/9/11411.3 信息檢索系統(tǒng)文檔邏輯視圖多媒體文檔視覺(jué)和聽(tīng)覺(jué)特性時(shí)間和空間分布和結(jié)構(gòu)運(yùn)動(dòng)特征視頻對(duì)象和音頻對(duì)象特征關(guān)系、對(duì)象的語(yǔ)義媒體特征

20、處理和結(jié)構(gòu)化：人工和自動(dòng)方式多媒體內(nèi)容描述 2022/9/10431.3 信息檢索系統(tǒng)文檔邏輯視圖2022/9/11421.3 信息檢索系統(tǒng)文檔邏輯視圖在文檔中的可檢索實(shí)體，用索引項(xiàng)、查詢項(xiàng)來(lái)統(tǒng)一表示！檢索任務(wù)作用于文檔的邏輯視圖，而不是直接作用在原始文檔上*作用在原始文檔上，稱為模式匹配這時(shí)不需要輔助搜索的數(shù)據(jù)結(jié)構(gòu)2022/9/10441.3 信息檢索系統(tǒng)文檔邏輯視圖2022/9/11431.3 信息檢索系統(tǒng)2022/9/10451.3 信息檢索系統(tǒng)2022/9/11441.4 信息檢索的過(guò)程三大步驟：預(yù)處理、內(nèi)容描述、檢索 2022/9/10461.4 信息檢索的過(guò)程三大步驟：預(yù)處理202

21、2/9/11451.4 信息檢索的過(guò)程2022/9/10471.4 信息檢索的過(guò)程2022/9/11461.5 檢索性能的評(píng)價(jià) 用戶向檢索系統(tǒng)提交查詢后系統(tǒng)返回一組查詢結(jié)果問(wèn)題是這組結(jié)果是否滿足用戶的信息需求？滿足的程度如何？這就涉及到檢索系統(tǒng)的性能評(píng)價(jià)問(wèn)題 2022/9/10481.5 檢索性能的評(píng)價(jià) 用戶向檢索2022/9/11471.5 檢索性能的評(píng)價(jià)檢索性能的評(píng)價(jià)：給定一種檢索策略S，對(duì)于每個(gè)示例的信息請(qǐng)求，對(duì)相似性進(jìn)行定量分析。相似性是指采用檢索策略S檢索到的文檔集合與專家提供的相關(guān)文檔集合之間的相似性。檢索性能評(píng)價(jià)的考慮交互式還是批處理式的檢索任務(wù)？測(cè)試環(huán)境是實(shí)驗(yàn)室還是真實(shí)的運(yùn)行環(huán)

22、境？2022/9/10491.5 檢索性能的評(píng)價(jià)檢索性能的評(píng)價(jià)：2022/9/11481.5 檢索性能的評(píng)價(jià)經(jīng)典的評(píng)價(jià)方法：查準(zhǔn)率和回調(diào)率對(duì)于某個(gè)測(cè)試參考集，設(shè)信息請(qǐng)求樣本為E，E對(duì)應(yīng)的相關(guān)文檔的集合為R，記|R|為該集合中的文檔數(shù)目。給定一種檢索策略S，我們對(duì)該檢索策略進(jìn)行評(píng)價(jià)。檢索策略S處理信息請(qǐng)求E，并產(chǎn)生出一個(gè)文檔應(yīng)答集合A，記|A|為該集合中的文檔數(shù)目。另外，計(jì)|RA|為集合R和A交集中的文檔數(shù)目。 2022/9/10501.5 檢索性能的評(píng)價(jià)經(jīng)典的評(píng)價(jià)方法：2022/9/11491.5 檢索性能的評(píng)價(jià)2022/9/10511.5 檢索性能的評(píng)價(jià)2022/9/11501.5 檢索性能的評(píng)價(jià)經(jīng)典的評(píng)價(jià)方法：查準(zhǔn)率和回調(diào)率回調(diào)率（查全率）：定義為應(yīng)答集合中相關(guān)文檔數(shù)與總的相關(guān)文檔數(shù)的比值，它表示檢索到的相關(guān)文檔的比例：2022/9/10521.5 檢索性能的評(píng)價(jià)經(jīng)典的評(píng)價(jià)方法：2022/9/11511.5 檢索性能的評(píng)價(jià)經(jīng)典的評(píng)價(jià)方法：查準(zhǔn)率和回調(diào)率查準(zhǔn)率：定義為應(yīng)答集合中相關(guān)文檔數(shù)與應(yīng)答集合中文檔數(shù)的比值，它表示檢索到的文檔中相關(guān)文檔的比例