搜索引擎三段式工作流程總結(jié)

搜索引擎三段式工作流程總結(jié)

現(xiàn)代的大規(guī)模搜索引擎一般采用三段式的工作流程，即：網(wǎng)頁(yè)搜集、預(yù)處理、查詢服務(wù)?，F(xiàn)在我對(duì)這三點(diǎn)簡(jiǎn)單的闡述下：一、網(wǎng)頁(yè)搜集搜索引擎是通過(guò)爬蟲(chóng)去搜集互聯(lián)網(wǎng)中的網(wǎng)頁(yè)，放入數(shù)據(jù)庫(kù)，但是這不可能是用戶提交查詢的時(shí)候才去抓取，而是預(yù)先就搜集好一批網(wǎng)頁(yè)，可以把WEB上的網(wǎng)頁(yè)集合看成是一個(gè)有向圖，搜集過(guò)程從給定起始URL集合S開(kāi)始，沿著這些網(wǎng)頁(yè)中的鏈接，按照先深或先寬某種策略遍歷，不停的從S中移除URL，下載相應(yīng)的網(wǎng)頁(yè)，解析出網(wǎng)頁(yè)中的超鏈接URL，看是否已經(jīng)訪問(wèn)過(guò)，或者有未訪問(wèn)過(guò)的那些URL加入集合S。我們這里可以是定期搜集，增量搜集，或者是用戶自主提交的方式進(jìn)行爬取。并且對(duì)這批網(wǎng)頁(yè)進(jìn)行維護(hù)。這種維護(hù)，是為了能及時(shí)發(fā)現(xiàn)網(wǎng)頁(yè)的新特征，搜集新的網(wǎng)頁(yè)，改變過(guò)的網(wǎng)頁(yè)，或者已經(jīng)不存在的網(wǎng)頁(yè)。二、預(yù)處理預(yù)處理主要包括四個(gè)方面：關(guān)鍵詞的提取、鏡像網(wǎng)頁(yè)或轉(zhuǎn)載網(wǎng)頁(yè)的消除、鏈接分析和網(wǎng)頁(yè)重要程度的計(jì)算1.關(guān)鍵詞的提取作為預(yù)處理階段的一個(gè)基本任務(wù)，就是要提取出網(wǎng)頁(yè)源文件的內(nèi)容部分包括的關(guān)鍵詞。對(duì)于中文來(lái)說(shuō)，就是根據(jù)一個(gè)詞典，用一個(gè)所謂的“切詞軟件”，從網(wǎng)頁(yè)文字中切除詞典所包含的詞語(yǔ)來(lái)，在那之后，一篇網(wǎng)頁(yè)主要是由一組詞來(lái)代表，p={a，b，c，……d}.一般來(lái)講，我們會(huì)得到很多詞，同一個(gè)詞可能在一篇網(wǎng)頁(yè)中出現(xiàn)多次。然后我們要去掉”停用詞“，例如”的，在，是”這一類的詞語(yǔ)。再加以對(duì)這些詞的詞頻(TF)和文檔頻率(DF)之類的計(jì)算統(tǒng)計(jì)，從而指示出詞語(yǔ)在一篇文檔中的相對(duì)重要性和某種內(nèi)容的相關(guān)性。2.鏡像或者轉(zhuǎn)載網(wǎng)頁(yè)的消除在WEB上，存在著大量的重復(fù)信息，這種信息對(duì)于搜索引擎來(lái)說(shuō)可能是負(fù)面的，因?yàn)樾枰臋C(jī)器時(shí)間和帶寬資源，并且無(wú)意義的消耗了計(jì)算機(jī)顯示屏資源，也可以帶來(lái)用戶的抱怨，這么多重復(fù)，給我一個(gè)就夠了。所以搜索引擎對(duì)于消除這些重復(fù)信息也是預(yù)處理中一個(gè)很重要的任務(wù)。3.鏈接分析搜索引擎除了對(duì)內(nèi)容進(jìn)行分析外，并且最重要的還需要對(duì)鏈接進(jìn)行分析，鏈接信息不僅給出了網(wǎng)頁(yè)之間的關(guān)系，而且還對(duì)判斷網(wǎng)頁(yè)的內(nèi)容起到很重要的作用。網(wǎng)頁(yè)中的內(nèi)部鏈接和外部鏈接對(duì)網(wǎng)站的排序起到了很大的影響。4.網(wǎng)頁(yè)重要程度的計(jì)算搜索引擎返回給用戶是一個(gè)和查詢相關(guān)的結(jié)果列表，列表中的條目順序是很重要的問(wèn)題。因此搜索引擎必須提供一種統(tǒng)計(jì)意義上的排序結(jié)果給用戶，但并不能給所有用戶都能提供滿意的結(jié)果。如何對(duì)網(wǎng)頁(yè)權(quán)重進(jìn)行評(píng)估，是搜索引擎最需要解決的問(wèn)題，例如GOOGLE的pr算法，其中思路就是認(rèn)為“被引用越多的就是重要的”，和HITS算法等等。這些算法，有些在預(yù)處理階段計(jì)算，有些則在查詢服務(wù)階段進(jìn)行計(jì)算，從而最終形成最優(yōu)的排序結(jié)果。三、查詢服務(wù)當(dāng)從一個(gè)S集合開(kāi)始，通過(guò)預(yù)處理后得到的就是S的一個(gè)子集元素的某種內(nèi)部顯示，至少包含幾個(gè)方面：原始網(wǎng)頁(yè)文檔，URL和標(biāo)題，編號(hào)，所含重要關(guān)鍵詞的集合(包括出現(xiàn)位置)等其他的一些指標(biāo)。而系統(tǒng)關(guān)鍵詞的總體集合和編號(hào)一起構(gòu)成了一個(gè)倒排文件結(jié)構(gòu)，使得一旦得到一個(gè)關(guān)鍵詞輸入，就立刻能給出相文檔編號(hào)的集合輸出。這里主要有三方面的：查詢方式和匹配，結(jié)果排序，文檔摘要。1.查詢方式和匹配用戶一般查詢都是“要什么就輸入什么”，這對(duì)于搜索引擎來(lái)說(shuō)，是一種模糊的說(shuō)法，它可能不知道你真正想要的是什么，所以就是希望網(wǎng)頁(yè)中包含有該詞或者短語(yǔ)中的詞，也就對(duì)用戶查詢的詞語(yǔ)或短語(yǔ)進(jìn)行分詞，形成一個(gè)q，他的每一個(gè)元素都對(duì)應(yīng)倒排文件中的一個(gè)倒排表，即文檔編號(hào)的集合。從而實(shí)現(xiàn)了查詢和文檔的匹配。2.結(jié)果排序要想給用戶提供最高質(zhì)量的網(wǎng)頁(yè)信