第7章搜索引擎工作原理

搜索引擎工作原理第7章SEO基礎(chǔ)2023/3/6課程目標(biāo)認(rèn)識搜索引擎的工作原理記憶搜索引擎的工作流程2023/3/6目錄網(wǎng)頁收集1預(yù)處理2檢索服務(wù)32023/3/6網(wǎng)頁收集搜索引擎是如何收集互聯(lián)網(wǎng)中的網(wǎng)頁？蜘蛛程序抓取2023/3/6認(rèn)識蜘蛛什么是蜘蛛？網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人），是一種按照一定的規(guī)則，自動的抓取互聯(lián)網(wǎng)中網(wǎng)頁的程序或者腳本蜘蛛的工作方式蜘蛛是通過鏈接進(jìn)行爬行并抓取網(wǎng)頁的2023/3/6認(rèn)識種子站點種子站點蜘蛛起始的抓取站點，這類站點具有一定的權(quán)威性和導(dǎo)航性，如新浪、hao123等2023/3/6搜索引擎收集機(jī)制收集機(jī)制根據(jù)網(wǎng)站的更新周期三天打魚兩天曬網(wǎng)定期定量的收集2023/3/6原始數(shù)據(jù)原始數(shù)據(jù)庫蜘蛛抓取的頁面所要儲存的位置百度快照2023/3/6目錄網(wǎng)頁收集1預(yù)處理2檢索服務(wù)32023/3/6思考什么是預(yù)處理？蜘蛛抓取的原始頁面并不能直接用于查詢排名，需要對其進(jìn)行一定的處理預(yù)處理提取文字分析鏈接建立索引中文分詞去除重復(fù)頁面計算網(wǎng)頁重要度213456預(yù)處理的工作流程2023/3/6提取文字1.提取文字搜索引擎是以文字內(nèi)容為基礎(chǔ)的，從網(wǎng)頁文件中去除標(biāo)簽、程序，提取出可以用于排名的網(wǎng)頁文字內(nèi)容2023/3/6中文分詞2.中文分詞分詞分詞是搜索引擎特有的步驟，把網(wǎng)頁中提取的文字按照詞組進(jìn)行劃分消噪對內(nèi)容沒有任何影響卻大量出現(xiàn)的詞，如：的、地、得、啊、哦、呀、不但、而且等2023/3/6去除重復(fù)頁面3.去除重復(fù)頁面鏡像網(wǎng)頁內(nèi)容完全相同，網(wǎng)址不同傾向原創(chuàng)2023/3/6計算網(wǎng)頁重要度4.計算網(wǎng)頁重要度積分制計算通過被指向鏈接計算網(wǎng)頁的原創(chuàng)性2023/3/6認(rèn)識索引5.建立索引索引是建立關(guān)鍵詞與網(wǎng)頁之間的對應(yīng)表，建立索引的最大好處在于可快速獲取對應(yīng)的數(shù)據(jù)頁面關(guān)鍵詞關(guān)鍵詞頁面正排索引倒排索引2023/3/6認(rèn)識索引索引示意圖網(wǎng)站A網(wǎng)站B關(guān)鍵詞C關(guān)鍵詞C關(guān)鍵詞C正排索引正排索引倒排索引倒排索引2023/3/6提取鏈接6.提取鏈接根據(jù)頁面中存在的鏈接繼續(xù)抓取預(yù)處理提取文字提取鏈接2023/3/6小結(jié)43054501提問搜索引擎的預(yù)處理包含哪些工作？提取文字中文分詞去除重復(fù)網(wǎng)頁計算網(wǎng)頁重要度建立索引分析頁面中的鏈接2023/3/6小結(jié)WWW蜘蛛網(wǎng)頁分析器索引器檢索器百度用戶原始數(shù)據(jù)庫索引數(shù)據(jù)庫2023/3/6目錄網(wǎng)頁收集1預(yù)處理2檢索服務(wù)32023/3/6思考43054501提問如何展現(xiàn)用戶所搜索的關(guān)鍵詞？查詢詞的處理獲取倒排索引2023/3/6檢索服務(wù)查詢詞的處理搜索詞進(jìn)行分詞獲取排序獲取倒排索引2023/3/6總結(jié)網(wǎng)頁收集認(rèn)識蜘蛛、種子站點、收集機(jī)制、原始數(shù)據(jù)預(yù)處理提取文字、分詞、去除重復(fù)頁面、計算重要度、建立索引、提取鏈接檢索服務(wù)查