揭秘搜索引擎收錄問題

揭秘搜索引擎收錄問題

1、內(nèi)容違法2、robots協(xié)議有誤由于robots協(xié)議的復雜性，導致有小部分站長在創(chuàng)建robots協(xié)議的出現(xiàn)錯誤誤導了spider，常見的錯誤有以下幾種：(1)、顛倒了順序錯誤寫成：User-agent:*Disallow:GoogleBot正確的應該是：User-agent:GoogleBotDisallow:*(2)、把多個禁止命令放在一行中例如錯誤寫成：Disallow:/css//cgi-bin//images/正確的應該是：Disallow:/css/Disallow:/cgi-bin/Disallow:/images/(3)、行前有大量空格例如寫成：Disallow:/cgi-bin/盡管在標準沒有談到這個，但是這種方式很容易出問題。(4)、404重定向到另外一個頁面當Robot訪問很多沒有設置robots.txt文件的站點時，會被自動404重定向到另外一個Html頁面。這時Robot常常會以處理robots.txt文件的方式處理這個Html頁面文件。雖然一般這樣沒有什么問題，但是最好能放一個空白的robots.txt文件在站點根目錄下。(5)、采用大寫。例如USER-AGENT:EXCITEDISALLOW:雖然標準是沒有大小寫的，但是目錄和文件名應該小寫：user-agent:GoogleBotdisallow:(6)、語法中只有Disallow，沒有Allow錯誤的寫法是：User-agent:BaiduspiderDisallow:/john/allow:/jane/(7)、忘記了斜杠/錯誤寫作：User-agent:BaiduspiderDisallow:css正確的應該是：User-agent:BaiduspiderDisallow:/css/……3、網(wǎng)站設計問題這種情況在前幾年的企業(yè)站中比較常見，最常見的情況是，整站flash，整站js，蜘蛛無法抓取，對于這樣的網(wǎng)站，改版是最好的選擇，相關討論很多，這邊就不贅述了4、網(wǎng)站不穩(wěn)定程序頂部：starttime=timer程序尾部：response.Write(timer-starttime)&"ms"經(jīng)過排查了幾個執(zhí)行時間超過350ms的問題頁面以后，網(wǎng)站訪問情況趨于穩(wěn)定，一個更新周期以后網(wǎng)站就被收錄了。5、關聯(lián)懲罰所謂城門失火，殃及池魚，如果某個網(wǎng)站被搜索引擎封殺，同時你的網(wǎng)站又不幸地被搜索引擎判定，2者之間有密切的關系，那么很遺憾，收錄就是不可能的事情了，特別是百度，對于一些站群，垃圾站，seo過度站點的封殺極為嚴厲。關聯(lián)懲罰分為三種，域名關聯(lián)，服務器關聯(lián)，鏈接關聯(lián)。6、內(nèi)容質(zhì)量不高百度在"站長FAQ"中指出，百度不收錄"復制自互聯(lián)網(wǎng)上的高度