搜索下拉框的采集方法

1、 搜索下拉框的采集方法 電商二部 張浩玉第1頁2.Fiddler1 目 錄第2頁Excellent Solution And Euipment For Mine1.網(wǎng)頁中找到真實網(wǎng)址網(wǎng)頁中找到真實網(wǎng)址1 1.在網(wǎng)頁中找到真實網(wǎng)址第3頁Excellent Solution And Euipment For Mine 通常采集關(guān)鍵詞的辦法是直接對要采集的部分審查元素或者查看源代碼找到對應部分前后唯一的代碼進行前后截取。但是經(jīng)過試驗這種辦法并不適用于必應和阿里巴巴的搜索下拉框。 我們要做的就是找到下拉框部分存在的真實網(wǎng)址，下面介紹兩種方法，如果大家在使用過程中發(fā)現(xiàn)任何不對的地方，請及時提出，以免影響

2、大家的工作，謝謝！ 第4頁Excellent Solution And Euipment For Mine 首先介紹第一種，找到打開必應瀏覽器，在搜索框中搜索一個產(chǎn)品詞匯，比如：rod mill，點擊搜索，出現(xiàn)如下界面，注意：使用時先不要將下拉框點擊出來，也就是不要點擊rod mill后邊的空白部分。 1.在網(wǎng)頁中找到真實網(wǎng)址第5頁Excellent Solution And Euipment For Mine接著按F12，找到其中的Network(從左往右數(shù)第四個): 1.在網(wǎng)頁中找到真實網(wǎng)址第6頁Excellent Solution And Euipment For Mine 1.在網(wǎng)頁中

3、找到真實網(wǎng)址這時候需要點擊rod mill后邊的空白部分，使其出現(xiàn)下拉框，也就是我們需要采集的部分，這時候我們會看到，在下方會出現(xiàn)一個http:/ Solution And Euipment For Mine 1.在網(wǎng)頁中找到真實網(wǎng)址點擊http:/ Solution And Euipment For Mine 1.在網(wǎng)頁中找到真實網(wǎng)址下面找?guī)追N不同的產(chǎn)品查找網(wǎng)址中的規(guī)律，方便批量采集rod mill http:/ crusherhttp:/ 我們可以發(fā)現(xiàn)，不同的地方有這幾處： “bq=” “qry=” 以及后邊的編碼部分首先我像往常一樣，刪除后邊的編碼部分，可是這時候發(fā)現(xiàn)頁面會沒有內(nèi)容，所以

4、后邊的部分，先不刪除，而且經(jīng)過測試，不同的產(chǎn)品后邊使用相同的編碼都能出現(xiàn)下拉框中的詞，所以這一部分可以現(xiàn)在看來是可以通用的，大家如果出現(xiàn)問題，請及時提出哦網(wǎng)址測試的經(jīng)過就不一一列舉了，總之經(jīng)過反復測試：我們只需更改 “qry=“后邊的單詞（如果大家發(fā)現(xiàn)更好更簡單的辦法請及時提出來哦）便能得到我們想要的結(jié)果。接著就是合成網(wǎng)址，下面的步驟跟一般的采集方法就是一樣的了，找到唯一的標簽。第9頁Excellent Solution And Euipment For Mine 2.Fiddler下面是安利階段：FidderFiddler是一個http協(xié)議調(diào)試代理工具，它能夠記錄并檢查所有你的電腦和互聯(lián)網(wǎng)之

5、間的http通訊，設(shè)置斷點，查看所有的“進出”Fiddler的數(shù)據(jù)（指cookie,html,js,css等文件，這些都可以讓你胡亂修改的意思）。 Fiddler 要比其他的網(wǎng)絡(luò)調(diào)試器要更加簡單，因為它不僅僅暴露http通訊還提供了一個用戶友好的格式。下面是使用這個軟件找到真實網(wǎng)址的方法：（1）使這個軟件處于零狀態(tài)，關(guān)閉左下角capturing功能，單擊即可。抓包工具 fiddler2setup_英文原版.exe第10頁Excellent Solution And Euipment For Mine 2.Fiddler（2）以阿里巴巴為例子，打開阿里巴巴網(wǎng)站，搜索一個產(chǎn)品，比如 jaw cru

6、sher，這時候在此點擊左下角的位置，使其開始工作，然后點擊jaw crusher 后邊的空白部分，使其出現(xiàn)下拉框，這時候fidder會抓取數(shù)據(jù)，出現(xiàn)下圖：第11頁Excellent Solution And Euipment For Mine 2.Fiddler（3）這時候我們會看到，第一個網(wǎng)址中，出現(xiàn)了keywords字樣，點擊這個網(wǎng)址，點擊右邊Inspectors中的Raw，我們可以看到首行出現(xiàn)一個網(wǎng)址，也就是GET后邊的網(wǎng)址第12頁Excellent Solution And Euipment For Mine 2.Fiddler（4）打開這個網(wǎng)址,我們會看到一頁代碼，我們想要的關(guān)鍵詞就在他們中間，找下拉框中的詞進行搜索，我們可以發(fā)現(xiàn)他們是由唯一的標簽進行包裹的。接著就是關(guān)于批量采集，經(jīng)測試，我們只需要換掉，http:/ 這個網(wǎng)站中，keyword后邊的單詞即可（大家發(fā)現(xiàn)不對的地方請及時提出啊。我這是自己總結(jié)的，可能測試不到位，大家諒解，謝謝大家！），最后就是合成網(wǎng)址的過程，與一般的采集方式是一樣的。PS：此軟件也適用于必應。第13頁Excellent Solution And Euipment For