八爪魚批量采集圖片URL

1、八爪魚批量采集圖片URL隨著瀑布流網(wǎng)站、AJAX網(wǎng)頁等技術和網(wǎng)站表現(xiàn)形式大行其道，技術架構和網(wǎng)頁結構都與以往傳統(tǒng)的網(wǎng)站有所區(qū)別，圖片展現(xiàn)形式表現(xiàn)的更加的靈活，有些企業(yè)或個人出于營銷研究或者收藏的需求，需要對這類型網(wǎng)站進行網(wǎng)頁數(shù)據(jù)采集，今天我就來介紹下，遇到這類型網(wǎng)站時我們要如何使用八爪魚采集器來快速收集數(shù)據(jù)。工具/原料八爪魚采集器、我們以選取的這個網(wǎng)站為例，來說明下圖片采集要如何實現(xiàn)。先來看下這個網(wǎng)站的特殊之處，首先，頁面上的圖片不是一次加載完成，而需要滾動多次才會滾動到底部，這類型的網(wǎng)站像新浪微博也是類似情況，當然也有的瀑布流網(wǎng)站是一直加載無法見底的，這種情況在此不贅述。其次，產品詳情頁不能

2、通過點擊標題進入，而需要點擊圖片才能進入。建采集任務1.打開數(shù)據(jù)采集器，點擊開始采集央修武拜麻f.4flX!MJLtlBUM4JiLraai£W«4UAlTWHi0-tijAjJtSq-BW舊號同,曹MXjIlii緊M十項t«J1«il!l«JH+.WR：尾Ml遁良0，*>*»事利用卞士耐莫網(wǎng)值事事事ti.J*4lV»J工界小；%MNWIMUX里*4工0*制】手£1飛t*i-stMJi崎4r>正*+廉L*二函玄植】®FXnr=期ik曲曲-4B1在ELU.SE4WJ)異同至i融:耳T：青手*曰”

3、I左1仃之用之二H孑0察理tx鶴*界$，r料!.物風停f1+吊鼻小摩!)*/看歸白e“E衰品再聞!1sftiiMAd&rrftsv.u!.9邛旬i.愛S4"ZZfTJvix-terf-工事嶗制m0QWMU，*0意修，gp，鼻電K"北中$&8ei*i駐國部中電1d.oitn上*和雷，出網(wǎng)通*eh>電!mtn-nr3»電廣才山lidUL-喻/-：*»>JtAl-備."1尊bllSlTl£idlMM+。.翻-里也/，上界中4H，考1的萬學上也”里a旭/日翻注砧干:，秋奉上北岸卻石主：4直電.學恬-等工*/彳八鼬*

4、日或他上MejtimWB帛，左，尊訛小巧由2.輸入任務名，點擊下一步建立采集規(guī)則1 .復制要采集頁面的URL,將紅色方框內的打開網(wǎng)頁拉至流程線，將復制的URL粘貼好，點擊保存，如圖片所示2 .打開網(wǎng)頁的時候，需要設置AJAX網(wǎng)頁加載，以便確保數(shù)據(jù)采集的時候不會遺漏，像這個示范站，我們實際滾動大約需要4次，所以我們在AJAX加載到底部,滾動次數(shù)可以設置為4次或5次均可，次數(shù)可以適當?shù)谋葘嶋H的滾動次數(shù)稍微多一兩次，如圖片所示沖好R海加3牛天Tww1陸立FftS7K二.anraXIBUEB匚何書淳而IW燈班irngH且*I1i3.接下來將要采集的頁面拉至底部，找到下一頁，鼠標右鍵點擊，選擇執(zhí)行循環(huán)下

5、一頁操作，如圖片所示hfemBSi-«4.完成翻頁的循環(huán)后，點擊自定義rEfs*-nX9MM5.點擊元素列表，再點擊確定進行保存m豈AiHcfw/4*X6.點擊翻頁循環(huán)的翻頁，選擇高級選項，勾選頁面加載，根據(jù)網(wǎng)站的不同去設置滾動次數(shù)和滾動方式，點擊保存（這個網(wǎng)站我們滾動Her4次就差不多了）*閨和*看球時附口業(yè)2"匠雷鑰81開口7 .由于我們采集時需要點擊圖片才能進入到產品詳情頁，在建立元素循環(huán)列表的時候，需要將圖片鏈接設置為列表項，如下圖所示，我們需要點擊A標簽取到圖片的鏈接地址，并以此鏈接為循環(huán)列表，添加元素到列表的時候，每次都需要點擊A標簽，2-3次添加之后系統(tǒng)會將所

6、有選中的圖片鏈接自動讀取出來。如圖所示RH1Mt，Hm*KXfrQFfIPQNMiMmM0D*ig,gi*國T-rad014024M34A5ft5*rf3._.-_FSiaqBm.,#lkm4g*1EHAC-n.-HFCdwmv.emsm-w-aslEJ暑£:-«,-Ju'J3JJ3i-"TsJt-a/-""hhvJE鼻£，金門o一xq-o*一2s*：5i:£1t£l«flagHt.J#.dsKOM-EIVI!Bms-hrn.£3B44IllaE9-r一FFT-.inrTMS£

7、JflJMI-Da5f£彳Wip-tbwf13<LsiJ4u<s-irt-si-ftfis3ss0!.«而上»/)、*EWO£L0&X-itu一前里生SBU>一伊-71&那f_ariaji3,t£VTHQ4KBm«"IEm.il?u一心omvsd3b-Iff-A3esliff.ai9tp-&舌WMnlMtfva一界節(jié)i*Jh"UJBRTJhs_fK-£«£frAflfl.1z_ff.£_90fMri1-HIIhjaES!A.k-sd_

8、-a-I-tth=ardMjup，BHlaH9_"_VH/JmMKSL&lls1-Dm*J1-ZV<T4*lesfaf.-a«414A5-#_TB3-«2sfIA9da-ri!a-sfis-al3»CH-rialvHn9_lf_M£rd_RH.HAQP。*TT3ML-&5?i3l«.s4-a*iw-¥-IHrh舟子/A9dauri-I-dHivIVR3-a0.bn£._BD._iRMi-XjFlthgkJ島國FFTdIKDLUJ一？xll-h-lhJAWLIF-營，«冬w?ui?IE

9、.su-WHi8 .完成循環(huán)列表后，把流程圖里提取數(shù)據(jù)的循環(huán)拉進翻頁循環(huán)里，如下圖E直外"%口QAk、完成后如紅色方框所示，點擊保存afcif-1*0外*/.皿十內.；dR#F鷲EMk-莫帕口i加JfHT-FIto，冏ape!*Eg3»vtxrrf2f）電胤4fWKMiU明«Nf'hrw/MEW«vwniEiai*fl!411RU-Mgrr-Tritp.WnoQH界.mjaTyEsnJZETiqBIT/l-impth"卞Ita/Mriwt.EcantAnr'2Dl<UK!t-14t4tSP川一rtlEaIsr-Flto/A

10、lefleT格Gck'Mf頷iMlMa*FVKA.師'*pdTZffF«hin|-i»HViSiHd,JPl4iaUW«ingirdltz/Mei.jmrrgaiwibamiRK/KHG£nDZIFRSm.liltsLrMBjmmgcan1Avrr'JQI<.HL3kTl>111-lllZMM-,關翅后加41更E整麗示，聲擊卑春通a9 .采集圖片的URL,按上面的操作進入到詳情頁后，就是提取數(shù)據(jù)了，對于產品名稱和價格，都是文本形式，提取非常簡單，而對于圖片，會需要先采集到圖片本身的URL,再進行轉換，采集辦法如下圖所示

11、，選中圖片后，在彈出的對話框中可選中IMG標簽，選擇圖片的超鏈接進行采集uLab用EH三上+LibM4Hr1冉Sir=望半；工a常式僧陽Hi,西智Hl”工映由mi>|>0da5ge*“電eg共f36海蚪蛔Jrg巨韋:旌q_+AlAJU開始采集，導出數(shù)據(jù)設置完成后，保存，來看下采集的成果。URL、產品名稱、價格均已采集下來,我們導出為EXCEL格式的文件。國Ear策拿完或點擊導出數(shù)據(jù)art醫(yī)兵/即*s乖六幅匚£"注"2t£任另名E-5fi事制M»iMfn司單中#*押理E科播雨劃封* 互rtf 為EiilS,軻:#已 用七力叫I1 父后端n*4hnydmVliNpj'Afffl7IW；出eahgj世01.*即掰dm.IB甫M山附加E二壯丁上班HHBF5-g.KWMI.WliCil工人瓜電用戶一算子Il幣工金月；i'U*W唳寫二三E加TJOi''i號上型EyHR用31先:立1*將圖片的URL轉換為圖片批量下載下來，相關的工具在八爪魚免費下載。將URL地址導入工具即可將圖片轉換下來。批量下栽工艮視界信息找術