八爪魚(yú)批量采集圖片URL

1、八爪魚(yú)批量采集圖片URL隨著瀑布流網(wǎng)站、AJAX網(wǎng)頁(yè)等技術(shù)和網(wǎng)站表現(xiàn)形式大行其道，技術(shù)架構(gòu)和網(wǎng)頁(yè)結(jié)構(gòu)都與以往傳統(tǒng)的網(wǎng)站有所區(qū)別，圖片展現(xiàn)形式表現(xiàn)的更加的靈活，有些企業(yè)或個(gè)人出于營(yíng)銷(xiāo)研究或者收藏的需求，需要對(duì)這類(lèi)型網(wǎng)站進(jìn)行網(wǎng)頁(yè)數(shù)據(jù)采集，今天我就來(lái)介紹下，遇到這類(lèi)型網(wǎng)站時(shí)我們要如何使用八爪魚(yú)采集器來(lái)快速收集數(shù)據(jù)。工具/原料八爪魚(yú)采集器、我們以選取的這個(gè)網(wǎng)站為例，來(lái)說(shuō)明下圖片采集要如何實(shí)現(xiàn)。先來(lái)看下這個(gè)網(wǎng)站的特殊之處，首先，頁(yè)面上的圖片不是一次加載完成，而需要滾動(dòng)多次才會(huì)滾動(dòng)到底部，這類(lèi)型的網(wǎng)站像新浪微博也是類(lèi)似情況，當(dāng)然也有的瀑布流網(wǎng)站是一直加載無(wú)法見(jiàn)底的，這種情況在此不贅述。其次，產(chǎn)品詳情頁(yè)不能

2、通過(guò)點(diǎn)擊標(biāo)題進(jìn)入，而需要點(diǎn)擊圖片才能進(jìn)入。建采集任務(wù)1.打開(kāi)數(shù)據(jù)采集器，點(diǎn)擊開(kāi)始采集央修武拜麻f.4flX!MJLtlBUM4JiLraai£W«4UAlTWHi0-tijAjJtSq-BW舊號(hào)同,曹MXjIlii緊M十項(xiàng)t«J1«il!l«JH+.WR：尾Ml遁良0，*>*»事利用卞士耐莫網(wǎng)值事事事ti.J*4lV»J工界小；%MNWIMUX里*4工0*制】手£1飛t*i-stMJi崎4r>正*+廉L*二函玄植】®FXnr=期ik曲曲-4B1在ELU.SE4WJ)異同至i融:耳T：青手*曰”

3、I左1仃之用之二H孑0察理tx鶴*界$，r料!.物風(fēng)停f1+吊鼻小摩!)*/看歸白e“E衰品再聞!1sftiiMAd&rrftsv.u!.9邛旬i.愛(ài)S4"ZZfTJvix-terf-工事嶗制m0QWMU，*0意修，gp，鼻電K"北中$&8ei*i駐國(guó)部中電1d.oitn上*和雷，出網(wǎng)通*eh>電!mtn-nr3»電廣才山lidUL-喻/-：*»>JtAl-備."1尊bllSlTl£idlMM+。.翻-里也/，上界中4H，考1的萬(wàn)學(xué)上也”里a旭/日翻注砧干:，秋奉上北岸卻石主：4直電.學(xué)恬-等工*/彳八鼬*

4、日或他上MejtimWB帛，左，尊訛小巧由2.輸入任務(wù)名，點(diǎn)擊下一步建立采集規(guī)則1 .復(fù)制要采集頁(yè)面的URL,將紅色方框內(nèi)的打開(kāi)網(wǎng)頁(yè)拉至流程線(xiàn)，將復(fù)制的URL粘貼好，點(diǎn)擊保存，如圖片所示2 .打開(kāi)網(wǎng)頁(yè)的時(shí)候，需要設(shè)置AJAX網(wǎng)頁(yè)加載，以便確保數(shù)據(jù)采集的時(shí)候不會(huì)遺漏，像這個(gè)示范站，我們實(shí)際滾動(dòng)大約需要4次，所以我們?cè)贏JAX加載到底部,滾動(dòng)次數(shù)可以設(shè)置為4次或5次均可，次數(shù)可以適當(dāng)?shù)谋葘?shí)際的滾動(dòng)次數(shù)稍微多一兩次，如圖片所示沖好R海加3牛天Tww1陸立FftS7K二.anraXIBUEB匚何書(shū)淳而IW燈班irngH且*I1i3.接下來(lái)將要采集的頁(yè)面拉至底部，找到下一頁(yè)，鼠標(biāo)右鍵點(diǎn)擊，選擇執(zhí)行循環(huán)下

5、一頁(yè)操作，如圖片所示hfemBSi-«4.完成翻頁(yè)的循環(huán)后，點(diǎn)擊自定義rEfs*-nX9MM5.點(diǎn)擊元素列表，再點(diǎn)擊確定進(jìn)行保存m豈AiHcfw/4*X6.點(diǎn)擊翻頁(yè)循環(huán)的翻頁(yè)，選擇高級(jí)選項(xiàng)，勾選頁(yè)面加載，根據(jù)網(wǎng)站的不同去設(shè)置滾動(dòng)次數(shù)和滾動(dòng)方式，點(diǎn)擊保存（這個(gè)網(wǎng)站我們滾動(dòng)Her4次就差不多了）*閨和*看球時(shí)附口業(yè)2"匠雷鑰81開(kāi)口7 .由于我們采集時(shí)需要點(diǎn)擊圖片才能進(jìn)入到產(chǎn)品詳情頁(yè)，在建立元素循環(huán)列表的時(shí)候，需要將圖片鏈接設(shè)置為列表項(xiàng)，如下圖所示，我們需要點(diǎn)擊A標(biāo)簽取到圖片的鏈接地址，并以此鏈接為循環(huán)列表，添加元素到列表的時(shí)候，每次都需要點(diǎn)擊A標(biāo)簽，2-3次添加之后系統(tǒng)會(huì)將所

6、有選中的圖片鏈接自動(dòng)讀取出來(lái)。如圖所示RH1Mt，Hm*KXfrQFfIPQNMiMmM0D*ig,gi*國(guó)T-rad014024M34A5ft5*rf3._.-_FSiaqBm.,#lkm4g*1EHAC-n.-HFCdwmv.emsm-w-aslEJ暑£:-«,-Ju'J3JJ3i-"TsJt-a/-""hhvJE鼻£，金門(mén)o一xq-o*一2s*：5i:£1t£l«flagHt.J#.dsKOM-EIVI!Bms-hrn.£3B44IllaE9-r一FFT-.inrTMS£

7、JflJMI-Da5f£彳Wip-tbwf13<LsiJ4u<s-irt-si-ftfis3ss0!.«而上»/)、*EWO£L0&X-itu一前里生SBU>一伊-71&那f_ariaji3,t£VTHQ4KBm«"IEm.il?u一心omvsd3b-Iff-A3esliff.ai9tp-&舌WMnlMtfva一界節(jié)i*Jh"UJBRTJhs_fK-£«£frAflfl.1z_ff.£_90fMri1-HIIhjaES!A.k-sd_

8、-a-I-tth=ardMjup，BHlaH9_"_VH/JmMKSL&lls1-Dm*J1-ZV<T4*lesfaf.-a«414A5-#_TB3-«2sfIA9da-ri!a-sfis-al3»CH-rialvHn9_lf_M£rd_RH.HAQP。*TT3ML-&5?i3l«.s4-a*iw-¥-IHrh舟子/A9dauri-I-dHivIVR3-a0.bn£._BD._iRMi-XjFlthgkJ島國(guó)FFTdIKDLUJ一？xll-h-lhJAWLIF-營(yíng)，«冬w?ui?IE

9、.su-WHi8 .完成循環(huán)列表后，把流程圖里提取數(shù)據(jù)的循環(huán)拉進(jìn)翻頁(yè)循環(huán)里，如下圖E直外"%口QAk、完成后如紅色方框所示，點(diǎn)擊保存afcif-1*0外*/.皿十內(nèi).；dR#F鷲EMk-莫帕口i加JfHT-FIto，冏ape!*Eg3»vtxrrf2f）電胤4fWKMiU明«Nf'hrw/MEW«vwniEiai*fl!411RU-Mgrr-Tritp.WnoQH界.mjaTyEsnJZETiqBIT/l-impth"卞Ita/Mriwt.EcantAnr'2Dl<UK!t-14t4tSP川一rtlEaIsr-Flto/A

10、lefleT格Gck'Mf頷iMlMa*FVKA.師'*pdTZffF«hin|-i»HViSiHd,JPl4iaUW«ingirdltz/Mei.jmrrgaiwibamiRK/KHG£nDZIFRSm.liltsLrMBjmmgcan1Avrr'JQI<.HL3kTl>111-lllZMM-,關(guān)翅后加41更E整麗示，聲擊卑春通a9 .采集圖片的URL,按上面的操作進(jìn)入到詳情頁(yè)后，就是提取數(shù)據(jù)了，對(duì)于產(chǎn)品名稱(chēng)和價(jià)格，都是文本形式，提取非常簡(jiǎn)單，而對(duì)于圖片，會(huì)需要先采集到圖片本身的URL,再進(jìn)行轉(zhuǎn)換，采集辦法如下圖所示

11、，選中圖片后，在彈出的對(duì)話(huà)框中可選中IMG標(biāo)簽，選擇圖片的超鏈接進(jìn)行采集uLab用EH三上+LibM4Hr1冉Sir=望半；工a常式僧陽(yáng)Hi,西智Hl”工映由mi>|>0da5ge*“電eg共f36海蚪蛔Jrg巨韋:旌q_+AlAJU開(kāi)始采集，導(dǎo)出數(shù)據(jù)設(shè)置完成后，保存，來(lái)看下采集的成果。URL、產(chǎn)品名稱(chēng)、價(jià)格均已采集下來(lái),我們導(dǎo)出為EXCEL格式的文件。國(guó)Ear策拿完或點(diǎn)擊導(dǎo)出數(shù)據(jù)art醫(yī)兵/即*s乖六幅匚£"注"2t£任另名E-5fi事制M»iMfn司單中#*押理E科播雨劃封* 互rtf 為EiilS,軻:#已 用七力叫I1 父后端n*4hnydmVliNpj'Afffl7IW；出eahgj世01.*即掰dm.IB甫M山附加E二壯丁上班HHBF5-g.KWMI.WliCil工人瓜電用戶(hù)一算子Il幣工金月；i'U*W唳寫(xiě)二三E加TJOi''i號(hào)上型EyHR用31先:立1*將圖片的URL轉(zhuǎn)換為圖片批量下載下來(lái)，相關(guān)的工具在八爪魚(yú)免費(fèi)下載。將URL地址導(dǎo)入工具即可將圖片轉(zhuǎn)換下來(lái)。批量下栽工艮視界信息找術(shù)