零基礎(chǔ)學(xué)習(xí)可視化爬蟲

1、1.介紹背景因特網(wǎng)上有著海量的信息，大部分承載在網(wǎng)頁上。信息共享時代，遇到問題, 我們笫一時間想到搜索引擎，比如國內(nèi)著名搜索引擎白度他的核心技術(shù)就是爬 蟲。有時候時候我們需要從某些網(wǎng)站提取出我們感興趣、有價值的內(nèi)容，但是我 們不可能去一個網(wǎng)頁一個網(wǎng)頁拷貝粘貼。所以我們需要一種能自動訪問網(wǎng)頁并提 取網(wǎng)頁內(nèi)容的程序，這就是爬蟲技術(shù)。利用爬蟲技術(shù)批量且自動化得獲取和處理信息。比如獲得本地某房產(chǎn)信息網(wǎng) 上房屋交易價格信息、獲得網(wǎng)上商城、打前的爆款商品、獲得某財經(jīng)網(wǎng)的股票交易 信息等。1.2.0 標(biāo)爬蟲技術(shù)作為一種工具，不應(yīng)是技術(shù)人員專利，而應(yīng)服務(wù)廣大互聯(lián)網(wǎng)用戶。本文的主要U標(biāo)是讓大家零基礎(chǔ)掌握常用可視

2、化爬蟲丄具的使用?；诳跇?biāo) 網(wǎng)頁，讀取列表信息，從列表進(jìn)入詳情后提取具體詳細(xì)內(nèi)容。2.范圍1. 簡單介紹常用爬蟲原理2. 具體介紹常用可視化爬蟲工具3. 學(xué)會常用的網(wǎng)頁信息爬取的方式方法3過程31 常用爬蟲原理每個互聯(lián)網(wǎng)網(wǎng)頁都有個被稱作url （統(tǒng)一資源定位符）的地址，列表頁通常 主要是各個網(wǎng)頁url地址的集合。每個網(wǎng)頁則III html （超文本標(biāo)記語言）組成, 內(nèi)容一般都可以通過對html的截取解析得到。因此常用爬蟲原理是查找到列表頁的url地址，通過url地址訪問到每個詳 情頁，通過一定規(guī)則去解析詳情頁的html得到預(yù)期內(nèi)容32常用可視化爬蟲操作3.2.1.數(shù)據(jù)介紹房天下常州站https

3、:/c 乙 newhouse.fa ngcom/house/s/?ctm=：lbjxf_searchhead35圖1列表頁以上圖房產(chǎn)信息列表頁數(shù)據(jù)舉例，瀏覽器地址欄為網(wǎng)頁地址（URL）；列表區(qū)域為紅色矩形區(qū)域，數(shù)據(jù)主要集中在此處；按鍵盤F22或者右擊網(wǎng)頁元素檢 查都可以打開谷歌瀏覽器網(wǎng)頁元素檢查器。右擊列表某個條口的標(biāo)題檢查，可以看到標(biāo)題都包含了一個鏈接，此鏈接一般用來打開詳情頁面。J 楓*內(nèi)I x 歸 邸卻丈云反*影匕尺云* 即仿3*?： *網(wǎng)天下匕1940（11 WW頁Z*WWt WWKB SrWt e ctt HMC云開盤云a盤&恆aftumR0 M； UW小戶田 任尼$ 怎刖3 C I

4、T北萬讀 壞丈美的世茂云筑決妒祕龍8為551如 20500匕 * h 99h t*w R左力PSSa8M?rf nBMll E9lW)g阪 41M202葉日用爐 Q rtM * xJH? 5咨*話：40015334907CJ5JMIO rMWn切1MO用5stem l?oEilHi WTOUWC圖2詳情頁3.22可視化提取1. 我們直接使用免費(fèi)的可視化采集工具后羿采集器，官網(wǎng)及下載地址:2. 下載后直接雙擊安裝即可完成部署。3. 復(fù)制鏈接到歡迎頁，點(diǎn)擊智能釆集按鈕；xett? 36T2 , X-Q 0 S|ZZ4ir-JI*l-W) _a歡迎使用后羿采集器 Mai 生.Mtwtznewtoj5

5、erano ccmh3usecaD=l bjxf_seartnhe3囤:EiaiiooAffisesaais:動覘不啟號分m38/ oyhflDSfrmbg.con318nfc_deUH 3倉偲5address 幣卅氏寧lfangfuan 歸住宅frgyun1 丘皿產(chǎn)6衲詒）rbou$e_pr.25500tl400-8930fr|2i9左&苗hs Mu,htipss233BM* .5：H孔注宅(833)16000400619723忸匸環(huán)nopM)s.haog.we.423B4,5.屋弄區(qū)I 丁 住屯尿巧2筋喻2050040016334.4aefiiij.htrg 何W8h咖聊&44S5麗北衣3

6、600040X&335sn5注倪慈ntipuTpuyhttps O)ss3.S 8A腫厠丁U(g蜩曲待：4OaiW40as=n-hHn AniixhHna M rU-finm wxMrannw竝xwaa z-憐奩h 尹？總知卞552 M花莎寧*莊超97寧圖4自動智能分析頁面5. 點(diǎn)擊右下側(cè)深入釆集按鈕YE倉樺勵施，軟件自動打開第一個鏈接（默認(rèn)情況，可修改）釆集詳情頁面W娠信選應(yīng)清誘有Q1A蒲）瀛時段6.在詳情頁面，可以點(diǎn)擊添加字段按鈕添加要采集的字段,房天F 鐘新房天寧歸樓盤詳15桜盤動態(tài)戶塑桜盤相冊僂盤點(diǎn)評居價走勢裝修有卅丄萬衿新那會二S2F24irW近硼 送力住區(qū)均價約21000元耐預(yù)；壬

7、力戶型：三三盤16M)m 目 ttWlt ：近期開盤:萬科新都會 別W:沁三|；Blg地冃溝價：21000回回回巳7OP20206月27日肚柱2油2般俁存二 工二 工二= y |玄用揃嶺歩 - m蠱圖5深入采集詳情頁面7.點(diǎn)擊采集字段名稱前的錨點(diǎn)可以綁定字段到頁面內(nèi)容，右擊字段名稱可以修改字段屬性甲銘窗2旦p烷賀分二0對比2 理到手機(jī)：亠回卞6巨分貝V故左羽2 F淹空簫右O湮心冬溥忙字爛2D/0G27 E*T；8 粒酬圖6修改字段屬性E5目地址：天寧嚴(yán)M訛諳與北卷交工處9 二近期幵盤：00206月27三泌328事29帶0 = W rv 三年唸匚字垠8.字段設(shè)置好后，點(diǎn)擊開始釆集按鈕一保存即圖7

8、字段綁定頁面內(nèi)容可開始列表及詳情頁的采集呂動疑 循環(huán)采集（個人專業(yè)版及以上專國10分鐘不眼制間隔時何:單次運(yùn)行時長:（個人IkJKSULk專屋）G定時啟動 民皆能策貶 曰目動導(dǎo)出 目文件下載 d加速引爭 匸車 幵岌苦設(shè)童走時啟動圖8啟動設(shè)這直接點(diǎn)擊啟動A 以Q E)艮S TiK&f)B9迂行妁周00 00 冬開U代&R N杠孑咳QK Brd2Z(9G 2W534 KBSOWM)4 MO更網(wǎng)頁云行日吝 W&x7|停ittHD VKU1S *r r/biL.C5rk.dauA*倔BU* rMXS3S 用爭 wz ftHta3JiMOMO幼)*心*,uaVBS圖9采集器運(yùn)行中9.采集完成后軟件自動彈

9、出采集完成提示，也可以手動點(diǎn)擊停止按鈕，然后點(diǎn)擊查看數(shù)據(jù)或者立即導(dǎo)出，此處點(diǎn)擊立即導(dǎo)出II皆停fangyua佯價數(shù)nhousepfnhou 汽Fangyua緇盟區(qū)pf2 fangyuacoiornpr3近鑒幵盤參居所g遼22000400189.別聖任言號螢2018.；?些荃濁性宅Sngw詢生202*5SHM2產(chǎn)(83條考16000400819.芒週汪宅元碇n 口 sm.(4煖詳19800400153三？壬nttcsJ/1.巳超202呼晦評29000400153 莖15性宅Slf?TDrriS他3加202C低住舌氈(86圣存2100040089811?任密呂半元碇202

10、0S洋房(ff.430400898.壬遇壬萬元超運(yùn)制?嚴(yán)https-.(2 洽)400153 朋二塑hf?ne (A輕運(yùn)注宅240004G0153 左二身至昌通任宅罰后羿弟隼完成提示不砸土洋房(82軒15000400-69.壬遇壬元Ar遂住宅云屮拆19000400139 ms 旦住宅弓5Cl =、咗2馬爰童=“呦?Ntiis歹卞二=3驕175004G0-6903 三宅炷房啟動週仝保隹何題？點(diǎn)出:舌音刪可解決亙看網(wǎng)頁運(yùn)行曰志敢淋25)tE2圖10采集完成提7F10.數(shù)據(jù)被導(dǎo)出到excel中，讀者可以對excel再做分析處理透掛導(dǎo)出方式X導(dǎo)出頸如：網(wǎng)九3 SQLServer Fc-sreSOL8

11、MongoDB與出封丈樣Exceififia曰g.目？Fttt址Oa csvC.UsefSsamDownk)ad$2020-12-30-10-42-33-30608625 5?JS心TXT弓:召理Egl畑)曹 HTML手前導(dǎo)出設(shè)登0寫與D茹記為已寫 *圈：從更三-三25三冃沖? 3呂用巨站H |個人諛蚣1-x O打印白動號出曲日古| c：ramnies(x&6A?a：3vio彌;3H與二W席記歆至力已與自狀吉O號出交件電劉號=文件E.曲 nh啟和畑些以下方m芒行進(jìn)：文沼to旳習(xí)鍛濟(jì)穴斗斧対垢蘭舊交佯C在I玉伴申遇尢丙客?人1 , ；1 . T7H圖11導(dǎo)岀數(shù)據(jù)本tB趟盤(C:) 用戶 sam

12、下裁鑰|磬下載P共拿新蟻核歸 ae名稱修改日期大小一 2020-12-29-11-6-19-1658388144099-聞【2020/12/29 11:06XLSX文件2020-12-29-11-19-48-2467758292900- 州理帛2020/12/29 11:21XLSX文件fC 2020-12-30-10-42-33-3060852513499-州樓盅帛2020/12/30 10:43XLSX文硏盈 eXeScope.exe2004/5/22 22:48漓 eXeScope.zip2020/12/22 14:19WinRAR ZIP壓縮Pr houyicaiji-setup354

13、exe2020/12/29 10:4146,1倉 odbgll0.zip2020/12/22 15:14WinRAR ZIP壓縮1,1g, PCQQ2O2O.exe2020/12/30 10:28861圖12自動打開存放excel目錄23 OXs 吒、:.j(? y 8 ryMV*，小4：tu k nuM-J - - r-.gg vW帕v Tn Hv 卄 * a JCE如3；，:H/即 :“川併:Jj Z.ClHKtf.fl； 川3；3a.fitrAn(A4c *i !m多-K*4Gtet心 7 $!fKG4CZ apSf*i4; f iW*；:Zr *!：“譏：%VillAfa： fi*i

14、*V y和*x aFSJwmW3G.ll t扌坪?FM 細(xì)WJX 細(xì)】s 譏 If、aw如”V*xnzflac ghW 嚴(yán)】y出IT 3如uq花嚴(yán)T：m 伶nru毗芝 C，毛葉必2*cci的s kttH. .i 機(jī)g ”，W ffUHttC,9s awn* “ *rL lit刖如imk： new* 長ua【t-K； |RS ABtJtV.tM： lMOV?!Fto v.!m； iva* t 電Prm*.-0滬“*in血UtRIWLu“ jh i n* ttf：取t；九1 Mg 川；. 1MK. SKf tDw R2n*1lC73rwWi:Rk3 q【CMZM)” Eirt/rgmcw 的網(wǎng)gm心