如何基于node爬取網(wǎng)頁源文件

1、如何基于node爬取網(wǎng)頁源文件、初試牛刀：如何基于node爬取網(wǎng)頁源文件大家好，我是何老師，今天給大家?guī)黻P(guān)于node爬蟲的一個小案例。來我們直接進(jìn)入主題：1 打開hbuilder,新建項(xiàng)目，然后新建crawler, js文件。2. 鍵入如下代碼：var http二require ("http");t引用 http 模塊var url二'http:/cd. 58. com/' ; /定義一個要爬的網(wǎng)頁地址/*使用http對象的get方法獲取url網(wǎng)頁的內(nèi)容，*第2個參數(shù)是冋調(diào)響應(yīng)response的結(jié)果怎么處理*/http, get (url, functio

2、n(res) /定義一個html字符串var html二''當(dāng)respone由data事件觸發(fā)的時候，通過函數(shù)冋調(diào)，把爬的數(shù)據(jù)組裝到html字符串 中。res. on(' data/, function (data) html+=data)當(dāng)response對象由end事件觸發(fā)的時候，冋調(diào)函數(shù)實(shí)現(xiàn)向控制臺輸出html字符串的 內(nèi)容。res. on(' end', functiono console, log(html);). on(，error，, function() /當(dāng)觸發(fā)error事件的時候，控制臺輸出''console. log

3、(/z錯誤)3. 在當(dāng)前文件的路徑下打開命令窗口，輸入node crawler, js前端教材研丸網(wǎng)頁布局教學(xué)案例node. js案例弟爬蟲node crawler, jsixx1 n a 、 丄 a運(yùn)行結(jié)果:<span>u</opan></dt><dd tyl»bndi«pl«y： block ；e*> <a targets" i lank*href«m/wdi9 j ianglu/chuzu/w > ® 江路岀租 </a> <a target* i la

4、nk-hrefs m/wuhous i da j i e/chuzu/" > 武侯祠大街出 fl</a><a targets* i lank'href * *7 j inydng j ie/chuzu/m> 外雙楠出 w</a> <a target* i lank-hrf s ,a/uudahuayuan/chuzu/m > 五大 花園岀 相<彳 i><a target* i lank-hrx 訂 7cdwydd/chuzu/"武陽大退出租 </&> <a target

5、sttj lank*更狗拼音輸入法 全 ：*。仁/小0"25)讓“/<:血11/"武侯周邊出相|二.逐步推進(jìn)：如何爬取網(wǎng)頁源文件中的具體信息。在服務(wù)器端解析html,可以在node環(huán)境屮安裝cheerio模塊，此模塊類似于jquery 語法，可以方便快捷進(jìn)行html內(nèi)容解析。安裝語法如下：打開命令窗口npm insial 1 cheerio;端教材研幾網(wǎng)頁布局教:當(dāng)案例node jo案例舒爬蟲npinstall cheerio )：前端教林研丸網(wǎng)貝布局教學(xué)案例no“j案例耽爬蟲 一 cheerio80.22.0ceo-5«lect01.2.0i boolba

6、seqi.0.0i c$s-what82.1 .gi doutils1 5.1i nth-ch®ckq1.0.1 dom-serializerq0.1 .0i doalennttypedl .1.3 qntitiessi.1.1 htnlparser23.9.2i * dooelementtypdl .3.bi 4- dobhandl«r62.3.6|inheritse2.6.3ireddable-«tr9daq2.2.2ibuffer-ehi»s81.0.8icore-util-isfil.0.2iiearrayqi.0.6iproco«-n

7、exticka廠1.8.7istring.dccoderso.16.31在hbulider中新建：crawler58. js鍵入以下代碼:var http二require ("http");/引用 http 模塊var cheerio二require ("cheerio");/引用 cheeriovarurl= http:/cd. 58. com/chuzu/?pgttd=odl00000-0006-6648-12lf-922floodf9e5&clicktd 二4' 定義一個要爬的網(wǎng)頁地址/獲取網(wǎng)頁文字相關(guān)內(nèi)容function filt

8、orcontent (html)var $=cheerio. load(html);/ var meta二$ ("meta") ; /獲取 meta 標(biāo)簽的數(shù)據(jù)/ console log(meta)var rooms=$(z/. listbox . listul li)；/獲収房源列表var roomsdata=;rooms each(function(item)var room=$(this);var room imgsrc=room. find(img). attr (，zsrcz，) ;/圖片路徑var roomtitle=room> find(z/. des

9、h2 a，z). text (). trim() ;/房屋標(biāo)題var area二：room. find(". des room"), text() ;/面積var money二：room. find(" money b). text () ;/租金/將信息封裝成一個房屋信息的對象var romminfo=img:room_imgsrc,title:roomtitle, rarea:area,money:money將房屋対象添加到roomsdata數(shù)組中roomsdata. push (romniinfo););返冋數(shù)組return roomsdata;打印數(shù)組fu

10、nction print info (rooms)rooms. foreach(function(item)var title二item, title;console. log(/z標(biāo)題："+title+"n 而積："+item. rarea+z/n 價格："+item. money+"n 圖片："+item. img+"n");)/*使用http對象的get方法獲取url網(wǎng)頁的內(nèi)容，*第2個參數(shù)是冋調(diào)響應(yīng)response的結(jié)果怎么處理*/http, get(url, function (res) 定義一個html

11、字符串var html=，'當(dāng)respone由data事件觸發(fā)的吋候，通過函數(shù)回調(diào)，把爬的數(shù)據(jù)組裝到html字符串 中。res. on(' data', function (data) html+=data)/當(dāng)response對象由end事件觸發(fā)的時候，回調(diào)函數(shù)實(shí)現(xiàn)向控制臺輸出html字符串的 內(nèi)容。res. on(' end', function() /console. log(html);var rooms=fi1tercontent(html);pri nttnfo(rooms);). on(，error，, function() /當(dāng)觸發(fā)err

12、or事件的時候,控制臺輸出''con sole, log ("錯誤")在命令窗口中執(zhí)行命令運(yùn)行此crawl er 58. jsd '前端教材研究網(wǎng)頁布局教學(xué)案例node. js案例酥爬蟲node crawler58. js運(yùn)行結(jié)果，成功抓取相關(guān)信息：標(biāo)毬：單間i押一付一錦東庭園塔子山豈號單間出租 真實(shí)價格面稅：主臥(4室)18耐價格：859圖片: 標(biāo)憩：單間|個人房源，2號線，地鐵口200米，近春配路，牛市口,面積：次臥(h)9耐價艷：669sh： http：/imq標(biāo)逖：整租i成華建設(shè)路鉆石廣場佳州3空2尸82平米中答裝修 面稅3室2廳1衛(wèi)82肝價格：3200圖片：http：/irnq dic.pna標(biāo)題：單間i【個人出租】桐梓林地鐵站精裝電梯女生公寓溫馨安全無雜面稅：床位價格：3ee圖片:http：/ pic.png題稅榕片標(biāo)面價圖®積樓片單間