版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、4.3.1 建立Web網(wǎng)站4.3.1 建立Web網(wǎng)站這個(gè)網(wǎng)站有一個(gè)網(wǎng)頁(yè),返回基本計(jì)算機(jī)教材,flask程序如下:import flaskapp=flask.Flask(_name_)app.route(/)def index(): html= Python程序設(shè)計(jì) James 清華大學(xué)出版社 Java程序設(shè)計(jì) Robert 人民郵電出版社 MySQL數(shù)據(jù)庫(kù) Steven 高等教育出版社 return htmlif _name_=_main_: app.run()4.3.2 編寫數(shù)據(jù)項(xiàng)目類4.3.2 編寫數(shù)據(jù)項(xiàng)目類程序要爬取的數(shù)據(jù)是多本教材,每本教材有名稱與作者,因此要建立一個(gè)教材的類,類中包含
2、教材名稱title、作者author與出版社publisher。在我們的scrapy框架中有的c:exampledemodemo目錄下有一個(gè)文件items.py就是用來(lái)設(shè)計(jì)數(shù)據(jù)項(xiàng)目類的,打開(kāi)這個(gè)文件,改造文件成如下形式:import scrapyclass BookItem(scrapy.Item): # define the fields for your item here like: title = scrapy.Field() author=scrapy.Field() publisher=scrapy.Field()其中BookItem是我們?cè)O(shè)計(jì)的教材項(xiàng)目類,這個(gè)類必須從scrapy
3、.Item類繼承,在類中定義教材的字段項(xiàng)目,每個(gè)字段項(xiàng)目都是一個(gè)scrapy.Field對(duì)象,這里定義了3個(gè)字段項(xiàng)目,用來(lái)存儲(chǔ)教材名稱title、作者author、出版社publisher。如果item是一個(gè)BooItem的對(duì)象,那么可以通過(guò)itemtitle、itemauthor、itempublisher來(lái)獲取與設(shè)置各個(gè)字段的值,例如:item=BookItem()itemtitle=Python程序設(shè)計(jì)itemauthor=Jamesitempublisher=清華大學(xué)出版社print(itemtitle)print(itemauthor)print(itempublisher)4.3.
4、3 編寫爬蟲程序mySpider4.3.3 編寫爬蟲程序mySpider數(shù)據(jù)的項(xiàng)目設(shè)計(jì)好后就可以編寫爬蟲程序如下:import scrapyfrom demo.items import BookItemclass MySpider(scrapy.Spider): name = mySpider start_urls=:5000 def parse(self, response): try: data=response.body.decode() selector=scrapy.Selector(text=data) books=selector.xpath(/book) for book in
5、 books: item=BookItem() itemtitle=book.xpath(./title/text().extract_first() itemauthor = book.xpath(./author/text().extract_first() itempublisher = book.xpath(./publisher/text().extract_first() yield item except Exception as err: print(err)這個(gè)程序訪問(wèn):5000的網(wǎng)站,得到的網(wǎng)頁(yè)包含教材信息,程序過(guò)程如下:(1) from demo.items import
6、 BookItem從demo文件夾的items.py文件中引入BookItem類的定義。(2) data=response.body.decode() selector=scrapy.Selector(text=data) books=selector.xpath(/book)得到網(wǎng)站數(shù)據(jù)并建立Selector對(duì)象,搜索到所有的節(jié)點(diǎn)的元素。(3) for book in books: item=BookItem() itemtitle=book.xpath(./title/text().extract_first() itemauthor = book.xpath(./author/text(
7、).extract_first() itempublisher = book.xpath(./publisher/text().extract_first() yield item對(duì)于每個(gè)節(jié)點(diǎn),在它下面搜索到節(jié)點(diǎn),取出它的文本即教材名稱,其中注意使用book.xpath(./title/text()搜索到下面的節(jié)點(diǎn)的文本,一定不能缺少./的部分,它表示從當(dāng)前節(jié)點(diǎn)往下搜索。同樣道理搜索、節(jié)點(diǎn)的文本,它們組成一個(gè)BookItem對(duì)象,這個(gè)對(duì)象通過(guò)語(yǔ)句:yield item向上一級(jí)調(diào)用函數(shù)返回,接下來(lái)scrapy會(huì)把這個(gè)對(duì)象推送給與items.py同目錄下的pipelines.py文件中的數(shù)據(jù)管道執(zhí)
8、行類取處理數(shù)據(jù)。4.3.4 編寫數(shù)據(jù)管道處理類4.3.4 編寫數(shù)據(jù)管道處理類在我們的scrapy框架中有的c:exampledemodemo目錄下有一個(gè)文件pipelines.py就是用來(lái)數(shù)據(jù)管道處理類文件,打開(kāi)這個(gè)文件可以看到一個(gè)默認(rèn)的管道類,修改并設(shè)計(jì)數(shù)據(jù)管道類如下:class BookPipeline(object): count=0 def process_item(self, item, spider): BookPipeline.count+=1 try: if BookPipeline.count=1: fobj=open(books.txt,wt) else: fobj=ope
9、n(books.txt,at) print(itemtitle, itemauthor, itempublisher) fobj.write(itemtitle+,+itemauthor+,+itempublisher+n) fobj.close() except Exception as err: print(err) return item這個(gè)類我們命名為BookPipeline,它繼承自object類,類中最重要的函數(shù)是process_item函數(shù),scrapy爬取數(shù)據(jù)開(kāi)始時(shí)會(huì)建立一個(gè)BookPipeline類對(duì)象,然后每爬取一個(gè)數(shù)據(jù)類BookItem項(xiàng)目item,mySpider程序會(huì)
10、把這個(gè)對(duì)象推送給BookPipeline對(duì)象,同時(shí)調(diào)用process_item函數(shù)一次。process_item函數(shù)的參數(shù)中的item就是推送來(lái)的數(shù)據(jù),于是我們就可以在這個(gè)函數(shù)中保存爬取的數(shù)據(jù)了。注意scrapy要求process_item函數(shù)最后返回這個(gè)item對(duì)象。在我們這個(gè)程序中采用文件存儲(chǔ)爬取的數(shù)據(jù),BookPipeline類中先定義一個(gè)類成員count=0,用它來(lái)記錄process_item調(diào)用的次數(shù)。如果是第一次調(diào)用(count=1)那么就使用語(yǔ)句fobj=open(books.txt,wt)新建立一個(gè)books.txt的文件,然后把item的數(shù)據(jù)寫到文件中。如果不是第一次調(diào)用(c
11、ount1),就使用語(yǔ)句fobj=open(books.txt,at)打開(kāi)已經(jīng)存在的文件books.txt,把item的數(shù)據(jù)追加到文件中。這樣我們反復(fù)執(zhí)行爬蟲程序的過(guò)程保證每次清除掉上次的數(shù)據(jù),記錄本次爬取的數(shù)據(jù)。4.3.5 設(shè)置scrapy的配置文件我們說(shuō)mySpider爬蟲程序執(zhí)行后每爬取一個(gè)item項(xiàng)目都會(huì)推送到BookPipelines類并調(diào)用的process_item函數(shù),那么scrapy怎么樣知道要這樣做呢?前提是我們必須設(shè)置這樣一個(gè)通道。在demo文件夾中有一個(gè)settings.py的設(shè)置文件,打開(kāi)這個(gè)文件可以看到很多設(shè)置項(xiàng)目,大部分是用#注釋的語(yǔ)句,找到語(yǔ)句ITEM_PIPLI
12、NES的項(xiàng)目,把它設(shè)置成如下形式:# Configure item pipelines# See /en/latest/topics/item-pipeline.htmlITEM_PIPELINES = demo.pipelines.BookPipeline: 300,其中ITEM_PIPLINES是一個(gè)字典,把關(guān)鍵字改成demo.pipelines.BookPipeline,而BookPipelines就是我們?cè)趐ipelines.py文件中設(shè)計(jì)的數(shù)據(jù)管道類的名稱,后面的300是一個(gè)默認(rèn)的整數(shù),實(shí)際上它可以不是300,它可以是任何整數(shù)。這樣設(shè)置后就連通了爬蟲程序mySpider數(shù)據(jù)管道處理程序pipelines.py的通道,scrapy工作時(shí)會(huì)把mySpider爬蟲程序通過(guò)yield返回的每項(xiàng)數(shù)據(jù)推送給pipelines.py程序的BoolPipeline類,并執(zhí)行process_item函數(shù),這樣就
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 年產(chǎn)6000噸高檔居家絨布面料項(xiàng)目可行性研究報(bào)告寫作模板-備案審批
- 山東東營(yíng)市2024年中考試題猜想數(shù)學(xué)試卷含解析
- 學(xué)校建筑工程施工安全管理制度69
- 舞臺(tái)劇聯(lián)合投資協(xié)議書模板
- 水庫(kù)工程管理現(xiàn)代化評(píng)價(jià)研究
- 寶雞文理學(xué)院《水墨技法與肌理》2023-2024學(xué)年第一學(xué)期期末試卷
- 寶雞文理學(xué)院《人文地理學(xué)》2021-2022學(xué)年第一學(xué)期期末試卷
- 懸臂起重機(jī)相關(guān)項(xiàng)目實(shí)施方案
- 晚霜相關(guān)項(xiàng)目實(shí)施方案
- 尺日本竹笛相關(guān)項(xiàng)目建議書
- 霧化吸入療法合理用藥專家共識(shí)(2024版)解讀
- 2023-2024學(xué)年北京市西城區(qū)三帆中學(xué)八年級(jí)(上)期中數(shù)學(xué)試卷【含解析】
- (正式版)JBT 9229-2024 剪叉式升降工作平臺(tái)
- 教育互聯(lián)網(wǎng)在教學(xué)設(shè)計(jì)中的應(yīng)用
- 廣西壯族自治區(qū)普通高考考生思想政治品德鑒定表
- 可愛(ài)的中國(guó)教案全冊(cè)
- 小學(xué)一年級(jí)勞動(dòng)課教案(全冊(cè))
- 2023版押品考試題庫(kù)必考點(diǎn)含答案
- 以案說(shuō)德發(fā)言四篇
- 尿動(dòng)力學(xué)檢查操作指南2023版
評(píng)論
0/150
提交評(píng)論