Python爬蟲程序設(shè)計(jì)KC43

1、4.3.1 建立Web網(wǎng)站4.3.1 建立Web網(wǎng)站這個(gè)網(wǎng)站有一個(gè)網(wǎng)頁(yè)，返回基本計(jì)算機(jī)教材，flask程序如下：import flaskapp=flask.Flask(_name_)app.route(/)def index(): html= Python程序設(shè)計(jì) James 清華大學(xué)出版社 Java程序設(shè)計(jì) Robert 人民郵電出版社 MySQL數(shù)據(jù)庫(kù) Steven 高等教育出版社 return htmlif _name_=_main_: app.run()4.3.2 編寫數(shù)據(jù)項(xiàng)目類4.3.2 編寫數(shù)據(jù)項(xiàng)目類程序要爬取的數(shù)據(jù)是多本教材，每本教材有名稱與作者，因此要建立一個(gè)教材的類，類中包含

2、教材名稱title、作者author與出版社publisher。在我們的scrapy框架中有的c:exampledemodemo目錄下有一個(gè)文件items.py就是用來(lái)設(shè)計(jì)數(shù)據(jù)項(xiàng)目類的，打開(kāi)這個(gè)文件，改造文件成如下形式：import scrapyclass BookItem(scrapy.Item): # define the fields for your item here like: title = scrapy.Field() author=scrapy.Field() publisher=scrapy.Field()其中BookItem是我們?cè)O(shè)計(jì)的教材項(xiàng)目類，這個(gè)類必須從scrapy

3、.Item類繼承，在類中定義教材的字段項(xiàng)目，每個(gè)字段項(xiàng)目都是一個(gè)scrapy.Field對(duì)象，這里定義了3個(gè)字段項(xiàng)目，用來(lái)存儲(chǔ)教材名稱title、作者author、出版社publisher。如果item是一個(gè)BooItem的對(duì)象，那么可以通過(guò)itemtitle、itemauthor、itempublisher來(lái)獲取與設(shè)置各個(gè)字段的值，例如：item=BookItem()itemtitle=Python程序設(shè)計(jì)itemauthor=Jamesitempublisher=清華大學(xué)出版社print(itemtitle)print(itemauthor)print(itempublisher)4.3.

4、3 編寫爬蟲程序mySpider4.3.3 編寫爬蟲程序mySpider數(shù)據(jù)的項(xiàng)目設(shè)計(jì)好后就可以編寫爬蟲程序如下：import scrapyfrom demo.items import BookItemclass MySpider(scrapy.Spider): name = mySpider start_urls=:5000 def parse(self, response): try: data=response.body.decode() selector=scrapy.Selector(text=data) books=selector.xpath(/book) for book in

5、 books: item=BookItem() itemtitle=book.xpath(./title/text().extract_first() itemauthor = book.xpath(./author/text().extract_first() itempublisher = book.xpath(./publisher/text().extract_first() yield item except Exception as err: print(err)這個(gè)程序訪問(wèn):5000的網(wǎng)站，得到的網(wǎng)頁(yè)包含教材信息，程序過(guò)程如下：(1) from demo.items import

6、 BookItem從demo文件夾的items.py文件中引入BookItem類的定義。(2) data=response.body.decode() selector=scrapy.Selector(text=data) books=selector.xpath(/book)得到網(wǎng)站數(shù)據(jù)并建立Selector對(duì)象，搜索到所有的節(jié)點(diǎn)的元素。(3) for book in books: item=BookItem() itemtitle=book.xpath(./title/text().extract_first() itemauthor = book.xpath(./author/text(

7、).extract_first() itempublisher = book.xpath(./publisher/text().extract_first() yield item對(duì)于每個(gè)節(jié)點(diǎn)，在它下面搜索到節(jié)點(diǎn)，取出它的文本即教材名稱，其中注意使用book.xpath(./title/text()搜索到下面的節(jié)點(diǎn)的文本，一定不能缺少./的部分，它表示從當(dāng)前節(jié)點(diǎn)往下搜索。同樣道理搜索、節(jié)點(diǎn)的文本，它們組成一個(gè)BookItem對(duì)象，這個(gè)對(duì)象通過(guò)語(yǔ)句：yield item向上一級(jí)調(diào)用函數(shù)返回，接下來(lái)scrapy會(huì)把這個(gè)對(duì)象推送給與items.py同目錄下的pipelines.py文件中的數(shù)據(jù)管道執(zhí)

8、行類取處理數(shù)據(jù)。4.3.4 編寫數(shù)據(jù)管道處理類4.3.4 編寫數(shù)據(jù)管道處理類在我們的scrapy框架中有的c:exampledemodemo目錄下有一個(gè)文件pipelines.py就是用來(lái)數(shù)據(jù)管道處理類文件，打開(kāi)這個(gè)文件可以看到一個(gè)默認(rèn)的管道類，修改并設(shè)計(jì)數(shù)據(jù)管道類如下：class BookPipeline(object): count=0 def process_item(self, item, spider): BookPipeline.count+=1 try: if BookPipeline.count=1: fobj=open(books.txt,wt) else: fobj=ope

9、n(books.txt,at) print(itemtitle, itemauthor, itempublisher) fobj.write(itemtitle+,+itemauthor+,+itempublisher+n) fobj.close() except Exception as err: print(err) return item這個(gè)類我們命名為BookPipeline，它繼承自object類，類中最重要的函數(shù)是process_item函數(shù)，scrapy爬取數(shù)據(jù)開(kāi)始時(shí)會(huì)建立一個(gè)BookPipeline類對(duì)象，然后每爬取一個(gè)數(shù)據(jù)類BookItem項(xiàng)目item，mySpider程序會(huì)

10、把這個(gè)對(duì)象推送給BookPipeline對(duì)象，同時(shí)調(diào)用process_item函數(shù)一次。process_item函數(shù)的參數(shù)中的item就是推送來(lái)的數(shù)據(jù)，于是我們就可以在這個(gè)函數(shù)中保存爬取的數(shù)據(jù)了。注意scrapy要求process_item函數(shù)最后返回這個(gè)item對(duì)象。在我們這個(gè)程序中采用文件存儲(chǔ)爬取的數(shù)據(jù)，BookPipeline類中先定義一個(gè)類成員count=0，用它來(lái)記錄process_item調(diào)用的次數(shù)。如果是第一次調(diào)用(count=1)那么就使用語(yǔ)句fobj=open(books.txt,wt)新建立一個(gè)books.txt的文件，然后把item的數(shù)據(jù)寫到文件中。如果不是第一次調(diào)用(c

11、ount1)，就使用語(yǔ)句fobj=open(books.txt,at)打開(kāi)已經(jīng)存在的文件books.txt，把item的數(shù)據(jù)追加到文件中。這樣我們反復(fù)執(zhí)行爬蟲程序的過(guò)程保證每次清除掉上次的數(shù)據(jù)，記錄本次爬取的數(shù)據(jù)。4.3.5 設(shè)置scrapy的配置文件我們說(shuō)mySpider爬蟲程序執(zhí)行后每爬取一個(gè)item項(xiàng)目都會(huì)推送到BookPipelines類并調(diào)用的process_item函數(shù)，那么scrapy怎么樣知道要這樣做呢？前提是我們必須設(shè)置這樣一個(gè)通道。在demo文件夾中有一個(gè)settings.py的設(shè)置文件，打開(kāi)這個(gè)文件可以看到很多設(shè)置項(xiàng)目，大部分是用#注釋的語(yǔ)句，找到語(yǔ)句ITEM_PIPLI

12、NES的項(xiàng)目，把它設(shè)置成如下形式：# Configure item pipelines# See /en/latest/topics/item-pipeline.htmlITEM_PIPELINES = demo.pipelines.BookPipeline: 300,其中ITEM_PIPLINES是一個(gè)字典，把關(guān)鍵字改成demo.pipelines.BookPipeline，而BookPipelines就是我們?cè)趐ipelines.py文件中設(shè)計(jì)的數(shù)據(jù)管道類的名稱，后面的300是一個(gè)默認(rèn)的整數(shù)，實(shí)際上它可以不是300，它可以是任何整數(shù)。這樣設(shè)置后就連通了爬蟲程序mySpider數(shù)據(jù)管道處理程序pipelines.py的通道，scrapy工作時(shí)會(huì)把mySpider爬蟲程序通過(guò)yield返回的每項(xiàng)數(shù)據(jù)推送給pipelines.py程序的BoolPipeline類，并執(zhí)行process_item函數(shù)，這樣就