《大數(shù)據(jù)導(dǎo)論》課件-3.5.3Scrapy項目搭建

大數(shù)據(jù)導(dǎo)論Scrapy項目搭建————數(shù)據(jù)采集需求說明Scrapy項目開發(fā)可以有多種方式，可以使用Python自帶的可視化開發(fā)工具

IDLE，也可以使用其它支持Python開發(fā)的開發(fā)工具。

本課將基于IDEA集成開發(fā)環(huán)境講解搭建一個爬取新浪網(wǎng)的新聞模塊的Scrapy項目。

需求說明爬取字段：標(biāo)題數(shù)據(jù)目標(biāo)HTML區(qū)域：<divid="xy-impcon"></div>創(chuàng)建項目

1、打開IDEA，“新建項目”2、項目類別選擇“Python”3、ProjectSDK選擇本機安裝的python版本，點擊“下一步”創(chuàng)建項目

4、設(shè)置項目名：SinaProject5、設(shè)置項目位置，本課項目位置是E:\TeachProjects\PythonProjects\SinaProject6、點擊完成創(chuàng)建項目

此時，SinaProject項目還僅僅是普通的python項目。7、點擊IDEA的左下角的“Terminal”8、輸入創(chuàng)建Scrapy項目的命令，項目名為GetNews。

scrapystartprojectGetNews可以看到工程列表中已新增了一個GetNews的文件夾Scrapy常用命令創(chuàng)建項目：scrapystartprojectxxx進入項目：cd

xxx

#進入某個文件夾下創(chuàng)建爬蟲：scrapygenspiderxxx（爬蟲名）（網(wǎng)站域名）生成文件：scrapycrawlxxx-oxxx.json(生成某種類型的文件)運行爬蟲：scrapycrawlXXX列出所有爬蟲：scrapylist獲得配置信息：scrapysettings[options]新增item模型

Item用來定義結(jié)構(gòu)化數(shù)據(jù)字段，用來保存爬取到的數(shù)據(jù)。

可以通過創(chuàng)建一個scrapy.Item類，并且定義類型為scrapy.Field的類屬性來定義一個Item（可以理解成類似于ORM的映射關(guān)系）

在Items.py文件中，創(chuàng)建一個NewsItem類，和構(gòu)建item模型（model），添加news_title屬性，如圖。編寫爬蟲1、點擊IDEA的左下角的“Terminal”2、切換到GetNews項目：cdGetNews3、輸入創(chuàng)建爬蟲的命令：

scrapygenspidernews""

此時，在項目下的spider目錄下，已新增了一個news.py的爬蟲文件編寫爬蟲打開spider目錄下的news.py爬蟲文件，做如圖修改。由于需要在IDEA中執(zhí)行，確保name值與爬蟲類名一致。編寫爬蟲

修改爬蟲的parse方法，對response對象解析提取數(shù)據(jù)。

這里使用了Xpath對爬取的內(nèi)容進行解析。

本課中，僅打印出爬取的標(biāo)題，不做存儲。運行爬蟲打開setting.py文件，設(shè)置忽略robots.txt規(guī)則，修改。