Python爬蟲(chóng)程序設(shè)計(jì)KC25課件_第1頁(yè)
Python爬蟲(chóng)程序設(shè)計(jì)KC25課件_第2頁(yè)
Python爬蟲(chóng)程序設(shè)計(jì)KC25課件_第3頁(yè)
Python爬蟲(chóng)程序設(shè)計(jì)KC25課件_第4頁(yè)
Python爬蟲(chóng)程序設(shè)計(jì)KC25課件_第5頁(yè)
已閱讀5頁(yè)，還剩31頁(yè)未讀， 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

2.5.1使用CSS語(yǔ)法2.5.1使用CSS語(yǔ)法2.5.1使用CSS語(yǔ)法BeautifulSoup除了可以用find與find_all函數(shù)查找HTML文檔樹(shù)的節(jié)點(diǎn)元素外，還可以采用CSS類(lèi)似的語(yǔ)法來(lái)查詢，規(guī)則是：tag.select(css)其中tag是一個(gè)bs4.element.Tag對(duì)象，即HTML中的一個(gè)element節(jié)點(diǎn)元素，select是它的查找方法，css是類(lèi)似css語(yǔ)法的一個(gè)字符串，一般結(jié)構(gòu)如下：[tagName][attName[=value]]其中[...]部分是可選的；tagName是元素名稱，如果沒(méi)有指定就是所有元素；attName=value是屬性名稱，value是它對(duì)應(yīng)的值，可以不指定屬性，在指定了屬性后也可以不指定值；tag.select(css)返回一個(gè)bs4.element.Tag的列表，哪怕只有一個(gè)元素也時(shí)一個(gè)列表；2.5.1使用CSS語(yǔ)法例2-5-1：soup.select("a")查找文檔中所有<a>元素節(jié)點(diǎn)；soup.select("pa")查找文檔中所有<p>節(jié)點(diǎn)下的所有<a>元素節(jié)點(diǎn)；soup.select("p[class='story']a")查找文檔中所有屬性class="story"的<p>節(jié)點(diǎn)下的所有<a>元素節(jié)點(diǎn)；soup.select("p[class]a")查找文檔中所有具有class屬性的<p>節(jié)點(diǎn)下的所有<a>元素節(jié)點(diǎn)；soup.select("a[id='link1']")查找屬性id="link1"的<a>節(jié)點(diǎn)；soup.select("bodyheadtitle")查找<body>下面<head>下面的<title>節(jié)點(diǎn)；soup.select("body[class]")查找<body>下面所有具有class屬性的節(jié)點(diǎn)；soup.select("body[class]a")查找<body>下面所有具有class屬性的節(jié)點(diǎn)下面的<a>節(jié)點(diǎn)；<head>下面的<title>節(jié)點(diǎn)；例2-5-1：soup.select("a")查找文檔中所例2-5-2：查找HTML文檔中所有<p>下面的<a>的鏈接frombs4importBeautifulSoupdoc='''<html><head><title>TheDormouse'sstory</title></head><body><pclass="title"><b>TheDormouse'sstory</b></p><pclass="story">Onceuponatimetherewerethreelittlesisters;andtheirnameswere<ahref="/elsie"class="sister"id="link1">Elsie</a>,<ahref="/lacie"class="sister"id="link2">Lacie</a>and<ahref="/tillie"class="sister"id="link3">Tillie</a>;andtheylivedatthebottomofawell.</p><pclass="story">...</p></body></html>'''soup=BeautifulSoup(doc,"lxml")tags=soup.select("p[class='story']a")fortagintags:print(tag["href"])

例2-5-2：查找HTML文檔中所有<p>下面的<a>的鏈程序結(jié)果：/elsie/lacie/tillie

另外我們通過(guò)tags=soup.select("pa")tags=soup.select("a")tags=soup.select("p[class]a")等也可以得到一樣的結(jié)果。程序結(jié)果：2.5.2屬性的語(yǔ)法規(guī)則2.5.2屬性的語(yǔ)法規(guī)則在CSS結(jié)構(gòu)中的[attName=value]中表示屬性attrName與value相等，也可以指定不等、包含等運(yùn)算關(guān)系，具體運(yùn)算如下表：選擇器描述[attName]用于選取帶有指定屬性的元素。[attName=value]用于選取帶有指定屬性和值的元素。[attName^=value]匹配屬性值以指定值開(kāi)頭的每個(gè)元素。[attName$=value]匹配屬性值以指定值結(jié)尾的每個(gè)元素。[attrName*=value]匹配屬性值中包含指定值的每個(gè)元素。在CSS結(jié)構(gòu)中的[attName=value]中表示屬性at因此：soup.select("a[href='/elsie']")查找href="/elsie"的<a>節(jié)點(diǎn)；soup.select("a[href$='sie']")查找href以"sie"結(jié)尾的<a>節(jié)點(diǎn)；soup.select("a[href^='']")查找href以""開(kāi)始的<a>節(jié)點(diǎn)；soupselect("a[href*='example']")查找href的值中包含"example"字符串的<a>節(jié)點(diǎn)；因此：2.5.3select查找子孫節(jié)點(diǎn)2.5.3select查找子孫節(jié)點(diǎn)2.5.3select查找子孫節(jié)點(diǎn)在select(css)中的css有多個(gè)節(jié)點(diǎn)時(shí)，節(jié)點(diǎn)元素之間用空格分開(kāi)，就是查找子孫節(jié)點(diǎn)，例如soup.select("divp")是查找所有<div>節(jié)點(diǎn)下面的所有子孫<p>節(jié)點(diǎn)。

例2-5-3：查找子孫節(jié)點(diǎn)frombs4importBeautifulSoupdoc="<div><p>A</p><span><p>B</p></span></div><div><p>C</p></div>"soup=BeautifulSoup(doc,"lxml")tags=soup.select("divp")fortagintags:print(tag)

2.5.3select查找子孫節(jié)點(diǎn)程序結(jié)果：<p>A</p><p>B</p><p>C</p>其中tags=soup.select("divp")是查找<div>下面的所有子孫節(jié)點(diǎn)<p>，因此包含<span>下面的<p>B</p>。程序結(jié)果：2.5.4select查找直接子節(jié)點(diǎn)2.5.4select查找直接子節(jié)點(diǎn)2.5.4select查找直接子節(jié)點(diǎn)在select(css)中的css有多個(gè)節(jié)點(diǎn)時(shí)，節(jié)點(diǎn)元素之間用">"分開(kāi)(注意>的前后至少包含一個(gè)空格)，就是查找直接子節(jié)點(diǎn)，例如soup.select("div>p")是查找所有<div>節(jié)點(diǎn)下面的所有直接子節(jié)點(diǎn)<p>，不包含孫節(jié)點(diǎn)。2.5.4select查找直接子節(jié)點(diǎn)例2-5-4：查找直接子節(jié)點(diǎn)frombs4importBeautifulSoupdoc="<div><p>A</p><span><p>B</p></span></div><div><p>C</p></div>"soup=BeautifulSoup(doc,"lxml")tags=soup.select("div>p")fortagintags:print(tag)

程序結(jié)果：<p>A</p><p>C</p>其中tags=soup.select("div>p")是查找<div>下面的直接子節(jié)點(diǎn)<p>，因此不包含<span>下面的<p>B</p>。例2-5-4：查找直接子節(jié)點(diǎn)2.5.5select查找兄弟節(jié)點(diǎn)2.5.5select查找兄弟節(jié)點(diǎn)2.5.5select查找兄弟節(jié)點(diǎn)在select中用"~"連接兩個(gè)節(jié)點(diǎn)表示查找前一個(gè)節(jié)點(diǎn)后面的所有同級(jí)別的兄弟節(jié)點(diǎn)（注意~號(hào)前后至少有一個(gè)空格），例如soup.select("div~p")查找<div>后面的所有同級(jí)別的<p>兄弟節(jié)點(diǎn)。在select中用"+"連接兩個(gè)節(jié)點(diǎn)表示查找前一個(gè)節(jié)點(diǎn)后面的第一個(gè)同級(jí)別的兄弟節(jié)點(diǎn)（注意+號(hào)前后至少有一個(gè)空格）2.5.5select查找兄弟節(jié)點(diǎn)例2-5-5：查找兄弟節(jié)點(diǎn)frombs4importBeautifulSoupdoc="<body>demo<div>A</div><b>X</b><p>B</p><span><p>C</p></span><p>D</p></div></body>"soup=BeautifulSoup(doc,"lxml")print(soup.prettify())tags=soup.select("div~p")fortagintags:print(tag)print()tags=soup.select("div+p")fortagintags:print(tag)例2-5-5：查找兄弟節(jié)點(diǎn)程序結(jié)果：<p>B</p><p>D</p>其中tags=soup.select("div~p")找到<div>后面同級(jí)別的所有<p>節(jié)點(diǎn)，不包含<span>中的<p>C</p>，因?yàn)樗c<div>不同級(jí)別。而tags=soup.select("div+p")要找<div>的下一個(gè)兄弟節(jié)點(diǎn)<p>，但是<div>的下一個(gè)兄弟節(jié)點(diǎn)是<b>X</b>，不是<p>節(jié)點(diǎn)，因此沒(méi)有找到，注意結(jié)果不是<p>B</p>。程序結(jié)果：2.5.1使用CSS語(yǔ)法2.5.1使用CSS語(yǔ)法2.5.1使用CSS語(yǔ)法BeautifulSoup除了可以用find與find_all函數(shù)查找HTML文檔樹(shù)的節(jié)點(diǎn)元素外，還可以采用CSS類(lèi)似的語(yǔ)法來(lái)查詢，規(guī)則是：tag.select(css)其中tag是一個(gè)bs4.element.Tag對(duì)象，即HTML中的一個(gè)element節(jié)點(diǎn)元素，select是它的查找方法，css是類(lèi)似css語(yǔ)法的一個(gè)字符串，一般結(jié)構(gòu)如下：[tagName][attName[=value]]其中[...]部分是可選的；tagName是元素名稱，如果沒(méi)有指定就是所有元素；attName=value是屬性名稱，value是它對(duì)應(yīng)的值，可以不指定屬性，在指定了屬性后也可以不指定值；tag.select(css)返回一個(gè)bs4.element.Tag的列表，哪怕只有一個(gè)元素也時(shí)一個(gè)列表；2.5.1使用CSS語(yǔ)法例2-5-1：soup.select("a")查找文檔中所有<a>元素節(jié)點(diǎn)；soup.select("pa")查找文檔中所有<p>節(jié)點(diǎn)下的所有<a>元素節(jié)點(diǎn)；soup.select("p[class='story']a")查找文檔中所有屬性class="story"的<p>節(jié)點(diǎn)下的所有<a>元素節(jié)點(diǎn)；soup.select("p[class]a")查找文檔中所有具有class屬性的<p>節(jié)點(diǎn)下的所有<a>元素節(jié)點(diǎn)；soup.select("a[id='link1']")查找屬性id="link1"的<a>節(jié)點(diǎn)；soup.select("bodyheadtitle")查找<body>下面<head>下面的<title>節(jié)點(diǎn)；soup.select("body[class]")查找<body>下面所有具有class屬性的節(jié)點(diǎn)；soup.select("body[class]a")查找<body>下面所有具有class屬性的節(jié)點(diǎn)下面的<a>節(jié)點(diǎn)；<head>下面的<title>節(jié)點(diǎn)；例2-5-1：soup.select("a")查找文檔中所例2-5-2：查找HTML文檔中所有<p>下面的<a>的鏈接frombs4importBeautifulSoupdoc='''<html><head><title>TheDormouse'sstory</title></head><body><pclass="title"><b>TheDormouse'sstory</b></p><pclass="story">Onceuponatimetherewerethreelittlesisters;andtheirnameswere<ahref="/elsie"class="sister"id="link1">Elsie</a>,<ahref="/lacie"class="sister"id="link2">Lacie</a>and<ahref="/tillie"class="sister"id="link3">Tillie</a>;andtheylivedatthebottomofawell.</p><pclass="story">...</p></body></html>'''soup=BeautifulSoup(doc,"lxml")tags=soup.select("p[class='story']a")fortagintags:print(tag["href"])

例2-5-2：查找HTML文檔中所有<p>下面的<a>的鏈程序結(jié)果：/elsie/lacie/tillie

另外我們通過(guò)tags=soup.select("pa")tags=soup.select("a")tags=soup.select("p[class]a")等也可以得到一樣的結(jié)果。程序結(jié)果：2.5.2屬性的語(yǔ)法規(guī)則2.5.2屬性的語(yǔ)法規(guī)則在CSS結(jié)構(gòu)中的[attName=value]中表示屬性attrName與value相等，也可以指定不等、包含等運(yùn)算關(guān)系，具體運(yùn)算如下表：選擇器描述[attName]用于選取帶有指定屬性的元素。[attName=value]用于選取帶有指定屬性和值的元素。[attName^=value]匹配屬性值以指定值開(kāi)頭的每個(gè)元素。[attName$=value]匹配屬性值以指定值結(jié)尾的每個(gè)元素。[attrName*=value]匹配屬性值中包含指定值的每個(gè)元素。在CSS結(jié)構(gòu)中的[attName=value]中表示屬性at因此：soup.select("a[href='/elsie']")查找href="/elsie"的<a>節(jié)點(diǎn)；soup.select("a[href$='sie']")查找href以"sie"結(jié)尾的<a>節(jié)點(diǎn)；soup.select("a[href^='']")查找href以""開(kāi)始的<a>節(jié)點(diǎn)；soupselect("a[href*='example']")查找href的值中包含"example"字符串的<a>節(jié)點(diǎn)；因此：2.5.3select查找子孫節(jié)點(diǎn)2.5.3select查找子孫節(jié)點(diǎn)2.5.3select查找子孫節(jié)點(diǎn)在select(css)中的css有多個(gè)節(jié)點(diǎn)時(shí)，節(jié)點(diǎn)元素之間用空格分開(kāi)，就是查找子孫節(jié)點(diǎn)，例如soup.select("divp")是查找所有<div>節(jié)點(diǎn)下面的所有子孫<p>節(jié)點(diǎn)。

例2-5-3：查找子孫節(jié)點(diǎn)frombs4importBeautifulSoupdoc="<div><p>A</p><span><p>B</p></span></div><div><p>C</p></div>"soup=BeautifulSoup(doc,"lxml")tags=soup.select("divp")fortagintags:print(tag)

2.5.3select查找子孫節(jié)點(diǎn)程序結(jié)果：<p>A</p><p>B</p><p>C</p>其中tags=soup.select("divp")是查找<div>下面的所有子孫節(jié)點(diǎn)<p>，因此包含<span>下面的<p>B</p>。程序結(jié)果：2.5.4select查找直接子節(jié)點(diǎn)2.5.4select查找直接子節(jié)點(diǎn)2.5.4select查找直接子節(jié)點(diǎn)在select(css)中的css有多個(gè)節(jié)點(diǎn)時(shí)，節(jié)點(diǎn)元素之間用">"分開(kāi)(注意>的前后至少包含一個(gè)空格)，就是查找直接子節(jié)點(diǎn)，例如soup.select("div>p")是查找所有<div>節(jié)點(diǎn)下面的所有直接子節(jié)點(diǎn)<p>，不包含孫節(jié)點(diǎn)。2.5.4select查找直接子節(jié)點(diǎn)例2-5-4：查找直接子節(jié)點(diǎn)frombs4importBeautifulSoupdoc="<div><p>A</p><span><p>B</p></span></div><div><p>C</p></div>"soup=BeautifulSoup(doc,"lxml")tags=soup.select("div>p")fortagintags:print(tag)

程序結(jié)果：<p>A</p><p>C</p>其中tags=soup.select("div>p")是查找<div>下面的直接子節(jié)點(diǎn)<p>，因此不包含<span>下面的<p>B</p>

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論