python實現(xiàn)網絡爬蟲代碼-技術干貨-Python實現(xiàn)網絡爬蟲4995

python實現(xiàn)?絡爬?代碼_技術?貨—Python實現(xiàn)?絡爬??絡爬??名“?絡蜘蛛”，是通過?頁的鏈接地址來尋找?頁，從?站某?個頁?開始，讀取?頁的內容，找到在?頁中的其它鏈接地址，然后通過這些鏈接地址尋找下?個?頁，這樣?直循環(huán)下去，直到按照某種策略把互聯(lián)?上所有的?頁都抓取完為?的技術。圖?來源于?絡下?是使?Python實現(xiàn)?絡爬?的?些基礎知識。?、URLURL–URL的格式由三部分組成：第?部分是協(xié)議(或稱為服務?式)。第?部分是存有該資源的主機IP地址(有時也包括端?號)。第三部分是主機資源的具體地址，如?錄和?件名等。?、獲取資源API1、urllib.request.urlopen()2、fromurllibimportrequesturl=''response=request.urlopen(url)html=response.read()#bytes類型html=html.decode('utf-8')#decode()解碼，轉換成str類型3、urllib.request.Request使?request()來包裝請求，再通過urlopen()獲取頁?。headers={"User-Agent":'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/59.0.3071.86Safari/537.36',}req=request.Request(url,headers=headers)response=request.urlopen(req)三、字符編碼1、字符編碼圖?2、decode和encodea='你好‘a1=a.encode('utf-8')a2=a.encode('gbk')a1.decode('utf-8')a2.decode('gbk')a1.decode('ascii')#出錯

四、異常處理1、URLError，HTTPError2、處理異常的先后，順序由前到后，范圍由?到?try:response=request.urlopen(url)excepterror.URLErrorase:print(e，url)excepterror.HTTPErrorase:print(e，url)exceptExceptionase:print(e，url)五、?頁解析1、lxml庫1)HTML?件，如何?lxml解析fromlxmlimportetreehtml=etree.HTML(html_str)html=etree.ElementTree(html)2)利?Xpath解析后，查找、定位或獲取某個元素2、Xpath1)XPath概念XPath是?門在XML?檔中查找信息的語?，XPath?于在XML?檔中通過元素和屬性進?導航。XPath使?路徑表達式來選取XML?檔中的節(jié)點或者節(jié)點集。這些路徑表達式和我們在常規(guī)的電腦?件系統(tǒng)中看到的表達式?常相似。2)Xpath節(jié)點i、(?檔節(jié)點)ii、JK.Rowling(元素節(jié)點)iii、lang=“en”(屬性節(jié)點)，JK.Rowling"en"(基本值)節(jié)點關系：?，?，同胞，先輩，后代3)Xpath語法4)Xpath?例樣例xml：HarryPotter29.99

LearningXML39.95使?lxml庫處理：books=html.xpath("http://book")allbook=[]fori,bookinenumerate(books):title=html.xpath('//book[{}]/title/text()'.format(i+1))[0]lang=html.xpath('//book[{}]/title/@lang'.format(i+1))[0]price=float(html.xpath('//book[{}]/price/text()'.format(i+1))[0])onebook=(title,lang,price)allbook.append(onebook)pprint(allbook)六、爬?基本流程1、發(fā)送請求request到服務器，服務器響應response瀏覽器2、python3中?帶urllib.request(處理請求)，導包：fromurllibimportrequest3、request.Request(url,headers)?定義請求(請求頭中要模擬多瀏覽器，User-Agent【若需登錄，則需要提供cookies】)4、發(fā)送請求request.urlopen(?定義請求req)，返回?個字符串類型的?頁內容5、解析?頁內容(過濾：1.將字符串轉成HTML?檔類型2.將?檔類型轉換成元素節(jié)點類型)6、安裝?個xpath解析模塊lxml7、xpath('解析語法')來獲取??想要的數(shù)據(jù)8、將數(shù)據(jù)寫?csv(表格)?件七、爬?簡單獲取?頁內容的代碼#1.將User-Agent放?字典中(?來模擬瀏覽器訪問服務器資源:不會被封IP地址)header={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64;rv:59.0)Gecko/20100101Firefox/59.0"}#2.獲取請求的路徑(要去爬哪個地址的?頁)url="/"#3.通過request模塊可以構建?個屬于??的請求對象req=request.Request(url,headers=header)#4.發(fā)送請求并接受到服務器的