Python數(shù)據(jù)分析與應(yīng)用 課件 第5、6章 函數(shù)和模塊；Python網(wǎng)絡(luò)爬蟲

第5章

函數(shù)和模塊《Python數(shù)據(jù)分析與應(yīng)用》①程序結(jié)構(gòu)清晰，可讀性好。②減少重復(fù)編碼的工作量。③可多人共同編制一個(gè)大程序，縮短程序設(shè)計(jì)周期，提高程序設(shè)計(jì)和調(diào)試的效率。使用函數(shù)的好處1概述

函數(shù)是一組實(shí)現(xiàn)某一特定功能的語(yǔ)句集合，是可以重復(fù)調(diào)用、功能相對(duì)獨(dú)立完整的程序段。函數(shù)的定義與調(diào)用定義一般形式：def

函數(shù)名（[形式參數(shù)表]）:函數(shù)體

[return表達(dá)式]采用def關(guān)鍵字定義函數(shù)，不需要指定返回值的類型；函數(shù)的參數(shù)不限，不需要指定參數(shù)類型；參數(shù)括號(hào)后面的冒號(hào)“:”必不可少；函數(shù)體相對(duì)于def關(guān)鍵字必須保持一定的空格縮進(jìn)；return語(yǔ)句是可選的；允許定義函數(shù)體為空的函數(shù)。函數(shù)定義時(shí)要注意一般形式：函數(shù)名（[實(shí)際參數(shù)表]）函數(shù)的調(diào)用說(shuō)明實(shí)參可以是常量、變量、表達(dá)式、函數(shù)等，但在進(jìn)行函數(shù)調(diào)用時(shí)必須有確定的值。函數(shù)的實(shí)參和形參應(yīng)在個(gè)數(shù)、類型和順序上一一對(duì)應(yīng)。對(duì)于無(wú)參函數(shù)，調(diào)用時(shí)實(shí)參表列為空，但()不能省。例：編寫函數(shù)，求3個(gè)數(shù)中的最大值。defgetMax(a,b,c):ifa>b:max=aelse:max=bif(c>max):max=creturnmaxa,b,c=eval(input("inputa,b,c:"))n=getMax(a,b,c)print("max=",n)在Python中不允許前向引用，即在函數(shù)定義之前，不允許調(diào)用該函數(shù)。函數(shù)的參數(shù)和函數(shù)的返回值形式參數(shù)：定義函數(shù)時(shí)函數(shù)名后面括號(hào)中的變量名實(shí)際參數(shù)：調(diào)用函數(shù)時(shí)函數(shù)名后面括號(hào)中對(duì)應(yīng)的參數(shù)說(shuō)明實(shí)參可以是常量、變量和表達(dá)式，但必須在函數(shù)調(diào)用之間有確定的值。形參與實(shí)參個(gè)數(shù)相同形參定義時(shí)編譯系統(tǒng)并不為其分配存儲(chǔ)空間，也無(wú)初值；只有在函數(shù)調(diào)用時(shí)，臨時(shí)分配存儲(chǔ)空間，接受來(lái)自實(shí)參的值；函數(shù)調(diào)用結(jié)束，內(nèi)存空間釋放。參數(shù)傳遞方式單向的值傳遞實(shí)參和形參之間是單向的值傳遞。在函數(shù)調(diào)用時(shí)，將各實(shí)參表達(dá)式的值計(jì)算出來(lái)，賦給形參變量。因此，實(shí)參與形參必須類型相同或賦值兼容，個(gè)數(shù)相等，一一對(duì)應(yīng)。在函數(shù)調(diào)用中，即使實(shí)參為變量，形參值的改變也不會(huì)改變實(shí)參變量的值。實(shí)參和形參占用不同的內(nèi)存單元傳地址方式

函數(shù)調(diào)用時(shí)，將實(shí)參數(shù)據(jù)的存儲(chǔ)地址作為參數(shù)傳遞給形參defswap(a,b):a,b=b,aprint("a=",a,"b=",b)x,y=eval(input("inputx,y:"))swap(x,y)print("x=",x,"y=",y)運(yùn)行結(jié)果：inputx,y:3,5a=5b=3x=3y=5形式參數(shù)（形參）實(shí)際參數(shù)（實(shí)參）例如：編一程序，將主函數(shù)中的兩個(gè)變量的值傳遞給swap函數(shù)中的兩個(gè)形參，交換兩個(gè)形參的值。單向值傳遞defswap(a_list):a_list[0],a_list[1]=a_list[1],a_list[0]print("a_list[0]=",a_list[0],"a_list[1]=",a_list[1])x_list=[3,5]swap(x_list)print("x_list[0]=",x_list[0],"x_list[1]=",x_list[1])運(yùn)行結(jié)果：a_list[0]=5a_list[1]=3x_list[0]=5x_list[1]=3例：傳地址方式。函數(shù)的返回值

指函數(shù)被調(diào)用、執(zhí)行完后，返回給主調(diào)函數(shù)的值。函數(shù)的返回語(yǔ)句一般形式

return表達(dá)式功能：

使程序控制從被調(diào)用函數(shù)返回到調(diào)用函數(shù)中，同時(shí)把返回值帶給調(diào)用函數(shù)defadd(a,b):c=a+b

x=add(3,20)print(x)說(shuō)明

函數(shù)內(nèi)可有多條返回語(yǔ)句。如果沒(méi)有return語(yǔ)句，會(huì)自動(dòng)返回NONE；如果有return語(yǔ)句，但是return后面沒(méi)有表達(dá)式也返回NONE。例：編寫函數(shù)，判斷一個(gè)數(shù)是否是素?cái)?shù)。defisprime(n):foriinrange(2,n):if(n%i==0):return0return1m=int(input("請(qǐng)輸入一個(gè)整數(shù):"))flag=isprime(m)if(flag==1):print("%d是素?cái)?shù)"%m)else:print("%d不是素?cái)?shù)"%m)參數(shù)分類必備參數(shù)默認(rèn)參數(shù)關(guān)鍵參數(shù)不定長(zhǎng)參數(shù)必備參數(shù)必備參數(shù)是指調(diào)用函數(shù)時(shí)，參數(shù)的個(gè)數(shù)，參數(shù)的數(shù)據(jù)類型，以及參數(shù)的輸入順序必須正確，否則會(huì)出現(xiàn)語(yǔ)法錯(cuò)誤。>>>defprintme(str):

print(str)

return>>>printme()Traceback(mostrecentcalllast):File"<pyshell#40>",line1,in<module>printme()TypeError:printme()missing1requiredpositionalargument:'str'默認(rèn)參數(shù)

默認(rèn)參數(shù)是指允許函數(shù)參數(shù)有缺省值，如果調(diào)用函數(shù)時(shí)不給參數(shù)傳值，參數(shù)將獲得缺省值。Python通過(guò)在函數(shù)定義的形參名后加上賦值運(yùn)算符（=）和默認(rèn)值，給形參指定默認(rèn)參數(shù)值。注意:默認(rèn)參數(shù)值是一個(gè)不可變的參數(shù)。defsay(message,times=1):

printmessage*times

#調(diào)用函數(shù)

say('Hello')#默認(rèn)參數(shù)times為1

say('World',5)【程序運(yùn)行如下所示】HelloWorldWorldWorldWorldWorld關(guān)鍵參數(shù)

函數(shù)的多個(gè)參數(shù)值一般默認(rèn)從左到右依次傳入。Python也可以通過(guò)關(guān)鍵參數(shù)用于改變賦值順序，關(guān)鍵參數(shù)又稱命名參數(shù)。deffunc(a,b=5,c=10): print('ais',a,'andbis',b,'andcis',c)#調(diào)用函數(shù)func(3,5)func(25,c=24)func(c=50,a=100)【程序運(yùn)行如下所示】ais3andbis5andcis10ais25andbis5andcis24ais100andbis5andcis50不定長(zhǎng)參數(shù)

不定長(zhǎng)參數(shù)又稱可變長(zhǎng)參數(shù)，若參數(shù)以一個(gè)*號(hào)開頭的代表著一個(gè)任意長(zhǎng)度的元組，可以接收連續(xù)一串參數(shù)。參數(shù)以兩個(gè)*號(hào)開頭的代表著一個(gè)字典，參數(shù)的形式是“key=value”，接受連續(xù)任意多個(gè)參數(shù)。deffoo(x,*y,**z): print(x) print(y) print(z)輸入foo(1)輸入foo(1,2,3,4)輸入foo(1,2,3,a="a",b="b")匿名函數(shù)匿名函數(shù)是指不使用def語(yǔ)句定義一個(gè)函數(shù)。python使用lambda來(lái)創(chuàng)建匿名函數(shù)。lambda只是一個(gè)表達(dá)式，而不是一個(gè)代碼塊，比def簡(jiǎn)單很多。lambda函數(shù)的形式如下： lambda[arg1[,arg2,.....argn]]:expression【例】lambda函數(shù)舉例sum=lambdaarg1,arg2:arg1+arg2;#調(diào)用sum函數(shù)print("相加后的值為:",sum(10,20))【程序運(yùn)行如下所示】相加后的值為:30函數(shù)的遞歸調(diào)用

在函數(shù)的執(zhí)行過(guò)程中又直接或間接調(diào)用該函數(shù)本身

直接遞歸調(diào)用

在函數(shù)中直接調(diào)用函數(shù)本身間接遞歸調(diào)用

在函數(shù)中調(diào)用其它函數(shù)，其它函數(shù)又調(diào)用原函數(shù)f()調(diào)f調(diào)f2調(diào)f1f1()f2()defa(x):……

z=b(y)…….return(2*z)defb(t):……

m=a(x)…….return(3+c)deff(x):……

z=f(y)…….return(2*z)遞歸算法的兩個(gè)基本特征遞推歸納將問(wèn)題轉(zhuǎn)化為比原問(wèn)題小的同類規(guī)模，歸納出一般遞推公式.

故所處理的對(duì)象要有規(guī)律地遞增或遞減遞歸終止當(dāng)規(guī)模小到一定的程度應(yīng)該結(jié)束遞歸調(diào)用，逐層返回常用條件語(yǔ)句來(lái)控制何時(shí)結(jié)束遞歸13十二月2024例求遞歸方法求n的階乘遞推歸納：遞歸終止：deffac(n):ifn==0:f=1else:f=fac(n-1)*n;returnfn=int(input("pleaseinputn:"))f=fac(n)print("%d!=%d"%(n,f))總結(jié)執(zhí)行過(guò)程（兩個(gè)階段）第一階段：逐層調(diào)用，調(diào)用函數(shù)自身第二階段：逐層返回，返回到調(diào)用該層的位置遞歸調(diào)用是多重嵌套調(diào)用的一種特殊情況調(diào)用的深度：調(diào)用的層數(shù)

前提：原問(wèn)題可以層層分解為類似的子問(wèn)題，且子問(wèn)題比原問(wèn)題規(guī)模更小規(guī)模最小的問(wèn)題具有直接解方法：尋找分解方法：將原問(wèn)題轉(zhuǎn)化為子問(wèn)題求解，例：n!=n*(n-1)!設(shè)計(jì)遞歸出口：根據(jù)規(guī)模最小的子問(wèn)題確定遞歸終止條件，例：求解n!，當(dāng)n＝0時(shí)，n!＝1；設(shè)計(jì)遞歸算法的方法13十二月2024例：漢諾塔問(wèn)題。設(shè)有三座塔座（A、B、C），在一個(gè)塔座（設(shè)為A）上有64個(gè)盤片，盤片不等，按大盤在下，小盤在上的順序依次疊放?，F(xiàn)要將A塔上的盤片借助于B塔，移到C塔上并保持同樣順序疊排，移動(dòng)盤片時(shí)必須遵守以下規(guī)則：（1）每次只能移動(dòng)一個(gè)圓盤；（2）圓盤可以插在A、B、C任意一個(gè)塔座上；（3）任何時(shí)候都不能將一個(gè)較大的圓盤放到較小的圓盤之上。13十二月2024

將A塔上的紅、黃兩盤移動(dòng)到B上藍(lán)盤放到C上將紅、黃兩盤從B移動(dòng)到C盤上。（完成）ABC問(wèn)題分析：（1）n=1時(shí)，直接將其從A－>C；（2）n>1時(shí)，只要先將前n-1個(gè)借助C從A－>B,那么可以把第n個(gè)直接從A－>C;（3）如何將剩下的n-1個(gè)圓盤遵守規(guī)則借助A從B－>C，問(wèn)題性質(zhì)同（2）;問(wèn)題性質(zhì)相同，因此適合采用遞歸過(guò)程！若將n個(gè)盤片按規(guī)定從A塔移至C塔，移動(dòng)步驟可分為三步：把A塔上的n-1個(gè)盤片借助C移動(dòng)到B塔把第n個(gè)盤片從A塔移至C塔把B塔上的n-1個(gè)盤片借助A塔移至C塔算法用函數(shù)hanoi(n,x,y,z)以遞歸算法實(shí)現(xiàn)13十二月2024盤片數(shù)源塔借用塔目標(biāo)塔

遞歸終止：當(dāng)遞歸調(diào)用到盤片數(shù)為1時(shí)算法描述：1)遞歸調(diào)用hanoi(n-1,a,c,b)2)將n號(hào)盤片從a塔移動(dòng)到c塔3)遞歸調(diào)用hanoi(n-1,b,a,c)count=0defhanoi(n,x,y,z):globalcountifn==1:count+=1move(count,x,z)else:hanoi(n-1,x,z,y);

count+=1move(count,x,z)hanoi(n-1,y,x,z);

defmove(n,x,y):print("step%d:Movediskform%cto%c"%(count,x,y))m=int(input("Inputthenumberofdisks:"))print("Thestepstomoving%ddisks:"%m)hanoi(m,'A','B','C')模塊

將一些常用的功能單獨(dú)放置到一個(gè)文件中，方便其他文件來(lái)調(diào)用，這些文件即為模塊。

模塊分為如下：

標(biāo)準(zhǔn)庫(kù)模塊

用戶自定義模塊導(dǎo)入模塊導(dǎo)入模塊就是給出一個(gè)訪問(wèn)模塊提供的函數(shù)、對(duì)象和類的方法。（1）引入模塊

import模塊（2）引入模塊中的函數(shù)

from模塊名import函數(shù)名（3）引入模塊中的所有函數(shù)from模塊名import*第6章Python網(wǎng)絡(luò)爬蟲《Python數(shù)據(jù)分析與應(yīng)用》網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲(WebSpider)，又被稱為網(wǎng)頁(yè)蜘蛛或網(wǎng)絡(luò)機(jī)器人，通過(guò)一定的規(guī)則自動(dòng)地抓取網(wǎng)絡(luò)信息。網(wǎng)絡(luò)爬蟲就是根據(jù)網(wǎng)址獲取網(wǎng)頁(yè)信息。例如，當(dāng)輸入網(wǎng)址：/，瀏覽器向DNS服務(wù)器發(fā)出請(qǐng)求，經(jīng)過(guò)解析，將發(fā)送給瀏覽器的HTML、JS、CSS等文件解析出來(lái)，便成了百度內(nèi)容。爬蟲流程爬取

Python提供了requests等庫(kù)實(shí)現(xiàn)HTTP請(qǐng)求操作，獲取網(wǎng)頁(yè)的源代碼。

Requests

方法解釋requests.get()獲取html的主要方法requests.head()獲取html頭部信息的主要方法requests.post()向html網(wǎng)頁(yè)提交post請(qǐng)求的方法requests.put()向html網(wǎng)頁(yè)提交put請(qǐng)求的方法requests.patch()向html提交局部修改的請(qǐng)求requests.delete()向html提交刪除請(qǐng)求Requests

importrequestsr=requests.get(url='http://www……')#GET請(qǐng)求print(r.status_code)#獲取返回狀態(tài)print(r.url)print(r.text)#打印解碼后的返回?cái)?shù)據(jù)解析從網(wǎng)頁(yè)源代碼中提取有用的信息。方法1：采用正則表達(dá)式提取，但是在構(gòu)造正則表達(dá)式時(shí)比較復(fù)雜且容易出錯(cuò)。方法2：由于網(wǎng)頁(yè)的結(jié)構(gòu)有一定的規(guī)則，可以利用BeautifulSoup、pyquery、lxml等庫(kù)提取網(wǎng)頁(yè)節(jié)點(diǎn)屬性、CSS選擇器等網(wǎng)頁(yè)信息。

存儲(chǔ)將提取到的數(shù)據(jù)保存到某處以便后續(xù)處理和分析，可以保存為TXT文本或JSON文本，也可以保存到MySQL和MongoDB等數(shù)據(jù)庫(kù)。正則表達(dá)式

正則表達(dá)式，又稱正規(guī)表示法、常規(guī)表示法，是指通過(guò)事先定義好的特定字符（“元字符”）組成的“規(guī)則字符串”，對(duì)字符串進(jìn)行過(guò)濾邏輯。凡是符合規(guī)則的字符串，認(rèn)為“匹配”，否則，不“匹配”。

正則表達(dá)式

采用正則表達(dá)式判斷一個(gè)字符串是否包含合法的Email，需要?jiǎng)?chuàng)建一個(gè)匹配Email的正則表達(dá)式，然后通過(guò)該正則表達(dá)式去判斷。正則表達(dá)式元字符含義輸入輸出.匹配任意字符

a.cAbc^匹配開始位置^abcAbc$匹配結(jié)束位置abc$Abc*

匹配前一個(gè)元字符0到多次abc*ab;abccc+匹配前一個(gè)元字符1到多次abc+abc;abccc?匹配前一個(gè)元字符0到1次abc?ab;abcre模塊fIndall()compile()match()search()replace()split()Python中的re模塊提供了一個(gè)正則表達(dá)式引擎接口，允許將正則表達(dá)式編譯成模式對(duì)象，通過(guò)這些模式對(duì)象執(zhí)行模式匹配搜索和字符串分割、子串替換等操作。Findall（）>>>importre>>>p=pile(r'\d+')>>>print(p.findall('o1n2m3k4'))['1','2','3','4']search（）>>>importre>>>a="123abc456">>>print(re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(0))123abc456>>>print(re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(1))123>>>print(re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(2))abc>>>print(re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(3))456Match()>>>importre>>>print(re.match('www','').span())#在起始位置匹配(0,3)>>>print(re.match('com',''))#不在起始位置匹配Nonesplit()1）只傳一個(gè)參數(shù)，默認(rèn)分割整個(gè)字符串>>>str="a,b,c,d,e";>>>str.split(',');["a","b","c","d","e"]split()2）傳入兩個(gè)參數(shù)，返回限定長(zhǎng)度的字符串>>>str="a,b,c,d,e";>>>str.split(',',3);["a","b","c"]

split()3）使用正則表達(dá)式匹配，返回分割的字符串>>>str="aa44bb55cc66dd";>>>print(re.split('\d+',str))["aa","bb","cc","dd"]BeautifulSouplxml作為BeautifulSoup庫(kù)解析器BeautifulSoup

BeautifulSoup將HTML文檔轉(zhuǎn)換成一個(gè)復(fù)雜的樹形結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)都是Python對(duì)象BeautifulSoupfromurllib.requestimporturlopenfrombs4importBeautifulSoup#導(dǎo)入BeautifulSoup對(duì)象html=urlopen('/new100.html')#打開url,獲取html內(nèi)容bs_obj=BeautifulSoup(html.read()