Python語言程序設(shè)計(jì) 課件 12-其他常用庫介紹

Python語言程序設(shè)計(jì)PythonLanguageProgramming12其他常用庫介紹Sklearn庫簡介pytorch簡介爬蟲Sklearn庫簡介Sklearn簡介分類方法聚類方法k-Means線性回歸Sklearn庫簡介Sklearn簡介是一個(gè)常用的python第三方模塊，對(duì)常用的分類、聚類和回歸方法進(jìn)行了封裝其中分類和回歸是有標(biāo)簽監(jiān)督式學(xué)習(xí)，聚類是無標(biāo)簽非監(jiān)督式學(xué)習(xí)Sklearn庫簡介分類方法數(shù)據(jù)集的導(dǎo)入fromsklearnimportdatasets類別數(shù)據(jù)集名稱調(diào)用方式適用算法數(shù)據(jù)規(guī)模小數(shù)據(jù)集

鳶尾花load_iris()分類150*4糖尿病load_diabetes()回歸442*10波士頓房價(jià)load_boston()回歸506*13手寫數(shù)字load_digits()分類5620*64表12-1sklearn小數(shù)據(jù)集的調(diào)用方式Sklearn庫簡介分類方法分割使用load_iris函數(shù)調(diào)用鳶尾花數(shù)據(jù)集后，使用train_test_split函數(shù)將鳶尾花數(shù)據(jù)集分割成訓(xùn)練集和測試集，我們將測試集占整體數(shù)據(jù)集的30%，即test_size設(shè)置為30%Sklearn庫簡介分類方法使用KNN對(duì)數(shù)據(jù)集分類k最近鄰分類算法(KNN)是一種基于記憶的學(xué)習(xí)，屬于懶惰學(xué)習(xí)原理：每次出現(xiàn)一個(gè)未知的樣本點(diǎn)，就在其附近找k個(gè)最近的點(diǎn)投票進(jìn)行分類Sklearn庫簡介聚類方法k-Means聚類算法k-Means中的k為聚類成簇的個(gè)數(shù)，Means表示該簇的中心為該簇中數(shù)據(jù)值的均值是一種無監(jiān)督學(xué)習(xí)算法，根據(jù)樣本之間的相似性，將樣本劃分為不同類別歐式距離法是常用的相似度計(jì)算方法Sklearn庫簡介聚類方法k-Means首先，從sklearn庫導(dǎo)入kmean函數(shù)以及datasets數(shù)據(jù)集Sklearn庫簡介聚類方法k-Meansload_iris()導(dǎo)入的鳶尾花數(shù)據(jù)共有150行，我們?nèi)〕鎏卣骺臻g中的4個(gè)維度，然后我們繪制數(shù)據(jù)分布圖?？吹綌?shù)據(jù)點(diǎn)分布圖如右圖Sklearn庫簡介聚類方法k-Means接著查看聚類情況，假設(shè)設(shè)定要聚類的類別數(shù)為2個(gè)聚類情況如下圖Sklearn庫簡介聚類方法k-Means假設(shè)設(shè)定聚類的類別數(shù)為3個(gè)，情況如下圖假設(shè)聚類的類別數(shù)為4個(gè)，情況如下圖Sklearn庫簡介

Sklearn庫簡介線性回歸現(xiàn)在以一元線性回歸問題為實(shí)例進(jìn)行講解，通過分析匹薩直徑與售賣價(jià)格的關(guān)系，來預(yù)測任意直徑匹薩的售賣價(jià)格訓(xùn)練樣本直徑（英寸）價(jià)格（元）1645285831064.541490518116Sklearn庫簡介線性回歸繪制匹薩直徑與售賣價(jià)格的散點(diǎn)圖Sklearn庫簡介線性回歸匹薩直徑與售賣價(jià)格散點(diǎn)圖如下圖所示，x軸表示匹薩直徑，y軸表示匹薩售賣價(jià)格，匹薩的售賣價(jià)格與直徑的關(guān)系呈正相關(guān)Sklearn庫簡介線性回歸附sklearn庫中線性模型linear_model下LinearRegression函數(shù)的參數(shù)介紹fit_intercept（布爾型）是否計(jì)算該模型截距normalize（布爾型）X在回歸前是否進(jìn)行歸一化copy_X（布爾型）X是否被復(fù)制n_jobs（整型）設(shè)定CPU運(yùn)行情況附線性回歸擬合函數(shù)model.fit(X,y,sw)其中X是訓(xùn)練變量，y是目標(biāo)量，sw是分配給各個(gè)樣本的權(quán)重?cái)?shù)組，X，y以及fit函數(shù)返回的值均為二維數(shù)組Sklearn庫簡介線性回歸計(jì)算訓(xùn)練誤差（殘差）Sklearn庫簡介

pytorch簡介張量張量的基本運(yùn)算自動(dòng)梯度autograd包卷積神經(jīng)網(wǎng)絡(luò)實(shí)例-使用pytorch進(jìn)行人臉標(biāo)注pytorch簡介總覽是一個(gè)基于Torch的以Python優(yōu)先的開源深度學(xué)習(xí)框架，可用于處理自然語言，能實(shí)現(xiàn)GPU加速的張量計(jì)算（如Numpy），并且支持動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)PyTorch的設(shè)計(jì)遵循高維數(shù)組（張量）、自動(dòng)求導(dǎo)（變量）和神經(jīng)網(wǎng)絡(luò)三個(gè)由低到高的抽象層次，三者之間緊密聯(lián)系，可以同時(shí)進(jìn)行修改和操作PyTorch的主要元素是：張量、Autograd模塊、Optim模塊和nn模塊張量概念指若干坐標(biāo)滿足一定轉(zhuǎn)化關(guān)系的有序數(shù)組成的集合，是矢量和矩陣的推廣，標(biāo)量是零維的張量，向量是一維的張量，矩陣是二維的張量。隨機(jī)初始化構(gòu)造一個(gè)3*2矩陣并獲取它的維度信息

輸出結(jié)果：張量基本運(yùn)算加法運(yùn)算的兩種方式將x+y輸出到z張量基本運(yùn)算加法運(yùn)算的兩種方式將x+y賦值給y改變tensor大小.使用torch.view，使用.item()來獲得value張量自動(dòng)梯度autograd包autograd軟件包是PyTorch中神經(jīng)網(wǎng)絡(luò)的核心，該軟件包為張量上的所有操作提供自動(dòng)微分，torch.Tensor是該軟件包的核心類torch.Tensor的屬性.requires_grad表征是否需要在計(jì)算中保留當(dāng)前張量對(duì)應(yīng)的梯度信息，當(dāng)設(shè)置為True時(shí)會(huì)跟蹤張量的所有操作.backward()函數(shù)自動(dòng)計(jì)算梯度，張量的梯度將累積到.grad屬性中如果Tensor包含一個(gè)元素?cái)?shù)據(jù)，則直接使用backward()不需要指定其他參數(shù)，但若有更多元素，則需指定一個(gè)梯度參數(shù)來描述張量的形狀.detach()函數(shù)停止對(duì)張量歷史記錄的跟蹤，將其與計(jì)算歷史記錄分離，并防止將來的計(jì)算被跟蹤withtorch.no_grad()將代碼塊包裝起來張量卷積神經(jīng)網(wǎng)絡(luò)數(shù)字圖片識(shí)別的簡單的前饋卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程定義一個(gè)包含可訓(xùn)練參數(shù)的神經(jīng)網(wǎng)絡(luò)迭代整個(gè)輸入通過神經(jīng)網(wǎng)絡(luò)處理輸入計(jì)算損失(loss)反向傳播梯度到神經(jīng)網(wǎng)絡(luò)的參數(shù)更新網(wǎng)絡(luò)的參數(shù)，典型的用一個(gè)簡單的更新方法：權(quán)重=權(quán)重-學(xué)習(xí)率*梯度張量卷積神經(jīng)網(wǎng)絡(luò)代碼實(shí)現(xiàn)首先定義卷積神經(jīng)網(wǎng)絡(luò)，包含兩個(gè)卷積層（conv1，conv2），三個(gè)全連接層（aff1,aff2,aff3）,以及對(duì)兩個(gè)卷積層進(jìn)行的池化操作，2x2大小的池化層，使用的是平均池化，步長為2張量卷積神經(jīng)網(wǎng)絡(luò)代碼實(shí)現(xiàn)通過autograd定義forward和backward函數(shù)。模型的學(xué)習(xí)參數(shù)由net.parameters()返回params=list(net.parameters())輸入層為32x32的灰度圖像，是一個(gè)2維的矩陣，沒有紅綠藍(lán)三個(gè)通道。本層不算入LeNet-5的網(wǎng)絡(luò)結(jié)構(gòu)input=torch.randn(1,1,32,32)out=hz_net(input)將所有梯度參數(shù)緩存器置零，使用隨機(jī)梯度進(jìn)行反向傳播hz_net.zero_grad()out.backward(torch.randn(1,10))張量卷積神經(jīng)網(wǎng)絡(luò)代碼實(shí)現(xiàn)附nn軟件包的損失函數(shù)torch.nn.MSELoss使用均方差函數(shù)計(jì)算損失值，定義函數(shù)時(shí)無需傳入?yún)?shù)，調(diào)用函數(shù)時(shí)需要傳入?yún)?shù)torch.nn.L1Loss使用平均絕對(duì)誤差計(jì)算損失值，定義函數(shù)時(shí)無需傳入?yún)?shù)，調(diào)用函數(shù)時(shí)要傳入兩個(gè)維度一樣的參數(shù)torch.nn.CrossEntropyLoss使用計(jì)算交叉嫡，定義函數(shù)時(shí)無需傳遞參數(shù)，調(diào)用函數(shù)時(shí)需要輸入兩個(gè)滿足交叉嫡的計(jì)算條件的參數(shù)張量卷積神經(jīng)網(wǎng)絡(luò)代碼實(shí)現(xiàn)使用nn.MSELoss損失函數(shù)清空當(dāng)前存儲(chǔ)的梯度后，通過反向傳播loss.backward()來實(shí)現(xiàn)可訓(xùn)練參數(shù)的更新。使用loss.backward()查看conv1的偏置項(xiàng)在反向傳播前后的變化張量卷積神經(jīng)網(wǎng)絡(luò)代碼實(shí)現(xiàn)更新神經(jīng)網(wǎng)絡(luò)參數(shù)，最簡單的更新規(guī)則就是隨機(jī)梯度下降(SGD)，建立了一個(gè)小包：torch.optim實(shí)現(xiàn)了SGD方法張量實(shí)例-使用pytorch進(jìn)行人臉標(biāo)注下載數(shù)據(jù)集從/tutorial/faces.zip下載公開的人臉數(shù)據(jù)集存放到指定位置，此數(shù)據(jù)集是一個(gè)面部姿態(tài)的數(shù)據(jù)集讀取數(shù)據(jù)集將人臉特征點(diǎn)csv文件中的標(biāo)注點(diǎn)數(shù)據(jù)讀入label_frame數(shù)組，該數(shù)組是一個(gè)行為特征點(diǎn)數(shù)量N，列為2的數(shù)組張量實(shí)例-使用pytorch進(jìn)行人臉標(biāo)注構(gòu)建show_labels函數(shù)來展示一張圖片和它對(duì)應(yīng)的標(biāo)注點(diǎn)。運(yùn)行結(jié)果：張量實(shí)例-使用pytorch進(jìn)行人臉標(biāo)注面部標(biāo)記數(shù)據(jù)集類創(chuàng)建一個(gè)面部標(biāo)記數(shù)據(jù)集類。為了節(jié)省內(nèi)存空間，我們在初始化init函數(shù)中讀取人臉特征點(diǎn)csv的數(shù)據(jù)，在getitem函數(shù)中讀取圖片。按{'image':image,'labels':labels}設(shè)置數(shù)據(jù)集，并添加參數(shù)transform進(jìn)行預(yù)處理樣本張量實(shí)例-使用pytorch進(jìn)行人臉標(biāo)注數(shù)據(jù)可視化實(shí)例化面部標(biāo)記數(shù)據(jù)集類并遍歷讀取數(shù)據(jù)樣本，輸出圖例3、圖例4和圖例5的圖片尺寸并展示對(duì)應(yīng)人臉特征點(diǎn)csv標(biāo)注的面部特征點(diǎn)代碼運(yùn)行結(jié)果和控制臺(tái)輸出結(jié)果如右圖張量實(shí)例-使用pytorch進(jìn)行人臉標(biāo)注數(shù)據(jù)變換數(shù)據(jù)集中的照片尺度不是一致的，而大部分卷積神經(jīng)網(wǎng)絡(luò)會(huì)假定所處理的圖片集尺寸一致，這要求我們提前進(jìn)行預(yù)處理操作。以下是三個(gè)預(yù)處理操作Scale函數(shù)對(duì)圖片進(jìn)行縮放Rcut函數(shù)對(duì)圖片進(jìn)行隨機(jī)裁剪Tchange函數(shù)將numpy格式圖片轉(zhuǎn)換為torch格式張量實(shí)例-使用pytorch進(jìn)行人臉標(biāo)注數(shù)據(jù)變換使用torchvision.transforms.Compose類來實(shí)現(xiàn)Scale和Rcut的組合變換，將圖像的短邊調(diào)整為256，然后隨機(jī)裁剪為224大小的正方形運(yùn)行結(jié)果如右圖爬蟲網(wǎng)絡(luò)爬蟲的概念爬蟲的基本使用實(shí)例1-爬取指定搜索內(nèi)容實(shí)例2-爬取網(wǎng)頁圖片網(wǎng)絡(luò)爬蟲的概念網(wǎng)絡(luò)爬蟲是一種按照自己設(shè)置的規(guī)則自動(dòng)地爬取互聯(lián)網(wǎng)數(shù)據(jù)信息的腳本，也被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人或網(wǎng)頁追逐者，它模擬人類訪問互聯(lián)網(wǎng)的形式，按人類的要求和規(guī)則自動(dòng)地從網(wǎng)頁下載目標(biāo)數(shù)據(jù)爬蟲的基本使用爬蟲模仿人類請(qǐng)求網(wǎng)頁的過程利用python實(shí)現(xiàn)請(qǐng)求一個(gè)網(wǎng)頁打開瀏覽器輸入要訪問的目標(biāo)網(wǎng)頁通過瀏覽器加載網(wǎng)頁發(fā)出訪問請(qǐng)求等待對(duì)方服務(wù)器返回?cái)?shù)據(jù)利用python實(shí)現(xiàn)解析請(qǐng)求到的網(wǎng)頁從網(wǎng)頁中找到自己需要的數(shù)據(jù)（文本、圖片、文件等）保存自己需要的數(shù)據(jù)利用python請(qǐng)求一個(gè)網(wǎng)頁爬蟲的基本使用請(qǐng)求一個(gè)網(wǎng)頁的初步代碼實(shí)現(xiàn)安裝第三方類庫requestspip3installrequests使用requests類庫請(qǐng)求華為主頁，使用get命令請(qǐng)求網(wǎng)址，并將返回的結(jié)果輸入到變量responese。print(responese.content)網(wǎng)站請(qǐng)求成功，會(huì)返回狀態(tài)碼200，否則返回其他的狀態(tài)碼。下面給出無法成功返回的案例，對(duì)/發(fā)起請(qǐng)求，則返回錯(cuò)誤狀態(tài)碼[WinError10060]，提示連接嘗試失敗，由于連接方在一段時(shí)間后沒有正確答復(fù)或連接的主機(jī)沒有反應(yīng)。response.content中存儲(chǔ)網(wǎng)頁源碼，不加載圖片、不執(zhí)行Javascript代碼實(shí)例1-爬取指定搜索內(nèi)容首先設(shè)置用戶代理User-Agent（UA），有些網(wǎng)站設(shè)置了UA權(quán)限，如果不以瀏覽器格式進(jìn)行訪問，就會(huì)訪問不成功，UA的功能是幫助服務(wù)器識(shí)別客戶所使用的操作系統(tǒng)及版本、CPU類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言等。本實(shí)例中使用谷歌瀏覽器進(jìn)行爬蟲腳本UA部分代碼的撰寫，再瀏覽器中輸入about://version則可看到用戶代理部分的代碼模塊，將其賦值給headers變量。參數(shù)由四個(gè)參數(shù)組成：q,c,from和編碼方式，我們將key賦值給q，c賦值為news，from賦值為