Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐- 課件 chap3-線性模型

線性模型《Python機(jī)器學(xué)習(xí)與項(xiàng)目實(shí)踐》XXX大學(xué)教學(xué)內(nèi)容線性回歸模型、邏輯回歸模型、樸素貝葉斯模型、決策樹模型、支持向量機(jī)模型、KNN模型隨機(jī)森林模型。矩陣微積分標(biāo)量關(guān)于向量的偏導(dǎo)數(shù)向量關(guān)于向量的偏導(dǎo)數(shù)向量函數(shù)及其導(dǎo)數(shù)關(guān)于概率的一些基本概念概率（Probability）一個(gè)隨機(jī)事件發(fā)生的可能性大小，為0到1之間的實(shí)數(shù)。隨機(jī)變量（RandomVariable）比如隨機(jī)擲一個(gè)骰子，得到的點(diǎn)數(shù)就可以看成一個(gè)隨機(jī)變量X，其取值為{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一個(gè)隨機(jī)變量X取每種可能值的概率并滿足概率的一些基本概念伯努利分布（BernoulliDistribution）在一次試驗(yàn)中，事件A出現(xiàn)的概率為μ，不出現(xiàn)的概率為1?μ。若用變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為0和1，其相應(yīng)的分布為二項(xiàng)分布（BinomialDistribution）在n次伯努利分布中，若以變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為{0,…,n}，其相應(yīng)的分布二項(xiàng)式系數(shù)，表示從n個(gè)元素中取出k個(gè)元素而不考慮其順序的組合的總數(shù)。概率的一些基本概念

概率的一些基本概念條件概率（ConditionalProbability）對(duì)于離散隨機(jī)向量(X,Y)，已知X=x的條件下，隨機(jī)變量Y=y的條件概率為：貝葉斯公式兩個(gè)條件概率p(y|x)和p(x|y)之間的關(guān)系線性回歸模型模型：增廣權(quán)重向量和增廣特征向量線性回歸（LinearRegression）第1步，我們需要導(dǎo)入所需的包。增廣權(quán)重向量和增廣特征向量1．from

sklearn

import

datasets

#導(dǎo)入sklearn

中的數(shù)據(jù)集

2．from

sklearn.model_selection

import

train_test_split

#導(dǎo)入數(shù)據(jù)集劃分模塊

3．from

sklearn.linear_model

import

LinearRegression

#導(dǎo)入線性回歸模型

4．from

sklearn.metrics

import

mean_squared_error

#導(dǎo)入均方差評(píng)價(jià)指標(biāo)

線性回歸（LinearRegression）第2步，首先加載數(shù)據(jù)集增廣權(quán)重向量和增廣特征向量1．#加載波士頓房?jī)r(jià)數(shù)據(jù)集

2．boston_data=datasets.load_boston()

3．#獲取波士頓房?jī)r(jià)數(shù)據(jù)集的特征集

4．bonston_x=boston_data.data

5．#獲取波士頓房?jī)r(jià)數(shù)據(jù)集的目標(biāo)值

6．bonston_y=boston_data.target

7．#查看數(shù)據(jù)集鍵值對(duì)

8．print(boston_data.keys())

9．#查看數(shù)據(jù)集描述

10．print(boston_data.DESCR)

11．#查看數(shù)據(jù)集特征值形狀，可以看出有506個(gè)樣本，每個(gè)樣本有13個(gè)特征

12．print(bonston_x.shape)

13．#查看數(shù)據(jù)集目標(biāo)值形狀，有506個(gè)目標(biāo)值?？梢园l(fā)現(xiàn)沒有缺失值

14．print(bonston_y.shape)

線性回歸（LinearRegression）通過結(jié)果可以知道共有506個(gè)樣本，特征向量維度為13，也就是說房?jī)r(jià)有13個(gè)影響因素。增廣權(quán)重向量和增廣特征向量

線性回歸（LinearRegression）第3步，劃分訓(xùn)練集和測(cè)試集，其中測(cè)試集占數(shù)據(jù)集的20%。1．#對(duì)數(shù)據(jù)集進(jìn)行劃分，其中測(cè)試集占數(shù)據(jù)集的20%

2．features_train,features_test,target_train,target_test

=train_test_split(bonston_x,bonston_y,test_size=0.2)

線性回歸（LinearRegression）第4步，實(shí)例化模型并進(jìn)行訓(xùn)練。1．#實(shí)例化模型

2．model

=LinearRegression()

3．#進(jìn)行模型訓(xùn)練

4．model.fit(features_train,target_train)

線性回歸（LinearRegression）第5步，對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并輸出預(yù)測(cè)目標(biāo)值和真實(shí)目標(biāo)值，從而直觀地感受預(yù)測(cè)目標(biāo)值與真實(shí)值目標(biāo)的差距。1．#進(jìn)行預(yù)測(cè)

2．target_test_predict=model.predict(features_test)

3．#查看預(yù)測(cè)目標(biāo)值4．print(target_test_predict)

5．#查看真實(shí)目標(biāo)值

6．print(target_test)

線性回歸（LinearRegression）第6步，對(duì)模型進(jìn)行評(píng)價(jià)，采用的是均方差評(píng)價(jià)函數(shù)：1．#

對(duì)模型效果進(jìn)行評(píng)價(jià)

2．error=mean_squared_error(target_test,target_test_predict)

3．print('測(cè)試數(shù)據(jù)的誤差：',error)

線性回歸（LinearRegression）邏輯回歸模型

邏輯回歸（LogisticRegression）

邏輯回歸（LogisticRegression）導(dǎo)入需要使用的包。1．#導(dǎo)入需要使用的包

2．#導(dǎo)入劃分訓(xùn)練集、測(cè)試集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

4．#導(dǎo)入鳶尾花數(shù)據(jù)集

5．from

sklearn.datasets

import

load_iris

6．#導(dǎo)入sklearn中的邏輯回歸模型

7．from

sklearn.linear_model

import

LogisticRegression

邏輯回歸模型的代碼實(shí)現(xiàn)然后加載鳶尾花數(shù)據(jù)集，查看數(shù)據(jù)集鍵值對(duì)，查看數(shù)據(jù)集描述，查看特征集形狀。1．#加載鳶尾花數(shù)據(jù)集

2．iris_data=load_iris()

3．#查看鳶尾花數(shù)據(jù)集的鍵值對(duì)

4．print(iris_data.keys())

5．#查看鳶尾花數(shù)據(jù)集的描述

6．print(iris_data.DESCR)

7．#查看鳶尾花特征集的形狀

8．print(iris_data.data.shape)

邏輯回歸模型的代碼實(shí)現(xiàn)接下來劃分?jǐn)?shù)據(jù)集。1．#將數(shù)據(jù)集劃分為測(cè)試集和訓(xùn)練集，使用默認(rèn)劃分比例，測(cè)試集占數(shù)據(jù)集的25%，查看劃分后訓(xùn)練集的形狀

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

3．print(features_train.shape)

邏輯回歸模型的代碼實(shí)現(xiàn)實(shí)例化模型，訓(xùn)練模型，對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并輸出預(yù)測(cè)結(jié)果和真實(shí)結(jié)果，簡(jiǎn)單直觀地觀察模型性能。1．#實(shí)例化模型，默認(rèn)迭代次數(shù)為1000，這里我們?cè)O(shè)置為2500，迭代次數(shù)就是尋找損失函數(shù)最小值所迭代的次數(shù)

2．logstic_model=LogisticRegression(max_iter=2500)

3．#訓(xùn)練模型

4．logstic_model.fit(features_train,target_train)

5．#對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，打印預(yù)測(cè)結(jié)果，打印真實(shí)結(jié)果，直觀感受模型性能

6．target_pre=logstic_model.predict(features_test)

7．print(target_pre)

8．print(target_test)

邏輯回歸模型的代碼實(shí)現(xiàn)最后對(duì)模型進(jìn)行評(píng)價(jià)，并輸出其結(jié)果。1．#對(duì)模型進(jìn)行評(píng)價(jià)，使用自帶的性能評(píng)價(jià)器評(píng)價(jià)其準(zhǔn)確率

2．score=logstic_model.score(features_test,target_test)

3．print(score)

邏輯回歸模型的代碼實(shí)現(xiàn)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化樸素貝葉斯是一種有監(jiān)督學(xué)習(xí)的分類算法。

樸素貝葉斯（NaiveBayesianAlgorithm）面

貌舉

止聲

音穿

著是否有好感好看優(yōu)雅好聽得體有好看粗魯不好聽得體沒有不好看優(yōu)雅好聽得體有不好看優(yōu)雅不好聽不得體沒有好看優(yōu)雅好聽不得體有不好看粗魯不好聽不得體沒有好看粗魯好聽得體有不好看粗魯好聽不得體沒有

首先導(dǎo)入需要使用的包1．#導(dǎo)入需要使用的包

2．#導(dǎo)入劃分訓(xùn)練集、測(cè)試集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

4．#導(dǎo)入鳶尾花數(shù)據(jù)集

5．from

sklearn.datasets

import

load_iris

6．#導(dǎo)入sklearn中的樸素貝葉斯模型，使用的是高斯分類器

7．from

sklearn.naive_bayes

import

GaussianNB

樸素貝葉斯模型的代碼實(shí)現(xiàn)然后加載鳶尾花數(shù)據(jù)集。1．#加載鳶尾花數(shù)據(jù)集

2．iris_data=load_iris()

樸素貝葉斯模型的代碼實(shí)現(xiàn)劃分?jǐn)?shù)據(jù)集為測(cè)試集和訓(xùn)練集。1．#將數(shù)據(jù)集劃分為測(cè)試集和訓(xùn)練集，使用默認(rèn)劃分比例，測(cè)試集占數(shù)據(jù)集的25%

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

樸素貝葉斯模型的代碼實(shí)現(xiàn)接下來實(shí)例化一個(gè)樸素貝葉斯模型并進(jìn)行訓(xùn)練。1．#實(shí)例化一個(gè)樸素貝葉斯模型

2．naive_bayes_model=GaussianNB()

3．#訓(xùn)練模型

4．naive_bayes_model.fit(features_train,target_train)

樸素貝葉斯模型的代碼實(shí)現(xiàn)對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并查看預(yù)測(cè)結(jié)果和真實(shí)結(jié)果。1．#對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，打印預(yù)測(cè)結(jié)果，打印真實(shí)結(jié)果，直觀感受模型效果

2．target_pre=naive_bayes_model.predict(features_test)3．#打印預(yù)測(cè)結(jié)果

4．print(target_pre)5．#打印真實(shí)結(jié)果6．print(target_test)

樸素貝葉斯模型的代碼實(shí)現(xiàn)最后評(píng)價(jià)模型，打印模型分?jǐn)?shù)（準(zhǔn)確率）。1．#對(duì)模型進(jìn)行評(píng)估

2．score=naive_bayes_model.score(features_test,target_test)

3．#打印模型分?jǐn)?shù)

4．print(score)

樸素貝葉斯模型的代碼實(shí)現(xiàn)決策樹模型決策樹算法是指一類算法，它以樹形結(jié)構(gòu)呈現(xiàn)邏輯模型。決策樹模型導(dǎo)入需要的庫(kù)1．#導(dǎo)入需要使用的包

2．from

sklearn.datasets

import

load_wine

#導(dǎo)入紅酒數(shù)據(jù)集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

#導(dǎo)入數(shù)據(jù)集劃分工具

4．from

sklearn.tree

import

DecisionTreeClassifier

#導(dǎo)入決策樹模型

5．import

numpy

as

np

#導(dǎo)入NumPy

決策樹模型的代碼實(shí)現(xiàn)加載紅酒數(shù)據(jù)集，并查看數(shù)據(jù)集形狀、描述和鍵值對(duì)1．#加載紅酒數(shù)據(jù)集

2．RedWine_data=load_wine()

3．#查看數(shù)據(jù)集形狀

4．print(RedWine_data.data.shape)

5．#查看數(shù)據(jù)集鍵值對(duì)

6．print(RedWine_data.keys())

7．#查看數(shù)據(jù)集描述

8．print(RedWine_data.DESCR)

決策樹模型的代碼實(shí)現(xiàn)將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集1．#將數(shù)據(jù)集劃分為測(cè)試集和訓(xùn)練集

2．features_train,features_test,target_train,target_test=train_test_split(RedWine_data.data,RedWine_data.target

決策樹模型的代碼實(shí)現(xiàn)實(shí)例化決策樹模型，并進(jìn)行訓(xùn)練。1．#實(shí)例化一個(gè)ID3決策樹模型

2．DecisionTree_Model=DecisionTreeClassifier(criterion='entropy')

3．#進(jìn)行模型訓(xùn)練

4．DecisionTree_Model.fit(features_train,target_train)

決策樹模型的代碼實(shí)現(xiàn)評(píng)價(jià)指標(biāo)為準(zhǔn)確率，輸出評(píng)價(jià)分?jǐn)?shù)。1．#對(duì)模型進(jìn)行評(píng)價(jià)

2．print(DecisionTree_Model.score(features_test,target_test))

決策樹模型的代碼實(shí)現(xiàn)支持向量機(jī)模型支持向量機(jī)是有監(jiān)督學(xué)習(xí)算法中最有影響力的機(jī)器學(xué)習(xí)算法之一。支持向量機(jī)的概念導(dǎo)入需要使用的包。1．from

sklearn

import

svm

#導(dǎo)入支持向量機(jī)模型

2．from

sklearn.datasets

import

load_iris

#導(dǎo)入鳶尾花數(shù)據(jù)集

3．from

sklearn.model_selection

import

train_test_split

#導(dǎo)入數(shù)據(jù)集劃分需要使用的包

4．from

sklearn.metrics

import

confusion_matrix

#導(dǎo)入混淆矩陣評(píng)價(jià)指標(biāo)

5．from

sklearn.metrics

import

accuracy_score

#導(dǎo)入準(zhǔn)確率評(píng)

支持向量機(jī)模型的代碼實(shí)現(xiàn)加載鳶尾花數(shù)據(jù)集，并查看其形狀。1．#加載鳶尾花數(shù)據(jù)集，其結(jié)果是個(gè)字典

2．iris=load_iris()

3．#查看數(shù)據(jù)集的形狀，有多少個(gè)樣本，每個(gè)樣本有多少個(gè)特征

4．print(iris.data.shape)

輸出結(jié)果如下，總共有150個(gè)樣本，每個(gè)樣本有4個(gè)特征。(150,4)

支持向量機(jī)模型的代碼實(shí)現(xiàn)劃分?jǐn)?shù)據(jù)集。1．#劃分訓(xùn)練集和測(cè)試集，將隨機(jī)數(shù)種子設(shè)置為1，便于復(fù)現(xiàn)模型，訓(xùn)練集占數(shù)據(jù)集的70%，剩下的為測(cè)試集

2．train_data,test_data=train_test_split(iris.data,random_state=1,train_size=0.7,test_size=0.3)

3．train_label,test_label=train_test_split(iris.target,random_state=1,train_size=0.7,test_size=0.3)

支持向量機(jī)模型的代碼實(shí)現(xiàn)實(shí)例化模型并進(jìn)行訓(xùn)練。1．#實(shí)例化模型，C是正則化程度，C的數(shù)值越大，懲罰力度越小，默認(rèn)為1，使用rbf核函數(shù)

2．model=svm.SVC(C=2.0,kernel='rbf',gamma=10,decision_function_shape='ovr')3．#訓(xùn)練模型，ravel將維度變?yōu)橐痪S

4．model.fit(train_data,train_label.ravel())

支持向量機(jī)模型的代碼實(shí)現(xiàn)進(jìn)行預(yù)測(cè)，并評(píng)價(jià)，采用混淆矩陣和準(zhǔn)確率進(jìn)行評(píng)價(jià)。1．#模型預(yù)測(cè)

2．pre_test=model.predict(test_data)

3．#準(zhǔn)確率評(píng)價(jià)

4．score=accuracy_score(test_label,pre_test)

5．print(score)

6．#混淆矩陣評(píng)價(jià)

7．cm=confusion_matrix(test_label,pre_test)

8．print(cm)

支持向量機(jī)模型的代碼實(shí)現(xiàn)KNN模型機(jī)器學(xué)習(xí)分類算法——K最近鄰算法，簡(jiǎn)稱KNN（K-Nearest-Neighbor）算法。它是有監(jiān)督學(xué)習(xí)分類算法的一種。在學(xué)習(xí)KNN算法的過程中，只需要把握兩個(gè)原則就好了。第1個(gè)原則是“少數(shù)服從多數(shù)”；第2個(gè)原則是“資格”，就是是否有資格進(jìn)行投票。

KNN（K-Nearest-Neighbor）機(jī)器學(xué)習(xí)分類算法——K最近鄰算法，簡(jiǎn)稱KNN（K-Nearest-Neighbor）算法。它是有監(jiān)督學(xué)習(xí)分類算法的一種。在學(xué)習(xí)KNN算法的過程中，只需要把握兩個(gè)原則就好了。第1個(gè)原則是“少數(shù)服從多數(shù)”；第2個(gè)原則是“資格”，就是是否有資格進(jìn)行投票。

KNN（K-Nearest-Neighbor）KNN算法主要包括4個(gè)步驟，（1）準(zhǔn)備數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。（2）計(jì)算測(cè)試樣本點(diǎn)（也就是待分類點(diǎn)）到其他每個(gè)樣本點(diǎn)的距離（選定度量距離的方法）。（3）對(duì)每個(gè)距離進(jìn)行排序，選出距離最小的K個(gè)點(diǎn)。（4）對(duì)K個(gè)點(diǎn)所屬的類進(jìn)行比較，按照“少數(shù)服從多數(shù)”的原則（多數(shù)表決思想），將測(cè)試樣本點(diǎn)歸入K個(gè)點(diǎn)中占比最高的一類中。

KNN（K-Nearest-Neighbor）導(dǎo)入需要使用的包，這里以紅酒數(shù)據(jù)集為例。1．#導(dǎo)入需要使用的包

2．#導(dǎo)入NumPy

3．import

numpy

as

np

4．#導(dǎo)入紅酒數(shù)據(jù)集需要使用的包

5．from

sklearn.datasets

import

load_wine

6．#導(dǎo)入劃分?jǐn)?shù)據(jù)集需要使用的包

7．from

sklearn.model_selection

import

train_test_split

8．#導(dǎo)入KNN算法需要使用的包

9．from

sklearn.neighbors

import

KNeighborsClassifier

KNN的代碼實(shí)現(xiàn)加載數(shù)據(jù)集并查看數(shù)據(jù)集形狀、數(shù)據(jù)集鍵值對(duì)、數(shù)據(jù)集描述。1．#加載數(shù)據(jù)集

2．RedWine_data=load_wine()

3．#查看數(shù)據(jù)集形狀

4．print(RedWine_data.data.shape)

5．#查看數(shù)據(jù)集鍵值對(duì)

6．print(RedWine_data.keys())

7．#查看數(shù)據(jù)集描述

8．print(RedWine_data.DESCR)

KNN的代碼實(shí)現(xiàn)劃分?jǐn)?shù)據(jù)集為測(cè)試集和訓(xùn)練集，使用默認(rèn)的劃分比例，也就是數(shù)據(jù)集的25%為測(cè)試集。1．#將數(shù)據(jù)集劃分為測(cè)試集和訓(xùn)練集

2．features_train,features_test,target_train,target_test=train_test_split(RedWine_data.data,RedWine_data.target)

KNN的代碼實(shí)現(xiàn)實(shí)例化KNN模型，并進(jìn)行訓(xùn)練。這里使用的K值為5，讀者可以試試其他不同的K值對(duì)模型的影響。1．#實(shí)例化一個(gè)KNN模型，n_neighbors為超參數(shù)，就是K值

2．KNN_Classifier_Model=KNeighborsClassifier(n_neighbors=5)

3．#進(jìn)行訓(xùn)練

4．KNN_Classifier_Model.fit(features_train,target_train)

KNN的代碼實(shí)現(xiàn)對(duì)測(cè)試集進(jìn)行預(yù)測(cè)，并打印預(yù)測(cè)結(jié)果和真實(shí)結(jié)果。1．#對(duì)測(cè)試集進(jìn)行預(yù)測(cè)

2．target_pre=KNN_Classifier_Model.predict(features_test)

3．#打印預(yù)測(cè)結(jié)果

4．print(target_pre)

5．#打印真實(shí)結(jié)果

6．print(target_test)

KNN的代碼實(shí)現(xiàn)最后對(duì)模型進(jìn)行評(píng)價(jià)。1．#對(duì)模型進(jìn)行評(píng)價(jià)

2．KNN_Classifier_Model_score=KNN_Classifier_Model.score(features_test,target_test)

3．print(KNN_Classifier_Model_score)

輸出結(jié)果如下。0.7777777777777778

KNN的代碼實(shí)現(xiàn)隨機(jī)森林模型隨機(jī)森林，顧名思義，即使用隨機(jī)的方式建立一個(gè)森林，這個(gè)森林由很多的決策樹組成，并且每一棵決策樹之間是相互獨(dú)立的。如果訓(xùn)練集有M個(gè)樣本，則對(duì)于每棵決策樹而言，以隨機(jī)且有放回的方式從訓(xùn)練集中抽取N個(gè)訓(xùn)練樣本（N<M），作為該決策樹的訓(xùn)練集。除采用樣本隨機(jī)外，隨機(jī)森林還采用了特征隨機(jī)。假設(shè)每個(gè)樣本有K個(gè)特征，從所有特征中隨機(jī)選取k個(gè)特征（k≤K），選擇最佳分割特征作為節(jié)點(diǎn)建立CART決策樹，重復(fù)該步驟，建立m棵CART決策樹。這些樹就組成了森林，這便是隨機(jī)森林名字的由來。

隨機(jī)森林算法（RandomForestAlgorithm)導(dǎo)入需要使用的庫(kù)。1．#導(dǎo)入需要使用的庫(kù)

2．#導(dǎo)入隨機(jī)森林算法

3．from

sklearn.ensemble

import

RandomForestClassifier

4．#導(dǎo)入鳶尾花數(shù)據(jù)集需要使用的包

5．from

sklearn.datasets

import

load_iri