機器學習：K-近鄰算法（KNN）：KNN算法的Python實現(xiàn)

機器學習：K-近鄰算法（KNN）：KNN算法的Python實現(xiàn)1機器學習：K-近鄰算法（KNN）：KNN算法的Python實現(xiàn)1.1簡介和原理1.1.1KNN算法的基本概念K-近鄰算法(K-NearestNeighbors,KNN)是一種基于實例的學習方法，用于分類和回歸。在分類問題中，KNN通過計算待分類樣本與訓練集中所有樣本的距離，找出距離最近的K個樣本，然后根據(jù)這K個樣本的類別來預(yù)測待分類樣本的類別。對于回歸問題，KNN則通過計算距離最近的K個樣本的平均值或加權(quán)平均值來預(yù)測待預(yù)測樣本的值。1.1.2KNN算法的工作原理計算距離：KNN算法首先計算待分類樣本與訓練集中每個樣本之間的距離。常用的距離計算方法有歐氏距離、曼哈頓距離和閔可夫斯基距離等。選擇最近的K個樣本：從計算出的距離中，選擇距離最小的K個樣本。類別決策：對于分類問題，統(tǒng)計這K個樣本中各個類別的出現(xiàn)頻率，將出現(xiàn)頻率最高的類別作為待分類樣本的預(yù)測類別。對于回歸問題，計算這K個樣本的平均值或加權(quán)平均值作為預(yù)測值。1.1.3KNN算法的優(yōu)缺點優(yōu)點：-算法簡單，易于理解和實現(xiàn)。-無需訓練模型，適用于動態(tài)數(shù)據(jù)集。-對異常值不敏感。缺點：-計算量大，尤其是當數(shù)據(jù)集很大時。-對于高維數(shù)據(jù)，距離計算可能變得不準確。-需要選擇合適的K值，K值的選擇對結(jié)果有較大影響。1.2Python實現(xiàn)1.2.1示例：使用KNN進行分類假設(shè)我們有一個簡單的數(shù)據(jù)集，包含兩個特征和兩個類別：#導入必要的庫

importnumpyasnp

fromcollectionsimportCounter

fromsklearn.datasetsimportmake_classification

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportaccuracy_score

#生成數(shù)據(jù)集

X,y=make_classification(n_samples=100,n_features=2,n_redundant=0,n_informative=2,

n_clusters_per_class=1,random_state=4)

#劃分訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=4)

#定義KNN分類器

classKNNClassifier:

def__init__(self,k=3):

self.k=k

deffit(self,X,y):

self.X_train=X

self.y_train=y

defpredict(self,X):

y_pred=[self._predict(x)forxinX]

returnnp.array(y_pred)

def_predict(self,x):

#計算距離

distances=[np.sqrt(np.sum((x_train-x)**2))forx_traininself.X_train]

#獲取最近的K個樣本的索引

k_indices=np.argsort(distances)[:self.k]

#獲取最近的K個樣本的類別

k_nearest_labels=[self.y_train[i]foriink_indices]

#統(tǒng)計類別頻率

most_common=Counter(k_nearest_labels).most_common(1)

#返回預(yù)測類別

returnmost_common[0][0]

#實例化KNN分類器

knn=KNNClassifier(k=3)

#訓練模型

knn.fit(X_train,y_train)

#預(yù)測測試集

y_pred=knn.predict(X_test)

#計算準確率

accuracy=accuracy_score(y_test,y_pred)

print(f'Accuracy:{accuracy}')1.2.2示例解釋數(shù)據(jù)生成：使用make_classification函數(shù)生成一個包含100個樣本，2個特征，2個類別的數(shù)據(jù)集。數(shù)據(jù)劃分：使用train_test_split函數(shù)將數(shù)據(jù)集劃分為訓練集和測試集。KNN分類器定義：定義一個KNN分類器類，包含初始化、擬合和預(yù)測方法。在預(yù)測方法中，計算每個測試樣本與訓練樣本之間的距離，選擇距離最近的K個樣本，然后根據(jù)這些樣本的類別來預(yù)測測試樣本的類別。模型訓練和預(yù)測：實例化KNN分類器，使用訓練數(shù)據(jù)進行擬合，然后對測試數(shù)據(jù)進行預(yù)測。性能評估：使用accuracy_score函數(shù)計算預(yù)測準確率。通過這個例子，我們可以看到KNN算法在Python中的實現(xiàn)過程，以及如何使用它進行分類預(yù)測。2數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理是機器學習項目中至關(guān)重要的一步，它直接影響模型的性能和預(yù)測的準確性。在本教程中，我們將深入探討數(shù)據(jù)預(yù)處理的三個關(guān)鍵方面：數(shù)據(jù)清洗、數(shù)據(jù)標準化和數(shù)據(jù)集劃分，并通過Python代碼示例來說明每個步驟。2.1數(shù)據(jù)清洗數(shù)據(jù)清洗涉及識別和糾正數(shù)據(jù)集中的錯誤和不一致性。這可能包括處理缺失值、刪除重復記錄、修正數(shù)據(jù)格式等。2.1.1示例：處理缺失值假設(shè)我們有一個包含用戶年齡和收入的數(shù)據(jù)集，其中一些記錄的年齡字段缺失。importpandasaspd

importnumpyasnp

#創(chuàng)建一個包含缺失值的示例數(shù)據(jù)集

data={'Age':[32,np.nan,24,28,np.nan,35,29],

'Income':[50000,60000,45000,55000,65000,70000,48000]}

df=pd.DataFrame(data)

#使用平均年齡填充缺失值

mean_age=df['Age'].mean()

df['Age'].fillna(mean_age,inplace=True)

#打印處理后的數(shù)據(jù)集

print(df)2.1.2示例：刪除重復記錄數(shù)據(jù)集中可能包含重復的記錄，這會影響模型的訓練。下面的代碼示例展示了如何識別并刪除重復記錄。#創(chuàng)建一個包含重復記錄的示例數(shù)據(jù)集

data={'Name':['Alice','Bob','Charlie','Alice','Bob'],

'Age':[25,30,35,25,30],

'Income':[50000,60000,70000,50000,60000]}

df=pd.DataFrame(data)

#刪除重復記錄

df.drop_duplicates(inplace=True)

#打印處理后的數(shù)據(jù)集

print(df)2.2數(shù)據(jù)標準化數(shù)據(jù)標準化（或歸一化）是將數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一尺度的過程，這對于許多機器學習算法（如KNN）是必要的，因為它們依賴于距離度量。2.2.1示例：使用Z-score標準化Z-score標準化是一種常見的數(shù)據(jù)標準化方法，它將數(shù)據(jù)轉(zhuǎn)換為均值為0，標準差為1的分布。fromsklearn.preprocessingimportStandardScaler

#創(chuàng)建示例數(shù)據(jù)集

data={'Height':[160,165,170,175,180],

'Weight':[50,55,60,65,70]}

df=pd.DataFrame(data)

#創(chuàng)建StandardScaler對象

scaler=StandardScaler()

#對數(shù)據(jù)集進行標準化

df_scaled=scaler.fit_transform(df)

#將標準化后的數(shù)據(jù)轉(zhuǎn)換為DataFrame

df_scaled=pd.DataFrame(df_scaled,columns=df.columns)

#打印標準化后的數(shù)據(jù)集

print(df_scaled)2.3數(shù)據(jù)集劃分將數(shù)據(jù)集劃分為訓練集和測試集是評估模型性能的標準做法。這有助于我們了解模型在未見過的數(shù)據(jù)上的表現(xiàn)。2.3.1示例：使用Scikit-learn劃分數(shù)據(jù)集Scikit-learn庫提供了方便的函數(shù)來劃分數(shù)據(jù)集。fromsklearn.model_selectionimporttrain_test_split

#創(chuàng)建示例數(shù)據(jù)集和目標變量

data={'Height':[160,165,170,175,180],

'Weight':[50,55,60,65,70]}

target=[0,1,0,1,0]

df=pd.DataFrame(data)

#劃分數(shù)據(jù)集

X_train,X_test,y_train,y_test=train_test_split(df,target,test_size=0.2,random_state=42)

#打印訓練集和測試集的大小

print("Trainingsetsize:",X_train.shape)

print("Testingsetsize:",X_test.shape)通過以上步驟，我們確保了數(shù)據(jù)的清潔、一致性和模型評估的準確性，為后續(xù)的機器學習模型訓練奠定了堅實的基礎(chǔ)。3機器學習：K-近鄰算法（KNN）：KNN算法的Python實現(xiàn)3.1導入必要的庫在開始實現(xiàn)KNN算法之前，我們需要導入一些Python庫，這些庫將幫助我們處理數(shù)據(jù)和構(gòu)建模型。#導入必要的庫

importnumpyasnp

fromsklearnimportdatasets

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.preprocessingimportStandardScaler

fromsklearn.neighborsimportKNeighborsClassifier

fromsklearn.metricsimportaccuracy_score,classification_report,confusion_matrix3.2創(chuàng)建數(shù)據(jù)集我們將使用sklearn庫中的iris數(shù)據(jù)集作為示例。這個數(shù)據(jù)集包含了150個樣本，每個樣本有4個特征，分別代表鳶尾花的萼片長度、萼片寬度、花瓣長度和花瓣寬度，以及它們的分類標簽。#加載數(shù)據(jù)集

iris=datasets.load_iris()

X=iris.data

y=iris.target

#劃分數(shù)據(jù)集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42)3.3計算距離的函數(shù)KNN算法的核心是計算距離。這里我們實現(xiàn)一個簡單的函數(shù)來計算兩個樣本之間的歐氏距離。defeuclidean_distance(x1,x2):

"""

計算兩個樣本之間的歐氏距離。

:paramx1:第一個樣本

:paramx2:第二個樣本

:return:歐氏距離

"""

returnnp.sqrt(np.sum((x1-x2)**2))3.4找到最近的鄰居接下來，我們需要一個函數(shù)來找到測試樣本的最近鄰居。這通常涉及到計算測試樣本與所有訓練樣本之間的距離，然后選擇距離最近的K個樣本。deffind_nearest_neighbors(X_train,y_train,X_test,k=3):

"""

找到測試樣本的最近鄰居。

:paramX_train:訓練樣本特征

:paramy_train:訓練樣本標簽

:paramX_test:測試樣本特征

:paramk:鄰居數(shù)量

:return:最近鄰居的標簽

"""

distances=[]

foriinrange(len(X_train)):

#計算距離

d=euclidean_distance(X_test,X_train[i])

#存儲距離和對應(yīng)的標簽

distances.append((d,y_train[i]))

#對距離進行排序

distances.sort(key=lambdax:x[0])

#獲取最近的k個鄰居的標簽

neighbors=np.array([distances[i][1]foriinrange(k)])

returnneighbors3.5預(yù)測分類有了最近鄰居的標簽，我們可以預(yù)測測試樣本的分類。這通常通過投票機制完成，即選擇出現(xiàn)次數(shù)最多的鄰居標簽作為預(yù)測結(jié)果。defpredict_classification(X_train,y_train,X_test,k=3):

"""

預(yù)測測試樣本的分類。

:paramX_train:訓練樣本特征

:paramy_train:訓練樣本標簽

:paramX_test:測試樣本特征

:paramk:鄰居數(shù)量

:return:預(yù)測的分類標簽

"""

#找到最近的鄰居

neighbors=find_nearest_neighbors(X_train,y_train,X_test,k)

#統(tǒng)計每個類別的出現(xiàn)次數(shù)

class_count={}

forneighborinneighbors:

ifneighborinclass_count:

class_count[neighbor]+=1

else:

class_count[neighbor]=1

#選擇出現(xiàn)次數(shù)最多的類別

sorted_class_count=sorted(class_count.items(),key=lambdax:x[1],reverse=True)

returnsorted_class_count[0][0]3.6使用Scikit-Learn庫實現(xiàn)KNN雖然我們已經(jīng)手動實現(xiàn)了KNN算法，但使用scikit-learn庫可以更方便、更高效地完成同樣的任務(wù)。下面是如何使用KNeighborsClassifier類來實現(xiàn)KNN。#數(shù)據(jù)預(yù)處理

scaler=StandardScaler()

X_train_std=scaler.fit_transform(X_train)

X_test_std=scaler.transform(X_test)

#創(chuàng)建KNN分類器

knn=KNeighborsClassifier(n_neighbors=3)

#訓練模型

knn.fit(X_train_std,y_train)

#預(yù)測

y_pred=knn.predict(X_test_std)3.7模型評估最后，我們需要評估模型的性能。這可以通過比較預(yù)測結(jié)果和實際結(jié)果來完成，通常使用準確率、混淆矩陣和分類報告等指標。#計算準確率

accuracy=accuracy_score(y_test,y_pred)

print(f"Accuracy:{accuracy}")

#輸出混淆矩陣

print("ConfusionMatrix:")

print(confusion_matrix(y_test,y_pred))

#輸出分類報告

print("ClassificationReport:")

print(classification_report(y_test,y_pred))通過上述步驟，我們不僅手動實現(xiàn)了KNN算法，還使用了scikit-learn庫來簡化過程，并評估了模型的性能。這為理解和應(yīng)用KNN算法提供了全面的視角。4案例分析4.1手寫數(shù)字識別4.1.1理論基礎(chǔ)手寫數(shù)字識別是機器學習中的一個經(jīng)典問題，K-近鄰算法（KNN）可以有效地解決這一問題。KNN算法基于實例的學習方法，對于輸入的待分類樣本，KNN算法會在訓練數(shù)據(jù)集中找到與之最接近的K個樣本，然后根據(jù)這K個樣本的類別來決定待分類樣本的類別。在手寫數(shù)字識別中，每個樣本通常是一個二維圖像，經(jīng)過處理后轉(zhuǎn)換為特征向量，用于計算距離。4.1.2數(shù)據(jù)準備我們將使用MNIST數(shù)據(jù)集，這是一個包含60000個訓練樣本和10000個測試樣本的大型手寫數(shù)字數(shù)據(jù)庫。每個樣本是一個28x28像素的灰度圖像。fromsklearn.datasetsimportfetch_openml

importnumpyasnp

#加載MNIST數(shù)據(jù)集

mnist=fetch_openml('mnist_784',version=1)

X,y=mnist["data"],mnist["target"]

#將數(shù)據(jù)集分為訓練集和測試集

X_train,X_test,y_train,y_test=X[:60000],X[60000:],y[:60000],y[60000:]

#將訓練集和測試集的標簽轉(zhuǎn)換為整數(shù)類型

y_train=y_train.astype(np.uint8)

y_test=y_test.astype(np.uint8)4.1.3KNN算法實現(xiàn)使用scikit-learn庫中的KNeighborsClassifier類來實現(xiàn)KNN算法。fromsklearn.neighborsimportKNeighborsClassifier

#創(chuàng)建KNN分類器實例

knn=KNeighborsClassifier(n_neighbors=3)

#訓練模型

knn.fit(X_train,y_train)

#預(yù)測測試集

y_pred=knn.predict(X_test)4.1.4性能評估使用準確率來評估模型的性能。fromsklearn.metricsimportaccuracy_score

#計算準確率

accuracy=accuracy_score(y_test,y_pred)

print(f"準確率:{accuracy}")4.2鳶尾花分類4.2.1理論基礎(chǔ)鳶尾花分類是另一個經(jīng)典的機器學習問題，KNN算法同樣適用。鳶尾花數(shù)據(jù)集包含150個樣本，每個樣本有4個特征：花萼長度、花萼寬度、花瓣長度和花瓣寬度，以及3個類別：Setosa、Versicolor和Virginica。4.2.2數(shù)據(jù)準備我們將使用scikit-learn庫中的鳶尾花數(shù)據(jù)集。fromsklearn.datasetsimportload_iris

fromsklearn.model_selectionimporttrain_test_split

#加載鳶尾花數(shù)據(jù)集

iris=load_iris()

X,y=iris.data,iris.target

#將數(shù)據(jù)集分為訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)4.2.3KNN算法實現(xiàn)使用scikit-learn庫中的KNeighborsClassifier類來實現(xiàn)KNN算法。fromsklearn.neighborsimportKNeighborsClassifier

#創(chuàng)建KNN分類器實例

knn=KNeighborsClassifier(n_neighbors=3)

#訓練模型

knn.fit(X_train,y_train)

#預(yù)測測試集

y_pred=knn.predict(X_test)4.2.4性能評估使用準確率和混淆矩陣來評估模型的性能。fromsklearn.metricsimportaccuracy_score,confusion_matrix

#計算準確率

accuracy=accuracy_score(y_test,y_pred)

print(f"準確率:{accuracy}")

#計算混淆矩陣

cm=confusion_matrix(y_test,y_pred)

print("混淆矩陣:")

print(cm)4.2.5結(jié)論通過上述兩個案例，我們看到了KNN算法在不同場景下的應(yīng)用。手寫數(shù)字識別和鳶尾花分類都是KNN算法的典型應(yīng)用，通過調(diào)整K值和距離度量方法，可以優(yōu)化模型的性能。在實際應(yīng)用中，選擇合適的K值和距離度量方法是關(guān)鍵，可以通過交叉驗證等方法來確定。5參數(shù)調(diào)優(yōu)與模型優(yōu)化5.1選擇合適的K值在K-近鄰算法中，K值的選擇至關(guān)重要。K值過小，模型容易受到噪聲點的影響，導致過擬合；K值過大，模型可能過于簡化，忽略數(shù)據(jù)集中的模式，導致欠擬合。選擇合適的K值可以通過交叉驗證（Cross-Validation）來實現(xiàn)。5.1.1示例：使用交叉驗證選擇K值假設(shè)我們有一個簡單的數(shù)據(jù)集，包含兩類數(shù)據(jù)點，我們將使用交叉驗證來選擇最佳的K值。importnumpyasnp

fromsklearn.model_selectionimportcross_val_score

fromsklearn.neighborsimportKNeighborsClassifier

fromsklearn.datasetsimportmake_classification

#生成一個分類數(shù)據(jù)集

X,y=make_classification(n_samples=1000,n_features=10,n_informative=5,n_redundant=0,random_state=42)

#創(chuàng)建KNN分類器

knn=KNeighborsClassifier()

#使用交叉驗證來測試不同的K值

k_values=list(range(1,31))

cv_scores=[]

forkink_values:

knn.set_params(n_neighbors=k)

scores=cross_val_score(knn,X,y,cv=5)

cv_scores.append(scores.mean())

#找到最佳的K值

optimal_k=k_values[cv_scores.index(max(cv_scores))]

print(f"Theoptimalnumberofneighborsis{optimal_k}")5.1.2解釋在上述代碼中，我們首先生成了一個分類數(shù)據(jù)集。然后，我們創(chuàng)建了一個KNN分類器，并使用cross_val_score函數(shù)來評估不同K值下的模型性能。通過比較不同K值的平均交叉驗證得分，我們可以找到最佳的K值。5.2優(yōu)化距離度量KNN算法使用距離度量來確定最近的鄰居。默認情況下，scikit-learn使用歐氏距離，但根據(jù)數(shù)據(jù)的特性，其他距離度量如曼哈頓距離、閔可夫斯基距離等可能更合適。5.2.1示例：使用不同的距離度量我們將使用scikit-learn的KNeighborsClassifier來比較不同距離度量的效果。fromsklearn.metricsimportaccuracy_score

#使用歐氏距離

knn_euclidean=KNeighborsClassifier(n_neighbors=5,metric='euclidean')

knn_euclidean.fit(X_train,y_train)

y_pred_euclidean=knn_euclidean.predict(X_test)

print(f"AccuracywithEuclideandistance:{accuracy_score(y_test,y_pred_euclidean)}")

#使用曼哈頓距離

knn_manhattan=KNeighborsClassifier(n_neighbors=5,metric='manhattan')

knn_manhattan.fit(X_train,y_train)

y_pred_manhattan=knn_manhattan.predict(X_test)

print(f"AccuracywithManhattandistance:{accuracy_score(y_test,y_pred_manhattan)}")5.2.2解釋在這個例子中，我們使用了兩種不同的距離度量：歐氏距離和曼哈頓距離。通過比較模型在測試集上的準確率，我們可以評估哪種距離度量更適合我們的數(shù)據(jù)集。5.3處理不平衡數(shù)據(jù)集在現(xiàn)實世界的數(shù)據(jù)集中，類別分布往往不平衡，這可能會影響KNN算法的性能。一種處理不平衡數(shù)據(jù)集的方法是調(diào)整weights參數(shù)，使模型在預(yù)測時考慮不同類別的樣本數(shù)量。5.3.1示例：使用加權(quán)距離我們將使用scikit-learn的KNeighborsClassifier，并設(shè)置weights參數(shù)為'distance'，以處理不平衡數(shù)據(jù)集。#假設(shè)y_train是一個不平衡的標簽分布

knn_weighted=KNeighborsClassifier(n_neighbors=5,weights='distance')

knn_weighted.fit(X_train,y_train)

y_pred_weighted=knn_weighted.predict(X_test)

print(f"Accuracywithweighteddistance:{accuracy_score(y_test,y_pred_weighted)}")5.3.2解釋在這個例子中，我們通過設(shè)置weights='distance'，使KNN模型在預(yù)測時考慮了距離的權(quán)重，從而在一定程度上緩解了類別不平衡帶來的問題。這通常會提高模型在少數(shù)類上的預(yù)測性能。通過上述方法，我們可以有效地調(diào)優(yōu)KNN模型，選擇合適的K值，優(yōu)化距離度量，并處理不平衡數(shù)據(jù)集，從而提高模型的預(yù)測準確性和泛化能力。6KNN算法的總結(jié)與應(yīng)用擴展6.1KNN算法的總結(jié)K-近鄰算法(K-NearestNeighbors,KNN)是一種基于實例的學習方法，用于分類和回歸。其核心思想是：對于一個給定的樣本，根據(jù)其在特征空間中的K個最近鄰樣本的類別來預(yù)測該樣本的類別。KNN算法的步驟如下：計算距離：選擇一個距離度量方法，計算待分類樣本與訓練集中的每個樣本之間的距離。選擇鄰居：根據(jù)計算出的距離，選擇距離最近的K個訓練樣本作為待分類樣本的鄰居。投票決策：對于分類任務(wù)，K個鄰居中出現(xiàn)最多的類別將被賦予待分類樣本；對于回歸任務(wù)，K個鄰居的平均值或加權(quán)平均值將作為預(yù)測值。6.1.1代碼示例：使用scikit-learn實現(xiàn)KNN分類fromsklearn.datasetsimportload_iris

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.neighborsimportKNeighborsClassifier

fromsklearn.metricsimportaccuracy_score

#加載數(shù)據(jù)集

iris=load_iris()

X=iris.data

y=iris.target

#劃分訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#創(chuàng)建KNN分類器實例

knn