人工智能和機器學習之回歸算法：決策樹回歸：數(shù)據(jù)預(yù)處理與特征選擇

人工智能和機器學習之回歸算法：決策樹回歸：數(shù)據(jù)預(yù)處理與特征選擇1人工智能和機器學習之回歸算法：決策樹回歸1.1決策樹回歸簡介1.1.11決策樹回歸的基本概念決策樹回歸是一種監(jiān)督學習算法，用于解決回歸問題。它通過構(gòu)建一棵樹形結(jié)構(gòu)，其中每個內(nèi)部節(jié)點表示一個特征上的判斷，每個分支代表一個判斷結(jié)果，而每個葉節(jié)點則代表一個輸出值。決策樹回歸可以處理非線性關(guān)系，且易于理解和解釋，是數(shù)據(jù)科學中常用的方法之一。原理決策樹回歸的構(gòu)建過程主要涉及特征選擇、樹的生成和剪枝。特征選擇是基于信息增益、信息增益比或基尼指數(shù)等準則來確定最佳分割特征。樹的生成則是遞歸地分割數(shù)據(jù)，直到滿足停止條件，如節(jié)點中的樣本數(shù)小于某個閾值或達到最大深度。剪枝是為了防止過擬合，通過移除一些子節(jié)點來簡化樹的結(jié)構(gòu)。示例代碼下面是一個使用Python的scikit-learn庫構(gòu)建決策樹回歸模型的示例：#導入必要的庫

fromsklearn.datasetsimportload_boston

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.treeimportDecisionTreeRegressor

fromsklearn.metricsimportmean_squared_error

#加載數(shù)據(jù)集

boston=load_boston()

X=boston.data

y=boston.target

#劃分訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#創(chuàng)建決策樹回歸模型

regressor=DecisionTreeRegressor(random_state=42)

#訓練模型

regressor.fit(X_train,y_train)

#預(yù)測

y_pred=regressor.predict(X_test)

#評估模型

mse=mean_squared_error(y_test,y_pred)

print(f"MeanSquaredError:{mse}")1.1.22決策樹回歸的應(yīng)用場景決策樹回歸適用于以下場景：-數(shù)據(jù)包含非線性關(guān)系。-數(shù)據(jù)特征間存在復(fù)雜的交互作用。-需要模型具有可解釋性，以便理解特征如何影響輸出。-數(shù)據(jù)集包含缺失值或異常值，決策樹可以較好地處理這些問題。實際應(yīng)用例如，在房地產(chǎn)價格預(yù)測中，決策樹回歸可以基于房屋的特征（如面積、臥室數(shù)量、地理位置等）來預(yù)測房屋的價格。在醫(yī)療領(lǐng)域，決策樹回歸可以用于預(yù)測病人的康復(fù)時間，基于病人的年齡、疾病類型、治療方式等特征。1.2數(shù)據(jù)預(yù)處理1.2.11數(shù)據(jù)清洗數(shù)據(jù)預(yù)處理的第一步是數(shù)據(jù)清洗，包括處理缺失值、異常值和重復(fù)數(shù)據(jù)。對于缺失值，可以使用填充（如平均值、中位數(shù)或眾數(shù)）或刪除的方法。異常值可以通過統(tǒng)計方法（如Z-score或IQR）來識別并處理。重復(fù)數(shù)據(jù)則需要根據(jù)業(yè)務(wù)需求決定是否刪除。示例代碼處理缺失值的示例：#導入必要的庫

importpandasaspd

fromsklearn.imputeimportSimpleImputer

#創(chuàng)建數(shù)據(jù)框

data=pd.DataFrame({

'Area':[100,120,80,150,90,110,130],

'Bedrooms':[2,3,1,4,3,2,None],

'Price':[300000,350000,250000,400000,320000,330000,380000]

})

#使用中位數(shù)填充缺失值

imputer=SimpleImputer(strategy='median')

data['Bedrooms']=imputer.fit_transform(data[['Bedrooms']])

print(data)1.2.22特征編碼對于分類特征，需要進行編碼，常見的方法有獨熱編碼（One-HotEncoding）和標簽編碼（LabelEncoding）。示例代碼使用獨熱編碼的示例：#導入必要的庫

importpandasaspd

#創(chuàng)建數(shù)據(jù)框

data=pd.DataFrame({

'Area':[100,120,80,150,90],

'Location':['City','Suburb','City','Rural','Suburb']

})

#使用獨熱編碼

data=pd.get_dummies(data,columns=['Location'])

print(data)1.3特征選擇1.3.11特征重要性在決策樹回歸中，可以使用特征重要性來選擇特征。特征重要性是基于特征在樹中分割節(jié)點時的貢獻度來計算的。示例代碼獲取特征重要性的示例：#繼續(xù)使用之前的代碼

feature_importances=regressor.feature_importances_

print("FeatureImportances:",feature_importances)

#將特征重要性與特征名稱關(guān)聯(lián)

feature_names=boston.feature_names

forname,importanceinzip(feature_names,feature_importances):

print(f"{name}:{importance}")1.3.22遞歸特征消除遞歸特征消除（RecursiveFeatureElimination,RFE）是一種特征選擇方法，它通過遞歸地移除特征并構(gòu)建模型來確定特征的重要性。示例代碼使用RFE進行特征選擇的示例：#導入必要的庫

fromsklearn.feature_selectionimportRFE

#使用RFE選擇特征

rfe=RFE(regressor,n_features_to_select=5)

X_rfe=rfe.fit_transform(X_train,y_train)

#訓練模型

regressor.fit(X_rfe,y_train)

#預(yù)測

y_pred=regressor.predict(X_test[:,rfe.support_])

#評估模型

mse=mean_squared_error(y_test,y_pred)

print(f"MeanSquaredErrorwithRFE:{mse}")通過上述步驟，我們可以構(gòu)建一個決策樹回歸模型，對數(shù)據(jù)進行預(yù)處理，選擇重要的特征，從而提高模型的預(yù)測性能和解釋能力。2數(shù)據(jù)預(yù)處理2.11數(shù)據(jù)清洗：處理缺失值和異常值數(shù)據(jù)清洗是數(shù)據(jù)預(yù)處理中的關(guān)鍵步驟，它確保數(shù)據(jù)的質(zhì)量，為后續(xù)的特征選擇和模型訓練提供干凈的數(shù)據(jù)集。在處理缺失值和異常值時，我們通常采用以下幾種方法：2.1.1處理缺失值缺失值的處理方法包括刪除、填充和預(yù)測。刪除是最直接的方法，但可能會導致數(shù)據(jù)量的減少。填充可以使用平均值、中位數(shù)或眾數(shù)等統(tǒng)計量，也可以使用特定的數(shù)值或通過模型預(yù)測缺失值。示例代碼：使用Pandas填充缺失值importpandasaspd

importnumpyasnp

#創(chuàng)建一個包含缺失值的數(shù)據(jù)框

data={'年齡':[25,30,np.nan,35,40],

'收入':[50000,60000,70000,np.nan,90000]}

df=pd.DataFrame(data)

#使用平均值填充缺失值

df['收入'].fillna(df['收入'].mean(),inplace=True)

#使用前一個有效值填充缺失值

df['年齡'].fillna(method='ffill',inplace=True)

print(df)2.1.2處理異常值異常值是指數(shù)據(jù)集中明顯偏離其他值的觀測值。處理異常值的方法包括刪除、修正和轉(zhuǎn)換。刪除異常值是最常見的方法，但需要謹慎，以避免信息的丟失。修正異常值可以通過替換為中位數(shù)或使用統(tǒng)計方法來實現(xiàn)。轉(zhuǎn)換則可能涉及對數(shù)據(jù)進行對數(shù)或平方根等數(shù)學操作。示例代碼：使用Z-score檢測并處理異常值fromscipyimportstats

importnumpyasnp

importpandasaspd

#創(chuàng)建一個包含異常值的數(shù)據(jù)框

data={'年齡':[25,30,35,40,100],

'收入':[50000,60000,70000,80000,90000]}

df=pd.DataFrame(data)

#計算Z-score

z_scores=stats.zscore(df['年齡'])

#定義閾值，通常為3或-3

threshold=3

#刪除Z-score超過閾值的行

df=df[(np.abs(z_scores)<threshold)]

print(df)2.22數(shù)據(jù)轉(zhuǎn)換：數(shù)值化與歸一化數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)調(diào)整到適合模型訓練的形式。這包括將非數(shù)值數(shù)據(jù)轉(zhuǎn)換為數(shù)值數(shù)據(jù)，以及對數(shù)值數(shù)據(jù)進行歸一化或標準化，以消除量綱影響，提高模型的性能。2.2.1數(shù)值化對于分類數(shù)據(jù)，我們通常使用獨熱編碼（One-HotEncoding）或標簽編碼（LabelEncoding）將其轉(zhuǎn)換為數(shù)值形式。示例代碼：使用Pandas進行獨熱編碼importpandasaspd

#創(chuàng)建一個包含分類數(shù)據(jù)的數(shù)據(jù)框

data={'顏色':['紅','綠','藍','紅']}

df=pd.DataFrame(data)

#使用pd.get_dummies進行獨熱編碼

df=pd.get_dummies(df,columns=['顏色'])

print(df)2.2.2歸一化歸一化是將數(shù)據(jù)縮放到0到1的范圍內(nèi)，這有助于提高模型的收斂速度和性能。示例代碼：使用Scikit-Learn進行歸一化fromsklearn.preprocessingimportMinMaxScaler

importpandasaspd

importnumpyasnp

#創(chuàng)建一個包含數(shù)值數(shù)據(jù)的數(shù)據(jù)框

data={'年齡':[25,30,35,40,45],

'收入':[50000,60000,70000,80000,90000]}

df=pd.DataFrame(data)

#初始化歸一化器

scaler=MinMaxScaler()

#對數(shù)據(jù)進行歸一化

df[['年齡','收入']]=scaler.fit_transform(df[['年齡','收入']])

print(df)2.33數(shù)據(jù)劃分：訓練集與測試集的分離數(shù)據(jù)劃分是將數(shù)據(jù)集分為訓練集和測試集，訓練集用于模型的訓練，測試集用于模型的評估。這有助于我們評估模型的泛化能力，避免過擬合。2.3.1示例代碼：使用Scikit-Learn進行數(shù)據(jù)劃分fromsklearn.model_selectionimporttrain_test_split

importpandasaspd

#創(chuàng)建一個數(shù)據(jù)框

data={'年齡':[25,30,35,40,45],

'收入':[50000,60000,70000,80000,90000],

'房價':[150000,180000,210000,240000,270000]}

df=pd.DataFrame(data)

#定義特征和目標變量

X=df[['年齡','收入']]

y=df['房價']

#劃分數(shù)據(jù)集，測試集比例為0.2

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#輸出訓練集和測試集

print("訓練集特征：\n",X_train)

print("訓練集目標：\n",y_train)

print("測試集特征：\n",X_test)

print("測試集目標：\n",y_test)以上步驟是決策樹回歸模型數(shù)據(jù)預(yù)處理的基礎(chǔ)，通過這些操作，我們可以確保模型在訓練和預(yù)測時的準確性和穩(wěn)定性。3特征選擇的重要性3.11特征選擇對模型性能的影響特征選擇是機器學習中一個關(guān)鍵的預(yù)處理步驟，它涉及到從原始數(shù)據(jù)集中挑選出最相關(guān)的特征，以用于構(gòu)建模型。在決策樹回歸中，特征選擇尤為重要，因為它直接影響到樹的結(jié)構(gòu)和模型的預(yù)測能力。過多的特征不僅會增加模型的復(fù)雜度，導致過擬合，還可能引入噪聲，影響模型的泛化能力。相反，選擇正確的特征可以提高模型的準確性和效率，減少訓練時間，使模型更加簡潔和易于理解。3.1.1示例：使用信息增益進行特征選擇信息增益是決策樹中常用的特征選擇方法之一，它衡量了特征對目標變量的預(yù)測能力。下面是一個使用Python和scikit-learn庫計算信息增益的例子：importpandasaspd

fromsklearn.feature_selectionimportmutual_info_regression

fromsklearn.preprocessingimportLabelEncoder

#創(chuàng)建示例數(shù)據(jù)

data={'Feature1':[1,2,3,4,5],

'Feature2':['A','B','C','A','B'],

'Target':[10,20,30,40,50]}

df=pd.DataFrame(data)

#將分類特征轉(zhuǎn)換為數(shù)值

le=LabelEncoder()

df['Feature2']=le.fit_transform(df['Feature2'])

#計算信息增益

mi=mutual_info_regression(df.drop('Target',axis=1),df['Target'])

#輸出結(jié)果

print("信息增益：")

fori,colinenumerate(df.columns[:-1]):

print(f"{col}:{mi[i]}")在這個例子中，我們首先創(chuàng)建了一個包含兩個特征和一個目標變量的示例數(shù)據(jù)集。然后，我們使用LabelEncoder將分類特征Feature2轉(zhuǎn)換為數(shù)值，以便可以計算信息增益。最后，我們使用mutual_info_regression函數(shù)計算每個特征的信息增益，并輸出結(jié)果。通過比較不同特征的信息增益，我們可以決定哪些特征對預(yù)測目標變量更有價值。3.22特征選擇的方法論特征選擇的方法可以大致分為三類：過濾式、包裹式和嵌入式。過濾式方法：在模型訓練之前，根據(jù)特征與目標變量之間的統(tǒng)計關(guān)系來選擇特征。例如，使用相關(guān)系數(shù)、卡方檢驗或信息增益等。包裹式方法：將特征選擇視為一個搜索問題，通過評估不同特征組合在模型上的表現(xiàn)來選擇最佳特征集。例如，遞歸特征消除（RFE）和遺傳算法。嵌入式方法：在模型訓練過程中進行特征選擇，如正則化方法（Lasso、Ridge）和決策樹算法本身。3.2.1示例：使用遞歸特征消除（RFE）進行特征選擇遞歸特征消除是一種包裹式特征選擇方法，它通過遞歸地移除特征并訓練模型來確定最佳特征集。下面是一個使用Python和scikit-learn庫進行RFE的例子：importpandasaspd

fromsklearn.datasetsimportload_boston

fromsklearn.feature_selectionimportRFE

fromsklearn.linear_modelimportLinearRegression

#加載波士頓房價數(shù)據(jù)集

boston=load_boston()

X=pd.DataFrame(boston.data,columns=boston.feature_names)

y=boston.target

#創(chuàng)建線性回歸模型

model=LinearRegression()

#使用RFE進行特征選擇

rfe=RFE(model,n_features_to_select=5)

fit=rfe.fit(X,y)

#輸出結(jié)果

print("被選擇的特征：")

print(X.columns[fit.support_])在這個例子中，我們使用了波士頓房價數(shù)據(jù)集，并創(chuàng)建了一個線性回歸模型。然后，我們使用RFE類進行特征選擇，指定選擇5個特征。fit方法訓練模型并執(zhí)行特征選擇。最后，我們輸出了被選擇的特征的名稱。通過這種方法，我們可以確定哪些特征對模型的預(yù)測能力貢獻最大。特征選擇是一個迭代和探索的過程，需要根據(jù)具體問題和數(shù)據(jù)集進行調(diào)整。正確地應(yīng)用特征選擇方法可以顯著提高決策樹回歸模型的性能和解釋性。4特征選擇技術(shù)4.11過濾式方法：相關(guān)性分析相關(guān)性分析是一種過濾式特征選擇方法，它通過計算特征與目標變量之間的相關(guān)性來評估特征的重要性。常見的相關(guān)性分析方法包括皮爾遜相關(guān)系數(shù)、斯皮爾曼等級相關(guān)系數(shù)和肯德爾等級相關(guān)系數(shù)。4.1.1皮爾遜相關(guān)系數(shù)示例假設(shè)我們有一組數(shù)據(jù)，包含房屋面積、臥室數(shù)量、距離市中心距離和房屋價格。我們可以通過計算皮爾遜相關(guān)系數(shù)來確定哪些特征與房屋價格最相關(guān)。importpandasaspd

importnumpyasnp

fromscipy.statsimportpearsonr

#創(chuàng)建示例數(shù)據(jù)

data={

'house_area':[100,150,200,250,300],

'bedrooms':[2,3,3,4,5],

'distance_to_center':[5,10,15,20,25],

'price':[200000,300000,400000,500000,600000]

}

df=pd.DataFrame(data)

#計算皮爾遜相關(guān)系數(shù)

correlation_matrix=df.corr()

print(correlation_matrix['price'].abs().sort_values(ascending=False))

#選擇相關(guān)性最高的特征

selected_features=correlation_matrix['price'].abs().sort_values(ascending=False).index[1:3]

print(selected_features)4.1.2解釋上述代碼首先創(chuàng)建了一個包含房屋面積、臥室數(shù)量、距離市中心距離和房屋價格的示例數(shù)據(jù)集。然后，使用pandas的corr方法計算了所有特征與目標變量（房屋價格）之間的皮爾遜相關(guān)系數(shù)。最后，根據(jù)相關(guān)系數(shù)的絕對值排序，選擇相關(guān)性最高的特征。4.22包裹式方法：基于模型的特征選擇包裹式方法通過訓練模型來評估特征組合的效果，從而選擇最佳特征集。決策樹回歸模型可以用于特征選擇，因為它能夠提供特征重要性。4.2.1決策樹回歸特征選擇示例fromsklearn.datasetsimportload_boston

fromsklearn.treeimportDecisionTreeRegressor

fromsklearn.model_selectionimporttrain_test_split

#加載波士頓房價數(shù)據(jù)集

boston=load_boston()

X=boston.data

y=boston.target

#劃分訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42)

#訓練決策樹回歸模型

model=DecisionTreeRegressor(random_state=42)

model.fit(X_train,y_train)

#獲取特征重要性

feature_importances=model.feature_importances_

print(feature_importances)

#選擇重要性最高的特征

selected_features=np.argsort(feature_importances)[-5:]

print(selected_features)4.2.2解釋在這個示例中，我們使用了sklearn庫中的波士頓房價數(shù)據(jù)集。首先，數(shù)據(jù)集被劃分為訓練集和測試集。然后，我們訓練了一個決策樹回歸模型，并使用feature_importances_屬性來獲取特征的重要性。最后，我們選擇了特征重要性最高的前五個特征。4.33嵌入式方法：決策樹中的特征選擇嵌入式方法在模型訓練過程中進行特征選擇，決策樹回歸模型在構(gòu)建樹的過程中會自動選擇最佳特征。4.3.1決策樹回歸嵌入式特征選擇示例fromsklearn.datasetsimportload_boston

fromsklearn.treeimportDecisionTreeRegressor

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.pipelineimportPipeline

fromsklearn.feature_selectionimportSelectFromModel

#加載波士頓房價數(shù)據(jù)集

boston=load_boston()

X=boston.data

y=boston.target

#創(chuàng)建特征選擇和模型訓練的管道

pipeline=Pipeline([

('feature_selection',SelectFromModel(DecisionTreeRegressor(random_state=42))),

('regression',DecisionTreeRegressor(random_state=42))

])

#劃分訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.3,random_state=42)

#訓練管道

pipeline.fit(X_train,y_train)

#獲取選擇的特征

selected_features=d_steps['feature_selection'].get_support(indices=True)

print(selected_features)4.3.2解釋此示例展示了如何使用sklearn的Pipeline和SelectFromModel來實現(xiàn)決策樹回歸的嵌入式特征選擇。我們首先加載波士頓房價數(shù)據(jù)集，然后創(chuàng)建一個管道，其中包含特征選擇步驟和決策樹回歸模型。在訓練管道后，我們可以通過get_support方法來獲取被選擇的特征。通過以上三種方法，我們可以有效地進行特征選擇，從而提高模型的性能和解釋性。5決策樹回歸模型構(gòu)建5.11模型訓練：使用預(yù)處理后的數(shù)據(jù)決策樹回歸是一種監(jiān)督學習算法，用于預(yù)測連續(xù)值的輸出。在構(gòu)建模型之前，數(shù)據(jù)預(yù)處理是關(guān)鍵步驟，包括處理缺失值、編碼分類變量、標準化數(shù)值特征等。一旦數(shù)據(jù)準備就緒，我們可以使用Python的scikit-learn庫來訓練決策樹回歸模型。5.1.1示例代碼假設(shè)我們已經(jīng)預(yù)處理了數(shù)據(jù)，并將其存儲在X_train和y_train中，下面是如何使用scikit-learn訓練決策樹回歸模型的示例：#導入必要的庫

fromsklearn.treeimportDecisionTreeRegressor

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error,r2_score

importnumpyasnp

#創(chuàng)建決策樹回歸模型實例

regressor=DecisionTreeRegressor(random_state=42)

#使用訓練數(shù)據(jù)擬合模型

regressor.fit(X_train,y_train)

#預(yù)測訓練集的結(jié)果

y_pred=regressor.predict(X_train)

#計算模型的性能指標

mse=mean_squared_error(y_train,y_pred)

r2=r2_score(y_train,y_pred)

#打印結(jié)果

print("訓練集的均方誤差:",mse)

print("訓練集的R^2分數(shù):",r2)5.1.2代碼解釋導入庫：我們導入了DecisionTreeRegressor用于構(gòu)建決策樹模型，train_test_split用于數(shù)據(jù)分割，mean_squared_error和r2_score用于評估模型性能，以及numpy用于數(shù)據(jù)處理。創(chuàng)建模型：DecisionTreeRegressor的實例化，其中random_state參數(shù)用于確保結(jié)果的可重復(fù)性。模型訓練：使用fit方法訓練模型，輸入是特征矩陣X_train和目標向量y_train。預(yù)測：使用訓練好的模型對訓練集進行預(yù)測，結(jié)果存儲在y_pred中。評估模型：計算預(yù)測結(jié)果與實際結(jié)果之間的均方誤差（MSE）和R^2分數(shù)，這兩個指標可以幫助我們了解模型的預(yù)測準確性和解釋能力。5.22模型評估：選擇合適的評估指標評估決策樹回歸模型的性能通常涉及使用多種指標，包括均方誤差（MSE）、均方根誤差（RMSE）、平均絕對誤差（MAE）和R^2分數(shù)。這些指標提供了模型預(yù)測能力的不同視角。5.2.1示例代碼使用測試集評估模型性能：#使用測試集評估模型

y_test_pred=regressor.predict(X_test)

#計算測試集的性能指標

mse_test=mean_squared_error(y_test,y_test_pred)

rmse_test=np.sqrt(mse_test)

mae_test=np.mean(np.abs(y_test-y_test_pred))

r2_test=r2_score(y_test,y_test_pred)

#打印結(jié)果

print("測試集的均方誤差:",mse_test)

print("測試集的均方根誤差:",rmse_test)

print("測試集的平均絕對誤差:",mae_test)

print("測試集的R^2分數(shù):",r2_test)5.2.2代碼解釋預(yù)測測試集：使用訓練好的模型對測試集X_test進行預(yù)測，結(jié)果存儲在y_test_pred中。計算指標：均方誤差（MSE）：衡量預(yù)測值與實際值之間的平均平方差。均方根誤差（RMSE）：MSE的平方根，提供與目標變量相同單位的誤差度量。平均絕對誤差（MAE）：預(yù)測值與實際值之間的平均絕對差，不考慮誤差的正負。R^2分數(shù)：表示模型解釋目標變量變化的能力，值越接近1，模型的解釋能力越強。5.33模型優(yōu)化：調(diào)整決策樹參數(shù)決策樹回歸模型的性能可以通過調(diào)整其參數(shù)來優(yōu)化，如max_depth（樹的最大深度）、min_samples_split（節(jié)點分裂所需的最小樣本數(shù)）和min_samples_leaf（葉節(jié)點所需的最小樣本數(shù)）。5.3.1示例代碼調(diào)整決策樹的參數(shù)并重新訓練模型：#調(diào)整決策樹參數(shù)

regressor_optimized=DecisionTreeRegressor(max_depth=10,min_samples_split=20,min_samples_leaf=5,random_state=42)

#重新訓練模型

regressor_optimized.fit(X_train,y_train)

#預(yù)測優(yōu)化后的模型在測試集上的結(jié)果

y_test_pred_optimized=regressor_optimized.predict(X_test)

#計算優(yōu)化后模型的性能指標

mse_test_optimized=mean_squared_error(y_test,y_test_pred_optimized)

rmse_test_optimized=np.sqrt(mse_test_optimized)

mae_test_optimized=np.mean(np.abs(y_test-y_test_pred_optimized))

r2_test_optimized=r2_score(y_test,y_test_pred_optimized)

#打印結(jié)果

print("優(yōu)化后模型的測試集均方誤差:",mse_test_optimized)

print("優(yōu)化后模型的測試集均方根誤差:",rmse_test_optimized)

print("優(yōu)化后模型的測試集平均絕對誤差:",mae_test_optimized)

print("優(yōu)化后模型的測試集R^2分數(shù):",r2_test_optimized)5.3.2代碼解釋參數(shù)調(diào)整：通過設(shè)置max_depth=10、min_samples_split=20和min_samples_leaf=5來調(diào)整決策樹的復(fù)雜度，防止過擬合。重新訓練：使用調(diào)整后的參數(shù)重新訓練模型。評估優(yōu)化后的模型：與之前相同，計算優(yōu)化后模型在測試集上的性能指標，以比較優(yōu)化前后的效果。通過上述步驟，我們可以構(gòu)建、評估和優(yōu)化決策樹回歸模型，以提高其在預(yù)測連續(xù)值輸出時的準確性和泛化能力。6案例分析與實踐6.11實戰(zhàn)案例：房價預(yù)測在本案例中，我們將使用決策樹回歸算法來預(yù)測房價。數(shù)據(jù)集包含多個特征，如房屋的大小、臥室數(shù)量、地理位置等，以及對應(yīng)的房價。我們將通過數(shù)據(jù)預(yù)處理、特征選擇和模型構(gòu)建，來訓練一個決策樹回歸模型，并評估其預(yù)測性能。6.1.1數(shù)據(jù)預(yù)覽假設(shè)我們有以下數(shù)據(jù)樣例：Size(sqft)BedroomsLocationPrice(USD)15003A30000020004B40000012002A25000025005C50000018003B3500006.1.2數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理是機器學習項目中至關(guān)重要的一步，它包括數(shù)據(jù)清洗、缺失值處理、數(shù)據(jù)轉(zhuǎn)換等。對于本案例，我們將進行以下預(yù)處理：數(shù)據(jù)清洗：去除重復(fù)或無關(guān)的數(shù)據(jù)。缺失值處理：使用平均值或中位數(shù)填充數(shù)值型特征的缺失值，使用眾數(shù)填充類別型特征的缺失值。數(shù)據(jù)轉(zhuǎn)換：將類別型特征（如Location）轉(zhuǎn)換為數(shù)值型，使用獨熱編碼（One-HotEncoding）。示例代碼importpandasaspd

fromsklearn.preprocessingimportOneHotEncoder

fromsklearn.imputeimportSimpleImputer

#加載數(shù)據(jù)

data=pd.read_csv('house_prices.csv')

#數(shù)據(jù)清洗

data=data.drop_duplicates()

#缺失值處理

imputer=SimpleImputer(strategy='mean')

data[['Size','Bedrooms']]=imputer.fit_transform(data[['Size','Bedrooms']])

#數(shù)據(jù)轉(zhuǎn)換

encoder=OneHotEncoder(sparse=False)

location_encoded=encoder.fit_transform(data[['Location']])

data=pd.concat([data,pd.DataFrame(location_encoded,columns=encoder.get_feature_names_out(['Location']))],axis=1)

data=data.drop('Location',axis=1)6.22數(shù)據(jù)分析與預(yù)處理步驟數(shù)據(jù)分析幫助我們理解數(shù)據(jù)的分布、相關(guān)性等，預(yù)處理步驟確保數(shù)據(jù)適合模型訓練。具體步驟如下：探索性數(shù)據(jù)分析：使用統(tǒng)計圖表和描述性統(tǒng)計量來探索數(shù)據(jù)。特征相關(guān)性分析：使用相關(guān)系數(shù)矩陣來檢查特征之間的相關(guān)性。異常值檢測：識別并處理數(shù)據(jù)中的異常值。6.2.1示例代碼importseabornassns

importmatplotlib.pyplotasplt

#探索性數(shù)據(jù)分析

sns.pairplot(data)

plt.show()

#特征相關(guān)性分析

correlation_matrix=da