數(shù)據(jù)挖掘：分類與回歸：回歸算法進階：Lasso回歸

數(shù)據(jù)挖掘：分類與回歸：回歸算法進階：Lasso回歸1理解Lasso回歸1.1Lasso回歸的定義Lasso回歸，全稱為“LeastAbsoluteShrinkageandSelectionOperator”，是一種線性模型的回歸分析方法，它通過在最小二乘法的基礎上加入L1正則化項，來實現(xiàn)特征選擇和參數(shù)估計。Lasso回歸的核心優(yōu)勢在于它能夠將一些不重要的特征的系數(shù)壓縮至零，從而達到特征選擇的目的，簡化模型，提高預測性能。1.1.1原理Lasso回歸的目標函數(shù)可以表示為：min其中，β是模型的參數(shù)向量，yi是第i個樣本的響應變量，xi是第i個樣本的特征向量，n是樣本數(shù)量，p是特征數(shù)量，1.1.2代碼示例假設我們有一組數(shù)據(jù)，包含多個特征和一個響應變量，我們將使用Python的scikit-learn庫來實現(xiàn)Lasso回歸。importnumpyasnp

importpandasaspd

fromsklearn.linear_modelimportLasso

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error

#創(chuàng)建示例數(shù)據(jù)

np.random.seed(0)

X=np.random.rand(100,10)

y=X[:,0]+2*X[:,1]+0.1*np.random.randn(100)

#將數(shù)據(jù)轉換為DataFrame

df=pd.DataFrame(X,columns=[f'feature_{i}'foriinrange(10)])

df['target']=y

#劃分訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(df.drop('target',axis=1),df['target'],test_size=0.2,random_state=42)

#創(chuàng)建Lasso回歸模型

lasso=Lasso(alpha=0.1)

#訓練模型

lasso.fit(X_train,y_train)

#預測

y_pred=lasso.predict(X_test)

#計算MSE

mse=mean_squared_error(y_test,y_pred)

print(f'MeanSquaredError:{mse}')

#輸出系數(shù)

print('Coefficients:',lasso.coef_)在這個例子中，我們首先生成了100個樣本，每個樣本有10個特征，其中只有前兩個特征與響應變量有線性關系。然后，我們使用train_test_split函數(shù)將數(shù)據(jù)集劃分為訓練集和測試集。接著，創(chuàng)建一個Lasso回歸模型，并設置正則化參數(shù)α=1.2Lasso回歸與嶺回歸的對比Lasso回歸與嶺回歸（RidgeRegression）都是線性回歸模型的正則化版本，但它們在正則化項的處理上有所不同。嶺回歸使用L2正則化，即參數(shù)的平方和，而Lasso回歸使用L1正則化，即參數(shù)的絕對值之和。1.2.1原理對比Lasso回歸：通過L1正則化，可以將一些特征的系數(shù)壓縮至零，從而實現(xiàn)特征選擇。這在特征數(shù)量遠大于樣本數(shù)量的情況下尤其有用。嶺回歸：通過L2正則化，可以防止模型過擬合，但不會將特征的系數(shù)壓縮至零，因此不進行特征選擇。1.2.2代碼示例下面，我們將使用相同的示例數(shù)據(jù)，但這次使用嶺回歸模型進行對比。fromsklearn.linear_modelimportRidge

#創(chuàng)建嶺回歸模型

ridge=Ridge(alpha=0.1)

#訓練模型

ridge.fit(X_train,y_train)

#預測

y_pred_ridge=ridge.predict(X_test)

#計算MSE

mse_ridge=mean_squared_error(y_test,y_pred_ridge)

print(f'MeanSquaredError(Ridge):{mse_ridge}')

#輸出系數(shù)

print('Coefficients(Ridge):',ridge.coef_)通過對比Lasso回歸和嶺回歸的系數(shù)，我們可以觀察到，嶺回歸的系數(shù)通常不會被壓縮至零，而Lasso回歸則可能將不相關特征的系數(shù)壓縮至零，從而得到更簡潔的模型。1.2.3結論Lasso回歸和嶺回歸各有優(yōu)勢，選擇哪種方法取決于具體問題。如果特征選擇是關鍵，Lasso回歸可能更合適；如果主要目標是提高預測精度，而特征數(shù)量不是問題，嶺回歸可能更有效。在實際應用中，通常需要通過交叉驗證等方法來選擇最佳的正則化參數(shù)λ，以達到最優(yōu)的模型性能。2數(shù)據(jù)挖掘：分類與回歸：回歸算法進階：Lasso回歸2.1Lasso回歸的數(shù)學原理2.1.1L1正則化的概念Lasso回歸（LeastAbsoluteShrinkageandSelectionOperator）是一種線性模型的回歸分析方法，它通過L1正則化技術來實現(xiàn)特征選擇。L1正則化的核心思想是通過添加一個懲罰項來約束模型的復雜度，這個懲罰項是模型參數(shù)絕對值的和。L1正則化可以將一些不重要的特征的系數(shù)壓縮至0，從而實現(xiàn)特征選擇。2.1.1.1數(shù)學表達假設我們有一個線性回歸模型，其目標函數(shù)為最小化殘差平方和（RSS）：RLasso回歸的目標函數(shù)是在RSS的基礎上加上L1正則化項：LassoObjective其中，λ是正則化參數(shù)，控制著正則化項的強度。2.1.2損失函數(shù)的構成Lasso回歸的損失函數(shù)由兩部分組成：一部分是殘差平方和（RSS），衡量模型預測值與實際值之間的差距；另一部分是L1正則化項，用于懲罰模型的復雜度。2.1.2.1損失函數(shù)的數(shù)學形式LossFunction這里的12n是為了簡化導數(shù)計算，2.1.2.2代碼示例：使用Python實現(xiàn)Lasso回歸importnumpyasnp

fromsklearn.linear_modelimportLasso

fromsklearn.datasetsimportload_boston

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error

#加載數(shù)據(jù)集

boston=load_boston()

X=boston.data

y=boston.target

#劃分訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#創(chuàng)建Lasso回歸模型

lasso=Lasso(alpha=0.1)

#訓練模型

lasso.fit(X_train,y_train)

#預測

y_pred=lasso.predict(X_test)

#計算MSE

mse=mean_squared_error(y_test,y_pred)

print("MeanSquaredError:",mse)

#查看系數(shù)

print("Coefficients:",lasso.coef_)2.1.2.3代碼解釋數(shù)據(jù)加載：使用sklearn.datasets中的load_boston函數(shù)加載波士頓房價數(shù)據(jù)集。數(shù)據(jù)劃分：使用train_test_split函數(shù)將數(shù)據(jù)集劃分為訓練集和測試集。模型創(chuàng)建：創(chuàng)建一個Lasso回歸模型，其中alpha參數(shù)控制正則化強度。模型訓練：使用訓練集數(shù)據(jù)對模型進行訓練。預測：使用測試集數(shù)據(jù)進行預測。評估：計算預測結果與實際結果之間的均方誤差（MSE）。系數(shù)查看：輸出模型的系數(shù)，觀察哪些特征的系數(shù)被壓縮至0，實現(xiàn)特征選擇。通過上述代碼，我們可以直觀地看到Lasso回歸如何通過L1正則化來選擇特征，同時保持模型的預測性能。3Lasso回歸的實現(xiàn)3.1使用Python進行Lasso回歸Lasso回歸，即最小絕對收縮和選擇算子（LeastAbsoluteShrinkageandSelectionOperator），是一種線性模型的回歸分析方法，它通過添加一個L1正則化項來壓縮模型的系數(shù)，從而實現(xiàn)特征選擇和減少模型復雜度。在Python中，我們可以使用scikit-learn庫中的Lasso類來實現(xiàn)Lasso回歸。3.1.1示例代碼下面是一個使用Python和scikit-learn庫進行Lasso回歸的例子。我們將使用一個簡單的數(shù)據(jù)集，其中包含房屋的大小和價格，來預測房屋的價格。importnumpyasnp

importpandasaspd

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.linear_modelimportLasso

fromsklearn.metricsimportmean_squared_error

#創(chuàng)建一個簡單的數(shù)據(jù)集

data={

'Size':[100,150,200,250,300,350,400,450,500,550],

'Price':[100000,150000,200000,250000,300000,350000,400000,450000,500000,550000]

}

df=pd.DataFrame(data)

#將數(shù)據(jù)集分為特征和目標變量

X=df['Size'].values.reshape(-1,1)

y=df['Price'].values

#將數(shù)據(jù)集分為訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#創(chuàng)建Lasso回歸模型

lasso=Lasso(alpha=0.1)

#訓練模型

lasso.fit(X_train,y_train)

#預測測試集

y_pred=lasso.predict(X_test)

#計算均方誤差

mse=mean_squared_error(y_test,y_pred)

print(f'MeanSquaredError:{mse}')

#打印模型系數(shù)

print(f'LassoCoefficients:{lasso.coef_}')3.1.2代碼解釋數(shù)據(jù)集創(chuàng)建：我們創(chuàng)建了一個包含房屋大小和價格的簡單數(shù)據(jù)集。數(shù)據(jù)預處理：將數(shù)據(jù)集分為特征X和目標變量y，然后使用train_test_split函數(shù)將數(shù)據(jù)集分為訓練集和測試集。模型創(chuàng)建：使用Lasso類創(chuàng)建Lasso回歸模型，其中alpha參數(shù)是正則化強度，決定了模型系數(shù)壓縮的程度。模型訓練：使用訓練集數(shù)據(jù)X_train和y_train來訓練模型。模型預測：使用訓練好的模型對測試集X_test進行預測，得到預測值y_pred。性能評估：通過計算預測值和真實值之間的均方誤差（MSE）來評估模型的性能。模型系數(shù)：打印模型的系數(shù)，Lasso回歸的一個重要特性是它可以將一些特征的系數(shù)壓縮到零，從而實現(xiàn)特征選擇。3.2選擇合適的λ值在Lasso回歸中，λ（lambda）值是正則化參數(shù)，它控制著模型系數(shù)的壓縮程度。選擇一個合適的λ值對于模型的性能至關重要。如果λ值太小，模型可能會過擬合；如果λ值太大，模型可能會欠擬合，即模型的預測能力會降低。3.2.1示例代碼我們可以使用GridSearchCV類來尋找最佳的λ值。下面是一個示例代碼：fromsklearn.model_selectionimportGridSearchCV

#定義參數(shù)網格

param_grid={'alpha':np.logspace(-4,0,50)}

#創(chuàng)建Lasso回歸模型

lasso=Lasso()

#創(chuàng)建GridSearchCV對象

grid_search=GridSearchCV(lasso,param_grid,cv=5,scoring='neg_mean_squared_error')

#使用訓練集數(shù)據(jù)進行網格搜索

grid_search.fit(X_train,y_train)

#獲取最佳參數(shù)

best_alpha=grid_search.best_params_['alpha']

print(f'BestAlpha:{best_alpha}')

#使用最佳參數(shù)重新訓練模型

lasso_best=Lasso(alpha=best_alpha)

lasso_best.fit(X_train,y_train)

#預測測試集

y_pred_best=lasso_best.predict(X_test)

#計算均方誤差

mse_best=mean_squared_error(y_test,y_pred_best)

print(f'MeanSquaredErrorwithBestAlpha:{mse_best}')3.2.2代碼解釋參數(shù)網格定義：我們定義了一個參數(shù)網格param_grid，其中包含一系列α（alpha）值，這些值在1e-4到1之間，以對數(shù)形式均勻分布。模型創(chuàng)建：創(chuàng)建一個Lasso回歸模型lasso，不指定α值，以便在網格搜索中自動選擇。網格搜索創(chuàng)建：使用GridSearchCV類創(chuàng)建一個網格搜索對象grid_search，其中cv=5表示使用5折交叉驗證，scoring='neg_mean_squared_error'表示使用負均方誤差作為評估指標。網格搜索執(zhí)行：使用訓練集數(shù)據(jù)X_train和y_train進行網格搜索，找到最佳的α值。最佳參數(shù)獲取：從網格搜索結果中獲取最佳的α值。模型重新訓練：使用最佳的α值重新創(chuàng)建并訓練Lasso回歸模型。模型預測與評估：使用重新訓練的模型對測試集進行預測，并計算均方誤差，以評估模型的性能。通過上述步驟，我們可以有效地使用Python實現(xiàn)Lasso回歸，并通過網格搜索找到最佳的正則化參數(shù)λ，從而優(yōu)化模型的性能。4Lasso回歸的案例分析4.1房價預測案例4.1.1案例背景在房地產市場中，預測房價是一個復雜但重要的任務。它涉及到多個因素，如地理位置、房屋大小、房間數(shù)量、建筑年份等。Lasso回歸，作為一種線性模型，通過引入L1正則化，能夠有效地處理這些特征，甚至自動進行特征選擇，從而簡化模型并提高預測準確性。4.1.2數(shù)據(jù)集描述假設我們有一個包含以下特征的數(shù)據(jù)集：-Size：房屋的大?。ㄆ椒矫祝?Bedrooms：臥室的數(shù)量-Bathrooms：浴室的數(shù)量-Age：房屋的建筑年份-Location：房屋的地理位置編碼-Price：房屋的價格（目標變量）4.1.3Lasso回歸原理Lasso回歸是一種線性回歸模型，它通過最小化預測誤差的平方和與所有特征系數(shù)絕對值之和的和來訓練模型。這種正則化方法有助于減少模型的復雜性，防止過擬合，并且能夠將一些不重要的特征的系數(shù)壓縮至零，從而實現(xiàn)特征選擇。4.1.4實現(xiàn)步驟數(shù)據(jù)預處理：標準化特征，處理缺失值。模型訓練：使用Lasso回歸訓練模型。特征選擇：分析哪些特征的系數(shù)被壓縮至零。模型評估：使用均方誤差（MSE）和決定系數(shù)（R^2）評估模型性能。4.1.5代碼示例importpandasaspd

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.linear_modelimportLasso

fromsklearn.preprocessingimportStandardScaler

fromsklearn.metricsimportmean_squared_error,r2_score

#加載數(shù)據(jù)

data=pd.read_csv('house_prices.csv')

#數(shù)據(jù)預處理

X=data[['Size','Bedrooms','Bathrooms','Age','Location']]

y=data['Price']

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

scaler=StandardScaler()

X_train=scaler.fit_transform(X_train)

X_test=scaler.transform(X_test)

#Lasso回歸模型訓練

lasso=Lasso(alpha=0.1)

lasso.fit(X_train,y_train)

#特征選擇

print("Lasso回歸系數(shù)：",lasso.coef_)

#模型評估

y_pred=lasso.predict(X_test)

mse=mean_squared_error(y_test,y_pred)

r2=r2_score(y_test,y_pred)

print("均方誤差：",mse)

print("決定系數(shù)：",r2)4.1.6結果分析通過觀察Lasso回歸的系數(shù)，我們可以發(fā)現(xiàn)哪些特征對房價預測影響較小，因為它們的系數(shù)可能被壓縮至零。這有助于我們理解哪些特征在預測中是關鍵的。4.2股票價格回歸分析4.2.1案例背景股票價格預測是金融領域的一個挑戰(zhàn)性問題。它受到市場情緒、公司業(yè)績、宏觀經濟指標等多種因素的影響。Lasso回歸可以用來識別哪些宏觀經濟指標對股票價格的影響最大。4.2.2數(shù)據(jù)集描述假設我們有一個包含以下宏觀經濟指標的數(shù)據(jù)集：-GDP：國內生產總值-Inflation：通貨膨脹率-InterestRate：利率-Unemployment：失業(yè)率-StockPrice：股票價格（目標變量）4.2.3實現(xiàn)步驟數(shù)據(jù)預處理：處理缺失值，可能需要對非數(shù)值特征進行編碼。模型訓練：使用Lasso回歸訓練模型。特征選擇：分析哪些宏觀經濟指標的系數(shù)被壓縮至零。模型評估：使用均方誤差（MSE）和決定系數(shù)（R^2）評估模型性能。4.2.4代碼示例importpandasaspd

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.linear_modelimportLasso

fromsklearn.preprocessingimportStandardScaler

fromsklearn.metricsimportmean_squared_error,r2_score

#加載數(shù)據(jù)

data=pd.read_csv('stock_prices.csv')

#數(shù)據(jù)預處理

X=data[['GDP','Inflation','InterestRate','Unemployment']]

y=data['StockPrice']

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

scaler=StandardScaler()

X_train=scaler.fit_transform(X_train)

X_test=scaler.transform(X_test)

#Lasso回歸模型訓練

lasso=Lasso(alpha=0.1)

lasso.fit(X_train,y_train)

#特征選擇

print("Lasso回歸系數(shù)：",lasso.coef_)

#模型評估

y_pred=lasso.predict(X_test)

mse=mean_squared_error(y_test,y_pred)

r2=r2_score(y_test,y_pred)

print("均方誤差：",mse)

print("決定系數(shù)：",r2)4.2.5結果分析Lasso回歸的系數(shù)可以幫助我們識別哪些宏觀經濟指標對股票價格的影響較小，從而在后續(xù)的分析中可以考慮剔除這些特征，簡化模型，提高預測效率和準確性。通過以上兩個案例，我們可以看到Lasso回歸在處理具有多個特征的數(shù)據(jù)集時的實用性，它不僅能夠提供預測模型，還能夠幫助我們進行特征選擇，從而更好地理解數(shù)據(jù)和模型。5Lasso回歸的優(yōu)缺點與應用場景5.1Lasso回歸的優(yōu)點Lasso回歸，全稱為“LeastAbsoluteShrinkageandSelectionOperator”，是一種線性模型的回歸分析方法，特別設計用于包含大量特征的數(shù)據(jù)集。其核心優(yōu)勢在于：特征選擇：Lasso回歸通過施加L1正則化，能夠將一些不重要的特征的系數(shù)壓縮至0，從而實現(xiàn)特征選擇，簡化模型，提高解釋性。處理多重共線性：在特征之間存在高度相關性的情況下，Lasso回歸能夠選擇其中一個特征，而將其他相關特征的系數(shù)壓縮至0，有效處理多重共線性問題。減少過擬合：通過正則化，Lasso回歸能夠減少模型的復雜度，避免過擬合，提高模型的泛化能力。5.1.1示例代碼與數(shù)據(jù)樣例假設我們有一組房價數(shù)據(jù)，包含多個可能影響房價的特征，如房屋面積、臥室數(shù)量、地理位置等。我們將使用Lasso回歸來分析這些特征對房價的影響，并進行特征選擇。importnumpyasnp

importpandasaspd

fromsklearn.linear_modelimportLasso

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error

#生成模擬數(shù)據(jù)

np.random.seed(0)

X=np.random.rand(100,10)

y=X[:,0]*10+X[:,1]*5+X[:,2]*2+np.random.randn(100)*3

#轉換為DataFrame

df=pd.DataFrame(X,columns=[f'feature_{i}'foriinrange(10)])

df['price']=y

#劃分數(shù)據(jù)集

X_train,X_test,y_train,y_test=train_test_split(df.drop('price',axis=1),df['price'],test_size=0.2,random_state=42)

#創(chuàng)建Lasso回歸模型

lasso=Lasso(alpha=0.1)

#訓練模型

lasso.fit(X_train,y_train)

#預測

y_pred=lasso.predict(X_test)

#評估模型

mse=mean_squared_error(y_test,y_pred)

print(f'MeanSquaredError:{mse}')

#查看特征系數(shù)

print('Coefficients:',lasso.coef_)在這個例子中，我們首先生成了10個特征的模擬數(shù)據(jù)，其中前三個特征對目標變量（房價）有顯著影響。通過Lasso回歸，我們可以觀察到，模型將一些不重要的特征系數(shù)壓縮至0，實現(xiàn)了特征選擇。5.2Lasso回歸的局限性與適用場景盡管Lasso回歸具有上述優(yōu)點，但它也存在一些局限性：特征選擇的隨機性：當存在多個特征對目標變量有相同的影響時，Lasso回歸可能會隨機選擇其中一個特征，而將其他特征的系數(shù)壓縮至0，這可能影響模型的穩(wěn)定性。正則化參數(shù)的選擇：Lasso回歸的效果很大程度上依賴于正則化參數(shù)alpha的選擇。如果alpha設置得過大，可能會導致模型欠擬合；如果設置得過小，則可能無法有效壓縮特征系數(shù)，失去特征選擇的優(yōu)勢。非線性關系的處理：Lasso回歸本質上是一種線性模型，對于非線性關系的數(shù)據(jù)，可能無法很好地擬合。5.2.1適用場景Lasso回歸適用于以下場景：特征數(shù)量遠大于樣本數(shù)量：在基因表達數(shù)據(jù)、文本數(shù)據(jù)等高維數(shù)據(jù)中，Lasso回歸能夠有效地進行特征選擇。特征之間存在多重共線性：在金融、經濟等領域的數(shù)據(jù)中，特征之間可能存在高度相關性，Lasso回歸能夠處理這種多重共線性問題。需要模型解釋性：在某些應用中，如醫(yī)學研究，我們不僅需要預測結果，還需要知道哪些特征對結果有顯著影響，Lasso回歸能夠提供這種解釋性。5.2.2示例代碼與數(shù)據(jù)樣例考慮一個基因表達數(shù)據(jù)集，其中包含數(shù)千個基因的表達水平，但樣本數(shù)量較少。我們使用Lasso回歸來識別哪些基因與特定疾病相關。importnumpyasnp

importpandasaspd

fromsklearn.linear_modelimportLasso

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportmean_squared_error

#加載基因表達數(shù)據(jù)

data=pd.read_csv('gene_expression.csv')

X=data.drop('disease_status',axis=1)

y=data['disease_status']

#劃分數(shù)據(jù)集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#創(chuàng)建Lasso回歸模型

lasso=Lasso(alpha=0.01)

#訓練模型

lasso.fit(X_train,y_train)

#預測

y_pred=lasso.predict(X_test)

#評估模型

mse=mean_squared_error(y_test,y_pred)

print(f'MeanSquaredError:{mse}')

#查看特征系數(shù)

print('Coefficients:',lasso.coef_)在這個場景中，我們假設gene_expression.csv包含數(shù)千個基因的表達水平數(shù)據(jù)，以及每個樣本的疾病狀態(tài)。通過Lasso回歸，我們能夠識別出與疾病狀態(tài)最相關的基因，這對于后續(xù)的生物醫(yī)學研究具有重要意義。通過上述分析，我們可以看到Lasso回歸在特征選擇和處理多重共線性方面具有獨特的優(yōu)勢，但在非線性關系和正則化參數(shù)選擇上存在局限性。因此，在選擇回歸算法時，應根據(jù)具體的數(shù)據(jù)特征和應用場景來決定是否使用Lasso回歸。6Lasso回歸的參數(shù)調優(yōu)與模型選擇6.1交叉驗證在Lasso回歸中的應用6.1.1原理Lasso回歸（LeastAbsoluteShrinkageandSelectionOperator）是一種線性模型的回歸分析方法，它通過添加一個L1正則化項來壓縮模型的系數(shù)，從而實現(xiàn)特征選擇。在Lasso回歸中，正則化參數(shù)λ（lambda）的值對模型的復雜度和性能有著直接的影響。λ值越大，模型的復雜度越低，但可能會增加偏差；λ值越小，模型可能更復雜，但有過度擬合的風險。因此，選擇一個合適的λ值至關重要。交叉驗證（Cross-Validation）是一種評估模型性能和選擇參數(shù)的有效方法。它通過將數(shù)據(jù)集分為多個子集，然后在不同的子集上進行訓練和測試，從而得到模型性能的穩(wěn)定估計。在Lasso回歸中，我們通常使用K折交叉驗證來選擇最優(yōu)的λ值。6.1.2示例代碼importnumpyasnp

fromsklearn.linear_modelimportLassoCV

fromsklearn.datasetsimportload_boston

fromsklearn.model_selectionimporttrain_test_split

#加載數(shù)據(jù)集

boston=load_boston()

X=boston.data

y=boston.target

#劃分訓練集和測試集

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,