機器學習課次BP神經(jīng)網(wǎng)絡及綜合練習

彭輝94031097（QQ）機器學習MachineLearning神經(jīng)網(wǎng)絡（BP神經(jīng)網(wǎng)絡&綜合練習）任務目標素質(zhì)目標團隊協(xié)作學會學習實踐創(chuàng)新BP神經(jīng)網(wǎng)絡背景使用sklearn庫的神經(jīng)網(wǎng)絡，根據(jù)以下數(shù)據(jù)完成模型的訓練和測試。BP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡基本概念BP神經(jīng)網(wǎng)絡（BackPropagationNetwork）是一種按照誤差逆向傳播算法訓練的多層前饋神經(jīng)網(wǎng)絡，是目前應用最廣泛的神經(jīng)網(wǎng)絡。BP神經(jīng)網(wǎng)絡的基本思想是梯度下降法，利用梯度搜索技術，以期使網(wǎng)絡的實際輸出值和期望輸出值的誤差均方差為最小。

算法包括信號的前向傳播和誤差的反向傳播，即計算誤差輸出時，按從輸入到輸出的方向進行；而調(diào)整權值和閾值時，按從輸出到輸入的方向進行。BP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡基本概念（續(xù)）正向傳播時，輸入信號通過隱含層作用于輸出結(jié)點，經(jīng)過非線性變換，產(chǎn)生輸出信號，若實際輸出與期望輸出不相符，則轉(zhuǎn)入誤差的反向傳播過程。誤差的反向傳播是將輸出誤差通過隱含層向輸入層逐層反傳，并將誤差分攤給各層所有單元，以從各層獲得的誤差信號作為調(diào)整各單元權值的依據(jù)，所以稱該算法為誤差反向傳播算法。BP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡算法描述給定訓練集 ,即輸入示例由

個屬性描述,輸出

維實值向量. 為方便討論,給定一個擁有

個輸入神經(jīng)元,個輸出神經(jīng)元,個隱層神經(jīng)元的多層前向前饋網(wǎng)絡結(jié)構(gòu).記號：

：輸出層第

個神經(jīng)元閾值；

：隱含層第

個神經(jīng)元閾值；

：輸入層與隱層神經(jīng)元之間的連接權重；

：隱層與輸出層神經(jīng)元之間的連接權重；BP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡算法描述（續(xù)）

對于樣例,假設網(wǎng)絡的實際輸出為前向計算

根據(jù)隱層輸入計算隱層輸出（輸出層輸入）:

根據(jù)隱層輸出（輸出層輸入）得到輸出層輸出:

樣本均方誤差:計算誤差激活函數(shù)BP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡算法描述（續(xù)）詳細參數(shù)權重參數(shù)：,

閾值參數(shù)：, 參數(shù)總數(shù)：輸入層到隱層權值數(shù)：d*q隱層到輸出層權值數(shù)：q*l隱層神經(jīng)元閾值數(shù)：q輸出層神經(jīng)元閾值數(shù)：l

BP是一個迭代學習算法,在迭代的每一輪中采用廣義的感知機學習規(guī)則對參數(shù)進行更新估計,任意的參數(shù)的更新估計式為詳細更新（優(yōu)化）BP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡參數(shù)調(diào)整網(wǎng)絡訓練目標：找出合適的權值和閾值，使得誤差

E最小參數(shù)調(diào)整策略：BP算法基于梯度下降策略,以目標的負梯度方向?qū)?shù)進行調(diào)整.BP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡參數(shù)調(diào)整（續(xù)）參數(shù)調(diào)整策略：BP算法基于梯度下降策略,以目標的負梯度方向?qū)?shù)進行調(diào)整.由對誤差,給定學習率，進行參數(shù)的調(diào)整?！版準椒▌t”（1）（2）（3）BP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡參數(shù)調(diào)整（續(xù)）令(1)更新參數(shù)w(2)更新參數(shù)θ(3)更新參數(shù)v(4)更新參數(shù)γBP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡參數(shù)調(diào)整（續(xù)）BP神經(jīng)網(wǎng)絡BP神經(jīng)網(wǎng)絡訓練過程輸入：訓練集數(shù)據(jù)、學習速率yita過程：在(0,1)范圍內(nèi)隨機初始化網(wǎng)絡中所有連接權和閾值repeat根據(jù)網(wǎng)絡輸入和當前參數(shù)計算網(wǎng)絡輸出值y計算輸出層神經(jīng)元梯度項gj計算隱層神經(jīng)元梯度項eh更新連接權值和閾值until達到停止條件輸出：連接權值和閾值BP神經(jīng)網(wǎng)絡Sklearn中的神經(jīng)網(wǎng)絡開發(fā)庫分類器：sklearn.neural_network.MLPClassifier回歸器：sklearn.neural_network.MLPRegressorBP神經(jīng)網(wǎng)絡

練習：使用sklearn庫的神經(jīng)網(wǎng)絡，根據(jù)以下數(shù)據(jù)完成模型的訓練和測試。BP_network_sklearn_regressor.pyfromsklearn.neural_networkimportMLPRegressor

importpandasaspd

importnumpyasnp

data=pd.read_csv(r"E:\機器學習_教學\cankao\taidi_ml\Python機器學習實戰(zhàn)-數(shù)據(jù)&代碼\5神經(jīng)網(wǎng)絡\BPdata_tr.txt")

data_te=pd.read_csv(r"E:\機器學習_教學\cankao\taidi_ml\Python機器學習實戰(zhàn)-數(shù)據(jù)&代碼\5神經(jīng)網(wǎng)絡\BPdata_te.txt")

X=data.iloc[:,:2]

y=data.iloc[:,2]

test_X=data_te.iloc[:,:2]

test_y=data_te.iloc[:,2]

mlp=MLPRegressor()

mlp.fit(X,y)

pre=mlp.predict(test_X)

err=np.abs(pre-test_y).mean()#模型預測誤差

errBP神經(jīng)網(wǎng)絡背景

使用python編程，通過梯度下降法來計算BP神經(jīng)網(wǎng)絡求解參數(shù)的過程。BP_network_python_realize1取一個樣本訓練一次并更新參數(shù).pyBP神經(jīng)網(wǎng)絡-Python實現(xiàn)訓練集數(shù)據(jù)：BPdata_tr.txt測試集數(shù)據(jù)：BPdata_te.txtBP神經(jīng)網(wǎng)絡實現(xiàn)

x1x2y00.290.230.1410.500.620.6420.000.530.2830.210.530.3340.100.330.1250.060.150.0360.130.030.0270.240.230.1180.280.030.0890.380.49？100.290.47？2-4-1BP神經(jīng)網(wǎng)絡-Python實現(xiàn)BP神經(jīng)網(wǎng)絡實現(xiàn)隱層神經(jīng)元的輸入權值隱層神經(jīng)元的閾值（對-1的權值）輸出神經(jīng)元的輸入權值輸出神經(jīng)元的閾值輸入神經(jīng)元輸出層的輸入網(wǎng)絡的輸出BP神經(jīng)網(wǎng)絡-Python實現(xiàn)defsigmoid(x):#映射函數(shù)

return1/(1+np.exp(-x))映射函數(shù)BP神經(jīng)網(wǎng)絡-Python實現(xiàn)中間層神經(jīng)元輸入和輸出層神經(jīng)元輸入Net_in=np.array([0,0,-1])

Out_in=np.array([0,0,0,0,-1])BP神經(jīng)網(wǎng)絡-Python實現(xiàn)w_mid=np.zeros([3,4])

w_out=np.array([0.3,0.3,0.3,0.3,0.3])

delta_w_mid=np.zeros([3,4])

delta_w_out=np.array([0,0,