數據挖掘神經網絡

神經網絡

vicky2自動駕駛汽車在高速公路上常速行駛。采用固定在汽車上的照相機的30*32像素作為輸入（960個輸入單元），輸出為駕駛方向（30個輸出單元）。內容要點神經網絡介紹BP算法基本步驟神經網絡結構主要參數的選擇神經網絡方法特點神經網絡介紹神經網絡是人工智能中研究比較成熟的技術。最早是由心理學家和神經生物學家提出的，旨在尋求和測試神經的計算模擬。神經網絡介紹神經網絡是一組連接的輸入/輸出單元（節(jié)點和有向鏈），其中每個連接都與一個權值相連。在學習階段，通過不斷調整神經網絡的相連權值，使得能夠正確預測輸入樣本的目標值。神經網絡構成神經網絡通常由輸入層、輸出層和隱藏層組成，輸入層的神經元個數可以等于樣本的特征數＋１(對應模型中的截距項)輸出層就是分類判決層，它的神經元個數等于樣本的類別數（２分類１個節(jié)點）或采用其他編碼方式從而確定需要的節(jié)點個數。每個連接具有一個權值非輸入節(jié)點激活函數（轉換函數、擠壓函數）激活函數神經網絡流行算法目前最流行的神經網絡學習算法是：后向傳播算法（Back-propagation,BP）。它通過迭代地處理一組訓練樣本，將每個樣本的網絡預測與實際值比較，進行學習。對于每個訓練樣本，修改連接權值，使得網絡預測與實際類值之間的均方誤差最小。這種修改“后向”地進行,即由輸出層，經由每個隱藏層，到第一個隱藏層。BP算法基本步驟1．初始化網絡各層的權值及神經元閾值（偏倚）。（一個小的隨機數）2.

向前傳播輸入計算預測值：對每一樣本，計算隱藏層和輸出層每個單元的凈輸入和輸出。

前向傳播輸入激活函數采用符號函數例如：對第二個觀測，v=w0*x0+w1*x1+w2*x2-0.4=0.2>0y=1BP算法基本步驟3.后向傳播誤差并調整權值OOOOOO輸出向量輸出節(jié)點隱藏層節(jié)點輸入節(jié)點輸入向量BP算法基本步驟4.循環(huán)對訓練集執(zhí)行2-3步。實例更新：每個觀測執(zhí)行一遍；周期更新：所有觀測前向傳播一遍，累計權重和偏倚的變動，只執(zhí)行一遍更新BP算法訓練終止條件更新權值較?。嘀凳諗勘平粋€固定值）正確分類率達到預期或在測試集上的誤差開始增加）超過預先指定的訓練周期（實踐中，權收斂可能需要數十萬個周期）神經網絡結構舉例……o1o2omwnmw11w1mw2mwn1w21……wo11wo21wom1ownmw11w1mw2mwn1w21－如果太小，可能要幾天才收斂－如果太大，可能會發(fā)散

訓練神經網絡關鍵參數—學習率一般認為，增加隱層數可以降低網絡誤差（也有文獻認為不一定能有效降低），提高精度，但也使網絡復雜化，從而增加了網絡的訓練時間和出現(xiàn)“過擬合”的傾向。Hornik等早已證明：若輸出層采用線性轉換函數，隱層采用Sigmoid轉換函數，則含一個隱層的MLP網絡能夠以任意精度逼近任何有理函數。

在設計BP網絡時可參考這一點，應優(yōu)先考慮3層BP網絡（即有1個隱層）。訓練神經網絡—隱層數在BP網絡中，隱層節(jié)點數的選擇非常重要，它不僅對建立的神經網絡模型的性能影響很大，而且是訓練時出現(xiàn)“過擬合”的直接原因。

確定隱層節(jié)點數的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節(jié)點數。

研究表明，隱層節(jié)點數不僅與輸入/輸出層的節(jié)點數有關，更與需解決的問題的復雜程度和轉換函數的型式以及樣本數據的特性等因素有關。隱層節(jié)點數

在確定隱層節(jié)點數時必須滿足下列條件：隱層節(jié)點數必須小于N-1（其中N為訓練樣本數），否則，建立的網絡模型沒有泛化能力，也沒有任何實用價值。同理可推得：輸入層的節(jié)點數（變量數）必須小于N-1。(2)訓練樣本數必須多于網絡模型的連接權數，一般為2~10倍。確定隱層節(jié)點數訓練神經網絡—訓練遍數 對訓練數據的所有記錄的一次掃描稱為一遍。 在訓練過程中定期用驗證數據計算誤差率，在使用后向傳播算法的前幾遍驗證數據的誤差率會降低，但過一會就會升高。驗證數據的最小誤差率那一點表明最好的訓練遍數。神經網絡分類法特點可以對非線性和