cycleuser翻譯的cs229全部12notes譯文原稿打包

CS229Lecture原作者：AndrewNg（）1感知器（perceptron）和大型邊界分類器（largemargin設h來評估和判別測試數(shù)據(jù)。在本章，我們要講一種新的機器學習模式：學習，這種情況下，我們的學習算法要在進學習算獲得一個樣本序列，其中內(nèi)容為有次序的學習樣本，(x(1),y(1)),(x(2),y(2)),...(x(m),y(m))。最開始獲得的就是x(1)，然后需要預測y(1)。在完成了這個預測之后，再把y(1)的真實了）。接下來給算法提供x(2)，再讓算法對y(2)進行預測，然后再把y(2)的真實值告訴給算法，這樣算法就又能學習到一些信息了。這樣的過程一直持續(xù)到最末尾的樣本(x(m),y(m))。在這種學習的背景下，我們關(guān)心的是算法在此過程中出錯接下來，對感知器學習算法（perceptronalgorithm）的derivations）更容易，我們就用正負號來表征分類，即設y={?1,1}?；貞浺幌赂兄魉惴ǎㄔ诘诙轮杏兄v到），其參數(shù)θ然后，給定一個訓練樣本(x,y)，感知器學習規(guī)則（perceptronlearningrule）就按照如下所示來進行更新。如果hθ(x)=y，當感知器算法作為學習算法運行的時候，每次對樣本給出的學習誤差的約束邊界。要注意，下面的錯誤次數(shù)的約束邊界與整個序列中樣本的個數(shù)m不具有特定的依賴關(guān)系（explicitdependence），和輸入特征的維度n也無關(guān)定理(Block,1962,andNovikoff,1962)。設有一個樣本序列：(x(1),y(1)),(x(2),y(2)),...(x(m),y(m))。假設對于所有的i，都有||x(i)||≤D，更進一步存在一個單位長度向量u(||u||21)對序列中的所有樣本都滿足y(i)·uTx(i)γ（例如，uTx(i)γif=1,而uTx(i)≤?γ，若y(i)=?1，則u就以一個寬度至少為γ錯誤預測的綜述的上限為(D/γ)2。θ(k)為犯了第k個錯誤（k-thmistake）的時候的權(quán)重。則?0（因為初始權(quán)重為零），若第k個錯誤發(fā)生在樣本(x(i),y(i))，則g((x(i))Tθ(k))≠y(i)，也就意味著：另外根據(jù)感知器算法的定義，我們知道θ(k+1)θ(k)y(i)利用一個簡單的歸納法（straightforwardinductiveargument）1這和之前我們看到的更則（updaterule）的寫法稍微有一點點不一樣，因為這里我們把分類（labels）改成了y∈{?1,1}。另外學習速率參（learningrateparameter）α也被省去了。這個速率參數(shù)的效果只是使用某些固定的常數(shù)來對參數(shù)θ進行縮放，并不會影響的行為效果。使用一次簡單歸納法，上面的不等式(4)表明：把上面的等式(3)和不等式(4)上面第二個不等式是基于u是一個單位長度向量（zTu||z||·||u||cosφ≤||z||·||u||，