keras深度學習筆記

1、二分類：通常需要對原始數(shù)據(jù)進行大量預處理，以便將其轉(zhuǎn)換為張量輸入到神經(jīng)網(wǎng)絡中。單詞序列可 以編碼為二進制向量，但也有其他編碼方式。帶有relu激活的Dense層堆疊，可以解決很多 種問題（包括情感分類），你可能會經(jīng)常用到這種模型。對于二分類問題（兩個輸出類別），網(wǎng)絡的最后一層應該是只有一個單元并使用sigmoid激活的Dense層，網(wǎng)絡輸出應該是01范圍內(nèi)的標量，表示概率值。對于二分類問題的sigmoid標量輸出，你應該使用binary_crossentropy損失函數(shù)。無論你的問題是什么，rmsprop優(yōu)化器通常都是足夠好的選擇。這一點你無須擔心。隨著神經(jīng)網(wǎng)絡在訓練數(shù)據(jù)上的表現(xiàn)越來越好，模型

2、最終會過擬合，并在前所未見的數(shù)據(jù)上得到越來越差的結果。一定要一直監(jiān)控模型在訓練集之外的數(shù)據(jù)上的性能。多分類：如果要對N個類別的數(shù)據(jù)點進行分類，網(wǎng)絡的最后一層應該是大小為N的Dense層。對于單標簽、多分類問題，網(wǎng)絡的最后一層應該使用softmax激活，這樣可以輸出在N 個輸出類別上的概率分布。這種問題的損失函數(shù)幾乎總是應該使用分類交叉熵。它將網(wǎng)絡輸出的概率分布與目標的真實分布之間的距離最小化。處理多分類問題的標簽有兩種方法。通過分類編碼（也叫one-hot編碼）對標簽進行編碼，然后使用categorical_crossentropy作為損失函數(shù)。將標簽編碼為整數(shù)，然后使用sparse_cate

3、gorical_crossentropy損失函數(shù)。如果你需要將數(shù)據(jù)劃分到許多類別中，應該避免使用太小的中間層，以免在網(wǎng)絡中造成 信息瓶頸?；貧w：回歸問題使用的損失函數(shù)與分類問題不同。回歸常用的損失函數(shù)是均方誤差（MSE）。同樣，回歸問題使用的評估指標也與分類問題不同。顯而易見，精度的概念不適用于回歸問 題。常見的回歸指標是平均絕對誤差（MAE）。如果輸入數(shù)據(jù)的特征具有不同的取值范圍，應該先進行預處理，對每個特征單獨進行縮放。如果可用的數(shù)據(jù)很少，使用K折驗證可以可靠地評估模型。如果可用的訓練數(shù)據(jù)很少，最好使用隱藏層較少（通常只有一到兩個）的小型網(wǎng)絡，以避免 嚴重的過擬合。CNN :卷積神經(jīng)網(wǎng)絡是

4、用于計算機視覺任務的最佳機器學習模型。即使在非常小的數(shù)據(jù)集上也可以 從頭開始訓練一個卷積神經(jīng)網(wǎng)絡，而且得到的結果還不錯。在小型數(shù)據(jù)集上的主要問題是過擬合。在處理圖像數(shù)據(jù)時，數(shù)據(jù)增強是一種降低過擬合的強 大方法。利用特征提取，可以很容易將現(xiàn)有的卷積神經(jīng)網(wǎng)絡復用于新的數(shù)據(jù)集。對于小型圖像數(shù)據(jù)集, 這是一種很有價值的方法。作為特征提取的補充，你還可以使用微調(diào)，將現(xiàn)有模型之前學到的一些數(shù)據(jù)表示應用于新問 題。這種方法可以進一步提高模型性能。卷積神經(jīng)網(wǎng)絡是解決視覺分類問題的最佳工具。卷積神經(jīng)網(wǎng)絡通過學習模塊化模式和概念的層次結構來表示視覺世界。卷積神經(jīng)網(wǎng)絡學到的表示很容易可視化，卷積神經(jīng)網(wǎng)絡不是黑盒?，F(xiàn)

5、在你能夠從頭開始訓練自己的卷積神經(jīng)網(wǎng)絡來解決圖像分類問題。你知道了如何使用視覺數(shù)據(jù)增強來防止過擬合。你知道了如何使用預訓練的卷積神經(jīng)網(wǎng)絡進行特征提取與模型微調(diào)。你可以將卷積神經(jīng)網(wǎng)絡學到的過濾器可視化，也可以將類激活熱力圖可視化。RNN的高級用法我們在第4章學過，遇到新問題時，最好首先為你選擇的指標建立一個基于常識的基準。如果沒有需要打敗的基準，那么就無法分辨是否取得了真正的進步。在嘗試計算代價較高的模型之前，先嘗試一些簡單的模型，以此證明增加計算代價是有意義 的。有時簡單模型就是你的最佳選擇。如果時間順序?qū)?shù)據(jù)很重要，那么循環(huán)網(wǎng)絡是一種很適合的方法，與那些先將時間數(shù)據(jù)展平 的模型相比，其性能要更好。想要在循環(huán)網(wǎng)絡中使用dropout，你應該使用一個不隨時間變化的dropout掩碼與循環(huán) dropout掩碼。這二者都內(nèi)置于Keras的循環(huán)層中，所以你只需要使用循環(huán)層的dropout和 recurrent_dropout 參數(shù)即可。與單個RNN層相比，堆疊RNN的表示能力更加強大。但它的計算代價也更高，因此不 一定總是需要。雖然它在機器翻譯等復雜問題上很有效，但在較小、較