Python機(jī)器學(xué)習(xí)項(xiàng)目化教程（微課視頻版）課件 第11章 深度學(xué)習(xí)入門(mén)

第11章深度學(xué)習(xí)入門(mén)目錄CONTENTS11.1深度學(xué)習(xí)概述11.2卷積神經(jīng)網(wǎng)絡(luò)11.3循環(huán)神經(jīng)網(wǎng)絡(luò)11.4本章小結(jié)11.1深度學(xué)習(xí)概述學(xué)習(xí)基礎(chǔ)學(xué)習(xí)認(rèn)知能力信息素養(yǎng)高典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)等。深度學(xué)習(xí)的概念來(lái)源于人工神經(jīng)網(wǎng)絡(luò)，因此又稱為深度神經(jīng)網(wǎng)絡(luò)，它主要通過(guò)大量的數(shù)據(jù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其自動(dòng)從數(shù)據(jù)中學(xué)習(xí)，并逐步提高對(duì)未知數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確性。當(dāng)一個(gè)網(wǎng)絡(luò)收到輸入數(shù)據(jù)時(shí)，它會(huì)對(duì)這些數(shù)據(jù)進(jìn)行處理并通過(guò)一系列非線性運(yùn)算，將其轉(zhuǎn)化為特征表示。這些特征表示對(duì)應(yīng)著原始數(shù)據(jù)中的高層抽象概念，比如圖像中的邊緣、角落和紋理等。11.1深度學(xué)習(xí)概述（1）數(shù)據(jù)標(biāo)注問(wèn)題。對(duì)于監(jiān)督學(xué)習(xí)來(lái)說(shuō)，需要對(duì)大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練才能得到合適的模型參數(shù)，而獲取標(biāo)注數(shù)據(jù)需要大量的人力、物力和時(shí)間成本。（2）特征選擇問(wèn)題。傳統(tǒng)機(jī)器學(xué)習(xí)方法通常需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和特征提取，以提前獲得高質(zhì)量的特征表達(dá)。但是，這些過(guò)程需要專業(yè)領(lǐng)域知識(shí)和經(jīng)驗(yàn)，并且容易出現(xiàn)維度爆炸等問(wèn)題。（3）模型泛化能力問(wèn)題。通過(guò)在訓(xùn)練數(shù)據(jù)集上學(xué)習(xí)的模型在測(cè)試集上預(yù)測(cè)效果不佳，機(jī)器學(xué)習(xí)模型的泛化能力受到限制，造成過(guò)擬合或欠擬合問(wèn)題。（4）對(duì)異常值和噪聲敏感。傳統(tǒng)機(jī)器學(xué)習(xí)算法通常對(duì)噪聲和異常值非常敏感，這些噪聲和異常值可能會(huì)影響學(xué)習(xí)模型的性能。11.1深度學(xué)習(xí)概述（1）容易出現(xiàn)過(guò)擬合。（2）訓(xùn)練困難。（3）神秘性。（4）需要大量數(shù)據(jù)。（5）參數(shù)量大。（6）容易損失空間信息。11.1深度學(xué)習(xí)概述利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)對(duì)樣本數(shù)據(jù)進(jìn)行分類的處理過(guò)程如圖11-1所示。11.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)由以下幾個(gè)部分組成：輸入層（inputlayer）、卷積層（convolutionlayer）、池化層（poolinglayer）、全連接層（full-connectionlayer）和輸出層。圖11-2是圖像分類任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)結(jié)構(gòu)。11.2卷積神經(jīng)網(wǎng)絡(luò)（1）輸入層。例如，對(duì)于手寫(xiě)數(shù)字識(shí)別，輸入的是圖像的像素矩陣，若是黑白圖像，只有一個(gè)顏色通道，其深度（即通道）為1，若是彩色圖像，有3個(gè)顏色通道，深度（通道）為3。（2）卷積層：對(duì)輸入數(shù)據(jù)進(jìn)行特征提取。通過(guò)對(duì)圖像不斷地卷積，可得到邊緣、線條等特征。（3）池化層：主要是降低卷積層之后數(shù)據(jù)特征維度，使輸入數(shù)據(jù)少量平移時(shí)，大多數(shù)輸出保持不變。（4）全連接層：全連接層主要是對(duì)特征進(jìn)行非線性組合得到輸出，即在整個(gè)網(wǎng)絡(luò)中起到“分類器”的作用。（5）輸出層。11.2卷積神經(jīng)網(wǎng)絡(luò)卷積在卷積神經(jīng)網(wǎng)絡(luò)中完成的是數(shù)學(xué)中的互相關(guān)運(yùn)算，相當(dāng)于圖像處理中的濾波器，具體計(jì)算過(guò)程如圖11-3所示。輸入數(shù)據(jù)的大小為3×3，卷積核大小為2×2，輸出結(jié)果大小為2×2。11.2卷積神經(jīng)網(wǎng)絡(luò)加上偏置的卷積運(yùn)算如圖11-4所示。1．填充在圖11-3所示的卷積運(yùn)算中，輸入數(shù)據(jù)的大小為3×3，輸出結(jié)果大小為2×2，也就是說(shuō)經(jīng)過(guò)一次卷積運(yùn)算后，輸出尺寸會(huì)變小。11.2卷積神經(jīng)網(wǎng)絡(luò)2．步幅圖11-4和圖11-5中，卷積運(yùn)算過(guò)程是在卷積核滑動(dòng)步幅為1下進(jìn)行的，若卷積核步幅為2時(shí)，卷積運(yùn)算過(guò)程如圖11-6所示。11.2卷積神經(jīng)網(wǎng)絡(luò)在卷積神經(jīng)網(wǎng)絡(luò)中，感受野（ReceptiveField）是每一層輸出的特征圖（featuremap）上的像素點(diǎn)在輸入圖片上映射的區(qū)域大小，即特征圖上的一個(gè)點(diǎn)對(duì)應(yīng)輸入圖上的區(qū)域，如圖11-7所示。11.2卷積神經(jīng)網(wǎng)絡(luò)假設(shè)輸入尺寸為3×4×4的圖像，其中通道為3，高度和寬度分別都為4，卷積核的尺寸為3×2×2，卷積核的個(gè)數(shù)為3。若步長(zhǎng)為211.2卷積神經(jīng)網(wǎng)絡(luò)池化（Pooling）是將卷積結(jié)果中某一位置及其相鄰位置的特征進(jìn)行匯總，目的是減少網(wǎng)絡(luò)中的特征數(shù)據(jù)，避免過(guò)擬合現(xiàn)象發(fā)生，提高模型的計(jì)算速度和運(yùn)行效率。11.2卷積神經(jīng)網(wǎng)絡(luò)11.2卷積神經(jīng)網(wǎng)絡(luò)#導(dǎo)入數(shù)據(jù)(X_train,y_train),(X_test,y_test)=datasets.mnist.load_data()11.2卷積神經(jīng)網(wǎng)絡(luò)#調(diào)整圖片格式，使其為n*(28,28,1)X_train=X_train.reshape((len(X_train),28,28,1))X_test=X_test.reshape((len(X_test),28,28,1))X_train,X_test=X_train/255.0,X_test/255.0#構(gòu)建CNN網(wǎng)絡(luò)模型model=models.Sequential([

layers.Conv2D(filters=32,kernel_size=(3,3),activation='relu',input_shape=(28,28,1)),layers.MaxPooling2D((2,2)),layers.Conv2D(64,(3,3),activation='relu'),layers.MaxPooling2D((2,2)),layers.Flatten(),layers.Dense(64,activation='relu'),layers.Dense(10)])#顯示網(wǎng)絡(luò)結(jié)構(gòu)model.summary()11.2卷積神經(jīng)網(wǎng)絡(luò)11.3循環(huán)神經(jīng)網(wǎng)絡(luò)11.3循環(huán)神經(jīng)網(wǎng)絡(luò)11.3循環(huán)神經(jīng)網(wǎng)絡(luò)11.3循環(huán)神經(jīng)網(wǎng)絡(luò)11.3循環(huán)神經(jīng)網(wǎng)絡(luò)11.3循環(huán)神經(jīng)網(wǎng)絡(luò)11.3循環(huán)神經(jīng)網(wǎng)絡(luò)11.3循環(huán)神經(jīng)網(wǎng)絡(luò)11.4本章小結(jié)深度學(xué)習(xí)作為一種人工智能的重要技術(shù)，目前已成功應(yīng)用于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別、推薦系統(tǒng)等領(lǐng)域。主流的深度學(xué)習(xí)模型有CNN、RNN、LSTM、GRU、transformer、VAE、GAN等。CNN是一種基于卷積層的特征提取網(wǎng)絡(luò)結(jié)構(gòu)，主要用于圖像處理