python神經(jīng)網(wǎng)絡(luò)Densenet模型復(fù)現(xiàn)詳解

第python神經(jīng)網(wǎng)絡(luò)Densenet模型復(fù)現(xiàn)詳解目錄什么是DensenetDensenet1、Densenet的整體結(jié)構(gòu)2、DenseBlock3、TransitionLayer網(wǎng)絡(luò)實(shí)現(xiàn)代碼

什么是Densenet

據(jù)說(shuō)Densenet比Resnet還要厲害，我決定好好學(xué)一下。

ResNet模型的出現(xiàn)使得深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可以變得更深，進(jìn)而實(shí)現(xiàn)了更高的準(zhǔn)確度。

ResNet模型的核心是通過(guò)建立前面層與后面層之間的短路連接（shortcuts），這有助于訓(xùn)練過(guò)程中梯度的反向傳播，從而能訓(xùn)練出更深的CNN網(wǎng)絡(luò)。

DenseNet模型，它的基本思路與ResNet一致，也是建立前面層與后面層的短路連接，不同的是，但是它建立的是前面所有層與后面層的密集連接。

DenseNet還有一個(gè)特點(diǎn)是實(shí)現(xiàn)了特征重用。

這些特點(diǎn)讓DenseNet在參數(shù)和計(jì)算成本更少的情形下實(shí)現(xiàn)比ResNet更優(yōu)的性能。

DenseNet示意圖如下：

代碼下載

Densenet

1、Densenet的整體結(jié)構(gòu)

如圖所示Densenet由DenseBlock和中間的間隔模塊TransitionLayer組成。

1、DenseBlock：DenseBlock指的就是DenseNet特有的模塊，如下圖所示，前面所有層與后面層的具有密集連接，在同一個(gè)DenseBlock當(dāng)中，特征層的高寬不會(huì)發(fā)生改變，但是通道數(shù)會(huì)發(fā)生改變。

2、TransitionLayer：TransitionLayer是將不同DenseBlock之間進(jìn)行連接的模塊，主要功能是整合上一個(gè)DenseBlock獲得的特征，并且縮小上一個(gè)DenseBlock的寬高，在TransitionLayer中，一般會(huì)使用一個(gè)步長(zhǎng)為2的AveragePooling2D縮小特征層的寬高。

2、DenseBlock

DenseBlock的實(shí)現(xiàn)示意圖如圖所示：

以前獲得的特征會(huì)在保留后不斷的堆疊起來(lái)。

以一個(gè)簡(jiǎn)單例子來(lái)表現(xiàn)一下具體的DenseBlock的流程：

假設(shè)輸入特征層為X0。

1、對(duì)x0進(jìn)行一次1x1卷積調(diào)整通道數(shù)到4*32后，再利用3x3卷積獲得一個(gè)32通道的特征層，此時(shí)會(huì)獲得一個(gè)shape為(h,w,32)的特征層x1。

2、將獲得的x1和初始的x0堆疊，獲得一個(gè)新的特征層，這個(gè)特征層會(huì)同時(shí)保留初始x0的特征也會(huì)保留經(jīng)過(guò)卷積處理后的特征。

3、反復(fù)經(jīng)過(guò)步驟1、2的處理，原始的特征會(huì)一直得到保留，經(jīng)過(guò)卷積處理后的特征也會(huì)得到保留。當(dāng)網(wǎng)絡(luò)程度不斷加深，就可以實(shí)現(xiàn)前面所有層與后面層的具有密集連接。

實(shí)現(xiàn)代碼為：

defdense_block(x,blocks,name):

foriinrange(blocks):

x=conv_block(x,32,name=name+'_block'+str(i+1))

returnx

defconv_block(x,growth_rate,name):

bn_axis=3

x1=layers.BatchNormalization(axis=bn_axis,

epsilon=1.001e-5,

name=name+'_0_bn')(x)

x1=layers.Activation('relu',name=name+'_0_relu')(x1)

x1=layers.Conv2D(4*growth_rate,1,

use_bias=False,

name=name+'_1_conv')(x1)

x1=layers.BatchNormalization(axis=bn_axis,epsilon=1.001e-5,

name=name+'_1_bn')(x1)

x1=layers.Activation('relu',name=name+'_1_relu')(x1)

x1=layers.Conv2D(growth_rate,3,

padding='same',

use_bias=False,

name=name+'_2_conv')(x1)

x=layers.Concatenate(axis=bn_axis,name=name+'_concat')([x,x1])

returnx

3、TransitionLayer

TransitionLayer將不同DenseBlock之間進(jìn)行連接的模塊，主要功能是整合上一個(gè)DenseBlock獲得的特征，并且縮小上一個(gè)DenseBlock的寬高，在TransitionLayer中，一般會(huì)使用一個(gè)步長(zhǎng)為2的AveragePooling2D縮小特征層的寬高。

實(shí)現(xiàn)代碼為：

deftransition_block(x,reduction,name):

bn_axis=3

x=layers.BatchNormalization(axis=bn_axis,epsilon=1.001e-5,

name=name+'_bn')(x)

x=layers.Activation('relu',name=name+'_relu')(x)

x=layers.Conv2D(int(_shape(x)[bn_axis]*reduction),1,

use_bias=False,

name=name+'_conv')(x)

x=layers.AveragePooling2D(2,strides=2,name=name+'_pool')(x)

returnx

網(wǎng)絡(luò)實(shí)現(xiàn)代碼

fromkeras.preprocessingimportimage

fromkeras.modelsimportModel

fromkerasimportlayers

fromkeras.applicationsimportimagenet_utils

fromkeras.applications.imagenet_utilsimportdecode_predictions

fromkeras.utils.data_utilsimportget_file

fromkerasimportbackend

importnumpyasnp

BASE_WEIGTHS_PATH=(

'/keras-team/keras-applications/'

'releases/download/densenet/')

DENSENET121_WEIGHT_PATH=(

BASE_WEIGTHS_PATH+

'densenet121_weights_tf_dim_ordering_tf_kernels.h5')

DENSENET169_WEIGHT_PATH=(

BASE_WEIGTHS_PATH+

'densenet169_weights_tf_dim_ordering_tf_kernels.h5')

DENSENET201_WEIGHT_PATH=(

BASE_WEIGTHS_PATH+

'densenet201_weights_tf_dim_ordering_tf_kernels.h5')

defdense_block(x,blocks,name):

foriinrange(blocks):

x=conv_block(x,32,name=name+'_block'+str(i+1))

returnx

defconv_block(x,growth_rate,name):

bn_axis=3

x1=layers.BatchNormalization(axis=bn_axis,

epsilon=1.001e-5,

name=name+'_0_bn')(x)

x1=layers.Activation('relu',name=name+'_0_relu')(x1)

x1=layers.Conv2D(4*growth_rate,1,

use_bias=False,

name=name+'_1_conv')(x1)

x1=layers.BatchNormalization(axis=bn_axis,epsilon=1.001e-5,

name=name+'_1_bn')(x1)

x1=layers.Activation('relu',name=name+'_1_relu')(x1)

x1=layers.Conv2D(growth_rate,3,

padding='same',

use_bias=False,

name=name+'_2_conv')(x1)

x=layers.Concatenate(axis=bn_axis,name=name+'_concat')([x,x1])

returnx

deftransition_block(x,reduction,name):

bn_axis=3

x=layers.BatchNormalization(axis=bn_axis,epsilon=1.001e-5,

name=name+'_bn')(x)

x=layers.Activation('relu',name=name+'_relu')(x)

x=layers.Conv2D(int(_shape(x)[bn_axis]*reduction),1,

use_bias=False,

name=name+'_conv')(x)

x=layers.AveragePooling2D(2,strides=2,name=name+'_pool')(x)

returnx

defDenseNet(blocks,

input_shape=None,

classes=1000,

**kwargs):

img_input=layers.Input(shape=input_shape)

bn_axis=3

#224,224,3-112,112,64

x=layers.ZeroPadding2D(padding=((3,3),(3,3)))(img_input)

x=layers.Conv2D(64,7,strides=2,use_bias=False,name='conv1/conv')(x)

x=layers.BatchNormalization(

axis=bn_axis,epsilon=1.001e-5,name='conv1/bn')(x)

x=layers.Activation('relu',name='conv1/relu')(x)

#112,112,64-56,56,64

x=layers.ZeroPadding2D(padding=((1,1),(1,1)))(x)

x=layers.MaxPooling2D(3,strides=2,name='pool1')(x)

#56,56,64-56,56,64+32*block[0]

#Densenet12156,56,64-56,56,64+32*6==56,56,256

x=dense_block(x,blocks[0],name='conv2')

#56,56,64+32*block[0]-28,28,32+16*block[0]

#Densenet12156,56,256-28,28,32+16*6==28,28,128

x=transition_block(x,0.5,name='pool2')

#28,28,32+16*block[0]-28,28,32+16*block[0]+32*block[1]

#Densenet12128,28,128-28,28,128+32*12==28,28,512

x=dense_block(x,blocks[1],name='conv3')

#Densenet12128,28,512-14,14,256

x=transition_block(x,0.5,name='pool3')

#Densenet12114,14,256-14,14,256+32*block[2]==14,14,1024

x=dense_block(x,blocks[2],name='conv4')

#Densenet12114,14,1024-7,7,512

x=transition_block(x,0.5,name='pool4')

#Densenet1217,7,512-7,7,256+32*block[3]==7,7,1024

x=dense_block(x,blocks[3],name='conv5')

x=layers.BatchNormalization(axis=bn_axis,epsilon=1.001e-5,name='bn')(x)

x=layers.Activation('relu',name='relu')(x)

x=layers.GlobalAveragePooling2D(name='avg_pool')(x)

x=layers.Dense(classes,activation='softmax',name='fc1000')(x)

inputs=img_input

ifblocks==[6,12,24,16]:

model=Model(inputs,x,name='densenet121')

elifblocks==[6,12,32,32]:

model=Model(inputs,x,name='densenet169')

elifblocks==[6,12,48,32]:

model=Model(inputs,x,name='densenet201')

else:

model=Model(inputs,x,name='densenet')

returnmodel

defDenseNet121(input_shape=[224,224,3],

classes=1000,

**kwargs):

returnDenseNet([6,12,24,16],

input_shape,classes,

**kwargs)

defDenseNet169(input_shape=[224,224,3],

classes=1000,

**kwargs):

returnDenseNet([6,12,32,32],

input_shape,classes,

**kwargs)

defDenseNet201(input_shape=[224,224,3],

classes=1000,

**kwargs):

returnDenseNet([6,12,48,32],

input_shape,classes,

**kwargs)

defpreprocess_input(x):

x/=255.

mean=[0.485,0.456,0.406]

std=[0.229,0.224,0.225]

x[...,0]-=mean[0]

x[...,1]-=mean[1]

x[...,2]-=mean[2]

ifstdisnotNone:

x[...,0]/=std[0]

x[...,1]/=std[1]

x[...,2]/=std[2]

returnx

if__name__=='__main__':

#model=DenseNet121()

#weights_path=get_file(

#'densenet121_weights_tf_dim_ordering_tf_kernels.h5',

#DENSENET121_WEIGHT_PATH,

#cache_subdir='models',

#file_hash='9d60b8095a5708f2dcce2bca79d332c7')

model=DenseNet169()

weights_path=get_file