CNN卷積網(wǎng)絡(luò)-圖像處理

CNN卷積?絡(luò)_圖像處理?章?錄本?主要從卷積，圖像，圖像的卷積處理，卷積神經(jīng)?絡(luò)CNN的構(gòu)建三部分，從理論到代碼應(yīng)?使?python3.6編譯器,jupyter編輯器未完待續(xù)…?、卷積介紹1、origination：?個(gè)?積不變的長(zhǎng)?形，底邊被擠的窄窄的，?度被擠的??的，在數(shù)學(xué)中它可以被擠到?限?，但即使它?限瘦、?限?、但它仍然保持?積不變；為了證實(shí)它的存在，可以對(duì)它進(jìn)?積分。2、significance:意義1假設(shè)system1,時(shí)刻t輸?為x(t),輸出為y(t),系統(tǒng)響應(yīng)時(shí)間為h(t),按道理輸?輸出關(guān)系是y(y)=h(t)*x(t);however,系統(tǒng)輸出不僅與系統(tǒng)t時(shí)刻相關(guān),還與t時(shí)刻之前響應(yīng)相關(guān),所以t時(shí)刻的輸出應(yīng)該為t時(shí)刻之前系統(tǒng)響應(yīng)函數(shù)在各個(gè)時(shí)刻響應(yīng)的疊加，這就是卷積，?數(shù)學(xué)公式表?就是y(s)=∫x(t)h(s-t)dt物理意義卷積圖像處理??的應(yīng)???個(gè)模板和?幅圖像進(jìn)?卷積，對(duì)于圖像上的?個(gè)點(diǎn)，讓模板的原點(diǎn)和該點(diǎn)重合，然后模板上的點(diǎn)和圖像上對(duì)應(yīng)的點(diǎn)相乘，然后各點(diǎn)的積相加，就得到了該點(diǎn)的卷積值。對(duì)圖像上的每個(gè)點(diǎn)都這樣處理。由于?多數(shù)模板都是對(duì)稱的，所以模板不旋轉(zhuǎn)。卷積是?種積分運(yùn)算，?來求兩個(gè)曲線重疊區(qū)域?積。可以看作加權(quán)求和，可以?來消除噪聲、特征增強(qiáng)。把?個(gè)點(diǎn)的像素值?它周圍的點(diǎn)的像素值的加權(quán)平均代替。卷積是?種線性運(yùn)算,圖像處理中常見的mask運(yùn)算都是卷積，?泛應(yīng)?于圖像濾波。卷積在數(shù)據(jù)處理中?來平滑，卷積有平滑效應(yīng)和展寬效應(yīng).3、卷積計(jì)算為了更好的理解，直接上例?a-、濾波器（卷積核）a、卷積例?b、卷積之padding填充填充?法有:補(bǔ)零填充邊界復(fù)制填充,鏡像填充,塊填充c、步幅###d、計(jì)算增加參數(shù)后，卷積輸出shapee、注意f、整體理解?、圖像處理基礎(chǔ)1、讀取圖像importnumpyasnpimportmatplotlib.pyplotaspltimportsys,ossys.path.append(os.pardir)%matplotlibinlineimg=np.array(plt.imread("../data/劉亦菲.jpg"))#將圖像格式轉(zhuǎn)化np.array格式，?便后續(xù)處理plt.figure("劉?姐")plt.imshow(img)#函數(shù)負(fù)責(zé)對(duì)圖像進(jìn)?處理，并顯?其格式，但是不能顯?plt.axis("off")plt.show()print(img.shape)print(img.dtype)print(img.size)print(type(img))print(img[0,0])#因?yàn)槭荝GB三通道(1200,1920,3)uint86912000<class'numpy.ndarray'>[9596124]2、撒點(diǎn)椒鹽#隨機(jī)?成5000個(gè)椒鹽rows,cols,dims=img.shapeforiinrange(5000):在x=np.random.randint(0,rows)#0-rows之間隨便取值y=np.random.randint(0,cols)#img[x,y,:]=255#將這個(gè)隨機(jī)點(diǎn)設(shè)置為?點(diǎn),即椒鹽plt.figure("beauty")plt.imshow(img)plt.axis('off')plt.show()3、圖像?值化#圖像?值化fromPILimportImageimportnumpyasnpimportmatplotlib.pyplotaspltimg=np.array(Image.open("../data/劉亦菲.jpg").convert('L'))rows,cols=img.shapeforiinrange(rows):forjinrange(cols):if(img[i,j]<=128):img[i,j]=0else:img[i,j]=1plt.figure("MonaLisa")plt.imshow(img,cmap='gray')plt.axis('off')plt.show()4、分量提取importmatplotlib.pyplotaspltimportnumpyasnpimporttensorflowastfimg=np.array(plt.imread("../data/劉亦菲.jpg"))plt.imshow(img[:,:,0],cmap="gray")#L分量轉(zhuǎn)化為灰度圖plt.show()plt.imshow(img[:,:,1],cmap="gray")#G分量轉(zhuǎn)化為灰度圖plt.show()plt.imshow(img[:,:,1],)#只顯?G分量plt.show()5、灰度圖?fromPILimportImageimg=np.array([1])#讀取圖?并轉(zhuǎn)換為灰度圖?,img_1=Image.open("../data/劉亦菲.jpg").convert('1')#??即??img=np.array(Image.open("../data/劉亦菲.jpg").convert('L'))#0255?,其他數(shù)字灰度不同plt.imshow(img_1,cmap="gray")#圖?只顯?像素點(diǎn)為0或者255的值plt.show()plt.imshow(img,cmap="gray")plt.show()6、圖像卷積處理之numpy本部分的圖像卷積處理使?的是科學(xué)計(jì)算包numpy,利?numpy的?播功能,能夠很簡(jiǎn)單的進(jìn)?矩陣運(yùn)。本部分的圖像卷積，是直接將圖像的每?個(gè)像素點(diǎn)的三個(gè)通道的像素都進(jìn)?了卷積處理，然后顯?#圖像卷積運(yùn)算importnumpyasnpimportmatplotlib.pyplotaspltimportsyssys.path.append("../")%matplotlibinlineimg=np.array(plt.imread("../data/劉亦菲.jpg"))#構(gòu)建輸出矩陣形狀,使?0填充,defgenerate_dst(img,kernel,stride=1,padding=0):#默認(rèn)步幅=1,填充為0m=(img.shape[0]+2*padding-kernel.shape[0]+stride)/stride#?n=(img.shape[1]+2*padding-kernel.shape[1]+stride)/stride#長(zhǎng)rgb_channel=img.shape[2]#RGB三通道print("新構(gòu)建的圖?形狀%0.3f,%0.3f,%0.3f"%(m,n,rgb_channel))returnnp.zeros((int(m),int(n),int(rgb_channel)),)#單個(gè)卷積核的運(yùn)算defdiv_convolution(img_block,kernel):_img=np.array(img_block).flatten()#轉(zhuǎn)化為?維_kernel=np.array(kernel).flatten()#returnnp.mean(_img*_kernel)#returnnp.sum(_img*_kernel)#正常的卷積運(yùn)算是直接加和，并不進(jìn)?均值計(jì)算#將圖?按照convolution變換,注意這?還沒有對(duì)最終結(jié)果進(jìn)?歸?化defconvolution2dst(img,dst,kernel):foriinrange(dst.shape[0]):forjinrange(dst.shape[1]):forkinrange(dst.shape[2]):#通道dst[i,j,k]=div_convolution(img[i:i+kernel.shape[0],j:j+kernel.shape[1],k],#kernel與?致的矩陣kernel)#將圖?歸?化到256之間defimg2normalization_256(img_convolution):_img=img_convolution.flatten()_max=np.max(_img)_min=np.min(_img)_img=(_img-_min)*255/(_max-_min)_img=np.array(_img,dtype="int64")#將所有數(shù)據(jù)轉(zhuǎn)化為int型img_convolution_normalization=_img.reshape((img_convolution.shape[0],img_convolution.shape[1],img_convolution.shape[2]))returnimg_convolution_normalizationdefconvolution(img,kernel,is_normalization=False):dst=generate_dst(img,kernel)convolution2dst(img,dst,kernel)ifnotis_normalization:returndstelse:new_img=img2normalization_256(dst)returnnew_imgimg=np.array(plt.imread("../data/劉亦菲.jpg"))test_kernel=np.array([[-1,-1,-1],[-1,9,-1],[-1,-1,-1]])img_convolution=convolution(img,test_kernel,True)#顯?直接卷積后的結(jié)果plt.figure("劉?姐")plt.imshow(img_convolution)plt.axis("off")plt.show()print(img_convolution[0,0])#顯?處理完的圖像img_convolution=img2normalization_256(img_convolution)plt.figure("劉?姐")plt.imshow(img_convolution)plt.axis("off")plt.show()7、圖像卷積處理之tensorflowfromPILimportImageimportmatplotlib.pyplotaspltimportnumpyasnpimporttensorflowastf%matplotlibinline'''tf.nn.conv2d(input=,#輸?圖像[batch,height,width,channels]filter=,#卷積核,strides=,#步幅?維向量,長(zhǎng)度為4padding,#擴(kuò)展SAME表?在掃描的時(shí)候，如果遇到卷積核?剩下的元素要?時(shí)，這個(gè)時(shí)候需要補(bǔ)0進(jìn)?最后?次的?掃描或者列掃描use_cudnn#啟?cudnn加速name)#執(zhí)?該操作name'''img=np.array([1])#讀取圖?并轉(zhuǎn)換為灰度圖?,Image.open("../data/劉亦菲.jpg").convert('1')#??即?img=np.array(Image.open("../data/劉亦菲.jpg").convert('L'))#0255,??其他數(shù)字灰度不同img_full=np.reshape(img,[1,img.shape[0],img.shape[1],1])print(img_full.shape)#(1,1200,1920,1)#創(chuàng)建占位input_full=tf.Variable(tf.constant(1.0,shape=img_full.shape))#input_full=tf.Variable(img_R_full,dtype=tf.float32)#可以直接輸?#創(chuàng)建卷積核filter_kernel=tf.Variable(tf.constant([#[1.0,2,1],[0,0,0],[-1,-2,-1]#?平邊緣濾波器#[0,-4,0],[-4,16,-4],[0,-4,0]#整體邊緣濾波器#[1,0,-1],[2,0,-2],[1,0,-1]#垂直邊緣濾波器[-1,-1,-1],[-1,9,-1],[-1,-1,-1]],shape=[3,3,1