TensorFlow +OpenVINO 整合開發(fā)CR-A07-自編碼器(AE)-神奇的ML瑞士刀

--神奇的ML瑞士刀_1.小而美的自編碼器(AE)3.開始創(chuàng)作之旅4.組合成維深度學習模型5.設(shè)計出自編碼器(AE)6.AE的過濾和降維效果7.范例實現(xiàn)-18.范例實現(xiàn)-29.優(yōu)化模型：使用OpenVINO優(yōu)化器10.測試模型：使用OpenVINO推論引擎小而美的自編碼器小而美的自編碼器·AE是一種小而美的ML模型，它的用途非常多，所以有ML瑞士刀」之稱。例如·PawerSobel就稱之為：深度學習瑞士刀。小而美的自編碼器Sobel在其文章里寫道：當談到在一個充滿機器學習問題的世界中生存時，有一種算法可能像瑞士刀一樣通用，它是一種自動編碼·AE本身就有很多種變化型式，而且它可以跟其他ML模型相結(jié)合，成為ML模型創(chuàng)新的核心要素之一。復習：分類器以邏輯回歸分類器為例·例如，有一群鴨和雞，我們收集了它們的兩項特征是：頭冠大小與腳蹼大小。如下圖所示：復習：分類器以邏輯回歸分類器為例ML建模的三個視角如何設(shè)計視角-1:數(shù)據(jù)矣系視角-3:視角-2:空間對應(yīng)復習：分類器·從視角-1<數(shù)據(jù)矢聯(lián)>來看這個Al(ML)模型：BCDEFGH1J1X空間Z空間(Sigmoid)2頭冠大小腳蹼大小TZ3420(雞)4310(雞)5200(雞)6021(鴨)7151(鴨)8261(鴨)9學習復習：分類器以邏輯回歸分類器為例·從視角-2<空間對應(yīng)>來看這個模型：以邏輯回歸分類器為例·從視角-3<神經(jīng)網(wǎng)絡(luò)>來看這個模型：sigmoidx0x1開始學習按下<學習>,這ML模型就尋找出最棒的W&B來表達上述ABCEFGH1J1X空間Z空間(Sigmoid)2頭冠大小腳蹼大小TZ3420(雞)04310(雞)05200(雞)06021(鴨)7151(鴨)18261(鴨)19W學習1.32326078B·于是，尋找出了很棒的W&B了，讓預(yù)測值(Z)非常接近于目標值(T)了，呈現(xiàn)出的理想的空間對應(yīng)矢系：·其中，是由人類去思考而提供出目標值。所以，它屬于監(jiān)督式學習模式。--組合兩個分類器組合兩個分類器增添一個新分類器(取名為分類器-2),并且拿這個Z值來做為這新模型的輸ABCDEFGHJ1Z空2頭冠大小腳蹼大小TZ03420(雞)4P1310(雞)05200(雞)06021(鴨)7151(鴨)18261(鴨)19W學習B組合兩個分類器增添一個新分類器應(yīng)；2)分類器-2的空間對應(yīng)。·現(xiàn)在，就將兩者連結(jié)起來，形成下述的整合對應(yīng)矢系：如下圖：組合兩個分類器分類器-2ABCDEFGHIJK12ZY空間(Linear)3t0tl4001(雞)5001(雞)6001(雞)710(鴨)8110(鴨)9110(鴨)學習組合兩個分類器分類器-2展開學習·接下來，就可按下<學習>,這回歸模型就尋找出Wr&Br組合兩個分類器分類器-2學習完成了ABCDEFGHIJ12ZY空間(Linear)34001(雞)5001(雞)6001(雞)710(鴨)8110(鴨)9110(鴨)1.0180421-1.018042學習組合兩個分類器這種組合模型的特性組合成為ABCDEFGHABCDEFGH1Z空2頭冠大小腳蹼大小TZ3420(雞)04P310(雞)05200(雞)06021(鴨)7151(鴨)18261(鴨)19W-1.51709652學習B-0.11976039組合成深度學習模型·現(xiàn)在將兩個模型融合為一，成為一個多層的神經(jīng)網(wǎng)絡(luò)；它也是一個分類器。如下圖：BCDEFGHIJKLM1X空間Y空間(Lin2頭冠大小腳蹼大小H34201(雞)43101(雞)52001(雞)60210(鴨)71510(鴨)82610(鴨)9學習組合成深度學習模型ABCDEFGH1JKLM1Y空間(Lin2頭冠大小腳蹼大小H34201(雞)4P3101(雞)52001(雞)60210(鴨)71510(鴨)82610(鴨)9Bo學習·其中的Wh和Bh就是這隱藏層的權(quán)重和偏移植。·由于這是監(jiān)督式學習模式，所以在Y空間里設(shè)定了兩個目標值(也就是上圖里的標簽),如下圖所示：X0yoH組合成深度學習模型從X空間對應(yīng)到Y(jié)空間的目標點6組合成深度學習模型展開學習·請按下<學習>,這個多層模型就展開學習，尋找出最好組合成深度學習模型學習完成了BCDEFGH1JKLM1X空間H空間(SiY空間(Linear)2頭冠大小腳蹼大小H34201(雞)43101(雞)0152001(雞)0160210(鴨)715010(鴨)826010(鴨)9學習學習完成了·其空間對應(yīng)矢系，如下圖所示：X空間H空間組合成深度學習模型此模型的特性·在這個模型里，也是人們?nèi)ニ伎级峁┝四繕酥?即分類標簽),所以是采監(jiān)督式學習模式。設(shè)計出自編碼器采取非監(jiān)督式學習學習。BCDEFGHJKLM1X空間H空間(SiY空間(Linear)2頭冠大小腳蹼大小H34201(雞)43101(雞)0152001(雞)0160210(鴨)715010(鴨)826010(鴨)9-1.2704818學習-0.2542166標簽),就稱為非監(jiān)督式學習了。模型又如何學習呢?專家們就想到一個方法，就是：拿輸入值(X)x0H空間的對應(yīng)矢系，如下：X空間AE:展開訓練·按下<學習>,這個AE就展開學習，尋找出最好的Wh&Bh,以及Wo&Bo,并且輸出其預(yù)測值(Y):ABCEFGHIJKLM1X空間H空間(Sigmoid)Y空間2頭冠大小腳蹼大小H3424222431312152020206020222715152682626269學習·按下<學習>,這個AE就展開學習，尋找出最好的Wh&Bh,以及Wo&Bo,并且輸出其預(yù)測值(Y):123456789頭冠大小腳蹼大小Ht0=x0tl=x1y0F0F1F2FBF4F5432012210256432012210256學習學習M210266Wh&BhH·按下<學習>,這個AE就展開學習，尋找出最好的Wh&Bh,以及Wo&Bo,并且輸出其預(yù)測值(Y):123456789X空間頭冠大小腳蹼大小H0.94019843201221025622M210266AE:展開訓練·按下<學習>,這個AE就展開學習，尋找出最好的Wh&Bh,以及Wo&Bo,并且輸出其預(yù)測值(Y):ABCEFGHIJKLM1X空間H空間(Sigmoid)Y空間(Linear)2頭冠大小腳蹼大小H3424222431312152020206020222715152682626269學習-0.099AE:展開訓練123456789頭冠大小腳蹼大小P0P1P2P3P4P5432012學習L222222M210266AE:展開訓練123456789頭冠大小腳蹼大小P0P1P2P3P4P5432012H0.94學習M210266H頭冠大小腳蹼大小424222313121202020020222151526262626H延續(xù)上一小節(jié)的范例：延續(xù)上一小節(jié)的范例：ABCEFGHIJKLM1X空間Y空間2頭冠大小腳蹼大小H3424243131520206020271515826269學習ABCEFGH1JKLM1X空間H空間(Y空間2頭冠大小腳蹼大小H3424222431312152020206020222715152682626269學習ABCEGH1JKLM1X空間H空間(Sigmoid)Y空間2頭冠大小腳蹼大小H3424222431312152020206020222715152682626269學習萃取出顯著特征123456789P0P1P2P3P4P543201220256M210266<腳蹼大小>123456789頭冠大小腳蹼大小HtO=x0tl=x1y0M210266X的顯著特征x1充分還原了2頭冠大!腳蹼大小Ht0=x0tl=x1y0y19非顯著特征x0呈現(xiàn)群共性123456789P0P1P2P3P4P543201220256JH0.94432012210256y022M210266hhABCFGH1JKLM1X空間H空間(Y空間2頭冠大小H3P04242224P13131215P22020206P30202227P41515268Z626269學習B-2.69511頭冠大小腳蹼大小423120021526h頭冠大小423120021526h頭頭冠大小腳蹼大小423120021526h的大小對于H值影響會因WH[1]值較大被放大。就凸顯了x1特征(即顯著特征)。顯著特征的計算方法由Decoder的計算而得到輸出資料Y。而且，這輸出資料Y可以非常接近于輸入資料X。并且Y與X極為類似。如下圖所示：從2維降到1維潛藏層從3維降到2維酒藏層AE的降維效果AE的降維效果·AE(自編碼器)是一種可以實現(xiàn)編碼和解碼的神經(jīng)網(wǎng)路。將原始資料透過Encoder進行壓縮(降維);使用Decoder還原成原始資料。0x2y2潛藏空間潛藏空間y2潛藏空間實現(xiàn)范例-1·將輸入X資料經(jīng)由Encoder可計算出H;并能將H資料經(jīng)由Decoder的計算而得到輸出資料Y。而且，這輸出資料Y可以非常接近于輸入資料X。·其主要功能是：將高維度的X資料，轉(zhuǎn)換(壓縮)為低維度的H。然后，可以再從低維度的H還原回來高維度的Y,并且Y與X極為類似。如下圖所示：實現(xiàn)范例-1準備訓練資料ABCEFGH1JK1X空間潛藏空間Y2H310104010156789學習設(shè)定T=X實現(xiàn)范例-1準備訓練資料·按下<學習>,AE模型會逐步探索而尋找出適合的Wh、Bh、Wo和Bo值。如下圖：ABCDEFGHIJK1X空間潛藏空間空間2H31010401-0.70156789-0.7學習-0.70X空間X空間A潛藏空間H12341010學習9實現(xiàn)范例-1|Y空間JK56780實現(xiàn)范例-1#vinoA0701model.pyimportnumpyasnpfromkeras.modelsimportSequential#Encoder的W&B初期值Encoderinit=[np,array([[0.1][-0.1]],dtype=np.float32),np.array([0.0],dtype=np.float32)]#Decoder的W&B初期值Decoderinit=[np,array([[0.1,-0.1]],dtype=np.float32)np.array([0.0,0.0],dtype=np.float32)]實現(xiàn)范例-1#vinoA0701model.pyimportkerasfromkeras.layersimportDense#輸入值X=np,array([[1,0][0,1]],dtype=np.float32)Encoderinit=[np,array([[0.1][-0.i]],dtype=np.floaxs2),np.array([0.0],dtype=np.float32)]#Decoder的W&B初期值np.array([0.0,0.0],dtype=np.float32)]實現(xiàn)范例-1H層和Y層#定義Hidden層dh=Dense(1,activation='linear',inputdim=?#定義Ouput層d=Dense(2,activation='linear',inputdim=1)model.add(dh)model.add(d)pile(loss='mse',optimizer=SGD(lr=0.025),metrics=['accuracy'])##展開訓練150回合model.fit(X,T,1,150,0,#訓練完畢#-----------continued------------------實現(xiàn)范例-1#定義Hidden層dh=Dense(1,activation='linear',inputdd=Dense(2,activation='linear',iratdim=1)modelmodel.add(dh)model.add(d)pile(loss='mse',optimizer=SGD(lr=0.025),metrics=['accuracy'])#把Encoder和Decoder的W&B初期值，設(shè)定給這NN模型#展開訓練150回合model.fit(X,T,1,150,0,shuffle=False)#訓練完畢實現(xiàn)范例-1#定義Hidden層dh=Dense(1,activation='linear',inputdim=2)#定義Ouput層d=Dense(2,activation='linear',inputdim=1)model.add(dh)model.add(d)mode1.Compile(loss='mse',optimizer=SGD(Ir=0.025),hetrics=['accuracy'])#把Encoder和Decoder的W&B初期值，設(shè)定給這NN模型dh.setweights(Encoderinit)d.setweights(Decoderinit)#展開訓練150回合model.fit(X,T,1,150,0,#訓練完畢#-----------continued-----------------Wh初期值Wo初期值Bo初期值Bo初期值實現(xiàn)范例-1展開訓練#定義Hidden層dh=Dense(1,activation='linear',inputdim=2)#定義Ouput層d=Dense(2,activation='linear',inputdim=1)model.add(d)pile(loss='mse',optimizer=SGD(lr=0.025metrics=['accuracy'])#把Encoder和Decoder的W&B初期值，設(shè)定給這NN模型dh.setweights(Encoderinit)d.setweights(Decoderinit)#展開訓練150回合model#訓練完畢continued-------continued-------不輸出不輸出不混洗不混洗撰寫Python程序Continued-#從模型取出訓練好Encader(即隱Bh=dh.getwBh=dh.getweights()[1]Wo=d.getweights()[U]Bo=d.getweights()[1]print("Wh:\n",np.round(Wh,2),"\n")取出Encodergrint("Y(預(yù)測值):\n",yy)print("wh:in",np,round(wh,2),yh=hh=np.round(yh,2)print("H值：\n",hh,"\n")print(print("Wo:\n",np.round(Wo,yoyy=np.round(yo,2)grint("Y(預(yù)測值):\n",yy)-")2),"\n")print("X:\n"",X,"\n")print(-.------")#從NN模型取出訓練好Encoder(即隱藏層的W&B)Wh=dh.getweights()[0]Bh=dh.getweights()[1]Wo=d.getweights()[0]Bo=d.getweights()[1]print("Wh:\n",np.round(Wh,2),"\n")計算Hprint(print("Wo:\n",np.round(Wo,2),"\n")print("Bo:\n",np.round(Bo,2),"\n"yo=np.dot(yh,Wo)+Boyy=np.round(yo,2)grint("Y(預(yù)測值):\n",yy)-----continue--"\n")"\n")print(yo=np.dot(yh,Wo)+Boyy=np.round(yo,2)輸出下述結(jié)果：X:Wo:Y(預(yù)測值):[[0.990.01][0.010.99]]0.7-0.7-0.0H-0.7-0.7-0.0ZH000實現(xiàn)范例-2--多層AE的神經(jīng)網(wǎng)絡(luò)。的AE模型。如下圖：ABCDEFGHIJLMN0PQ1X(輸入值)H1空間H2空間H3空間2香蕉草莓橘子hlh2hlhlh2t0tlt2320204Mike1171175John8218216John208208789Wh3WoBo學習成為3x2x1x2x3形式的神經(jīng)網(wǎng)絡(luò)實現(xiàn)范例-2展開學習ABCDEFGHIJKLMN0P1X(輸入值)H1空間H2空間H3空間Y(預(yù)測值)2香蕉草莓橘子320920411721758218216208118789學習過濾&降維123456789ABDJohn香蕉182草莓2120橘子0718H1空間H2空間H3空間Y(預(yù)測值)學習123456789ABD香蕉草莓橘子H1空間H2空間H3空間Y(預(yù)測值)-1.864學習實現(xiàn)范例-2importnumpyasnpimportkerasfromkeras.optimizersfromkeras.modelsfromkerasimportimporttensorflowimportDense,Flatten,InputastfX=np,array([[10,20]#------------continued-------#-----.3x2x1x2x3NNmodel-----deftrain():globalXN=3$=4H1=2H2=1H3=2將X值轉(zhuǎn)變?yōu)?~1Input)dh1=Dense(H1,activation='linear'))dh2=Dense(H2,activation='sigmoid',name="hresult")dh3=Dense(H3,activation='linear')d=Dense(O,activation='sigmoid',name="oresult")#--------------#在App那邊需要再經(jīng)由sigmoid()轉(zhuǎn)換H1=2H2=1H3=20=3設(shè)定T=Xdh3=Dense(H3,activation='linear')d=Dense(O,activation='sigmoid',name="oresult")#--------------#在App那邊需要再經(jīng)由sigmoid()轉(zhuǎn)換deftrain():globalXN=3$=4H1=2H2=1H3=2#正規(guī)化(Normalize)dx=X/10dt=dx.copy()#目標值T=X#定義Hidden層Inputlayer=Input(shape=(N,))dh1=Dense(H1,activation='linear')dh2=Dense(H2,activation='sigmoid',name="hresult"dh3=Dense(H3,actiyation='linear')d=Dense(O,activation='sigmoid',name="oresult")#在App那邊需要再經(jīng)由sigmoid()轉(zhuǎn)換)各Layers-continued-#建立Encoder和Decoderx=#訓練1000回合tf.io.writegraphfrozengraph,"C:/pb/","encoder.pb",astext=False)tf.io.writegraph(frozengraph,#-------------------#建立Encoder和Decoderx=model=Model(x,z)sgd=SGD(1r=0.15)'',#訓練1000回合model.fit(dx,dt,1,10#-------Savedto*,pb--sess=K.getsession()sess.run(tf.localvariablesinitializer())frozengraph=tf.graphutil.convertvariablestoconstants(_tf.io.writegraph("C:/pb/"__xh1=dh1(x)h2=dh2(h1)h3=dh3(h2)z=d(h3)model=Model(x,z)sgd=SGD(1r=0.15)#-------Savedto*,pb--sess=K.getsession()sess.run(tf.localvariablesinitializer())frozengraph=tf.graphutil.convertvariablestoconstants(sess,tf.getdefaultgraph(),asgraphdef(),['hresult/BiasAdd'])_tf.io.writegraph(frozengraph,"C:/pb/","encoder.pb",astext=False)tf.io.writegraph(frozengraph,名稱encoder=Model(x,h2)decoder=Sequential()decoder,add(dh3)decoder.add(d)#輸出print(np.round(X,2))print("\nH值：")Z=decoder.predict(H)zv=Z*10print("\nZ值：")print(np.round(zv))#-train()encoder=Model(x,h2)decoder=Sequential()decoder,add(dh3)decoder.add(d)p