TensorFlow +OpenVINO 整合開發(fā)CR-A06-深度神經(jīng)網(wǎng)絡(luò)-以分類器為例

深度神經(jīng)網(wǎng)絡(luò)2.分類器的NN模型3.復(fù)習(xí)：空間對(duì)應(yīng)4.神經(jīng)網(wǎng)絡(luò)的空間對(duì)應(yīng)5.范例實(shí)現(xiàn)：使用TensorFlow6.優(yōu)化模型：使用OpenVINO優(yōu)化器7.測(cè)試模型：使用OpenVINO推論引擎認(rèn)識(shí)神經(jīng)網(wǎng)絡(luò)行仿真運(yùn)算，是目前人工智能領(lǐng)域最常用模型認(rèn)識(shí)神經(jīng)網(wǎng)絡(luò)信息方式的數(shù)學(xué)模型(Model),藉由數(shù)學(xué)式來(lái)進(jìn)行仿真運(yùn)算，是目前人工智能領(lǐng)域最常用模型之一。元(Neuron),每個(gè)神經(jīng)元是與其他神經(jīng)元連結(jié)狀態(tài)的刺激，也會(huì)沖擊其他神經(jīng)元。如下圖：認(rèn)識(shí)神經(jīng)網(wǎng)絡(luò)神經(jīng)元Y輸出信息輸入信息認(rèn)識(shí)神經(jīng)網(wǎng)絡(luò)到突觸后細(xì)胞，其中突觸上一個(gè)神經(jīng)元向突觸下一個(gè)神經(jīng)元持續(xù)的刺激，提高突觸傳遞的效能?！ぴ谌斯ど窠?jīng)網(wǎng)絡(luò)里，就以權(quán)重」(Weight)來(lái)表示這種效能的高低。如下圖：神經(jīng)元Y輸出信息輸入信息認(rèn)識(shí)神經(jīng)網(wǎng)絡(luò)神經(jīng)元神經(jīng)元認(rèn)識(shí)神經(jīng)網(wǎng)絡(luò)神經(jīng)元神經(jīng)元表這個(gè)神經(jīng)元突觸傳遞效能，也就是「權(quán)重」。神經(jīng)元WO神經(jīng)元W1X1Y分類器的NN模型復(fù)習(xí)：簡(jiǎn)單NN模型層與輸出層。神經(jīng)元Wo神經(jīng)元復(fù)習(xí)：簡(jiǎn)單NN模型層與輸出層。·在稱呼時(shí)，通常不把輸入層算進(jìn)去，所以這種簡(jiǎn)單的模YY復(fù)習(xí)：簡(jiǎn)單NN模型·這圖里的輸出層只有一個(gè)神經(jīng)元，這種簡(jiǎn)單模型適合于二分法(即二元分類)的判斷。YY分類器的NN模型復(fù)習(xí)：簡(jiǎn)單NN模型·這圖里的輸出層只有一個(gè)神經(jīng)元，這種簡(jiǎn)單模型適合于二分法(即二元分類)的判斷?！Q句話說(shuō)，針對(duì)二元分類或是回歸的情境時(shí)，其輸出層通常只需要一個(gè)神經(jīng)元。YY分類器的NN模型多元分類NN模型：·這是稍微復(fù)雜一點(diǎn)的單層NN模型，其仍然包含兩個(gè)部分：輸入層與輸出層。分類器的NN模型多元分類NN模型：·這是稍微復(fù)雜一點(diǎn)的單層NN模型，其仍然包分類器的NN模型多元分類NN模型：·如果需要進(jìn)行多元分類時(shí)，其輸出層就需要多個(gè)神經(jīng)元，而且輸出層的神經(jīng)元個(gè)數(shù)會(huì)等于類別的數(shù)量。神經(jīng)元分類器的NN模型·例如，下圖是三層NN模型(不算輸入層):神經(jīng)元神經(jīng)元Y輸出層隱藏層輸入層Z模型隱藏層激活函數(shù)：Sigmoid二元分類損失函數(shù)：交叉墑?chuàng)p失函數(shù)：交叉墑激活函數(shù)：Sigmoid二元分類多元分類二元分類神經(jīng)網(wǎng)絡(luò)的空間對(duì)應(yīng)·在分類模型中，人們給予目標(biāo)值，而Al則探索出足夠好的W和B,進(jìn)而求出足夠趨近于目標(biāo)的預(yù)測(cè)值?！ぴ谌藗冃闹?，先對(duì)事物進(jìn)行了分類，并給各類別貼上標(biāo)簽(即目標(biāo)值),來(lái)指引(監(jiān)督)ML逐步學(xué)習(xí)分類。所以，復(fù)習(xí)：簡(jiǎn)單分類器的空間對(duì)應(yīng)<水>與<冰>。二元分類234567891維坐標(biāo)以3456789學(xué)習(xí)分類學(xué)習(xí)分類學(xué)習(xí)分類學(xué)習(xí)分類學(xué)習(xí)分類·這個(gè)范例里，人們將事物區(qū)分為兩個(gè)類別，所以設(shè)定目標(biāo)值：1代表<水>·且0代表<冰>。這通稱為：二元分1維坐標(biāo)坐標(biāo)Al逐步探索&學(xué)習(xí)Al逐步探索&學(xué)習(xí)ABCDEFGHIJKL1二元分類231維坐標(biāo)以X*W+B=Y表示1維坐標(biāo)4XB(bias)T501(水)611(水)741(水)851(水)9-50(冰)-60(冰)完成了! 學(xué)習(xí)分類(300回合)學(xué)習(xí)分類(3000回合)學(xué)習(xí)分類(30回合)Al逐步探索&學(xué)習(xí)·Al找到了W和B值。然后將這W和B值帶入X*W+B=Y和Sigmoid(Y)=Z兩公式，而計(jì)算出來(lái)的Z值。例如，1維坐標(biāo)X*W+B=YX*W+B=Y0(冰)0.2-6-5Al逐步探索&學(xué)習(xí)空間里的6個(gè)點(diǎn)(代表6瓶水)都計(jì)算出其預(yù)測(cè)值·并呈現(xiàn)于Z空間里，如下圖：1維坐標(biāo)Z(冰)Al逐步探索&學(xué)習(xí)Z1維坐標(biāo)1(水)0.90(冰)0(冰)Al逐步探索&學(xué)習(xí)ABCDEFGHIJK1二元分類23以X*W+1維坐標(biāo)4XT501(水)611(水)741(水)1851(水)19-50(冰)0-60(冰)0完成了! 學(xué)習(xí)分類(30回合)學(xué)習(xí)分類(300回合)學(xué)習(xí)分類(3000回合) Al逐步探索&學(xué)習(xí)Y和Sigmoid(Y)=Z兩公式，而計(jì)算出來(lái)的Z值：1維坐標(biāo)Al逐步探索&學(xué)習(xí)·預(yù)測(cè)值與其目標(biāo)值，已經(jīng)更接近了。但是仍有誤差。,,110(冰)0變小了Al逐步探索&學(xué)習(xí)ABCDEFGHIJKL1二元分類231維坐標(biāo)以X*W+B=Y表示1維坐標(biāo)4XW(weight)B(bias)T501(水)611(水)741(水)1851(水)19-50(冰)0-60(冰)0完成了! 學(xué)習(xí)分類(30回合)學(xué)習(xí)分類(300回合)學(xué)習(xí)分類(3000回合)學(xué)習(xí)分類(3000回合)Al逐步探索&學(xué)習(xí)·預(yù)測(cè)值已經(jīng)足夠接近于目標(biāo)值了。23456789X01411-5學(xué)習(xí)分類很小了Al逐步探索&學(xué)習(xí)·其中4瓶水預(yù)測(cè)值，很接近于目標(biāo)值(1),就歸于<水>類。1維坐標(biāo)(水)0.9(水)0.9(水)10(冰)00(冰)0<水>類Al逐步探索&學(xué)習(xí)·其中2瓶水預(yù)測(cè)值，很接近于目標(biāo)值(0),就歸于<冰>類。T1(水)1(水)1(水)11(水)10(冰)00(冰)0<冰>類神經(jīng)網(wǎng)絡(luò)的空間對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的空間對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·人工的神經(jīng)網(wǎng)絡(luò)(NeuralNetwork)是一種模仿人類頭腦處理信息方式的數(shù)學(xué)模型。·本節(jié)將以神經(jīng)網(wǎng)絡(luò)圖形來(lái)表達(dá)空間對(duì)應(yīng)之矣系，以及表達(dá)X*W+B=Y的計(jì)算過程。范例-1對(duì)應(yīng)到一維的Y空間神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·例如，下圖所示的簡(jiǎn)單空間對(duì)應(yīng)矢系?！ふ?qǐng)按下<尋找W&B>,就迅速找出W和B值，如下ABCEFGH1空間的概念231維坐標(biāo)以X*W+1維坐標(biāo)4XW(weight)B(bias)Y50161372589尋找W&B(即XY對(duì)應(yīng)矣系)神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)這個(gè)Al模型就迅速找出W這個(gè)Al模型就迅速找出W和B值，如下：21534567X012899神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·于是，目前已知X、W和B值了，就帶入X*W+B=Y公式，如下圖：W值是：2X空間X空間神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)XYW神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)XYW從三維的X對(duì)應(yīng)到一維的Y空間神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·接下來(lái)，看看從三維的X對(duì)應(yīng)到一維的Y空間的范例：ABCEFGH1J1NN圖形(3維)233維坐標(biāo)1維坐標(biāo)4擦口紅高跟鞋抽煙Y51001(女士)6Mike0101(女士)70010(男士)81101(女士)9尋找W&B(即XY對(duì)應(yīng)矣系)(即XY對(duì)應(yīng)矣系)神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·請(qǐng)按下<尋找W&B>,就找出W和B值，如下：123456789ABC3維坐標(biāo)D抽煙0010B1BW0W01維坐標(biāo)Y101神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)式，如下圖：X空間X空間101W2=-101X20從三維的X對(duì)應(yīng)到二維的Y空間神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·接下來(lái)，看看從三維的X對(duì)應(yīng)到二維的Y空間的范例：123456789ABCD3維坐標(biāo)擦口紅高跟鞋抽煙2維坐標(biāo)11010010(男士)神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·請(qǐng)按下<尋找W&B>,就找出W和B值，如下：123456789ABCD3維坐標(biāo)抽煙00抽煙001012維坐標(biāo)11010010(男士)1神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·于是，目前已知X、W和B值了，就帶入X*W+B=Y公式，如下圖：00b1(0,1)W0100b1b1從三維的X對(duì)應(yīng)到二維的Z空間神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·接下來(lái)，看看從三維的X對(duì)應(yīng)到二維的Z空間的范例：BCEFGHIJKLMN1NN圖形(3維)233維座4錢多事少離家近BTZ511110(喜歡)6101W10(喜歡)711001(普通)810001(普通)901000(普通)分類神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·按下<分類>,就找出W和B值，然后經(jīng)過X*W+B=Y和Sigmoid(Y)=Z公式的運(yùn)算，得出Z值。如下：123456789A3維座標(biāo)11110事少10101110004HT2維座標(biāo)&SigmoidN神經(jīng)網(wǎng)絡(luò)與空間對(duì)應(yīng)·現(xiàn)在，使用神經(jīng)網(wǎng)路圖形來(lái)表達(dá)這個(gè)公式的運(yùn)算。b1b10x0*w01+x1*w11+x2*w21+blSigmoid(y1)=zlb1b103.8XZO123456789A多個(gè)隱藏層3維座標(biāo)錢多事少離家近BWZZT多層一起學(xué)習(xí)同步修正這三層權(quán)重?！Q句話說(shuō)，這三層權(quán)重是一起逐步成長(zhǎng)的?！ぐ聪?lt;多層一起學(xué)習(xí)>。多層(深度)神經(jīng)網(wǎng)絡(luò)·就會(huì)尋找出各隱藏層的權(quán)重(如WH1和BH1),同時(shí)也尋找出輸出層的權(quán)重(即W和B)。123456789A3維座標(biāo)11011001001111T·將輸入層X空間，對(duì)映到隱藏層H1空間·再對(duì)映到隱藏層H2空間·再對(duì)映到輸出層的Z空間。例如，將X=[1,1,0]經(jīng)由三層權(quán)重的計(jì)算流程是：1WW110范例實(shí)現(xiàn)-1視角-1:數(shù)據(jù)矣系視角-2:視角-3:BCEFGHJKLMN01多個(gè)233維座標(biāo)H2Z4錢多事少離家近T51101(快樂)61011(快樂)70010(悶)80110(悶)9多層一起學(xué)習(xí)(目標(biāo)值)(目標(biāo)值)importkerasfromkeras,modelsimportSequentialdefsigmoid(x):return1/(1+np,exp(-x))#-X=np,array([[1,1,0],準(zhǔn)備訓(xùn)練數(shù)據(jù)wh1ini=[np,array([[0.1,0.2],X[]和T[][-0.2,0.2[0.5,:0.1]],dtype=np.float32),np.array([0.5,0.0],dtype=np.float32)]wh2_iniay[.1,1],dtype=np.float32),np,array([0.5,0.0],dtype=np.float32)]woini=[np,array([[0.1][-0.21],dtype=np.float32),np,array([0.0],dtype=np.float32)]0,120,0,10,1]],,dtype=np.float32)T=np,array([30,0],dtype=np.float32)[0.5,-0.1]],dtype=np.float32),np.array([0.5,0.0],dtype=np.float32)]continuedNalohalwhiwh2uomndeldh1=Dense(H1,activation='linear',name="dh1",inputdim=N)model.add(dh2)model.add(d)pile(loss=keras,losses.MSE,optimizerkerasoptimizerS=4H1S=4H1=2defg()wh,wh2,wo,model模型(Model)dh1=model.add(dh2)model.add(d)pile(loss=kerasoptimizerkerasoptimizeglobalwhl,wh2,wo,modeldh1=Dense(H1,activation='linear',name="dh1",inputdim=N)dh2=Dense(H2,activation='linear',name="dh2",inputd=Dense(O,activation='sigmoid',name="d",inputpile(loss=keras,losses.MSE,optimizer=keras,optimizers.SGD(1r=0.05),metrics=['accuracy'])dh1.setweights(whlini)dh2.setweights(wh2ini)d.setweights(woini)model.fit(X,T,1,2000,0)globalwh1,wh2,wo,modeldh1=Dense(H1,activation='linear'dh2=Dense(H2,activation='linear'd=Dense(O,activation='sigmoid'modelcompilelosskeraslosseoptimizerkerasoptimizersSGprint(mp.round(z,2))print("\n--------W&B--------")print("BH1=")print(np.round(bh1,2))print("WH1=")print(np.round(wh1,2))print("\nBH2=")print(np.round(bh2,2))print("WH2=")print(np.round(wh2,2))print(np,round(bo,2))print("WO=")print(np.round(wo,2))training()運(yùn)行Python程序，輸出預(yù)測(cè)值[[1.][0.99[0.01-------Ⅱ&B[[-2.040.15][0.20.18]BH2=[0.45BO=[[-0.21][[-0.21][-2.09]]ABCEFGH1JKLM1多個(gè)隱藏層233維座HH2SigmoidZ4錢多事少離家近T51101(快樂)161011(快樂)70010(悶)80110(悶)09B多層一起學(xué)習(xí)W完成了!范例實(shí)現(xiàn)-2認(rèn)識(shí)ECG(心電圖)電圖，許多人都在醫(yī)院做過心電圖檢查。armsonatableoryourlegs.認(rèn)識(shí)ECG(心電圖)段等)包含著豐富的病理資訊。RPSegmentTS·這些波段都包含了非常多的病例資訊。例如：RR期間可以反映心動(dòng)周期的時(shí)限；相鄰心動(dòng)周期的RR期間的比值可以反映室性早搏；R波和S波幅值的比值和R波和S波之間的時(shí)限可以反映房性早搏等異常情況，等等。P⑤①①①httpswwwmaimonidesemo介紹MIT-BIH心電數(shù)據(jù)庫(kù)庫(kù)。此資料庫(kù)中含括了豐富的心電訊號(hào)。建立一個(gè)多層(深度)NN模型MIT-BIH的ECG數(shù)據(jù)來(lái)訓(xùn)練它。異常分類方法通常將信號(hào)分為5類。CNN)來(lái)從預(yù)處理后的ECG信號(hào)中自動(dòng)提取特征，然后依據(jù)這些特征來(lái)進(jìn)行最終的分類。建立一個(gè)多層(深度)NN模型向，也就是時(shí)間方向的位置是有意義的，垂直方向，也就是振幅方向，在知道水淮方向的位置后可以直接得到精確的幅值。夠精準(zhǔn)地分割信號(hào)就可以了。視角-2:視角-3:ABCEFGH1JK1ECG心電圖AI模型：學(xué)習(xí)特征2基于MIT-BIH大數(shù)據(jù)3本范例使用1432筆(分為5類)45MIT-BIH數(shù)據(jù)6789AI學(xué)習(xí)ABCEFGH1JKLM1ECG心電圖AI模型：學(xué)習(xí)特征2基于MIT-BIH大數(shù)據(jù)3本范例使用1432筆(分為5類)415MIT-BIH數(shù)據(jù)6170890AI學(xué)習(xí)111Total:·為了節(jié)省模型訓(xùn)練的時(shí)間，只讀取其中的1432筆來(lái)訓(xùn)練Al模型。每一筆資料包含187個(gè)特征值。1T20000000300000004000000050000000600000017000000180000002900000020000003000000300000040000004分類標(biāo)簽ABCDEFGH1JKLM1ECG心電圖AI模型：學(xué)習(xí)特征2基于MIT-BIH大數(shù)據(jù)3本范例使用1432筆(分為5類)415MIT-BIH數(shù)據(jù)6170890AI學(xué)習(xí)111學(xué)習(xí)完成了Total:ABCEFGH1JKLM1特征234測(cè)試ECG數(shù)據(jù)預(yù)測(cè)(5種癥狀)5678class-0class-]class-2class-49ABCDEFGH1JKLM1ECG心電圖AI模型：測(cè)試特征2基于MIT-BIH的測(cè)試數(shù)據(jù)314測(cè)試ECG數(shù)據(jù)預(yù)測(cè)(5種癥狀)5161718class-0class-1class-2class-3class-49001110.95711T2000000003000000004000000005160000000170000000180000000290000000200000002000000030000000300000003000000040000000400000004 8class-0class-1class-291000010000100000000100001000001000010000100000000000100000100001001000000000678412567891811111000000000000001100000000000000011100000000000000000000000T000111222333444輸入層FC層輸出層輸入層潛藏空間H1##importtensorflowastfX=NonedefreadData():globalX,Tdftrain=pd.readcsv(path+'mitbihtrain1432.csv',header=None)dftrain=dftrain.sample(frac=1)X=np,array(dftrain[list(range(N))].values)[:..,np.newaxis]T=np.array(dftrain[N].values).astype(8)creatcreatingm):defgetModel(x=Input(shape=(N,1))h=ConvoltutionlD(16,5,activation='relu',padding="valid")(x)h=ConvolutionlD(16,5,activation='relu',padding="valid")(h)h=MaxPool1D(2)(h)h=Dropout(0.1)(h)建立多層NN模型h=ConvolutionlD(32,3,h=ConvolutionlD(32,3,h=MaxPool1D(2)(h)h=Dropout(0.1)(h)h=ConvolutionlD(32,3,h=ConvolutionlD(32,3,h=MaxPool1D(2)(h)h=Dropout(0.1)(h),padding="valid")(h),padding="valid")(h)z=ConvolutionlD(64,3,=ConvolutionlD(64,3,=GlobalMaxPool1D()(h)=Dropout(rate=0.1)(h)activation='relu',padding="valid")(h)activation='relu',padding="valid")(h)===Dense(64,activation='relu'name="d2")(y))(y)optimizeroptimizersAreadData()model=.getModel()model.fit(X,,T,epochs=150,verbose=9,callbacks=None,validationsplit=0.1)#-------Savedto*,pb-sess=K.getsession()sess.run(tf.localvariablesinitializer())frozengraph=tf.graphutil.Convertvariablestoconstants(tf.io.writegraph(frozengraph;"C:/pb/","ecgmodel.pb",astext=False)tf.io.writegraph(frozengraph,"C:/pb/","ecgmodel.pbtxt",astext=True)print("\nSavedtoc:/pb/ecgmodel.pb\n")dftrain=pd.readcsv(path+'mitbihtrain1432test.csv',header=None)#dftrain=pd.readcsv(path+'mmhecg140.csv',header=None)TX=np.array(dftrain[list(range(187))].values)[...,np.newaxis]z=model.predict(TX)zz=np.round(z,3)print(zz)sess=K.getsession()vert_variables_to_constants(sess,tf.getdefaultgraph(),asgraphdef(),"C:/pb/","ecgmodel.pb",astext=False)tf.io.writegraph(frozengraph;print("\nSavedtoc:/pb/ecgmodel.pb\n")dftrain=pd.readcsv(path+'mitbihtrain1432test.csv',header=None)dftrainpdreadcsvpathmmhecgcsyheader=None)OptimizerreadData()model=getModel()#-------Savedto*.pb-sess=K.getsession()sess,run(tf.localvariablesinitializer())讀取測(cè)試數(shù)據(jù)，并預(yù)測(cè)tf.io.writegraph("C:/pb/"__print("\nSavedtoc:/pb/ecgmodel.pb\n")dftrain=pd.readcsv(path+'mitbihtrain1432test.csv',header=None)#dftrain=pd,readcsv(path+'mmhecg140,csy',header=None)TX=np.array(dftrain[list(range(187))].values)[...,np.newaxis]z=model.predict(TX)zz=np.round(z,3)LTcTr[r[ LTcTr[r[ 89100001000000000000100000000000001000010000000000000000000000[[0.9960.[1.0.F?:0030.c:/pb/ecgmodel.pb0.9980.0.10.0.n1111優(yōu)化模型：行優(yōu)化動(dòng)作。操作流程：起步·剛才已經(jīng)從TensorFlow匯出*pb檔案了，其路徑和步驟-1:進(jìn)入優(yōu)化器的工作區(qū)1.1首先從Windows的命令行窗口出發(fā)：