TensorFlow +OpenVINO 整合開發(fā)CR-A04-熟悉AI的訓(xùn)練流程-以MFCC語音識別為例

1.觀察事物、提取特征2.認(rèn)識音訊的特征3.撰寫程序，來提取MFCC特征4.熟悉AI的訓(xùn)練流程：以語音識別為例6.優(yōu)化模型：使用OpenVINO優(yōu)化器7.測試模型：使用OpenVINO推論引擎從特征出發(fā)觀察事物，提取特征·科學(xué)素養(yǎng)，從<觀察>開始?！ぬ卣?Feature)是什么?例如，天氣特征：烏云密布、霜滿天等。觀察事物，提取特征·觀察是認(rèn)識現(xiàn)象(如事物)的起點·也是智力活動的泉源。觀察的目的主要是為了了解事物外部形態(tài)和特征?！ぐ▍^(qū)分事物的一般特征(Feature)、發(fā)現(xiàn)事物的內(nèi)在本質(zhì)特征等，并且加以記錄，并對結(jié)果進行描述和對比分析，以便提出新問題，進行創(chuàng)造性的活動。觀察事物，提取特征·所謂特征，就是一件事物或一群事物，其具有與眾不同的特色或表征?！だ?，人們在辨別其他人的長相時，常常會觀察對臉形、眼神、嘴巴、發(fā)型等特征來區(qū)分和判斷，只要記住對方獨特的長相特征就可以，不必記憶其他細節(jié)了。觀察事物，提取特征舉例-1·當(dāng)您一大早從家里出門時，常常會先觀察天氣的特征：<烏云密布>,或是<陽光普照>。這也是天賦特征萃取能力的表現(xiàn)。·如果您觀察到了特征：<烏云密布>和<蜻蜓紛飛>。您就會趕緊采取行動，例如：趕快去收衣服，以免被淋濕·所以這些特征與您的行動之間，具有緊密的關(guān)聯(lián)性。觀察事物，提取特征·玩具兔與玩具熊之間，有著明顯不相同的特色或表征(即特征),請您說一說。觀察事物，提取特征觀察到特征如下：BCF12耳朵長度體重3輸入特征：456我能識別：789耳長單位：厘米(1cm)體重單位：百克(100g)觀察事物，提取特征ABCDEF12耳朵長度體重3輸入特征：456我能識別：這是玩具<熊>789耳長單位：公分(1cm)體重單位：百克(100g)觀察事物，提取特征讓機器向人類學(xué)習(xí)·由Al向人們學(xué)習(xí)、領(lǐng)會人們心中的〈特征與分類〉之矢聯(lián)性。間相矢聯(lián)的規(guī)律。觀察事物，提取特征讓機器向人類學(xué)習(xí)ABCEFGH11N烏云密布陽光普照分類210(會下雨)3S01(是晴天)456789學(xué)習(xí)測試10工作表1工作表2工作表3工作表4工作表5工作表6+讓機器向人類學(xué)習(xí)讓機器向人類學(xué)習(xí)ABCDEFGHI1N烏云密布陽光普照分類2210(會下雨)3S01(是晴天)425C627學(xué)習(xí)中… 學(xué)習(xí)測試10工作表1/工作表2/工作表3/工作表4/工作表5/工作表6讓機器向人類學(xué)習(xí)經(jīng)過幾秒鐘之后，經(jīng)過幾秒鐘之后，Al就學(xué)習(xí)完成了：ABCEFGHI1N烏云密布陽光普照分類2210(會下雨)3S01(是晴天)425C627完成了!89學(xué)習(xí)測試10工作表1工作表2工作表3工作表4工作表5工作表6+觀察事物，提取特征習(xí)、領(lǐng)會人們心中的〈特征與類別〉之矢聯(lián)性?！Q句話說，就是進行的一次<機器學(xué)習(xí)>的過程?，F(xiàn)在已經(jīng)學(xué)習(xí)完成了。觀察事物，提取特征·接著，來測試一下AI的智慧是不是有成長了：ABCEFGH11N烏云密布陽光普照分類2210(會下雨)3S01(是晴天)425C627完成了!89學(xué)習(xí)測試10<1>(會下雨)工作表1工作表2工作表3工作表4工作表5工作表6+觀察事物，提取特征下<測試>按鈕。這兩項特征值來判斷(又稱預(yù)測),將其歸納為：<1>(會下雨)”。9學(xué)習(xí)測試10<1>(會下雨)觀察事物，提取特征·剛才，人們萃取了<烏云密布>、<陽光普照>兩項特征，并依據(jù)特征值來將天氣區(qū)分為<會下雨>與<是晴天>兩大也可能您從不角度而觀察到更多項特征，例如增加一個新特征：<蜻蜓紛飛>。展開學(xué)習(xí)·準(zhǔn)備好了新的考卷和答案，就可以按下<學(xué)習(xí)>按鈕，來指示AI展開自我學(xué)習(xí)了。ABCDEFGHI1N烏云密布有太陽蜻蜓紛飛分類23101(快下雨了)3S010(是晴天)425C627學(xué)習(xí)中…89學(xué)習(xí)測試101K工作表工作表2/工作表3/工作表4/工作表5/工作表6分經(jīng)過幾秒鐘之后·Al就學(xué)習(xí)完成了：BCEFGH1J1N烏云密布有太陽蜻蜓紛飛分類23101(快下雨了)3S010(是晴天)425627完成了!89學(xué)習(xí)測試100工作表1工作表2工作表3工作表4工作表5工作表6工作表7+展開學(xué)習(xí)智慧。ABCFGH1J1烏云密布有太陽蜻蜓紛飛分類23101(快下雨了)3S010(是晴天)425C627完成了!89學(xué)習(xí)測試101<1>(快下雨了)工作表1工作表2工作表3工作表4工作表5工作表6工作表7+觀察事物，提取特征按下<測試>按鈕。后依據(jù)它所擁有的智慧，來進行分類，就告訴您：“依據(jù)這兩項特征值來判斷(又稱預(yù)測),將其歸納為：<1>(快下雨了)”。89學(xué)習(xí)01<1>(快下雨眼睛觀察·人為提取特征/zh-mo//qi/gua/62html音訊的特征聲音的三個要素訊的震幅來類比，又稱為能量(Energy)。高低，可由基本頻率(Frequency)來類比。同的位置和形狀，就會產(chǎn)生不同的語音內(nèi)容，可由波形的周期的變化來類比。音訊的特征聲音的主要特征·聲波有三重要參數(shù)：頻率、幅度和相位。也就重要參數(shù)，每個音頻都是獨一無二的。音訊的特征頻譜圖播放的不同頻率及其幅度。音訊的特征·語音是人類用來交流的工具，當(dāng)空氣從肺部進入喉嚨并通過聲道時，語音信號就由嘴巴產(chǎn)生出來。音訊的特征·于是，通常會將聲音先切成多個連續(xù)或重迭的小音框(Frame),每個音框的長度大約是20ms左右，再根據(jù)音框內(nèi)的訊號來提取特征?！ひ话愣?，音框必須能夠包含數(shù)個音訊的基本周期?！と缓?，對此音框求取特征，如過零率、音量、音高、音訊的特征MFCC倒頻譜系數(shù)(特征)每個音框通?？梢猿槌?3、26、或39維的MFCC向量。它衍生自音訊片段的倒頻譜·在MFCC里，它的前12個MFCC系數(shù)用于表示頻譜的形狀。并且添加了高階系數(shù)來捕捉音高和音調(diào)信息。在一般語音識別中，常常使用多達20個倒譜系數(shù)來表示其特征。音訊的特征·梅爾頻率倒譜系數(shù)(MFCC)非常廣泛應(yīng)用于各種語音識別上。它是由Davis和Mermelstein在1980年代所提出的，至今仍是很先進的技術(shù)?！だ?，當(dāng)?shù)棺V系數(shù)為正值時，就表示聲音的大部分頻譜能量集中在低頻區(qū)域。中在高頻處。音訊的特征為什么稱為<倒頻譜系數(shù)>·如果將它的前面四個字母順序顛倒過來，就成為：·為什么取名為<倒頻譜>呢?那是因為在計算時，會將原來的訊號頻譜進行逆(倒)傅立葉轉(zhuǎn)換，并且把它看成為一種新的訊號。音訊的特征演示范例：·基于上述的基本知識，就來觀摩一個簡單Al辨識之路。·這個范例是利用librosa套件，從一個音檔里提取MFCC特征向量。范例-1范例-1:-.開后一個音檔y,sr=librosa,load(filename,sr=None)開后一個音檔mfcc=librosa.feature.mfcc(y=y,sr=sr)defgo():deffna="seg01.wav"filename="c:\\oopc\"+fnaprint("\n",filename)mfcc=getMFCC(filename)print("\nfeatureshape:mfcc",print("\n內(nèi)容：")print(mfcc)范例-1:#sample-A04-01.pyimportlibrosafnafilename="c:\\oopc\"+fnamfccprint("\nfeatureshape:mfcc",mfcc.shape)print("\n內(nèi)容：")print(mfcc)#-go()輸出87個音框的特征：·每一個音框提取20個MFCC系數(shù)(特征)。[[-294.36264-296.54807-302.4214-170.75467-170.53532]139.54094131.65576][27.16437528.11264425.1832334.6942196-1.8371544][-1.9710441-4.1959195-2.5808256-11.900834-13.7162075]提取更長*wav音檔的MFCC特征范例-2:defgetMFCC(filename):開后一個音檔y,sr=librosa.load(filename,sr=None)開后一個音檔mfcc=librosa.feature.mfcc(y=y,sr=sr)#-fna="seg02.wav"filename="c:\\oopc\"+fnaprint("\n",filename)mfcc=getMFCC(filenameprint("\nfeatureshape:print("\n內(nèi)容：")print(mfcc)輸出173個音框的特征：·每一個音框提取20個MFCC系數(shù)(特征)。[[-338.23212-340,40057-346.26474..,-267.5643-265.965]177.10715][27.17837128.12498525.195915...7.583745[-3.1331363-2.4861245-2.1589599..-2.6384935-14.126394][-1.9738756-4.204292-2.58894..,-4.703537-8.904102][13.7994549.2610565.991479..-3.97647292.0320022]]-277.137從各音框中，計算出特征的平均值范例-2:importnumpyasnpimportlibrosa計算平均值#--計算平均值defgetMFCC(filename):y,sr=librosa.load(filename,sr=None)mfcc=librosa.feature.mfcc(y=y,sr=sr)_fna="seg02.way"filename="c:\\oopc\"+fnamfcc=print("\nfeatureshape:mfcc",mfcc.shape)print("\n內(nèi)容：")print(mfcc)內(nèi)容：33.866076.49134-2.6314585-8.5173467.54083633.075771820個平均值進行標(biāo)準(zhǔn)化范例-4:###-.defstandardize(x):np.mean(x))/(np.std(xreturn(xnp.mean(x))/(np.std(x#-------進行標(biāo)準(zhǔn)化進行標(biāo)準(zhǔn)化得到標(biāo)準(zhǔn)化之后的特征：fna="seg02.wav"filename="c:\oopc\"+fnamprint("\nfeatureshape:mfcc",mfcc.shape)print("\n內(nèi)容：")0.40211833-0.01128235]計算出20個0.6770627-0.02839998-0.048224710.09726492-0.045154560,043943190.524622260.11364901-0.02779708范例-5:·從原來的(20,)形狀，變更為(1,20)形狀。defstandardize(x):return(x-np.mean(x))/(np.std(x))變更形狀變更形狀defgetMFCC(filename);dataset=[]toappend=f'{mmfcc[0]}'toappendt=f'{mmfcc[i]}'dataset.append([float(i)foriintoappend.split("")])范例-5:·從原來的(20,)格式，變更為(1,20)格式。#---defstandardize(x):return(x-np.mean(x))/(np.std(x))#------defgetMFCC(filename):mfcc=librosafeaturemfccsrsry,srmfcc=librosafeaturemfccsrsrtoappend=f'{mmfcc[0]}'foriinrange(1,20):toappendt=f'{mmfcc[i]}'dataset.append([float(i)foriintoappend.split("fna="seg02.way"filename="c:\\oopc\"+fnamfccprint("\nfeatureshape:mfcc",mfcc.shape)print("\n內(nèi)容：")print(mfcc)go()#End新的形狀[[-3.74647332.221786540.154407030.67706265-0.028399990.52462224-0.13704140,40211830,12002468-0.048224720.097264920.113649提取多個音檔的MFCC特征范例-6:defgetMFCC():dataset=[]S=3forjinrange(S):filena='seg0'+str(1+j)filename,="c:/oopc/"+filena+",wav"print(filename)y,sr=mmfcc=np.mean(mfcc,axis=1)toappend=f'{mmfcc[0]}'foriinrange(1,20):toappendt=f'{mmfcc[i]}dataset.append([float(i)foriintoappend.split("")])提取3個音檔范例-6:np.mean(x))/(np.std(xdataset=[]一起進行標(biāo)準(zhǔn)化一起進行標(biāo)準(zhǔn)化toappend=f'{mmfcc[0]}'foriinrange(1,20):toappendt=f'{mmfcc[i]}dataset.append([float(i)foriintoappend.split("")j范例-6:輸出的形狀是：continuedmprint("\nfeatureshape:mfcc",mfcc.shape)print("\n內(nèi)容：")mfcc[0]=0.06835691-0.01332975-0.03740378-0.01129435mfcc[1]=[-3.64618801e+002.22470886e+001.91055457e-011.12306591e-025,55231175e-01-9,56384342e-02輸出的形狀是：-0.093044250.128843050.074348540.458651230.18643160.03874814mfcc[2]=0.00734487-0.016653710.01722693apc11wav白日依山盡更上一層樓黃河入海流欲窮千里目范例-7:importnumpyasnpfrompydubimportAudioSegment#---------------Splittingdefgo():sfa="poet11.wav"filename=path+sfafna=n=len(chunks)print("\nSplited:",n,"segments")從靜音處進行分割print("-------------------"從靜音處進行分割foriinrange(n):k=startK+iif(k<10):fname=fna+str(0)+str(k)+",wav"chunks[i].export(path+fname,format="wav")else:fname=fna+str(k)+",wav"chunks[i].export(path+fname,format="wav")范例-7:分成為4個小音檔c:/oopc/ps01.wavc:/oopc/ps02.wavc:/oopc/ps03,wavc:/oopc/ps04.way范例-8:defstandardize(x):return(x-np.mean(x))/(np.std(x))forjinrange(S):filena='ps0'+str(1+j)filename="c:/oopc/"+filena+",way"toappend=f'{mmfcc[0]}'toappend+=f'{mmfcc[i]}'dataset,append([float(i)foriintoappend.split("")])defgo():print("\n")mfcc=getMFCC()print("\nfeatureshape:mfcc",mfcc.shape)print("\n內(nèi)容：")print(mfcc)提取4個小音檔范例-8:9.42909639e-021.41516387e-019.41084243e-024.67435794e-02[-4.01440012e+004.05678444e-015.21489750e-021.08991705e-01-2.62341449e-032.23414784e+002.87175955e-022,34452425e-018,63538765e-031.36387951e-029.67850873e-025,74175639e-026.05221358e-023.76763349e-025,77626044e-015,35532195e-021,46301702e-016,35044638e-02輸出的形狀是：1.00221676e-014,48982264e-025.08571406e-029,15563677e-029.01732814e-025.06444062e-02]3,43672884e-015,47829144e-026,15380983e-025,99283995e-023.5Time(s)熟悉AI的訓(xùn)練流程Al模型的訓(xùn)練流程Al模型的訓(xùn)練流程范例程序觀摩播音、分割音檔、Al模型的訓(xùn)練流程演示范例：操作·按下<播放>,可以聽到吟誦”白日依山盡"唐詩3遍。ABAB112234欲窮千里目，更上一層樓。45689演示范例：操作·接下來，可以看到如下Excel畫面?！ふ埬聪?lt;分割>,就會針對poet.wav音檔，在靜默(半秒)的ABCEFG1示范音檔的分割認(rèn)識音檔分割2c:/oopc/一個音檔(.wav),在靜默的位置切開。3poet.wav456一個小音檔對映到話里一段詞匯。789播放分割A(yù)BCDEFGHI1示范音檔的分割認(rèn)識音檔分割2一個音檔(.wav),在靜默的位置切開。3456V一個小音檔對映到話里一段詞匯。789分割播放 演示范例：操作·然后，將這些音檔進行歸類。也就是分為4個類別，分別是：<1>類代表：”白日依山盡”字詞。<2>類代表："黃河入海流"字詞。<3>類代表：“欲窮千里目”字詞。<4>類代表："更上一層樓"字詞?！ぴ僖罁?jù)其分類，而放入到不同的活頁夾里。如下：4更上一層樓##階段-2:展開訓(xùn)練·于是，分割成為12個小音檔。接下來，準(zhǔn)備利用這12個音檔的特征和分類，來訓(xùn)練一個Al模型。如下畫面：123412345789演示范例：操作·按下<讀取全部資料>,就會匯入剛才所分割出來的12個音檔，如下：ABFG1讓AI開始學(xué)習(xí)2(1白日依山盡)3(1白日依山盡)4class45(2黃河入海流)6讀取全部資料(2黃河入海流)7(2黃河入海流)8(3欲窮千里目)9ps07.wav(3欲窮千里目)ps11.wav(3欲窮千里目)AI學(xué)習(xí)(4更上一層樓)(4更上一層樓)(4更上一層樓)卷答案演示范例：操作·其中的T[]就是分類的標(biāo)注(Label)。其中：<1>代表：”白日依山盡"字詞。<2>代表："黃河入海流"字詞。<3>代表："欲窮千里目"字詞。<4>代表：“更上一層樓”字兩分鐘，就學(xué)習(xí)完成了。演示范例：操作展開學(xué)習(xí)了.ABCDEFG1讓AI開始學(xué)習(xí)2c:/oopc/myPoet/(1白日依山盡)34class4(1白日依山盡)5(2黃河入海流)6讀取全部資料(2黃河入海流)7(2黃河入海流)8(3欲窮千里目)9(3欲窮千里目)(3欲窮千里目)AI學(xué)習(xí)ps04.wav(4更上一層樓)(4更上一層樓)(4更上一層樓)學(xué)習(xí)中..·很快就學(xué)習(xí)完成了。ABCDEFGH1讓AI開始學(xué)習(xí)2(1白日依山盡)3ps05.wav4class4(1白日依山盡)5(2黃河入海流)6讀取全部資料(2黃河入海流)7(2黃河入海流)8(3欲窮千里目)9(3欲窮千里目)ps11.wav(3欲窮千里目)AI學(xué)習(xí)(4更上一層樓)(4更上一層樓)(4更上一層樓)學(xué)習(xí)完成了Al模型的訓(xùn)練流程9演示范例：操作9·我們就拿ps05.wav音檔來測試。請您按下<Play>,可以聽到這音檔的聲音。再按下<Al分類>,就從這音檔提取mfccABCDEFGHI1輸入一個音檔給AI234567(測試音檔)8白日依山盡黃河入海流欲窮千里目更上一層樓9演示范例：操作9征，然后依據(jù)特征來判斷，而輸出如下：ABCDEFGHI1輸入一個音檔給AI23456(測試音檔)(測試音檔)780.996380983.95707E-090.0031041690.000514865白日依山盡黃河入海流欲窮千里目更上一層樓開啟ps07.wav音檔，并提取其MFCC特征，然后判斷，而輸出如下：ABCDEFGHI1輸入一個音檔給AI萃取音檔的mfcc特征，進行分類23ps07.wav45678(測試音檔)90.0021759924.13981E-110.997471330.000352白日依山盡黃河入海流欲窮千里目更上一層樓Al模型的訓(xùn)練流程以上演示了語音Al模型的訓(xùn)練流程。范例實現(xiàn)階段-1:準(zhǔn)備TrainingData操作范例：延續(xù)剛才的MFCC范例：mfcc音色特征，成為訓(xùn)練數(shù)據(jù)。操作范例：延續(xù)剛才的MFCC范例：撰寫程序：分割音檔importnumpyasnpfrompydubimportAudioSegmentfrompydub.silenceimportsplitonsilenceimportlibrosafna=n=len(chunks)print("\nSplited:",n,"segments")print("---------")chunks[i].export(path+fname,k=startK+iif(k<10):從靜音處進行分割分成為12個小音檔讓AI開始學(xué)習(xí)X[23452345678psO2.wav78psO2.wav9階段-2:建立、并訓(xùn)練模型撰寫程序importtensorflowastfdefgetonehot(a,b):X=np,asarray(a)T=np.zeros((X.size,b))defstandardize(x):return(x-np.mean(x))/(np.std(x))撰寫程序print(dirname+fdname)print("")defgetNumClassFiledirnasubfolders=os.NumClass=len(subfolders)NumFile=0returnNumClass,NumFiledefgetMFCC(filename):mmfcc=np.mean(mfcc,axis=1)dataset=[]toappend=f'{mmfcc[0]}'foriinrange(1,20):toappendt=f'{mmfcc[i]}'dataset.append([float(i)foriintoappend.split("")])X=standardize(dataset)提取一個音檔撰寫程序X=Nonemodel=NoneNumClass,NumFile=,getNumClassFile(dirname)X=np.zeros((NumFile,20))a=np.zeros(NumFile)subfolders=os.listdir(dirname)k=0cc=0forfdnameinlist(subfs):#print(fdname)k+=1T=getonehot(a,NumClass)Class=NumClassN=20S=NumFileEpoch從12個小音檔提取特征撰寫程序model.add(Dense(256,model.add(Dense(Class,name='result'pile(loss=keras.losses;categoricalcrossentropy,optimizer=keras,optimizers.SGD(lr=1rate),metrics=['accuracy'])model.fit(X,T,4,Epoch,0)print("\n學(xué)勻完成了")ables_to_constants(sess,tf.getdefaultgraph(),asgraphdef(),['result/BiasAdd'])tf.io.writegraph(frozengraph,"C:/pb/","mfccmodel.pb",astext=False)tf.io.writegraph(frozengraph,print("--------")showtrainingdata()建立&訓(xùn)練c:/oopc/myPoet/ps01.wavc:/oopc/myPoet/ps05.wavc:/oopc/myPoet/ps09.wavc:/oopc/myPoet/ps02.wavc:/oopc/myPoet/ps06.wavc:/oopc/myPoet/ps10.wav3欲窮千里目c:/oopc/myPoet/ps03,wavc:/oopc/myPoet/ps07,wavc:/oopc/myPoet/ps11.wav4更上一層樓c:/oopc/myPoet/ps04.wavc:/oopc/myPoet/ps08,wavc:/oopc/myPoet/ps12.wav學(xué)習(xí)完成了Savedtoc:/pb/mfccmodel.pb·剛才已經(jīng)從TensorFlow匯出*pb檔案了，其路徑和檔OptimizerPytorch→ONNX優(yōu)化模型：行優(yōu)化動作?！偛乓呀?jīng)從TensorFlow匯出*pb檔案了，其路徑和步驟-1:進入優(yōu)化器的工作區(qū)1.1首先從Windows的命令行窗口出發(fā)：MicrosoftWindows[版本10.0.16299.2166]1.2輸入命令：cd"C:\ProgramFiles(x86)\IntelSWTools\openvino\deploymenttools\modeloptimizer"并且按<Enter>。1.3就進入到模型優(yōu)化器(ModelOptimizer)的工作區(qū)了：管理員：命令提示符MicrosoftWindows[版本10.0.16299.2166]ProgramFilesIntelSWToolsopenvinode步驟-2:展開優(yōu)化2.1輸入命令：C:\ProgramFiles(x86)\IntelSWTools\openvino\deploymenttools\modeloptimizer>pythonmotf.py--inputmodel"C:\\pb\\mfccmodel.pb"--outputdir"C:\\pb\\"--inputshape[1,20]●這指示它：剛才從TensorFlow所產(chǎn)生的*.pb檔案是--“C:\\pb\\mfccmode.pb”。●也告訴它：轉(zhuǎn)換出來的IR檔案的儲存路徑(文件夾),例如指定放在”C:\\pb\”里。輸入資料的格式是：[1,20]。2.2優(yōu)化完成了●完成時，會出現(xiàn)畫面：SUCCESS]XMLfile:C:\\pb\mfccmodel.xmlSUC