Book-003-Edge-AI-課程-從預(yù)測(cè)到?jīng)Q策-ok8

EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策1Sec.01時(shí)序性預(yù)測(cè)：使用RNN模型 p.1Sec.02從<預(yù)測(cè)>提升到<決策> p.28Sec.03協(xié)同過(guò)濾(CF)預(yù)測(cè)及推薦決策 P.60時(shí)序性預(yù)測(cè)----使用RNN模型——————————————————————1.1典型的2種AI預(yù)測(cè)模式1.2時(shí)序性預(yù)測(cè)：使用RNN模型1.3以<剪刀、石頭、布>劃拳比賽為例EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策31.1典型的2種AI預(yù)測(cè)模式ML的2種預(yù)測(cè)機(jī)制ecastingng而prediction則是從歷史數(shù)據(jù)中，學(xué)習(xí)群體的共相(共通性)來(lái)，然後分特徵，來(lái)預(yù)測(cè)其全貌。此時(shí)，最適合的AI分群ML預(yù)測(cè)模型的設(shè)計(jì)思路：而對(duì)於未來(lái)事物的可能變化，缺乏足夠的敏感度。forecastingAIRNNLSTM於是，在本案例裡，將採(cǎi)取一個(gè)融合策略：結(jié)合RNN和AE兩種模RNN模型及其訓(xùn)練數(shù)據(jù)(TrainingData)RNN模型需要時(shí)序性數(shù)據(jù)，例如有3年~4年的歷史數(shù)據(jù)最佳。其可能有更多助益。RNN模型基本架構(gòu)是：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策5LSTM位)，發(fā)揮遠(yuǎn)程記憶功能。各門(mén)店建立各自的模型，依據(jù)自己的模型進(jìn)行預(yù)測(cè)(Forecasting)。AE模型及其訓(xùn)練數(shù)據(jù)ictionEdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策7它與RNN模型使用<相同的訓(xùn)練數(shù)據(jù)集>即可。但是，由於跨門(mén)店的分群。如果有20家~40家門(mén)店的3~4年歷史數(shù)據(jù)最佳。預(yù)測(cè)之後：優(yōu)化>生成預(yù)測(cè)的結(jié)果，大多是不會(huì)令人們滿意的。於是，針對(duì)不滿意的部分，匯入專家智慧，進(jìn)行模型參數(shù)優(yōu)化Optimization)。然後，將優(yōu)化結(jié)果，交給GAN模型學(xué)習(xí)。GAN學(xué)習(xí)所得的智慧，搭配現(xiàn)實(shí)和預(yù)測(cè)條件，以及決策因素，neration1.2時(shí)序性預(yù)測(cè)：使用RNN模型時(shí)間序列資料(Timesseriesdata)表示資料點(diǎn)是相互依賴的。時(shí)間(t)以學(xué)校宿舍餐廳為例宿舍餐廳每天晚上都會(huì)供應(yīng)晚餐。其中，每周各天披薩，今天晚上就是壽司；如果昨天吃壽司，今天就會(huì)是鬆餅，非常有規(guī)律的循環(huán)。如下圖：圖片來(lái)源---EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策9上您不在宿舍裡吃晚餐，那麼您可以推測(cè)今晚上的餐點(diǎn)資料，來(lái)預(yù)測(cè)(Forecast)昨天晚上的餐點(diǎn)。然後，也就能預(yù)測(cè)今且還能利用今晚預(yù)測(cè)的結(jié)果，來(lái)進(jìn)一步的明天、後天的晚餐了。如下圖：只要將這些餐點(diǎn)，進(jìn)行編碼，就能輸入RNN模型來(lái)進(jìn)行預(yù)測(cè)了。欠缺也沒(méi)關(guān)係：晚的預(yù)測(cè)，可以推論出今晚的預(yù)測(cè)值。EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策11OHE表示如下：推論出今晚的預(yù)測(cè)值：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策13如：推論：這就是典型的RNN結(jié)構(gòu)圖：當(dāng)於：同的結(jié)構(gòu)形式：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策15表示如下：如：1.3以<剪刀、石頭、布>劃拳比賽為例定，但是人類常常不自知。此時(shí)，運(yùn)用AI來(lái)探索深藏不露的人的劃拳---剪刀、石頭、布，把您劃拳1000次記錄下來(lái)。AI瞬間就可以把您的出拳規(guī)律抓到了，而您的規(guī)律，也可代表人類的一般規(guī)律。RNN構(gòu)：erEdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策17dt輸入值(dx)：Error，並據(jù)之修正權(quán)種值：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策19此範(fàn)例可以觀察其訓(xùn)練過(guò)程的Error值的變化。此程式執(zhí)行時(shí)，輸Python程式範(fàn)例這個(gè)範(fàn)例px11_09.py是典型的RNN編程風(fēng)格。此範(fàn)例實(shí)現(xiàn)了劃拳遊戲的模型。出預(yù)測(cè)值：importnumpyasnp#----------------------------------defsigmoid(s):return+np.exp(-s))EdgeEdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策21defsoftmax(x):#Matrixtmp=np.max(x,axis=1)else:#Vectorx-=tmpx/=tmpreturnx#----------------------------------#建立兩時(shí)間點(diǎn)的(3x3x3)模型ydx=np.array([[[0,0,0]],[[0,0,0]]],dtype=np.float32)dt=np.array([[[0,0,0]],[[0,0,0]]],dtype=np.float32)lr=0.25zz0=Nonezz1=None#==================================================one_row():globalwh,wp,wo,zz0,zz1準(zhǔn)備dw[]dwhnpzeros_like(wh)dwonpzeros_like(wo)dwpnp.zeros_like(wp)#=============向前推演==========================# 第1時(shí)間(t-2)------------------------X=dx[0]t=dt[0]zhsigmoidnpdotXwhnpdotzhiwp))z=softmax(np.dot(zh0,wo))zz0=zerror_0=t-z#--------第2時(shí)間(t-1)---------------------X=dx[1]defEdgeEdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策23t=dt[1]zhsigmoidnpdotXwhnpdotzh,wp))z=softmax(np.dot(zh1,wo))zz1=zerror_1=t-z#=============BP(反向傳播=======================# 第2時(shí)間(t-1)-------------------------delta_1=error_1error_hp=0delta_h1=zh1*(1-zh1)*(error_ho+error_hp)patleastdzhTdotdeltaph=zh0dphTdotdeltahX=dx[1]dwh+=X.T.dot(delta_h1)#---------第1時(shí)間(t-2)-------------------------delta_0=error_0delta_h0=zh0*(1-zh0)*(error_ho+error_hp)patleastdzhTdotdeltaph=zhidphTdotdeltahX=dx[0]dwh+=X.T.dot(delta_h0)wh+=dwh*lrwo+=dwo*lrwp+=dwp*lr#============================================defone_epoch():globaldx,dtforiinrange(12):row=raw_data[i]k1=row[0]k2=row[1]k3=row[2]if(k1==1):dx[0,0,0]=0dx[0,0,1]=1dx[0,0,2]=0elif(k1==2):dx[0,0,0]=1dx[0,0,1]=0dx[0,0,2]=0else:dx[0,0,0]=0dx[0,0,1]=0dx[0,0,2]=1if(k2==1):dx[1,0,0]=0dx[1,0,1]=1dt[0,0,0]=0dt[0,0,1]=1EdgeEdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策25dt[0,0,2]=0elif(k2==2):dx[1,0,0]=1dx[1,0,1]=0dx[1,0,2]=0dt[0,0,0]=1dt[0,0,1]=0dt[0,0,2]=0else:dx[1,0,0]=0dx[1,0,1]=0dx[1,0,2]=1dt[0,0,0]=0dt[0,0,1]=0dt[0,0,2]=1if(k3==1):dt[1,0,0]=0dt[1,0,1]=1dt[1,0,2]=0elif(k3==2):dt[1,0,0]=1dt[1,0,1]=0dt[1,0,2]=0else:dt[1,0,0]=0dt[1,0,1]=0dt[1,0,2]=1#------------------------one_row()#--------------------------------------------deftraining(ep):globalzz0,zz1print("\n訓(xùn)練",ep,"回合")foriinrange(ep):one_epoch()#------測(cè)試(--------------------------------dx=np.array([[[[0,0,1]],[[0,0,1]]],[[[0,1,0]],[[0,1,0]]],[[[1,0,0]],[[1,0,0]]]],dtype=np.float32)forforiinrange(3):X=dx[i][0]zhsigmoidnpdotXwhnpdotzhiwp))X=dx[i][1]zhsigmoidnpdotXwhnpdotzh,wp))z=softmax(np.dot(zh1,wo))print("\n測(cè)試資料dx[]=")print(dx[i][0])print(dx[i][1])print("\n預(yù)測(cè)值z(mì)[]")printnproundz)) training(500) #End式執(zhí)行時(shí)，輸出：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策27AI現(xiàn)了一項(xiàng)規(guī)律：您連續(xù)兩回合出招一樣時(shí)，其後(第，輸出：◆◆◆從預(yù)測(cè)提升到?jīng)Q策——————————————————————2.1<決策AI>模型2.2使用Google的TM(TeachableMachine)2.3知道撐傘能讓你免於淋濕，比預(yù)更重要EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策292.1<決策AI>模型認(rèn)識(shí)決策AI模型：以劃拳比賽為例人類的思維和行為規(guī)律(Pattern)經(jīng)過(guò)數(shù)億年的演化，已經(jīng)非常穩(wěn)律，如同顯微鏡一樣，會(huì)顯得清晰了。例如把您和您朋友之間的劃拳---錄下來(lái)。AI瞬間就可以把您的出拳其中比較明顯的規(guī)律，拿來(lái)訓(xùn)練AI模型，如下述<工作表2>的內(nèi)容：與人類猜拳。一旦把您和您朋友之間的劃拳---剪刀、石頭、布，把您劃人類(對(duì)方)連續(xù)兩回合出招一樣時(shí)，其後(第3招)出招，幾乎不會(huì)與前兩回相同。例如，前兩回合，對(duì)方(人類)都出剪刀，這一回合，他幾乎不會(huì)繼分類模型去記住這些風(fēng)險(xiǎn)評(píng)估的規(guī)律。拳瞬間就可評(píng)估出招的風(fēng)險(xiǎn)，確保不會(huì)掉入高險(xiǎn)的賽局裡。在不確定性高的賭局、股市、戰(zhàn)爭(zhēng)、及未經(jīng)歷過(guò)的情境，同時(shí)，也請(qǐng)仔細(xì)看看隱藏層的參數(shù)設(shè)定是，S：表示有6筆訓(xùn)練資EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策31AI模型。H：代表這是含有3個(gè)隱藏層(Hidden)的深度學(xué)習(xí)模型。AI據(jù)這些參數(shù)而自動(dòng)建立一個(gè)<多層>的AI模型。2.2使用Google的TMStep-1：[以TM訓(xùn)練<決策AI>]以TM來(lái)訓(xùn)練<決策AI>。AI+決策：必須依據(jù)<對(duì)方>過(guò)去的歷史決策數(shù)據(jù)，加上自己可能採(cǎi)勝出。而不是監(jiān)視對(duì)方當(dāng)下的行為，然後隨之起舞。人人都很熟悉的決策行為是：劃拳遊戲，也就是<剪刀、石頭、布>遊戲。eClassifier第1個(gè)模型(RnnPredict)是基於RNN的模型，它從比賽的歷史數(shù)據(jù)odel，進(jìn)行風(fēng)險(xiǎn)(Risk)評(píng)估。第3個(gè)模型(VoiceClassifier)是監(jiān)視、辨別對(duì)方當(dāng)下出拳的行為，而計(jì)算出勝負(fù)。EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策33AI第3個(gè)模型：扮演<看門(mén)員>的角色。並沒(méi)有發(fā)揮AI應(yīng)有的角色：成為決策者的軍師?，F(xiàn)在，就來(lái)善用TeachableMachine的圖像識(shí)別能力，來(lái)實(shí)踐上述險(xiǎn)(Risk)評(píng)估。也就是扮演<決策者的軍師>的角色。StepAI一個(gè)簡(jiǎn)單的劃拳範(fàn)例]在前面所述第1個(gè)AI模型，表現(xiàn)出AI很擅長(zhǎng)於資料中尋找出其中的其後(第3招)出招，幾乎不會(huì)與前兩回相同。前兩回，如果您出其他招(不連續(xù)出同一招)時(shí)，都全部看成<中等風(fēng)AI模型的輸出結(jié)果是：接近[1,0,0]表示低風(fēng)險(xiǎn)。當(dāng)接近[0,1,0]EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策35Step-3：[將特徵值轉(zhuǎn)譯為Image]色代表它們。為什麼要把資料轉(zhuǎn)換成為圖像JPG或PNG格式呢？因?yàn)闆Q策資料常需要很多層(很深度)的NN模型，才能更準(zhǔn)確識(shí)別。非常輕鬆愉快的做法是：把資料轉(zhuǎn)換為Image格式，善用ResNet遷移學(xué)習(xí)，運(yùn)用預(yù)訓(xùn)練的50卷積層，可迅速訓(xùn)練出好用的模型。轉(zhuǎn)譯好了，將這些圖像儲(chǔ)存於c:/oopc/StonrGame/Train/裡，如TMbatchsize成為9張圖像，如EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策37Step-4：[使用TM來(lái)訓(xùn)練模型]把剛才轉(zhuǎn)譯出來(lái)的圖像，拿來(lái)做為訓(xùn)練資料，來(lái)訓(xùn)練決策AI模型。接著，進(jìn)入TM網(wǎng)頁(yè)：tpsteachablemachinewithgooglecomEdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策39mageProjectStandardimagemodelStep-6：[準(zhǔn)備訓(xùn)練資料(圖像)]ClassUpload，出現(xiàn)：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策41夾，例如：準(zhǔn)備上傳另一個(gè)類別的圖像。如下畫(huà)面：dEdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策43夾，例如：然後勾選所要的圖像，並且上傳到TM裡。總共上傳了3張圖片。並繼續(xù)準(zhǔn)備上傳第三個(gè)類別的圖像。請(qǐng)您查看畫(huà)面。如下：AddaclassEdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策45d夾，例如：然後勾選所要的圖像，並且上傳到TM裡，並且更改類別名稱，如Step-7：[設(shè)定訓(xùn)練參數(shù)]查看畫(huà)面，如下：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策47經(jīng)過(guò)幾秒鐘之後，就訓(xùn)練完成了，出現(xiàn)如下：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策49模型已經(jīng)訓(xùn)練好了。Step-9：[檢測(cè)一下模型]查看一個(gè)畫(huà)面：，例如：：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策51預(yù)測(cè)：這張圖片100%是<High_Risk>。EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策53很正確地預(yù)測(cè)：這張圖片100%是<Low_Risk>。經(jīng)過(guò)上述的測(cè)試，顯示出這個(gè)模型的預(yù)測(cè)準(zhǔn)確性是很高的。p查看一下畫(huà)面，如下：tModelDownloadmymodel：這表示，正在匯出模型。大約1分鐘之後，就匯出檔案如下：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策55orFlowLiteFloatingpoint按下<Downloadmymodel>，就出現(xiàn)：這表示，正在匯出模型。大約1分鐘之後，就匯出檔案如下：然後，可以將<converted_savedmodel.zip解開(kāi)後，就看到其內(nèi)Step-11：[測(cè)試這個(gè)*.h5模型檔]撰寫(xiě)一支測(cè)試程式：##tm002_risk.pyfromkeras.modelsimportload_modelfromPILimportImage,ImageOpsimportnumpyasnpadmodelcoxkerasmodelhdefpredict(path):data=np.ndarray(shape=(1,224,224,3),dtype=np.float32)image=Image.open(path)size=(224,224)image=ImageOps.fit(image,size,Image.ANTIALIAS)image_array=np.asarray(image)normalized_image_array=(image_array.astype(np.float32)/127.0)-1gearraypred=model.predict(data)d-------------------------path='c:/oopc/StoneGame/test/stone01.jpg'pathz=predict(path)path='c:/oopc/StoneGame/test/stone12.jpg'EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策57hz=predict(path)path='c:/oopc/StoneGame/test/stone20.jpg'z=predict(path)#END執(zhí)行結(jié)果是：2.3知道撐傘能讓你免於淋濕，比預(yù)測(cè)更重要來(lái)源：DeepMind有一本手冊(cè)告訴我們他是怎麼運(yùn)來(lái)該怎麼做。」雜前瞻性決策的系統(tǒng)?！瓜８ヌ岬剑?AI)可以從完全沒(méi)有先備知EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策59界規(guī)則，並展現(xiàn)出超越人類的AI幕踏入現(xiàn)實(shí)的重要里程(Theabilitytoplanisanimportantpartofhumanintelligence,allowingustosolveproblemsandmakedecisionsaboutthefuture.Forexample,ifweseedarkcloudsforming,wemightpredictitwillrainanddecidetotakeanumbrellawithusbeforeweventureout.atraitwewouldalsolikeouralgorithmstohavePSDeepMind說(shuō)，當(dāng)看到烏雲(yún)密佈的天空，預(yù)測(cè)有下雨的可能性，就會(huì)決定攜帶雨傘出門(mén)。(MuZerousesadifferentapproachtoovercomethelimitationsofpreviousapproaches.Insteadoftryingtomodeltheentireenvironment,MuZerojustmodelsaspectsthatareimportanttotheagent’sdecision-makingprocess.Afterall,knowinganumbrellawillkeepyoudryismoreusefultoknowthanmodellingthepatternfraindropsintheair協(xié)同過(guò)濾(CF)預(yù)測(cè)及推薦決策----使用AICF模型——————————————————————3.1介紹AI推薦系統(tǒng)3.2活用AE，實(shí)踐CF預(yù)測(cè)&推薦3.3AI的神奇魅力：比你更懂你EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策613.1介紹AI推薦系統(tǒng)CF推薦系統(tǒng)了，讓人眼花撩亂，因而需要有一項(xiàng)聽(tīng)歌曲時(shí)，它會(huì)推薦您喜歡的音樂(lè)，當(dāng)為您規(guī)劃一條最流暢的路線，這種工具通稱為：推薦系統(tǒng)(RecommenderSystem)。量資訊之中，幫你過(guò)濾你不感興資訊(又稱雜訊)，它隨時(shí)精確細(xì)膩地鎖定那些讓您會(huì)心一笑的有意義就是，它不需要您提出明確的需求，就會(huì)根據(jù)您的偏好和行為，假設(shè)：相似的客戶群，其成員具有偏好來(lái)協(xié)同分析、挖掘出您潛在的興趣。例如，下圖A戶B是鄰居(具有高相似度)：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策63請(qǐng)您按下<CF>按鈕，就會(huì)利用UserCF算法(規(guī)則)找出各位客戶的這圖看起來(lái)就更清晰了，其中的灰色空格部分，就是欠缺(Missing)CF的值，來(lái)替代這些欠缺的(評(píng)料。權(quán)重以及他們對(duì)物品的偏好，來(lái)預(yù)測(cè)當(dāng)前客戶沒(méi)有未涉當(dāng)您按下<傳統(tǒng)CF推薦>按鈕，就會(huì)利用傳統(tǒng)CF推薦演算法找出各後透過(guò)協(xié)同過(guò)濾方法找出合理的值來(lái)填入上圖裡的灰色CF推薦系統(tǒng)就是找出一群興趣相似的朋友，然的東西。推薦系統(tǒng)的主要任務(wù)是推薦使用者感興趣的內(nèi)容，通過(guò)揣摩人心來(lái)預(yù)測(cè)用戶未來(lái)的消費(fèi)行為。EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策65料的爆發(fā)，基於ML機(jī)器學(xué)習(xí)的模型也例則建議優(yōu)先推薦物品#1(草莓)，其次是物品3(橘子)。3.2活用AE(自編碼器)，實(shí)踐CF預(yù)測(cè)&推薦在AI教科書(shū)裡，總有一章會(huì)談到<自動(dòng)編碼>模型設(shè)計(jì)。其中總有一辦到的。但棋子的擺放必須是實(shí)戰(zhàn)中的棋局(也就是棋子存在規(guī)則，就像第二組數(shù)字)，棋子隨機(jī)擺放可不行(就像第一組數(shù)字)。象棋大師幷不，很擅於識(shí)別象棋模式，從而高效地記I來(lái)幫您複習(xí)這個(gè)基礎(chǔ)AI建模觀念。首先，我們要來(lái)訓(xùn)練這個(gè)簡(jiǎn)單的AutoEncoding模型。其中，輸入層神經(jīng)元個(gè)數(shù)與輸出層是相同的：裡，中間層只有一個(gè)神經(jīng)元。茲以Excel來(lái)訓(xùn)練它：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策67練它之後，得出權(quán)重：您就看到了，輸入值=輸出值了。只留下：z值乘上WO再加上BO，然後經(jīng)過(guò)Softmax計(jì)算，就得到：EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策69原來(lái)的原始資料(X0,X1,X3)共三項(xiàng)?，F(xiàn)在只需要紀(jì)錄一項(xiàng)(紅色底)即可了。如果原始資料(X0,X1,X3,....X10000)共10000項(xiàng)，現(xiàn)在只需要把Autoencoder應(yīng)用於CF上，如下：按下<AE模型CF推薦>，就依據(jù)客戶對(duì)各項(xiàng)物品的偏好來(lái)計(jì)算客戶他更深入認(rèn)識(shí)CF推薦系統(tǒng)F供給他更準(zhǔn)確度的估算和推薦。異之處。EdgeAI&AIoT課程：從預(yù)測(cè)到?jīng)Q策