計(jì)算機(jī)博弈算法與編程 課件 7Q學(xué)習(xí)算法

7Q學(xué)習(xí)算法強(qiáng)化學(xué)習(xí)：強(qiáng)化學(xué)習(xí)是程序通過(guò)經(jīng)驗(yàn)學(xué)習(xí)行為知識(shí)的機(jī)器學(xué)習(xí)方法。智能體(Agent)以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí)，通過(guò)與環(huán)境進(jìn)行交互獲得的獎(jiǎng)賞來(lái)指導(dǎo)行為，其目標(biāo)是使智能體獲得最大的獎(jiǎng)賞。Q學(xué)習(xí)算法在設(shè)計(jì)強(qiáng)化學(xué)習(xí)系統(tǒng)時(shí)主要考慮以下三方面的內(nèi)容：(1)如何表示狀態(tài)空間和動(dòng)作空間。(2)如何選擇建立信號(hào)以及如何通過(guò)學(xué)習(xí)來(lái)修正不同狀態(tài)—?jiǎng)幼鲗?duì)的值。(3)如何根據(jù)這些值來(lái)選擇合適的動(dòng)作。Q學(xué)習(xí)算法Q-學(xué)習(xí)算法是強(qiáng)化學(xué)習(xí)算法中基于價(jià)值的算法，Q即為Q(s,a)，就是在某一個(gè)時(shí)刻的state狀態(tài)下，采取動(dòng)作a能夠獲得收益的期望，環(huán)境會(huì)根據(jù)agent的動(dòng)作反饋相應(yīng)的獎(jiǎng)賞(reward)，所以算法的主要思想就是將state和action構(gòu)建成一張Q表來(lái)存儲(chǔ)Q值，然后根據(jù)Q值來(lái)選取能夠獲得最大收益的動(dòng)作。如果有適當(dāng)?shù)姆椒ㄓ?jì)算出評(píng)分值Q，那么只需要找出一個(gè)合適的行動(dòng)a使得Q的值為最大，這樣就可以確定最優(yōu)行動(dòng)策略。Q學(xué)習(xí)算法Q表實(shí)際上就是狀態(tài)、動(dòng)作、與估計(jì)的未來(lái)獎(jiǎng)勵(lì)之間的映射表Q學(xué)習(xí)算法Q學(xué)習(xí)案例Q學(xué)習(xí)算法Q表數(shù)據(jù)Q學(xué)習(xí)算法獎(jiǎng)勵(lì)公式更新公式Q學(xué)習(xí)算法Q學(xué)習(xí)算法過(guò)程Q學(xué)習(xí)算法的基本過(guò)程如下：(1)設(shè)置參數(shù)γ，并初始化獎(jiǎng)勵(lì)矩陣R。(2)將Q表初始化為0。(3)For每一個(gè)過(guò)程隨機(jī)選擇一個(gè)初始狀態(tài) DoWhile(目標(biāo)狀態(tài)未達(dá)到)

從當(dāng)前狀態(tài)的所有可能的動(dòng)作中，選擇一個(gè)動(dòng)作

使用這一個(gè)動(dòng)作，達(dá)到下一個(gè)狀態(tài)

在下一個(gè)狀態(tài)的所有可能動(dòng)作中，選一個(gè)Q值最大的動(dòng)作

按獎(jiǎng)勵(lì)公式和更新公式計(jì)算Q值

設(shè)置下一個(gè)狀態(tài)為當(dāng)前狀態(tài) EndDoEndForQ學(xué)習(xí)算法利用矩陣Q的算法如下：(1)設(shè)置當(dāng)前狀態(tài)=初始狀態(tài)。(2)從當(dāng)前狀態(tài)開(kāi)始，尋找具有最高Q值的動(dòng)作。(3)設(shè)置當(dāng)前狀態(tài)=下一個(gè)狀態(tài)。(4)重復(fù)步驟(2)和(3)，直到當(dāng)前狀態(tài)=目標(biāo)狀態(tài)。Q學(xué)習(xí)算法TicTacToe學(xué)習(xí)過(guò)程在計(jì)算機(jī)博弈游戲的Q學(xué)習(xí)算法中，action可以通過(guò)可下位置來(lái)確定，state則可以通過(guò)利用Hash表計(jì)算當(dāng)前局面的H