1強化學(xué)習(xí)介紹詳解

強化學(xué)習(xí)介紹簡介一種能夠讓機(jī)器解決科學(xué)或經(jīng)濟(jì)方面學(xué)習(xí)問題的設(shè)計方案，并通過數(shù)學(xué)分析或計算實驗來評估的方法稱為強化學(xué)習(xí)。從交互中進(jìn)行，以目標(biāo)為導(dǎo)向。強化學(xué)習(xí)介紹學(xué)習(xí)者不被告知采取哪個動作，而是通過嘗試來發(fā)現(xiàn)獲得最大獎賞的動作。agent必須嘗試各種動作，并且漸漸趨近于那些表現(xiàn)最好的動作，以達(dá)到目標(biāo)。強化學(xué)習(xí)介紹監(jiān)督學(xué)習(xí)是從樣例中學(xué)習(xí)，樣例是由富有知識的外部監(jiān)督者提供的。這是一種重要的學(xué)習(xí)方法，但是它不能單獨地用于交互學(xué)習(xí)。強化學(xué)習(xí)沒有外部指導(dǎo)者，是在交互中，從自身經(jīng)驗中學(xué)習(xí)。強化學(xué)習(xí)挑戰(zhàn)學(xué)習(xí)者必須嘗試各種動作，并且漸漸趨近于那些表現(xiàn)最好的動作，以達(dá)到目標(biāo)。嘗試各種動作即為試錯，也稱為探索趨近于好的動作即為強化，也稱為利用探索與利用之間的平衡，是強化學(xué)習(xí)的一個挑戰(zhàn)。探索多了，有可能找到差的動作，探索少了，有可能錯過好的動作?？傮w趨勢：探索變少，利用變多監(jiān)督學(xué)習(xí)中根本就不存在探索和利用的平衡問題，樣例學(xué)習(xí)階段之后，就只有利用了。例子一個機(jī)器人決定：1、進(jìn)入一個新房間去尋找更多垃圾，2、尋找一條回去充電的路。它根據(jù)以前找到充電器的快慢和難易程度來作決定。這是以前與環(huán)境交互得到的經(jīng)驗強化學(xué)習(xí)關(guān)鍵特征強化學(xué)習(xí)明確整個問題時一個以目標(biāo)為導(dǎo)向的agent與不確定環(huán)境交互問題例子五子棋：棋手通過數(shù)學(xué)公式計算，發(fā)現(xiàn)位置1比位置2價值大，這是強化學(xué)習(xí)嗎？這不叫強化學(xué)習(xí)，叫規(guī)劃如果通過幾次嘗試，走位置1比走位置2贏棋的可能大，得出經(jīng)驗，則為強化學(xué)習(xí)例子小牛羚在出生后幾分鐘內(nèi)掙扎著站起來。半小時后，每小時能跑幾十公里例子一個進(jìn)行石油提煉操作的攪拌控制器。該控制器逐步優(yōu)化產(chǎn)量/成本/質(zhì)量之間的平衡而不是嚴(yán)格按照工程師的最初設(shè)置來攪拌。例子走到電梯門口，發(fā)現(xiàn)等電梯的人很多選擇：1等電梯；2走下去根據(jù)經(jīng)驗來選擇，是強化學(xué)習(xí)例子家長一直采用嚴(yán)厲的方法對待子女，從不嘗試平和的方式對待子女?；蛟S錯過了采取更好動作的機(jī)會（如平和的教育方式）。例子這些例子中，隨時間推移，學(xué)習(xí)者利用它獲得的經(jīng)驗不斷提高自己的性能。簡言之，強化學(xué)習(xí)就是試出來的經(jīng)驗。自主學(xué)習(xí)分析一下動物自主學(xué)習(xí)的特點：

1、試錯：嘗試不同的做法（動作）

2、強化：有好處多做，沒有好處少做

3、目標(biāo)：是動物努力的方向，目標(biāo)導(dǎo)向動物（學(xué)習(xí)者）必須嘗試各種動作，并且漸漸趨近于那些表現(xiàn)最好的動作，以達(dá)到目標(biāo)。相關(guān)定義為便于研究，定義幾個概念

agent（學(xué)習(xí)的主體，如小貓、小狗、人、機(jī)器人、控制程序等）agent以目標(biāo)為導(dǎo)向，與不確定的環(huán)境之間進(jìn)行交互，在交互過程中強化好的動作，獲得經(jīng)驗。agent特點

1、能感知環(huán)境的狀態(tài)

2、選擇動作（可能會影響環(huán)境的狀態(tài)）

3、有一個目標(biāo)（與環(huán)境狀態(tài)有關(guān)的）相關(guān)定義agent的目標(biāo)導(dǎo)向與許多其他學(xué)習(xí)方法相比，其他方法只考慮了子任務(wù)，而沒有解決怎樣可以把這些子任務(wù)整合到一個更大的框架中。而強化學(xué)習(xí)是以最終目標(biāo)為導(dǎo)向的，可以把不同的子任務(wù)整合到一個大框架中。強化學(xué)習(xí)的基本要素策略獎賞函數(shù)值函數(shù)環(huán)境模型強化學(xué)習(xí)的基本要素策略定義了agent在給定時間內(nèi)的行為方式，一個策略就是從環(huán)境感知的狀態(tài)到在這些狀態(tài)中可采用動作的一個映射?？赡苁且粋€查找表，也可能是一個函數(shù)強化學(xué)習(xí)的基本要素獎賞函數(shù)是強化學(xué)習(xí)問題中的目標(biāo)，它把環(huán)境中感知到的狀態(tài)映射為單獨的一個獎賞獎賞函數(shù)可以是改變策略的基礎(chǔ)。強化學(xué)習(xí)的基本要素值函數(shù)：一個狀態(tài)的值一個agent從那個狀態(tài)開始到將來預(yù)期的累積的獎賞和。在決策和評價決策中考慮最多的是值。強化學(xué)習(xí)的基本要素環(huán)境模型模擬了環(huán)境的行為，即給定一個狀態(tài)和動作，模型可以預(yù)測必定導(dǎo)致下一個狀態(tài)和下一個獎賞。模型一般用于規(guī)劃。規(guī)劃是算出來的，強化學(xué)習(xí)是試出來的。將模型和規(guī)劃結(jié)合到強化學(xué)習(xí)是一個新進(jìn)展，也是我們學(xué)習(xí)研究的重要內(nèi)容。強化學(xué)習(xí)介紹本書中所有強化學(xué)習(xí)方法圍繞估計值來組織，但這不是解決強化學(xué)習(xí)問題所必須的。直接在策略空間中搜索而不利用值函數(shù)的方法稱為進(jìn)化方法。適合用在策略空間比較小或者策略空間被構(gòu)造地很好地情況下。例子：Tic－Tac－Toe初始1→0.52→0.53→0.54→0.5

。。。

39→0.5當(dāng)前1→0.52→0.53→0.5S4→0.5

。。。100→1S’

。。。

39→0.5不斷對弈，不斷更新估計例子：Tic－Tac－Toe

更新貪心走棋之前的狀態(tài)s：例子：Tic－Tac－Toe

強化學(xué)習(xí)關(guān)鍵特征學(xué)習(xí)時與環(huán)境交互（本例中與對手交互）有一個清晰的目標(biāo)強化學(xué)習(xí)歷史主要有兩條線路一條線路關(guān)注試錯學(xué)習(xí)，以動物心理學(xué)為起點。（貫穿人工智能早期）另一條線路關(guān)注最優(yōu)控制問題以及使用值函數(shù)和動態(tài)規(guī)劃的解決方案。強化學(xué)習(xí)歷史最優(yōu)控制描述的問題是如何設(shè)計一個控制器來隨時間而最小化動態(tài)系統(tǒng)的行為計量一個解決這個問題的方法是使用動態(tài)系統(tǒng)中狀態(tài)和值函數(shù)的概念來定義一個函數(shù)方程，即貝爾曼方程