機(jī)器學(xué)習(xí) 課件 第11章 強(qiáng)化學(xué)習(xí)

第11章強(qiáng)化學(xué)習(xí)《機(jī)器學(xué)習(xí)》胡曉強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)在強(qiáng)化學(xué)習(xí)中，沒(méi)有可學(xué)習(xí)的（標(biāo)注）數(shù)據(jù)；在一個(gè)不斷變化的狀態(tài)空間，解決一個(gè)決策鏈問(wèn)題。有一個(gè)明確目標(biāo)，通過(guò)嘗試達(dá)到目的。而規(guī)劃學(xué)習(xí)則是通過(guò)計(jì)算達(dá)到目的監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)訓(xùn)練樣本智能體與環(huán)境交互軌跡和累積獎(jiǎng)勵(lì)優(yōu)化目標(biāo)期望總回報(bào)學(xué)習(xí)準(zhǔn)則期望風(fēng)險(xiǎn)最小最大似然估計(jì)最大似然估計(jì)最小重構(gòu)錯(cuò)誤策略評(píng)估策略改進(jìn)11.1強(qiáng)化學(xué)習(xí)概述11.1.1基本概念

強(qiáng)化學(xué)習(xí)涉及到一個(gè)過(guò)程、兩個(gè)主體(智能體和環(huán)境)，三個(gè)要素(狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì))

智能體（Agent）可感知外界環(huán)境的狀態(tài)(State)和接受反饋獎(jiǎng)勵(lì)(Reward)，并具備學(xué)習(xí)能力(learning)和決策功能(policy)的實(shí)體環(huán)境（Environment）智能體從外部感知的所有事物和信息，稱(chēng)為環(huán)境，用狀態(tài)描述11.1強(qiáng)化學(xué)習(xí)概述11.1.1基本概念

強(qiáng)化學(xué)習(xí)涉及到一個(gè)過(guò)程、兩個(gè)主體(智能體和環(huán)境)，三個(gè)要素(狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì))

動(dòng)作（Action）對(duì)智能體能執(zhí)行行為的描述，其描述值可以是離散的或連續(xù)的

狀態(tài)轉(zhuǎn)移概率轉(zhuǎn)移模型

11.1強(qiáng)化學(xué)習(xí)概述11.1.2策略評(píng)估和策略控制

11.1強(qiáng)化學(xué)習(xí)概述11.1.2策略評(píng)估和策略控制價(jià)值函數(shù)(ValueFunction)智能體從某狀態(tài)(也可從初始狀態(tài))到終點(diǎn)狀態(tài)的一段行為軌跡稱(chēng)為一幕(Episode)。

11.1強(qiáng)化學(xué)習(xí)概述

11.1強(qiáng)化學(xué)習(xí)概述

11.1強(qiáng)化學(xué)習(xí)概述

定義最優(yōu)狀態(tài)價(jià)值函數(shù)為

11.1強(qiáng)化學(xué)習(xí)概述策略評(píng)估

這是迭代策略評(píng)估(iterativepolicyevaluation)的基本公式11.1強(qiáng)化學(xué)習(xí)概述

策略控制

11.1強(qiáng)化學(xué)習(xí)概述11.1.3強(qiáng)化學(xué)習(xí)分類(lèi)按模型分基于模型(Model-Based)和無(wú)模型(Model-Free)按策略分同軌策略(on-policy)和離軌策略(off-policy)兩類(lèi)價(jià)值學(xué)習(xí)和策略學(xué)習(xí)11.2表格強(qiáng)化學(xué)習(xí)

11.2.1蒙特卡洛蒙特卡洛(MonteCarlo)基本思想：用大量隨機(jī)試驗(yàn)估計(jì)未知量

首次訪(fǎng)問(wèn)(firstvisit)每次訪(fǎng)問(wèn)(everyvisit)11.2.2動(dòng)態(tài)規(guī)劃(DynamicProgramming)廣義策略迭代(GeneralizedPolicyIteration,GPI)。

11.2.3時(shí)序差分

例11.2設(shè)從學(xué)生宿舍到教室上課經(jīng)過(guò)表11.3中所示6個(gè)狀態(tài)，預(yù)計(jì)到達(dá)教室總時(shí)間等于經(jīng)過(guò)時(shí)間加上剩余時(shí)間。

11.2.3時(shí)序差分

11.3深度強(qiáng)化學(xué)習(xí)

11.3深度強(qiáng)化學(xué)習(xí)