强化学习(RLAI)读书笔记第四章动态规划

强化学习(RLAI)读书笔记第一章介绍 前言 :sutton的《reinforcement learning: an introduction》新版已经基本完成,结合他在学校开设的课程609,进行强化学习的系统学习。609的课程资料等等在这里。博客主要包括书籍的读书笔记,可能会包括609的作业。   第一章: Introduction 1.1 reinforcement learning 强化学习是学习怎么做,怎么从状态映射到动... 阅读详情

第四章:动态规划

动态规划是指一类在MDP下对环境有完全建模的计算最优策略的算法。经典的DP算法在强化学习中应用有限,不仅是因为需要对环境进行完全建模,而且还需要很多的计算资源。但是这个算法在理论上依然很重要。实际上,书中后面章节的所有算法都可以看成想要使用更少的计算资源而且不需要对环境完全建模的尽可能达到DP的效果的尝试。

一般我们假设环境是有限状态MDP。尽管动态规划也可以应用到连续状态和连续动作的场景中,但是我们一般会将状态和动作进行离散化,之后应用有限状态动态规划算法进行近似。第九章讲解这些算法。

DP或者说强化学习的核心思想是利用值函数来组织和结构化对策略的搜索。本章会介绍通过获得满足贝尔曼最优等式(下图)的值函数v_{*}或者q_{*}来很容易得出最优策略的算法。我们将会看到,DP算法会通过对类似下式的等式进行调整为赋值等式来对其值函数进行更新,最终进行优化和近似得到想要的值函数。

4.1 Policy Evaluation(Prediction)

首先我们考虑如何在策略\pi下计算状态值函数v_{\pi}。这个方法在DP中叫做policy evaluation,也叫作prediction problem。回忆一下第三章中值函数v的贝尔曼公式,下标\pi表示遵从该策略,\pi\left(a|s \right )表示该策略状态s采取a的概率。只要是满足\gamma<1或者在策略下有一个结束状态,那么v的存在性和唯一性就能得到保证。

如果环境的状态转移分布是完全已知的,那么公式4.4就相当于对状态空间中的|S|个状态每个都有一个等式,同时也有这么多未知数,理论上可以直接解出结果。假如有一个值函数估计值的序列,v_{0},v_{1},v_{2},... 每个都代表从状态到一个实数的映射,那么根据贝尔曼等式我们可以得到如下连续递推估计的更新规则:

显然当v_{k}趋近于v_{\pi}的时候等式收敛。这个算法叫做policy evaluation。为了更新对值函数的估计值,循环policy evaluation对于每个状态的操作都是一样的,使用下一状态的旧的v以及转移到下一状态得到反馈的期望得到本状态的一个新的估计值,并用其来替代旧的估计值。这种操作叫做expected update,因为使用的都是期望值而不是一个采样来更新状态函数。所有的值更新都可以很自然的使用一个等式或者一个backup diagram来展示其中的过程。

强化学习(RLAI)读书笔记第八章表格方法的规划与学习 第八章:Planning and Learning with Tabular Methods 本章为需要环境的model-based强化学习方法(如DP和启发式搜索)和不需要环境的model-free方法(比如MC和TD)提供一个统一的论述框架。基于模型的方法依赖规划(planning)而无模型的强化学习方法依赖学习(learning)。这两种方式有很多不同也有很多相似点。特别的是这两种方法都是... 阅读详情

相关推荐

强化学习(RLAI)读书笔记第六章差分学习(TD-learning)

第六章:Temporal-Difference Learning TD-learning算法是强化学习中一个独具特色而又核心的想法,结合了蒙特卡洛算法和动态规划的想法。和MC一样不需要环境模型直接从sample里学习,也像DP一样使用bootstrap通过别的状态值的估计更新当前状态值。首先也关注的是给定策略进行prediction或者叫policy evaluation。对于control(找...

无所知的博客 5696

强化学习(RLAI)读书笔记第十章On-Policy Control with Approximation

目前继续考虑on-policy的带逼近的control算法。这章主要介绍半梯度Sarsa算法,也就是半梯度TD(0)算法对于动作值估计以及on-policy control算法的自然延伸。虽然这个延伸对于episodic的情况是很自然的,但是对于continuing的情况,我们需要再次考虑对于discounting方法来定义一个最优策略的方式。而当我们使用函数逼近的时候需要放弃discountin...

无所知的博客 1305

RLAI读书笔记-第九章-On-policy Prediction with Approximation

On-policy Predicttion with Approximation 策略π的状态价值的近似值 值函数逼近==&gt;在有限状态集推广到更大的集合并有良好近似效果 (table lookup对于大规模数据很难解决) V线性函数,W特征权重向量 V神经网络,W layers之间的链接权重 V决策树,W split points? 9.1 value-function App...

cuixuange的博客 295

Model-based RL&动态规划(基于价值、基于策略,泛化迭代)

对于马尔可夫决策过程(MDP),在不知道环境的状态转移函数和奖励函数下(或者是known MDP,但环境太大太复杂无法去使用)就使用无模型的强化学习算法和基于模型的强化学习算法算出最优策略和最优价值函数(控制),或者求出某一策略下的价值函数(预测)。因此,对于上面的问题,不一定让策略评估和策略改进反复交替多次,而是用贝尔曼最优方程,一次性确定各个状态的 Vπ(s),再用这些最优状态值函数Vπ(s)计算动作值函数 Q(s,a) ,最后取Q(s,a)最大的动作,这就是值函数迭代算法。

weixin_36378508的博客 1555

强化学习(RLAI)读书笔记第五章蒙特卡洛方法

第五章:蒙特卡洛方法 和前几章讲的不一样,蒙特卡洛方法不需要对环境进行完全的建模,而只需要经验,也就是实际或者仿真的与环境进行交互的整个样本序列,包括状态动作和反馈信息。从实际交互中学习并不需要对环境建模,而从仿真交互中学习也只需要能够产生相应的转移样本而不是完整的环境状态转移概率分布。而且很多的例子中产生相应的交互例子很容易,得到概率分布却很难。 蒙特卡洛方法采用平均样本反馈的方法来解决强化...

无所知的博客 3790

/lib//libclntsh.so: file format not recognized; treating as linker script

centos7.7+oracle19.3 建库过程报错:预检查都是通过的 /oracle/product/19.3.0/db_1/lib/libasmperl19.a -Wl,--no-whole-archive -lclntsh -lclntshcore -lasmclntsh19 -lhasgen19 -lskgxp19 -locr19 -lcell19 -lirc INFO: /usr/bin/ld:/home/app/oracle/product/19.3.0/db_1/li...

sqlora的专栏 9917

vscode中使用PlatformIO创建工程加载慢

解决使用VSCODE+PlatformIO中,第一次新建工程一直加载的问题

Reasally的博客 4986

4.7W防削顶单声道D类音频功率放大器HT6872介绍

HT6872是一款低EMI,防削顶失真,单声道免滤波D类音频功率放大器。在6.5V电源,10%THD+N,4Ω负载条件下,输出4.71W功率,在各类音频终端应用中维持高效率并提供AB类放大器的性能。

weichen_78的博客 4706

国产麒麟系统下用Rider开发C#桌面应用:从环境配置到Avalonia UI实战

本文详细介绍了在国产麒麟系统上使用JetBrains Rider开发C#桌面应用的完整流程,重点讲解了Avalonia UI框架的实战应用。从环境配置、Rider安装到Avalonia项目创建和UI开发技巧,全面覆盖了在非Windows环境下进行C#开发的关键步骤和优化建议,助力开发者高效构建跨平台桌面应用。

weixin_27791839的博客 389

生成式引擎优化(GEO)- 搜索引擎优化

生成式引擎优化(GEO)是针对AI内容生成平台(如ChatGPT)的新型优化策略,旨在提升品牌内容在AI生成答案中的引用率,与传统SEO存在显著差异。GEO通过优化内容权威性、结构化和语义关联,适应AI的RAG技术架构,采用3C原则(可爬性、网络共识、反馈校正)提升内容可见性。其核心区别在于目标(引用率vs排名)、技术(语义优化vs关键词)及算法透明度(封闭vs开放)。适用场景包括商业决策、行业权威建设及公共知识服务,帮助品牌在AI时代占据信息主导权。

解锁AI流量新红利!🚀 GEO优化(生成引擎优化)助您掌控AI搜索,让AI成为您的品牌最佳代言人! 1409

麒麟系统下PaddleOCR的离线部署实战:从环境搭建到模型优化

本文详细介绍了在国产麒麟操作系统上离线部署百度PaddleOCR的完整实战流程。从系统环境准备、Conda虚拟环境搭建,到PaddlePaddle框架和PaddleOCR的离线安装,再到预训练模型的本地部署与优化技巧,提供了全面的文字识别解决方案。重点解决了离线环境下依赖包管理、模型量化加速等核心问题,并附带了批量处理与内存监控的进阶代码,适用于对数据安全有严格要求的政务、金融等场景。

docker7nomad的博客 966

【C#】控制设备管理器中设备的启用/禁用_20220506

通过C#代码实现设备管理器的启用/停止 引入Manamger程序集,查找到所需设备,控制启停

weixin_45475139的博客 4530

【Pix4d精品教程】Pix4d中央子午线细化设置(测区跨两个分带)

本文介绍了在Pix4d软件中通过修改中央子午线设置来解决跨分带测区刺点问题的方法。针对测区跨3度分带(如105°和108°之间)时像控点与靶标点偏移较大的情况,建议将中央子午线设为测区中心(如106.5°)。具体操作步骤包括:修改投影文件中的中央子午线参数,选择新的输出坐标系配置文件。该方法能有效提高像控点刺点效率,为航测内业数据处理提供便利。操作简单实用,适合大比例尺测图项目中跨分带测区的数据处理需求。

智慧空间实验室 5528

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

上一篇: 强化学习(RLAI)读书笔记第三章有限马尔科夫决策过程(finite MDP)
下一篇: 强化学习(RLAI)读书笔记第五章蒙特卡洛方法
无所知
博客等级 码龄12年 232粉丝 128原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值