强化学习(RLAI)读书笔记第五章蒙特卡洛方法

强化学习(RLAI)读书笔记第八章表格方法的规划与学习 第八章:Planning and Learning with Tabular Methods 本章为需要环境的model-based强化学习方法(如DP和启发式搜索)和不需要环境的model-free方法(比如MC和TD)提供一个统一的论述框架。基于模型的方法依赖规划(planning)而无模型的强化学习方法依赖学习(learning)。这两种方式有很多不同也有很多相似点。特别的是这两种方法都是... 阅读详情

第五章:蒙特卡洛方法

和前几章讲的不一样,蒙特卡洛方法不需要对环境进行完全的建模,而只需要经验,也就是实际或者仿真的与环境进行交互的整个样本序列,包括状态动作和反馈信息。从实际交互中学习并不需要对环境建模,而从仿真交互中学习也只需要能够产生相应的转移样本而不是完整的环境状态转移概率分布。而且很多的例子中产生相应的交互例子很容易,得到概率分布却很难。

蒙特卡洛方法采用平均样本反馈的方法来解决强化学习问题。为了保证得到定义好的reward值,我们只在episodic tasks上使用蒙特卡洛方法。也就是假设每个任务都能分为一个个episode,每个episode结束以后才进行值更新和策略的改进。因此蒙特卡洛法是以一个episode为单位来计算,而不是以每一步(online)来计算。

和第二章的bandit问题类似,蒙特卡洛法用的也是为每个状态或者状态动作对平均反馈的方式。但是在这个方法中有很多个状态,而且不同状态之间相互联系,同时每个动作的选择都在学习中,因此这个问题是非稳态且是associative search的。

为了解决这种非稳态,我们使用了第四章介绍的GPI框架。也就是在样本反馈中计算值函数,同时对策略进行改进最终达到最优。

 

5.1 Monte Carlo Prediction

首先考虑在给定策略下估计状态值函数的问题。状态的值是从该状态开始之后得到反馈的期望,一个简单的计算方式就是将从该状态开始的反馈值加起来求平均。随着计算次数增加,最终平均值会逼近期望值。这个想法在蒙特卡洛法中一直得到应用。

假设给定了一堆在策略\pi下经过状态s的序列样本,我们想要评估在策略\pi下状态s的值函数v_{\pi}(s)。每次转移到状态s都叫做对s的一次访问(visit)。s有可能在样本中被访问多次,因此我们把第一次访问s的时间叫做对s的first-vist。首次访问蒙特卡洛法(first-visit MC method)把第一次访问状态s后得到的反馈值进行平均,而每次访问蒙特卡洛法(every-visit MC method)是把所有访问s后的反馈值进行平均。随着访问次数趋近于无穷,这两种方法的估计值都会收敛至目标值。

练习5.1 因为最后两步停止了要牌不会爆掉而且点数很大容易获胜。 前面一直在要牌,容易爆掉。 在没有11点的牌但是却总点数大于12的情况下继续要牌更容易爆。

练习5.2 不会,因为每个状态只会经过一次。

DP方法需要完全了解环境建模,而且需要知道采取动作之后下一个状态的转移分布,但是有的问题中很难去产生下一状态的概率分布。因此即使对于有环境建模的问题,蒙特卡洛方法只需要生成状态序列的做法也是一个很大的优点。

对于蒙特卡洛方法来说,它的backup diagrams会是一条直线。因为每一个序列的状态轨迹都只有所有可能的其中一条,因此它的backup diagrams是从根节点状态开始,采取一个动作转移到一个状态一直到结束状态。而不像是DP算法中把所有的可能性都考虑到。

关于蒙特卡洛法估计值函数的另一个重要特点是,这个方法对每个状态值的估计是独立的。换句话说,蒙特卡洛法并没有使用bootstrap。

而且蒙特卡洛法估计每一个单个的状态值的时候,计算复杂性和整个状态的数量无关。所以对于只关注某几个状态的时候蒙特卡洛法特别实用,这是蒙特卡洛法对比DP法的第三个优点。

 

5.2 Monte Carlo Estimation of Action Values

如果没有对环境的建模,那么评估状态动作值函数相对于状态值函数就会更有效。如果有了环境模型,那么只需要状态值函数就可以得到一个贪心策略,但是如果没有环境模型,只有状态值函数是做不到确定一个贪心策略的。因此我们的目标是估计q_{*},使用的是policy evaluation方法。

对于评估状态动作值函数q_{\pi}(s,a)来说,计算方法和上节讲的类似,只不过是把遍历每个状态改为遍历每个状态动作对。只不过这里存在一个问题,那就是直接这么评估状态动作对,可能会导致有的状态动作对永远不会被访问。但是为了选择最好的动作,我们需要变量当前状态所有的动作,而不只是当前选择的动作。这就是之前第二章提到的保持explore的问题,为了解决这个问题有一个方法叫做exploring starts。这个方法是以一个状态动作对作为交互的开始,而每一个状态动作对都有可能作为开始,之后才遵循策略\pi。

强化学习(RLAI)读书笔记第六章差分学习(TD-learning) 第六章:Temporal-Difference Learning TD-learning算法是强化学习中一个独具特色而又核心的想法,结合了蒙特卡洛算法和动态规划的想法。和MC一样不需要环境模型直接从sample里学习,也像DP一样使用bootstrap通过别的状态值的估计更新当前状态值。首先也关注的是给定策略进行prediction或者叫policy evaluation。对于control(找... 阅读详情

相关推荐

强化学习(RLAI)读书笔记第七章n步自举(n-step Bootstrapping)

第七章:n-step Bootstrapping 这一章中我们把蒙特卡洛算法(MC)和一步差分算法(one-step TD)统一起来。MC算法和一步TD算法都不可能永远是最好的。这两个方法都是比较极端的形式,可能使用它们中间形式会更好一些。另一个看待n步TD算法的优势的角度是它解决了固定时间步骤的缺点。比如一步TD算法固定了每次选择动作和更新值的时间间隔。很多应用中想要把发生的改变快速更新到值函...

无所知的博客 3386

Importance sampling以及其在off-policy Monte Carlo方法中的应用

本篇小文简单总结了importance sampling的两种方案(ordinary importance sampling以及weighted importance sampling)各自的数学原理以及在off-policy Monte Carlo方法中的应用。

weixin_46807771的博客 332

【机器学习分支】重要性采样(Importance sampling)学习笔记

重要性采样(Importance Sampling)

小白有颗大白梦的博客 8377

苹果iOS设备解锁软件:iToolab UnlockGo

iToolab UnlockGo是Mac上一款具有解锁屏幕密码、移除iCloud激活锁、移除Apple ID、关闭FMI、解锁屏幕使用时间和绕过MDM功能的苹果设备解锁工具,UnlockGo只需要几分钟,就能够快速为您解决IOS设备的密码遗忘、设备被禁用、脸部/触控ID不可用、密码已过期等问题! 即时解锁iPhone / iPad的密码 使用iToolab UnlockGo,您可以轻松绕过iPhone密码并获得对该设备的完全访问权限。它适用于以下情况,并且完全支持各种密码。UnlockGo支持轻松删除所有

macxingchendahai的博客 1万+

CMU开源NavRL:深度强化学习如何破解无人机动态避障难题?

卡内基梅隆大学(CMU)开源了NavRL框架,利用深度强化学习解决无人机在复杂环境中的动态避障难题。该框架通过创新的状态表示、多目标奖励函数设计以及独立的安全屏障机制,使无人机能够通过仿真训练自主学会灵活、安全的导航策略,并成功实现从仿真到真实环境的零样本迁移。

hope8的博客 723

光纤布拉格光栅(FBG)笔记【1】:波导结构和布拉格波长推导

引言 本文是光纤布拉格光栅(FBG)的笔记【1】,主要介绍了光纤布拉格光栅的波导结构,并且利用动量和能量守恒推导了光纤布拉格波长的表达式 普通光纤中让折射率发生周期性变化就是结构最简单的均匀光纤布拉格光栅(FBG),其波导结构如下图所示。 其传感原理描述可以分为以下的三点: ①光纤纤芯传播的光会在每个光栅面进行反射和透射; ②如果不满足布拉格条件,依次排列的光栅平面反射的光会逐渐变得不同直到最后相互抵消;同时由于系数不匹配,与布拉格波长不相符的光在每个光栅平面的反射也很微弱,这些光大部分在光纤中发生透.

subtitle_的博客 2万+

高通CamX架构解析(一)——核心组件与数据流设计

本文深入解析高通CamX相机架构的核心组件与数据流设计。CamX采用模块化与数据驱动思想,将复杂处理流程拆解为Node、Pipeline、Session等独立组件,并通过CHI层实现硬件接口与定制功能的分离。文章详细阐述了从请求下发到结果返回的完整数据流,并提供了实用的调试与分析指南,帮助开发者理解这一高效、灵活的现代相机架构。

k8l9m0n的博客 235

【ArcPy】用Python批量处理大规模地理数据的几何校正

在许多GIS应用中,尤其是在大规模地理数据处理时,几何校正(Geometric Correction)是一个至关重要的任务。它确保了不同来源的地理数据能够正确地对齐和匹配,从而为后续分析提供准确的基础。几何校正的常见应用包括遥感影像的地理配准、矢量数据的投影转换等。几何校正通常包括坐标转换、重采样等步骤。以下示例展示了如何使用arcpy的工具进行几何校正。"""实施几何校正:param input_layer: 输入待校正数据层。

陈书予 1015

Flink CDC 中 StartupOptions 模式详解

Flink CDC 的 StartupOptions 模式用于指定作业启动时从源数据读取数据的起始位置,不同的模式适用于不同的业务场景,可满足多样化的数据处理需求,主要有 Initial 模式、Earliest 模式、Latest 模式、SpecificOffset 模式和 Timestamp 模式。

RodJohnsonDoctor的专栏 852

Unity3D实现自定义河流路径或泥石流路径

此工具是一个插件,插件很好用,可以根据地形编辑河流的走向以及宽度,也可以发挥想象编辑成其他的效果,比如泥石流效果,岩浆效果,小溪,或者大江或者大河等等博客将会介绍可以编辑河流的工具的使用。希望这篇博客对Unity的开发者有所帮助。大家好,我是心疼你的一切,不定时更新Unity开发技巧,觉得有用记得一键三连哦。提示:以下是本篇文章正文内容,下面案例可供参考本次总结的就是工具的使用, 有需要会继续增加功能不定时更新Unity开发技巧,觉得有用记得一键三连哦。么么哒!

心疼你的一切博客 5274

Arcgis中的模型构建器(ModelBuilder)技术之批量图层转KML

这段时间全省各地都在开展耕地流出图斑整改恢复工作,期间或多或少都需要村委会协助摸排举证,除了举证软件外,奥维、外业精灵等软件想必大家接触得也很多。这就经常需要我们转kmz文件给业主或者摸排人员,那么有没有什么方法在arcgis下快速批量转kmz文件呢,今天就介绍一下如何在模型构建器(ModelBuilder)构建批量图层转KML的模型。

weixin_44671081的博客 1325

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

上一篇: 强化学习(RLAI)读书笔记第四章动态规划
下一篇: c++ primer 笔记第十二章动态内存
无所知
博客等级 码龄12年 232粉丝 128原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值