宜昌做网站公司有哪些网站,三国网页游戏排行榜,海门网站制作,服装类电子商务网站建设报告分类目录#xff1a;《深入理解强化学习》总目录 在《深入理解强化学习——强化学习的历史》前面的文章中我们讨论了最优控制和试错学习学习的思想#xff0c;接下来#xff0c;我们将讨论一些在20世纪60年代和70年代#xff0c;在试错学习计算和理论研究被相对忽视的时候《深入理解强化学习》总目录 在《深入理解强化学习——强化学习的历史》前面的文章中我们讨论了最优控制和试错学习学习的思想接下来我们将讨论一些在20世纪60年代和70年代在试错学习计算和理论研究被相对忽视的时候出现的一些例外情况。其中的一个例外是新西兰研究人员J.hn Andreae的工作。Andreae开发了一个叫作STeLLA的系统它通过与环境的互动中的试错来学习。这个系统包括了关于环境的内部模型和后来开发的一个用来处理隐藏状态问题的“内心独白模块。Andreae后来的工作虽然更强调从老师那儿学习但仍然包括了很多反复试错并且系统的目标之一就是产生创造性的新事件。这个工作的一个特性被称为“回流过程在Andreae中有详细描述其提供了一个类似于我们前面提及的反向回溯更新的功劳分配机制。不幸的是他的开创性研究并不为人所知也没有对后来的强化学习研究产生重大影响。
比较有影响力的是Donal Michie的工作。在1961年和1963年他描述了一个叫MENACEMatchbox EducabIe Naughts and Crosses Engine的简单试错学习系统用来学习如何玩井字棋游戏。这个系统由对应于每个井字棋位置的火柴盒构成每个火柴盒内含有许多彩色珠子每一种不同颜色代表一种可能的移动方式。通过从当前游戏位置的火柴盒里随机拿一个珠子就可以确定MENACE的移动。当游戏结束时我们会往曾经使用过的盒子里增加珠子或减少珠子以此来强化或惩罚MENACE的决策。Michie和Chambers描述了另一种叫GLEEGame LearningExpectimaxing Engine的井字棋强化学习机和一个叫BOXES的强化学习控制器。他们采用BOXES使得一根杆子可以在一个可移动的小车上保持平衡这一系统就是在失败信号的基础上工作的一一一当杆子倒下或车到达终点时会有失败信号发出从而帮助系统学习。这项任务是根据Widrow和Smith早期的工作改编而来的他们采用有监督学习的方法假设老师的指导己经能保持杆子平衡。Michie和Chambers版的杆子平衡实验是在不具备完全知识的条件下强化学习最出色的早期例子之一。包括我们自己的一些研究在内它影响了许多后来强化学习的工作。Michie一直在不断强调试错学习作为人工智能领域基本部分的重要性。
Widrow、Gupta和Maitra修改了Widrow和Hoff的最小均方误差Least-Mean-SquareLMS算法以建立一种强化学习规则其可以从成功和失败信号中而不是从训练例子中学习。他们称这种学习形式为“选择性引导适应”并将其描述为“向评论家学习而不是“向老师学习。他们分析了这条规则并展示了如何学会玩二十一点纸牌游戏。这是Widrow对强化学习研究的一次单独的尝试他本人对有监督学习的贡献在学界更有影响力。我们使用的“评判器critic这个术语就是从Widrow、Gupta和Maitra的论文中衍生出来的。Buchanan、Mitchell、Smith和Johnson在机器学习文章中独立使用了“评判器这个术语但对他们来说评判器不止可以做性能评估它是一个有更多用处的专家系统。
参考文献 [1] 张伟楠, 沈键, 俞勇. 动手学强化学习[M]. 人民邮电出版社, 2022. [2] Richard S. Sutton, Andrew G. Barto. 强化学习第2版[M]. 电子工业出版社, 2019 [3] Maxim Lapan. 深度强化学习实践原书第2版[M]. 北京华章图文信息有限公司, 2021 [4] 王琦, 杨毅远, 江季. Easy RL强化学习教程 [M]. 人民邮电出版社, 2022
