强化学习

什么是强化学习

强化学习是人工智能中策略学习的一种,是一种重要的机器学习方式,又称再励学习、评价学习,是从动物学习、参数扰动自适应控制等理论进展而来.所谓强化学习是指从环境状态到动作映射的学习,以使动作从环境中获得的累积奖赏值最大。该方式区别于监督学习技术那样通过正例、反例来告知采取何种行为,而是通过试错(trial and error)来发现最优行为策略。常用的强化学习算法包含TD(Temporal Difference)算法、Q学习算法、Sarsa算法等。

强化学习的基本原理

强化学习是从动物学习、参数扰动自适应控制等理论进展而来,其基本原理是:

如果Agent的某个行为策略导致环境正的奖赏(强化信号),那么Agent以后产生这个行为策略的趋势便会加强。Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。

强化学习把学习看作试探评价历程,Agent选择一个动作用于环境,环境接受该动作后状态发生变化,同时产生一个强化信号(奖或惩)反馈给Agent,Agent根据强化信号和环境当前状态再选择下一个动作,选择的原则是使受到正强化(奖)的概率增大。选择的动作不仅影响立即强化值,而且影响环境下一时刻的状态及最终的强化值。

强化学习区别于连接主义学习中的监督学习,紧要表现在教师信号上,强化学习中由环境提给的强化信号是Agent对所产生动作的好坏作一种评价(通常为标量信号),而不是告诉Agent如何去产生正确的动作。由于外部环境提给了很少的信息,Agent必须靠自身的经历实行学习。通过这种方式,Agent在行动一一评价的环境中获得知识,改实行动方案以适应环境。

强化学习系统学习的目标是动态地调整参数,以达到强化信号最大。若已知r/A梯度信息,则可直接可以使用监督学习算法。因为强化信号r与Agent产生的动作A没有明确的函数形式描述,所以梯度信息r/A无法得到。因此,在强化学习系统中,需要某种随机单元,使用这种随机单元,Agent在可能动作空间中实行搜索并发现正确的动作。

强化学习的应用

强化学习紧要应用在历程控制、调度经营管理、机器人控制、游戏比赛和信息检索等方面,其中最为广泛的莫过于智能控制及智能机器人领域。在历程控制领域中,典型的应用实例是倒摆控制系统和Archon系统;在调度经营管理中最成功的应用是Crites和Barto的电梯调度问题,它们将单步强化学习算法应用到一个4部电梯、10层楼的运行调度中;在游戏比赛中,最成功的应用是由Gerry Tesauro运用瞬时差分算法发明的Backgammon下棋游戏,它采用TD的误差来训练3层BP神经网络,达到了很高的水平;在机器人领域,HeePakBeen利用模糊逻辑和强化学习实现陆上移动机器人导航系统,Wilfriedllg利用强化学习使6足昆虫机器人学会6条腿协调动作,Christopher利用强化学习控制机器人手臂运动,Mataria采用改进的Q—Learning算法实现了4个机器人执行Foraging任务,张汝波等利用强化学习实现了智能机器人的避障行为学习;信息检索紧要用于与Intemet有关的信息采集和信息过滤,即从海量的Web信息中查询出用户最为关心的信息。

郑重声明:东方财富网发布此信息的目的在于传播更多信息,与本站立场无关。东方财富网不保证该信息(包含但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资建议,据此操作,风险自担。

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500