什么是强化学习
强化学习是人工智能中策略学习的一种,是一种重要的机器学习方式,又称再励学习、评价学习,是从动物学习、参数扰动自适应控制等理论进展而来.所谓强化学习是指从环境状态到动作映射的学习,以使动作从环境中获得的累积奖赏值最大。该方式区别于监督学习技术那样通过正例、反例来告知采取何种行为,而是通过试错(trial and error)来发现最优行为策略。常用的强化学习算法包含TD(Temporal Difference)算法、Q学习算法、Sarsa算法等。
强化学习的基本原理
强化学习是从动物学习、参数扰动自适应控制等理论进展而来,其基本原理是:
如果Agent的某个行为策略导致环境正的奖赏(强化信号),那么Agent以后产生这个行为策略的趋势便会加强。Agent的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。
强化学习把学习看作试探评价历程,Agent选择一个动作用于环境,环境接受该动作后状态发生变化,同时产生一个强化信号(奖或惩)反馈给Agent,Agent根据强化信号和环境当前状态再选择下一个动作,选择的原则是使受到正强化(奖)的概率增大。选择的动作不仅影响立即强化值,而且影响环境下一时刻的状态及最终的强化值。
强化学习区别于连接主义学习中的监督学习,紧要表现在教师信号上,强化学习中由环境提给的强化信号是Agent对所产生动作的好坏作一种评价(通常为标量信号),而不是告诉Agent如何去产生正确的动作。由于外部环境提给了很少的信息,Agent必须靠自身的经历实行学习。通过这种方式,Agent在行动一一评价的环境中获得知识,改实行动方案以适应环境。
强化学习系统学习的目标是动态地调整参数,以达到强化信号最大。若已知r/A梯度信息,则可直接可以使用监督学习算法。因为强化信号r与Agent产生的动作A没有明确的函数形式描述,所以梯度信息r/A无法得到。因此,在强化学习系统中,需要某种随机单元,使用这种随机单元,Agent在可能动作空间中实行搜索并发现正确的动作。
强化学习的应用
强化学习紧要应用在历程控制、调度经营管理、机器人控制、游戏比赛和信息检索等方面,其中最为广泛的莫过于智能控制及智能机器人领域。在历程控制领域中,典型的应用实例是倒摆控制系统和Archon系统;在调度经营管理中最成功的应用是Crites和Barto的电梯调度问题,它们将单步强化学习算法应用到一个4部电梯、10层楼的运行调度中;在游戏比赛中,最成功的应用是由Gerry Tesauro运用瞬时差分算法发明的Backgammon下棋游戏,它采用TD的误差来训练3层BP神经网络,达到了很高的水平;在机器人领域,HeePakBeen利用模糊逻辑和强化学习实现陆上移动机器人导航系统,Wilfriedllg利用强化学习使6足昆虫机器人学会6条腿协调动作,Christopher利用强化学习控制机器人手臂运动,Mataria采用改进的Q—Learning算法实现了4个机器人执行Foraging任务,张汝波等利用强化学习实现了智能机器人的避障行为学习;信息检索紧要用于与Intemet有关的信息采集和信息过滤,即从海量的Web信息中查询出用户最为关心的信息。