关键词:
过热汽温
actor-critic学习
强化学习
机器学习
径向基网络
时序差分算法
自适应控制
PI控制
摘要:
针对锅炉过热汽温模型结构和参数发生较大变化时常规PID控制效果难以令人满意的问题,提出一款基于actor-critic(AC)强化学习(reinforcement learning, RL)的自适应PI控制器.控制器采用径向基神经网络(RBF-NN)实现AC强化学习结构,其中actor网络输出为PI控制器参数,cri-tic网络对actor网络输出进行评判以生成时序差分(temporal difference, TD)误差信号,TD误差信号驱动RBF网络权值在线更新.介绍了锅炉过热汽温控制系统结构特点,给出了RL-PI控制器设计和算法执行步骤.完成了锅炉过热汽温控制系统的设计.以典型的非线性时变锅炉过热汽温系统为被控对象,进行了正常工况、增益增大、惯性增大、增益突变、惯性突变以及加扰动等6种工况下的仿真试验.结果表明:与模型预测控制、模糊控制以及常规PI串级控制方法相比,该RL-PI控制器具有明显的优势,能够极大提高系统适应工况变换的能力,且具有更强的自学习能力,收敛速度更快,鲁棒性更强.