一种离散时间强化学习无人艇航向跟踪控制方法及系统

    公开(公告)号:CN116300949A

    公开(公告)日:2023-06-23

    申请号:CN202310321522.0

    申请日:2023-03-29

    Abstract: 本发明提供一种离散时间强化学习无人艇航向跟踪控制方法及系统。本发明方法,包括:建立无人艇航向离散时间非线性动力学模型;对建立的无人艇航向离散时间非线性动力学模型进行系统变换,建立无人艇航向跟踪变化系统;设计无人艇强化学习评价模块;设计无人艇航向跟踪控制器,从而得到无人艇系统舵角指令,将舵角指令传递给无人艇舵机输出无人艇航向角,进而实现无人艇航向跟踪控制。本发明针对非严格反馈形式的无人艇系统,运用强化学习方法,利用神经网络构造补偿器,解决离散时间非严格反馈无人艇系统控制设计采用backstepping方法设计控制器时存在的子系统无关联问题,实现控制系统与环境之间的交互,降低控制系统对被控对象模型精度的依赖。

    基于深度网络离线迭代与在线调整的无人船跟踪控制方法

    公开(公告)号:CN119512094A

    公开(公告)日:2025-02-25

    申请号:CN202411592106.5

    申请日:2024-11-08

    Abstract: 本发明公开了一种基于深度网络离线迭代与在线调整的无人船跟踪控制方法,通过预训练的深度神经网络获取对未知的非线性动态的第一步近似值;对未知的非线性动态的第一步近似值进行在线调整,以获取未知的非线性动态的最终近似值的估计值;进而获取控制器和输出层权值自适应律,以确保无人船的航向角的状态向量能够跟踪期望的光滑时变轨迹;实现基于深度网络离线迭代与在线调整的无人船的跟踪控制。本发明通过结合深度神经网络,潜在地提高函数的近似性能,从而使得其对更复杂特征的未知动态具有更好的逼近效果。

    基于自适应动态规划的无人船航向跟踪事件触发控制方法

    公开(公告)号:CN118567365B

    公开(公告)日:2024-11-22

    申请号:CN202411048661.1

    申请日:2024-08-01

    Abstract: 本发明公开了一种基于自适应动态规划的无人船航向跟踪事件触发控制方法,建立考虑无人船航向控制数学模型,并将其转化获得航向跟踪控制数学模型;根据关于误差和参考信号的动态标称系统,获取无人船航向最优反馈控制器;最后获取事件触发下的Actor模糊逻辑系统和Critic模糊逻辑系统的权值更新律,实现无人船事件触发自适应动态规划航向跟踪控制。本发明将事件触发机制应用在控制算法中,从而达到减小磨损、降低能耗的目的。利用Actor‑Critic最终获得事件触发下的最优反馈控制器、事件触发下的Actor模糊逻辑系统和Critic模糊逻辑系统的权值更新律,从而实现无人船事件触发自适应动态规划航向跟踪控制。

    基于执行评论体系强化学习的无人船航向跟踪控制方法

    公开(公告)号:CN118466220B

    公开(公告)日:2024-10-22

    申请号:CN202410918395.7

    申请日:2024-07-10

    Abstract: 本发明公开了一种基于执行评论体系强化学习的无人船航向跟踪控制方法,所述方法包括获取考虑航行在海上的无人船舶会受到环境干扰影响的带有不确定干扰项的无人船航向控制数学模型;并将无人船航向控制数学模型转换成二阶状态空间方程,并将二阶状态空间方程作为无人船航向跟踪控制模型;根据无人船航向跟踪控制模型,构造无人船航向跟踪控制的一阶/二阶代价函数与一阶/二阶哈密顿‑雅可比‑贝尔曼方程,获得最优一阶虚拟控制率与最优最终控制器的估计值,且在船舶航向跟踪控制系统中,每一阶都会得到一个执行网络与评价网络,提高了船舶航向跟踪控制系统的学习能力,确保无人船能够高效的得到跟踪期望航向,以实现无人船航向优化跟踪控制。

    基于执行评论体系强化学习的无人船航向跟踪控制方法

    公开(公告)号:CN118466220A

    公开(公告)日:2024-08-09

    申请号:CN202410918395.7

    申请日:2024-07-10

    Abstract: 本发明公开了一种基于执行评论体系强化学习的无人船航向跟踪控制方法,所述方法包括获取考虑航行在海上的无人船舶会受到环境干扰影响的带有不确定干扰项的无人船航向控制数学模型;并将无人船航向控制数学模型转换成二阶状态空间方程,并将二阶状态空间方程作为无人船航向跟踪控制模型;根据无人船航向跟踪控制模型,构造无人船航向跟踪控制的一阶/二阶代价函数与一阶/二阶哈密顿‑雅可比‑贝尔曼方程,获得最优一阶虚拟控制率与最优最终控制器的估计值,且在船舶航向跟踪控制系统中,每一阶都会得到一个执行网络与评价网络,提高了船舶航向跟踪控制系统的学习能力,确保无人船能够高效的得到跟踪期望航向,以实现无人船航向优化跟踪控制。

    考虑输入死区的无人船自适应动态规划航向跟踪控制方法

    公开(公告)号:CN118011820A

    公开(公告)日:2024-05-10

    申请号:CN202410170634.5

    申请日:2024-02-06

    Abstract: 本发明公开了一种考虑输入死区的无人船自适应动态规划航向跟踪控制方法,将无人船舵机液压系统的死区模型信号进行线性化描述,并结合航向跟踪控制数学模型构建考虑输入死区的航向跟踪控制数学模型,提高了无人船控制器对与死区干扰的鲁棒性,强化了无人船的跟踪控制性能。在控制器设计过程中,将控制器分为前馈控制器和最优控制器两部分分别设计,能够有效提高复杂海况下无人船的跟踪性能,解决了求解非线性系统HJB方程难的问题,最终针对考虑输入死区的非线性无人船航向跟踪控制系统,构建了无人船船舶航向跟踪的航向反馈自适应律,确保无人船能够高效的跟踪期望航向,以实现无人船自适应动态规划航向的跟踪控制。

Patent Agency Ranking