一种基于双BP神经网络Q学习技术的水下机器人参数自适应反步控制方法

    公开(公告)号:CN111176122B

    公开(公告)日:2022-05-13

    申请号:CN202010087510.2

    申请日:2020-02-11

    Abstract: 一种基于双BP神经网络Q学习技术的水下机器人参数自适应反步控制方法,它属于水下机器人控制器参数调节技术领域。本发明解决了传统Q学习方法进行控制器参数调节时的学习效率低,以及传统反步法进行控制器参数调节时存在的参数不易实时在线调整的问题。本发明利用基于双BP神经网络Q学习算法与反步法相结合的方式实现对反步法控制器参数的自主在线调节,以满足控制参数能够实时在线调整的要求。同时由于引入了双BP神经网络以及经验回放池,其强大的拟合能力使得基于双BP神经网络Q学习参数自适应反步控制方法能够大大降低训练次数,以提升学习效率,在训练较少次数的情况下达到更好的控制效果。本发明可以应用于水下机器人控制器参数的调节。

    一种螺旋桨与舵机混合动力推进机械水母

    公开(公告)号:CN108275252B

    公开(公告)日:2020-09-25

    申请号:CN201810165845.4

    申请日:2018-02-28

    Abstract: 本发明公开了一种螺旋桨与舵机混合动力推进机械水母,属于水下机器人领域。其包括头部外壳1、舵机驱动机机构、螺旋桨推进机构和外部蒙皮13。其特征是:所述的头部外壳1的形状以头部外壳中轴线12对称;所述的螺旋桨推进机构安装在头部外壳1的底部,且螺旋桨推进机构的中心线与头部外壳中轴线12共线;所述的舵机驱动机构以头部外壳中轴线12为对称轴,安装在螺旋桨推进机构的四周;所述的外部蒙皮13布置在舵机驱动机构的外侧,且与头部外壳1相连。本发明通过机械臂和螺旋桨混合动力驱动,通过调节机械臂和螺旋桨的驱动方式可实现多种不同运动模式。本发明可以用于学习研究、海底探测、研究仿生水母等方面。

    一种基于记忆关联强化学习的嵌入式实时水下机器人智能决策方法

    公开(公告)号:CN108762281A

    公开(公告)日:2018-11-06

    申请号:CN201810589927.1

    申请日:2018-06-08

    CPC classification number: G05D1/0692

    Abstract: 本发明提出一种基于记忆关联强化学习的实时水下机器人智能决策方法,属于算法技术领域,具体为一种基于RBF神经网络和Q学习结合的水下机器人路径规划智能决策方法。通过Q学习的自主学习能力和RBF神经网络的函数逼近能力,可实现水下机器人在路径探索过程中逐步学习的功能。首先定义针对于路径规划的Q学习四元组,分别为:环境状态,行为动作,及时得分,状态转移,探索过程中逐步更新状态‑动作值函数Q(s,a)进行学习;然后利用RBF神经网络拟合Q学习的结果,即状态动作值函数;最后更新完成的神经网络权值即为学习的结果,此神经网络提供了环境状态到行为的映射关系,可用于未知环境下的智能决策。

    基于双BP网络增强学习框架的水下机器人轨迹跟踪方法

    公开(公告)号:CN111240345B

    公开(公告)日:2023-04-07

    申请号:CN202010087514.0

    申请日:2020-02-11

    Abstract: 一种基于双BP网络增强学习框架的水下机器人轨迹跟踪方法,它属于水下机器人轨迹跟踪技术领域。本发明解决了现有技术在进行控制器参数的在线优化时,需要依赖大量的专家先验知识建立模糊规则,导致控制器参数的在线优化耗时耗力的问题。本发明利用强化学习方法可以通过与环境的不断交互,在得到环境给出的强化值后便能通过循环迭代寻找到最优策略的特点,将强化学习方法与双BP网络结合起来,通过在线调节水下机器人的速度和艏向控制系统控制律的相关参数,使得所设计的速度和艏向控制系统能在不同的环境中选择与该环境相对应的最优控制参数,克服了现有技术中控制器参数在线优化的耗时耗力的问题。本发明可以应用于水下机器人的轨迹跟踪。

    基于滑模技术的有缆水下机器人海底定点着陆饱和控制方法

    公开(公告)号:CN110007604B

    公开(公告)日:2021-09-28

    申请号:CN201910398512.0

    申请日:2019-05-14

    Abstract: 基于滑模技术的有缆水下机器人海底定点着陆饱和控制方法,本发明涉及水下机器人海底定点着陆饱和控制方法。本发明的目的是为了解决现有ROV进行海底着陆时大多采用人工手动操作进行着陆,费时费力,定点着陆精度较差,容易与水下结构发生碰撞甚至事故,造成严重的经济损失的问题。具体过程为:步骤一、建立ROV模型;步骤二、基于步骤一建立改进的滑模变结构控制;步骤三、基于步骤一、步骤二引入输入饱和函数;步骤四、基于步骤一、步骤二、步骤三建立考虑饱和的改进滑模变结构控制。本发明用于水下机器人海底定点着陆饱和控制领域。

    一种基于强化学习技术的自主水下机器人速度和艏向控制方法

    公开(公告)号:CN111273677A

    公开(公告)日:2020-06-12

    申请号:CN202010087517.4

    申请日:2020-02-11

    Abstract: 一种基于强化学习技术的自主水下机器人速度和艏向控制方法,属于机器人控制技术领域。为了解决现有的水下机器人的控制方法依赖于控制对象模型精度的问题,以及不依赖模型的控制方法控制精度不高的问题。本发明设计了基于Q学习的速度和艏向控制器,将偏差和偏差变化率作为Q学习控制器的输入,将纵向推力和偏航力矩作为Q学习控制器的输出,使得Q学习控制器完全替代传统常规的控制器,从而达到水下机器人自主学习和自主决策的目标。主要用于水下机器人速度和艏向的控制。

    一种仿生水母类水下机器人的运动及速度控制方法

    公开(公告)号:CN109866904B

    公开(公告)日:2020-06-02

    申请号:CN201910281993.7

    申请日:2019-04-09

    Abstract: 一种仿生水母类水下机器人的运动及速度控制方法,属于仿生机器人控制领域。现有的非线性振荡器在仿生机器人的节奏性运动控制存在频率和幅值的收敛速度慢的问题,且缺少相应的速度控制方法。一种仿生水母类水下机器人的运动及速度控制方法,设计仿生水母动力模型;建立仿生水母各关节的振荡器模型,改变振荡器的波形;设计两个振荡器之间的耦合方式,由此确定建立多个振荡器之间的耦合方式,实现多个振荡器所在关节之间相互配合协调,实现仿生水母运动的控制,根据运动控制绘制频率与平均速度变化曲线,找到对应的运动频率,推算周期性速度变化曲线作为期望速度;按照期望速度控制速度。本发明算法对仿生水母的运动收敛性好,能稳定控制运动速度。

    一种基于双BP神经网络Q学习技术的水下机器人参数自适应反步控制方法

    公开(公告)号:CN111176122A

    公开(公告)日:2020-05-19

    申请号:CN202010087510.2

    申请日:2020-02-11

    Abstract: 一种基于双BP神经网络Q学习技术的水下机器人参数自适应反步控制方法,它属于水下机器人控制器参数调节技术领域。本发明解决了传统Q学习方法进行控制器参数调节时的学习效率低,以及传统反步法进行控制器参数调节时存在的参数不易实时在线调整的问题。本发明利用基于双BP神经网络Q学习算法与反步法相结合的方式实现对反步法控制器参数的自主在线调节,以满足控制参数能够实时在线调整的要求。同时由于引入了双BP神经网络以及经验回放池,其强大的拟合能力使得基于双BP神经网络Q学习参数自适应反步控制方法能够大大降低训练次数,以提升学习效率,在训练较少次数的情况下达到更好的控制效果。本发明可以应用于水下机器人控制器参数的调节。

Patent Agency Ranking