公开(公告)号：CN117873118B

公开(公告)日：2024-05-28

申请号：CN202410269246.2

申请日：2024-03-11

Applicant: 中国科学技术大学

Inventor： 秦家虎 ,  童思捷 ,  刘轻尘 ,  秦健敏 ,  马麒超 ,  江子川

IPC: G05D1/43 ,  G01C21/20 ,  G05D1/242 ,  G05D109/10

Abstract: 本发明涉及机器人导航技术领域，公开了一种基于SAC算法与控制器的仓储物流机器人导航方法，将传感器数据输入到神经网络，输出避障动作；神经网络的训练过程包括：计算出各个障碍物与机器人之间的相对距离和相对速度；将障碍物与机器人的相对距离和相对速度作为机器人的状态；将状态分别输入到SAC算法和安全控制器，得到混合策略，根据混合策略得到当前时刻的动作，供机器人执行；将上一时刻的状态，以及当前时刻的状态、奖励、动作组成经验参数放入经验回放池；在经验回放池中随机抽取经验参数，对SAC算法的神经网络进行训练。安全控制器能够有效地指导强化学习过程，降低碰撞率，加速神经网络的收敛。

公开(公告)号：CN118050019A

公开(公告)日：2024-05-17

申请号：CN202410184333.8

申请日：2024-02-19

Applicant: 中国科学技术大学

Inventor： 秦家虎 ,  童思捷 ,  刘轻尘 ,  马麒超 ,  张聪 ,  江子川

IPC: G01C21/34 ,  G01S17/931 ,  G01S17/08

Abstract: 本发明涉及物流运输机器人路径规划技术领域，公开了一种基于障碍检测和DDPG算法的仓储环境路径规划方法，包括：通过机载雷达获取物流机器人周围的障碍物的分布信息，规划出合适的路径点，并通过周围障碍物之间的空间大小选择不同的奖励函数，对强化学习的神经网络进行训练；将障碍检测方法和训练收敛的神经网络策略应用到真实的物流机器人上，通过障碍检测方法和神经网络的输出指令来进行物流机器人的路径规划。本发明根据不同的障碍检测分类，更换规划路径点和分别切换至不同的奖励函数，在提高了强化学习训练的安全性的同时，减少了路径长度和路径平滑性等其他性能指标的牺牲。

公开(公告)号：CN117873118A

公开(公告)日：2024-04-12

申请号：CN202410269246.2

申请日：2024-03-11

Applicant: 中国科学技术大学

Inventor： 秦家虎 ,  童思捷 ,  刘轻尘 ,  秦健敏 ,  马麒超 ,  江子川

IPC: G05D1/43 ,  G01C21/20 ,  G05D1/242 ,  G05D109/10

Abstract: 本发明涉及机器人导航技术领域，公开了一种基于SAC算法与控制器的仓储物流机器人导航方法，将传感器数据输入到神经网络，输出避障动作；神经网络的训练过程包括：计算出各个障碍物与机器人之间的相对距离和相对速度；将障碍物与机器人的相对距离和相对速度作为机器人的状态；将状态分别输入到SAC算法和安全控制器，得到混合策略，根据混合策略得到当前时刻的动作，供机器人执行；将上一时刻的状态，以及当前时刻的状态、奖励、动作组成经验参数放入经验回放池；在经验回放池中随机抽取经验参数，对SAC算法的神经网络进行训练。安全控制器能够有效地指导强化学习过程，降低碰撞率，加速神经网络的收敛。