一种基于深度强化学习的机车智能操纵方法与系统

    公开(公告)号:CN106842925A

    公开(公告)日:2017-06-13

    申请号:CN201710045758.0

    申请日:2017-01-20

    Abstract: 本发明涉及一种基于深度强化学习的机车智能操纵方法与系统,该系统包括数据源模块、机车运行环境学习模块、评价机制学习模块和控制策略学习模块,数据源模块为机车运行环境学习模块和评价机制学习模块提供所需的数据输入,机车运行环境学习模块和评价机制学习模块将分别获得的具体的运行环境和奖赏函数值输出至控制策略学习模块。基于深度强化学习算法,机车运行环境模型以机车操纵动作的实时评价作为反馈信息,通过奖赏或惩罚当前的操纵动作,给控制策略反馈一个奖赏函数作为奖赏评价值,控制策略结合运行状态迭代地进行策略的更新与优化。本发明能更好的实现机车智能优化操纵,并极大地减少了人工参与。

    一种铁路机车运行操纵系统的混合任务调度方法及模型

    公开(公告)号:CN106773711A

    公开(公告)日:2017-05-31

    申请号:CN201710025822.9

    申请日:2017-01-13

    Applicant: 清华大学

    Abstract: 本发明提供了一种铁路机车运行操纵系统的混合任务调度方法及模型。本发明的调度方法以一个帧周期作为基本调度单元,包括预处理;针对周期性实时任务基于表驱动的二级优先级规则进行调度序列排序;针对非周期性实时任务应用基于启发式搜索策略和模糊控制的方法进行排列;然后进行时间片的回收以及调度结果和反馈数据的采集工作,并判断剩余执行时间;如果周期时间未用完,则执行非实时任务。本发明的混合任务调度方法和模型能够极大地减小系统开销,又能够比较灵活地处理系统执行过程中的各种变化情况,并且可以降低系统不确定性对调度的影响。

    一种双层多目标优化铁路机车操纵序列生成方法

    公开(公告)号:CN103847749A

    公开(公告)日:2014-06-11

    申请号:CN201410119280.8

    申请日:2014-03-27

    Abstract: 发明公开了一种双层多目标优化铁路机车操纵序列生成方法,其特征在于:步骤1、准备当前铁路机车车辆参数、线路数据和司机驾驶操纵历史数据,并进行数据预处理。步骤2、基于线路数据预处理得到的等效加算坡度,并将全线路定义为不同类型的子段,步骤3、基于步骤2分段结果确定操纵方法,并构建包含牵引计算模型的底层多目标计算模型;步骤4、基于底层多目标计算模型提供的输出,构建上层多目标计算优化模型。步骤5、结合上层优化计算模型和底层优化计算模型,完成铁路机车优化操纵方法。该优化方法运行的时间大大缩短,可以应用于离线优化和距离不长的在线优化。

    服务器行为异常检测方法、装置、电子设备及存储介质

    公开(公告)号:CN118551321A

    公开(公告)日:2024-08-27

    申请号:CN202410633860.2

    申请日:2024-05-21

    Applicant: 清华大学

    Abstract: 本申请涉及一种服务器行为异常检测方法、装置、电子设备及存储介质,应用于网络安全技术领域,所述方法包括:实时采集服务器进程运行时的系统调用序列;将系统调用序列划分为N个运行阶段子序列,并将目标进程运行阶段对应的运行阶段子序列划分为进程活动子序列;将系统调用序列分割为多个待识别子序列;将每个待识别子序列输入进程语义抽象模型,得到待识别子序列中每个系统调用对应的命名实体识别结果;对多个待识别子序列的命名实体识别结果进行聚合与覆盖处理,得到系统调用序列中各个系统调用对应的命名实体识别结果;若包含未识别命名实体,确定系统调用序列出现异常,并发送告警信息。本申请可提取进程的行为,便于专家分析异常事件。

    应用服务端的攻击溯源方法及装置

    公开(公告)号:CN115296832B

    公开(公告)日:2024-01-26

    申请号:CN202210635554.3

    申请日:2022-06-06

    Applicant: 清华大学

    Abstract: 本发明公开一种应用服务端的攻击溯源方法及装置,方法包括:获取应用程序在运行时每个界面事件与前后端请求序列之间的匹配关系,根据匹配关系构建AC自动机;针对每个用户使用网络服务产生的会话附加AC自动机的当前状态,根据会话请求对AC自动机的当前状态节点进行状态转移,并将会话请求对应的自动机节点信息记录至系统审计日志中新增的分隔日志;在溯源图中以异常检测的告警事件为起点向前回溯至目标分隔日志,根据目标分隔日志,定位攻击关联的会话请求序列和界面事件。通过上述方法可以实现应用服务端的攻击溯源,解决了现有技术PC端进行浏览行为采集和分析的成本较高,导致攻击溯源很难在高并发系统中稳定工作的问题。

    基于关联图的异常分析方法及装置

    公开(公告)号:CN114006726B

    公开(公告)日:2023-05-02

    申请号:CN202111137284.5

    申请日:2021-09-27

    Abstract: 本发明提供的一种基于关联图的异常分析方法及装置,通过获取不同厂家不同设备的聚合异常;根据历史聚合异常生成关联表;根据所述关联表、在网络上每个历史聚合异常对应的设备网络拓扑图,构建包含所述当前聚合异常的当前关联图;在所述当前关联图中,按照威胁程度从大到小排序,选择前预设数量个威胁路径;将预设数量个威胁路径合并生成威胁图发送至服务器。可以辅助安全人员辨别攻击场景。由于本发明根据聚合异常之间的关联生成关联表,并结合网络拓扑图构建当前关联图,从而解决复杂关联导致分析不准确的问题,同时按照威胁程度选择威胁路径组成威胁图进行分析,提高分析复杂关联异常的准确度。

    基于日志关联分析的攻击溯源方法及装置

    公开(公告)号:CN115396137A

    公开(公告)日:2022-11-25

    申请号:CN202210621858.4

    申请日:2022-06-01

    Abstract: 本发明公开一种基于日志关联分析的攻击溯源方法及装置,方法包括:收集系统内各个层次的日志,根据各个层次的日志之间的关联关系,构建日志连接图,并利用日志连接图中的标记节点将各个单源溯源图中的溯源元素进行连接,得到融合溯源图,进而在融合溯源图中执行攻击溯源算法,并基于短路机制挖掘融合溯源图中围绕依赖爆炸节点周围形成的连通路径,使用搜索路径包含所述连通路径作为路径评估因素之一,计算攻击溯源算法搜索到各个路径的评估分数,选取评估分数最高的路径作为攻击溯源算法输出的攻击链。通过上述方法可以实现日志文件的攻击溯源,解决了现有技术在攻击溯源中使用依赖分析缓解依赖爆炸问题的方式很难达到的预期效果的问题。

Patent Agency Ranking