边端架构下人工智能模型推理任务的协同计算策略

    公开(公告)号:CN119514685A

    公开(公告)日:2025-02-25

    申请号:CN202411561626.X

    申请日:2024-11-04

    Abstract: 一种边端架构下人工智能模型推理任务的协同计算策略,解决终端设备计算能力有限的问题,通过与边缘侧服务器进行协同计算提高效率。首先确定边端架构,然后根据边端架构建立系统模型、通信模型和计算模型建立联合优化模型。根据联合优化模型,结合深度强化学习算法的优点,采用多智能体深度确定性策略梯度MADDPG算法求解最优的推理任务划分策略,采用DQN算法求解最优的任务调度策略。MADDPG算法运行在边缘设备侧,负责寻找推理任务的最佳划分点,DQN算法运行在边缘服务器侧,负责统筹服务器集群状态与推理任务的协同调度。通过将两种强化学习算法在任务划分与任务调度两部分分别应用,在保证任务及时得到完成的同时,减少了整体开销。

    一种面向高性能的智能分支预测方法

    公开(公告)号:CN117591181A

    公开(公告)日:2024-02-23

    申请号:CN202311367044.3

    申请日:2023-10-20

    Abstract: 本发明公开一种面向高性能的智能分支预测方法,属于计算机体系分支预测领域。本发明利用基于CNN的模型对分支指令进行预测,通过将注意力机制SE模块和切片结构与CNN相互融合,注意力机制SE模块使模型有能力判断哪个通道所代表的特征更加重要,切片结构考虑不同分支历史长度的问题,将不同历史长度的信息输入不同的切片中,经过训练,在全链接层中考虑哪个切片的预测准确率更高。通过对分支历史信息进行编码后输入到模型中,模型通过训练学习到分支特征,可以对分支进行预测,提高分支预测准确率。

    一种基于CNN的智能在线分支预测方法

    公开(公告)号:CN117591180A

    公开(公告)日:2024-02-23

    申请号:CN202311367042.4

    申请日:2023-10-20

    Abstract: 本发明公开一种基于CNN的智能在线分支预测方法,属于计算机体系分支预测领域。本发明设计卷积神经网络(Convolutional Neural Network,CNN)分支预测模型,并且与目前最先进的TAEG_SC_L分支预测方法结合起来,将分支指令分为复杂分支与简单分支,对于复杂分支,使用CNN模型提取分支特征,根据大量的数据训练,识别历史中相关分支,加大相关分支特征对预测结果的影响,降低噪声对预测结果的影响;对于简单分支采用TAEG_SC_L分支预测算法。引入两个CNN模型,一个用于预测,一个用于训练,在训练时间段内不影响CNN预测模型的正常工作,由此达到在线训练的目的,提高分支预测准确率。

Patent Agency Ranking