-
公开(公告)号：CN118524411A
公开(公告)日：2024-08-20
申请号：CN202410592082.7
申请日：2024-05-14
Applicant: 南京大学
IPC: H04W24/02 , H04W28/084 , H04W28/08 , H04W28/082 , H04W24/06 , H04W72/541
Abstract: 本项发明揭示了一种边缘推断应用干扰感知的GPU资源配置方法、装置和系统。该方法针对不同版本推断模型在单边缘节点上的吞吐量以及多版本推断模型并发运行的干扰进行建模，并通过Lyapunov将长期的队列平均优化问题转化成单时隙的多目标优化问题，并采取马尔可夫近似不断局部迭代找到最优解，确定当前时隙下边缘节点多版本推断模型在单边缘GPU上的资源配置决策。此方法依据实时监测的网络带宽、节点内推断请求的积累及前一时隙模型部署的效果，综合考虑推断请求的队列积累以及放置推断模型的平均精度，持续优化边缘节点的模型分配和资源利用，可在不确定的推断请求量出现之前，实现边缘节点上多个版本推断模型的GPU资源配置调整。
Search Results
1
records
(took 0.018 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
