-
公开(公告)号：CN119783823A
公开(公告)日：2025-04-08
申请号：CN202411916320.1
申请日：2024-12-24
Applicant: 东莞理工学院
Abstract: 本申请公开了一种云‑边协同的推理方法及推理系统，所述方法包括边缘设备接收用户任务请求，并向云端设备发送任务通知；云端设备控制其部署的云端大模型执行用户任务，并将任务中间结果发送给边缘设备；边缘设备基于任务中间结果及用户提示，控执行用户任务以得到任务结果，并将任务结果反馈给用户端。本申请通过边缘设备与云端设备协作，边缘设备共享云端设备推理过程中的任务中间结果，并基于任务中间结果来处理实时性高，资源消耗少的用户提示用户任务，这样一方面可以利用云端设备的计算能力，另一方面可以减少通信延迟和数据传输量，进而可以在保证用户任务可被执行的前提下，减少了因数据传输占用大量带宽而导致的高延迟性。
Search Results
1
records
(took 0.026 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
