本发明公开了一种面向云端深度学习推理的FPGA虚拟化方法，该方法包括以下步骤：通过向基于指令集架构的深度神经网络加速器架构引入两级指令调度器和硬件资源池，构建基于指令集架构的深度神经网络加速器虚拟化架构；根据基于指令集架构的深度神经网络加速器虚拟化架构，将完整编译流程划分为静态编译和动态编译；在静态编译第一次部署时生成细粒度指令包，当动态编译重配置时，对细粒度指令包进行整合，快速生成需求指令文件。该方法在确保最大化硬件资源利用率的多任务算力资源共享下，实现运行时的快速动态重配置。