公开(公告)号：CN116303550A

公开(公告)日：2023-06-23

申请号：CN202310417348.X

申请日：2023-04-19

Applicant: 江苏电力信息技术有限公司

Inventor： 周昊程 ,  吴鹏 ,  刘友春 ,  李禹梁 ,  侯晓泽 ,  齐亚东

IPC: G06F16/242 ,  G06F16/2455 ,  G06F9/50 ,  G06F9/48 ,  G06F16/22

Abstract: 本发明公开一种基于GPU的Spark SQL加速方法，包括以下步骤：Spark SQL由投影、数据和条件组成，分别对应SQL查询过程中的结果、数据和操作，SQL语句按结果、数据和操作次序来描述；对读入的SQL语句进行解析，分辨出SQL语句中的关键词、表达式，从而判断SQL语句是否规范，进而形成执行树，将执行树和数据字典进行绑定和执行，在这些计划中选择一个最优计划执行。GPU使用Cuda语句可实现SQL中常用的数据组合、排序等操作，从而对数据查询等操作实现大幅加速。本发明将GPU与Spark平台相结合，将SQL的运算操作从CPU转移到GPU执行，实现对Spark SQL运算的提速。无需应用修改代码，无需额外增加服务器节点，可以直接节省硬件投资和系统维护成本。