一种无感知大数据计算中间件的实现方法

    公开(公告)号:CN114489579B

    公开(公告)日:2022-11-04

    申请号:CN202111628624.4

    申请日:2021-12-28

    Abstract: 本发明提供一种无感知大数据计算中间件的实现方法,包括:在上层应用程序和底层计算引擎之间设置无感知大数据计算中间件;无感知大数据计算中间件,包括任务提交模块、任务编排模块和任务执行模块。本发明提供无感知大数据计算中间件,构建于上层应用程序和底层各种计算引擎之间,各种上层应用程序只需要调用无感知大数据计算中间件,不需要关注各类计算引擎的实现过程,即可实现对相应大数据内容的计算处理。因此,降低了对开发人员的能力要求和开发成本。各种上层应用程序之间虽然体系架构不同,但是,可共享同一个无感知大数据计算中间件,以无感知大数据计算中间件作为桥梁,可实现各种上层应用程序之间的信息共享,避免信息孤岛现象。

    支持多文件系统挂载的分布式存储方法

    公开(公告)号:CN111881107B

    公开(公告)日:2022-09-06

    申请号:CN202010778023.0

    申请日:2020-08-05

    Inventor: 张旭鑫 孙宇 张岩

    Abstract: 本发明涉及一种支持多文件系统挂载的分布式存储系统,其中,包括:文件空间管理模块,在文件编排层根文件空间下划分多个不同使用场景的文件子空间,文件空间管理模块记录文件目录级别的路径映射;元数据管理模块,用于维护文件编排层上挂载的文件;标签管理模块,用于进行记录和维护存放在本分布式文件存储系统中的文件涉及到的业务含义标签;数据生命周期管理模块,进行处理在文件存储系统中的文件的冷热温数据不同数据生命阶段的存储策略,冷数据进行打包压缩放入对象存储系统中,温数据放置于文件原本所在底层文件系统中,热数据加载入内存中随时备取;对象存储系统作为冷数据的存储系统,对象存储系统的每个对象都被分配一个唯一的标识符,允许一个服务器或者最终用户来检索对象。

    一种基于反向代理的微服务治理方法

    公开(公告)号:CN111782259A

    公开(公告)日:2020-10-16

    申请号:CN202010586595.9

    申请日:2020-06-24

    Inventor: 孙宇 张岩 王通

    Abstract: 本发明涉及一种基于反向代理的微服务治理方法,其中,包括:熔断处理和限流处理;限流处理步骤包括:微服务a和b向配置管理器请求配置信息;当微服务b请求访问服务A时,先是执行器proxy-b获取此请求,通过映射关系了解到服务A的执行器地址为ip-a,由执行器proxy-b将请求转发至执行器proxy-a;执行器proxy-a获取请求,对于A服务准许请求限制,通过执行器proxy-a内部维护的请求计数器判断是否超限额,如果没有超出限额,将请求转发至微服务a进行处理,并再次转发处理后结果数据至执行器proxy-b,如果超出限额,直接向执行器proxy-b返回拒绝服务的结果;执行器proxy-b获取到结果后,转发至微服务实例b,完成此次服务请求调用。

    一种基于云平台大规模并行处理数据节点动态扩容方法

    公开(公告)号:CN115658299A

    公开(公告)日:2023-01-31

    申请号:CN202211273101.7

    申请日:2022-10-18

    Abstract: 本发明涉及一种基于云平台大规模并行处理数据节点动态扩容方法,属于大规模并行处理应用领域。本发明检测器根据Slave节点的使用率和阈值判断是否触发协调器完成数据节点的动态扩容,协调器读取传入的扩容参数(boolean isScaleOut,boolean isScaleCPU,boolean isScaleMem,boolean isScaleDisk),当纵向扩容时,协调器调用资源分配接口完成现有Slave节点CPU、内存、磁盘的纵向扩容。当横向扩容时,Java应用调用资源分配接口完成新Slave节点资源初始化、调用安装脚本完成新Slave节点初始安装、配置从而实现MPP数据节点动态横向扩容。本发明创新点在于采用自动化检测及自动化扩容数据节点方法,实现MPP在大数据分析应用中查询响应慢时进行动态纵向扩容及动态横行扩容数据节点的方法,提升MPP并发处理能力及MPP动态可扩展性。

    基于Windows的防键盘记录方法

    公开(公告)号:CN107871092B

    公开(公告)日:2021-07-16

    申请号:CN201610856223.7

    申请日:2016-09-27

    Abstract: 本发明公开了一种基于Windows的防键盘记录方法,其中,包括:对于内核态,在windows正常按键中断之前,增加一中断,在收到用户按键信息后,进行中断,对按键信息是否进行过按键信息转换进行判断,对于该按键信息为原始按键信息,执行按键信息转换,并将转换后的信息重新发送给IO端口,对于该按键信息为转换后的按键信息,执行windows正常按键中断;对于用户态,根据按键映射关系进行反向转换然后直接将按键信息提交给用户进程。

Patent Agency Ranking