-
公开(公告)号:CN102457561A
公开(公告)日:2012-05-16
申请号:CN201010527373.6
申请日:2010-10-28
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开了一种数据访问方法及使用该数据访问方法的设备,其中,本发明公开的数据访问方法中,元数据信息为加密信息,当客户端欲根据该元数据信息访问存储服务器时,需要根据用户标识获取元数据密钥,根据该密钥解密加密信息得出元数据信息,这样,未授权客户端就无法根据用户标识得到元数据密钥,也就无法解密出元数据信息,避免了出现非授权客户端访问元数据服务器,获取元数据信息,再通过元数据信息访问存储服务器的现象。
-
公开(公告)号:CN112559230A
公开(公告)日:2021-03-26
申请号:CN201910852581.4
申请日:2019-09-10
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开一种面向超大规模存储系统性能异常降级问题的自动鉴别方法,基于以下配置:故障总控模块,用于提供存储系统状态的整体视图,并通过查询故障数据库获取文件系统的故障信息,并发送到存储系统的总信息库;故障探测模块,用于判断当前存储系统是否有故障,如果没有故障,则返回状态正常,如果有故障,将当前存储设备的故障信息上报给驻留模块;设置于存储设备上的驻留模块,用于定时调用故障探测模块,对存储系统进行探测,并将接收自故障探测模块的故障信息规划后录入故障数据库,还用于将故障信息发送至故障总控模块。本发明实现了面向超大规模存储系统中性能降级设备的及时发现的报警,从而使大规模IO应用课题的存储性能得到保证。
-
公开(公告)号:CN105512185B
公开(公告)日:2019-03-26
申请号:CN201510830806.8
申请日:2015-11-24
Applicant: 无锡江南计算技术研究所
IPC: G06F16/182 , G06F16/172
Abstract: 本发明提供了一种基于作业时序缓存共享的方法,包括:在JOB提交运行前,声明JOB运行过程中的需要的DFS Cache资源量;系统为各个JOB的作业分配相应的DFS Cache资源,并启动JOB作业运行;使得各个JOB作业运行多轮,其中JOB会产生多次对于DFS Cache的访问,使系统采集各个JOB作业访问DFS Cache的时间间隔;在JOB作业访问缓存资源的时间间隔趋于稳定的情况下,记录所述时间间隔,并且启动DFS Cache共享分配算法;在执行JOB作业时,由存储管理系统按照运行的所有JOB作业访问DFS Cache的情况对JOB作业的数据进行读写,如果存储管理系统确定存在JOB数据访问超过时间窗口,重新启动DFS Cache共享分配算法。
-
公开(公告)号:CN102938784A
公开(公告)日:2013-02-20
申请号:CN201210441176.1
申请日:2012-11-06
Applicant: 无锡江南计算技术研究所
IPC: H04L29/08
Abstract: 本发明提供了一种应用于分布式存储系统中的数据存储方法和系统,其中,确定待存储数据的数据类别;查找所述待存储数据的数据类别对应的预设的存储规则,所述预设的存储规则包括副本数目以及不同的存储位置信息;依据所述副本数目,生成所述待存储数据的数据副本;将所述数据副本分别存储到不同的存储位置信息对应的存储节点中。本发明实施例,通过对不同的数据类别生成不同数目的数据副本进行存储,从而既保证了存储数据的安全性、扩展性、可操作性等问题,又避免了对系统资源的占用,从而有效提高了存储系统的可靠性。
-
公开(公告)号:CN102932464A
公开(公告)日:2013-02-13
申请号:CN201210441466.6
申请日:2012-11-06
Applicant: 无锡江南计算技术研究所
Abstract: 本申请提供了一种存储系统的性能分析方法,包括:解析用户发送的捕捉指令中的代码标识;依据所述捕捉指令触发与所述代码标识相对应的预设跟踪程序代码对所述存储系统的性能数据进行获取;应用所述性能数据对存储系统的性能进行分析。与所述分析方法相对应,本申请还提供了一种存储系统的性能分析系统。本申请提供的存储系统的性能分析方法及系统,通过在存储系统中植入跟踪程序代码,直接对存储系统中各个运行的I/O模块的运行数据进行获取,通过获取的运行数据对存储系统的性能进行分析,使得分析效率更高,更加直接准确。
-
公开(公告)号:CN102929958A
公开(公告)日:2013-02-13
申请号:CN201210381995.1
申请日:2012-10-10
Applicant: 无锡江南计算技术研究所
IPC: G06F17/30
Abstract: 元数据的处理方法,代理、转发设备,服务器及计算系统。本发明公开了一种元数据的处理方法,包括:从元数据服务器获取多个文件的元数据信息;接收输入输出IO转发设备发送的元数据请求,所述元数据请求中携带要执行操作的文件路径信息;根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识;当查找到所述数据对象标识时,向所述IO转发设备返回所述数据对象标识,以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象,进而使计算节点设备完成对所述数据对象的文件数据操作。本发明实施例通过元数据代理设备来完成元数据的处理,减轻了元数据服务器的负载,降低了元数据集群的复杂性,提高了元数据处理的灵活性。
-
公开(公告)号:CN112433983B
公开(公告)日:2022-07-12
申请号:CN201910789086.3
申请日:2019-08-26
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开了一种支持多作业并行IO性能隔离的文件系统管理方法,包括以下配置:文件资源池的定义:包括:服务数量列表、每个服务器上存储空间配额、静态信息以及每个服务器上该资源池可以使用最大存储性能;文件资源池的分配:并行文件系统提供文件资源池的分配接口,文件资源池请求中包含申请的资源池最大性能、资源池的IO使用方式、包含的数据服务器数量、分配的最大空间;文件资源池的释放:并行文件系统提供文件资源池的释放接口,用户或管理员通过该释放接口完成文件资源池内资源的释放;资源池内负载统计:文件资源池内的数据服务器的负载的评定是通过监控文件的生命周期实现。本发明文件系统管理方法缓解并行I/O过程中进程之间的性能不均衡,提高并行IO性能。
-
公开(公告)号:CN102932464B
公开(公告)日:2015-10-07
申请号:CN201210441466.6
申请日:2012-11-06
Applicant: 无锡江南计算技术研究所
Abstract: 本申请提供了一种存储系统的性能分析方法,包括:解析用户发送的捕捉指令中的代码标识;依据所述捕捉指令触发与所述代码标识相对应的预设跟踪程序代码对所述存储系统的性能数据进行获取;应用所述性能数据对存储系统的性能进行分析。与所述分析方法相对应,本申请还提供了一种存储系统的性能分析系统。本申请提供的存储系统的性能分析方法及系统,通过在存储系统中植入跟踪程序代码,直接对存储系统中各个运行的I/O模块的运行数据进行获取,通过获取的运行数据对存储系统的性能进行分析,使得分析效率更高,更加直接准确。
-
公开(公告)号:CN102457561B
公开(公告)日:2015-02-11
申请号:CN201010527373.6
申请日:2010-10-28
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开了一种数据访问方法及使用该数据访问方法的设备,其中,本发明公开的数据访问方法中,元数据信息为加密信息,当客户端欲根据该元数据信息访问存储服务器时,需要根据用户标识获取元数据密钥,根据该密钥解密加密信息得出元数据信息,这样,未授权客户端就无法根据用户标识得到元数据密钥,也就无法解密出元数据信息,避免了出现非授权客户端访问元数据服务器,获取元数据信息,再通过元数据信息访问存储服务器的现象。
-
公开(公告)号:CN112558858A
公开(公告)日:2021-03-26
申请号:CN201910852999.5
申请日:2019-09-10
Applicant: 无锡江南计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开一种基于动态IO感知的超大规模应用外存访问特征获取方法,包括以下步骤:在应用程序中,调用数据操作请求;将数据操作请求中所有的IO调用请求,通过虚拟文件系统模块提交到用户空间文件系统;用户空间文件系统将接收到的IO调用请求投递到用户空间,IO负载监控模块对IO调用请求进行解析,获得此IO调用请求的目标操作地址,并判断该目标操作地址是否位于应用程序所操作的目录下;客户端将IO调用请求传送到服务端;IO负载监控模块收集并记录在课题从开始到结束完整周期内的IO操作信息。本发明采用与目录相关的采集数据集,与应用的代码开发无关,不影响应用的运行,不影响操作系统内核的稳定运行,可缩短应用的运行时间,提高高性能计算机的运行效率。
-
-
-
-
-
-
-
-
-