-
公开(公告)号:CN108780450A
公开(公告)日:2018-11-09
申请号:CN201680081306.1
申请日:2016-12-12
Applicant: NETAPP股份有限公司
IPC: G06F17/30
CPC classification number: G06F12/0802 , G06F3/0619 , G06F3/0631 , G06F3/0643 , G06F3/065 , G06F3/067 , G06F17/30132 , G06F2212/604
Abstract: 持久性管理系统在服务器处执行与多个应用相关联的操作。在服务器处,持久性管理器可以拦截来自应用中的一个应用的文件系统调用,其中文件系统调用指定被定位在与服务器分离的远程持久存储设备上的文件。持久性管理器可以确定属于由文件系统调用请求的文件的数据被存储在服务器处的本地持久存储设备上,从本地持久存储取回数据,并且利用数据响应于来自应用的文件系统调用。
-
公开(公告)号:CN105446896B
公开(公告)日:2018-05-04
申请号:CN201410438255.6
申请日:2014-08-29
Applicant: 国际商业机器公司
IPC: G06F17/30
CPC classification number: G06F12/0875 , G06F17/30132 , G06F17/30194
Abstract: 本发明涉及分布式文件系统,其公开了MapReduce应用的缓存管理方法和装置,该方法包括:接收需要迭代计算的MapReduce作业的Map任务的处理请求;获取所述Map任务的参数,所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目;获取所述Map任务的缓存分片大小,其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的;将待处理的数据按照所述缓存分片大小从所述分布式文件系统的存储介质读到缓存中用于Map任务处理;将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。该方法能高效地缓存需要迭代计算的MapReduce作业的数据,提高内存缓存的利用率,减小处理延时。
-
公开(公告)号:CN107967301A
公开(公告)日:2018-04-27
申请号:CN201711086685.6
申请日:2017-11-07
Applicant: 许继电气股份有限公司 , 许昌许继软件技术有限公司 , 许继集团有限公司 , 国家电网公司
Inventor: 刘登鑫 , 李宝潭 , 张海庭 , 吴正青 , 王卫东 , 朱斌斌 , 张思远 , 赵丹 , 邱俊宏 , 李江林 , 郭利军 , 卫星 , 过锐 , 吴佳 , 李永照 , 陈哲 , 包芳 , 牛雪朋
IPC: G06F17/30
CPC classification number: G06F17/30088 , G06F17/30097 , G06F17/30106 , G06F17/30132 , G06F17/30218 , G06F17/3033
Abstract: 本发明提供了一种电力电缆隧道监控数据的存储、查询方法及装置,实时获取电力电缆遥测数据,根据电力电缆遥测数据的遥测ID建立遥测数据的hash链表,将采集的电力电缆遥测值分块对应存储到hash链表中;将存储到hash链表中的每块数据保存为一个文件,存储到硬盘中,对各文件中的每个遥测值的一个数据存为数据快照,同时每个文件生成一个Record记录,进一步形成Record记录组,加快了写入速度,保证同一个遥测的数据既按时间有序,又能写入文件中相邻的一块区域,避免查询的时候检索整个文件,加快了对电力电缆监控数据的查询速度,为异常状态的电力电缆数据的分析提供有力的数据支持。
-
公开(公告)号:CN107918737A
公开(公告)日:2018-04-17
申请号:CN201610884651.0
申请日:2016-10-10
Applicant: 北京奇虎科技有限公司 , 奇智软件(北京)有限公司
CPC classification number: G06F21/606 , G06F17/30091 , G06F17/30132 , G06F21/602 , G06F2221/2107 , H04L43/08 , H04L43/50 , H04L63/0428
Abstract: 本发明公开了一种压力测试数据的传输方法、装置及系统,涉及互联网技术领域,本发明的目的在于解决现有技术中虽然protobuf格式的测试数据相比其他格式的测试数据具有更高的传输性,但是,第三方压力测试工具无法使用protobuf格式的测试数据进行压力测试的问题,本发明的技术方案包括:将二进制格式的测试数据存储于预置文件中,并将所述预置文件对应的存储路径以行为单位进行存储;获取所述以行为单位存储的预置文件对应的存储路径;将包含所述存储路径的压力测试请求信息发送给压力测试接收方,以便所述压力测试接收方根据所述存储路径获取所述二进制格式的测试数据。本发明应用于的服务器压力测试过程中。
-
公开(公告)号:CN107908791A
公开(公告)日:2018-04-13
申请号:CN201711321576.8
申请日:2017-12-12
Applicant: 郑州云海信息技术有限公司
Inventor: 牛勇刚
CPC classification number: G06F17/30194 , G06F3/0604 , G06F3/0649 , G06F3/067 , G06F17/30132
Abstract: 本发明公开了一种分布式存储系统中数据缓存方法,该方法可以包括以下步骤:接收目标用户的数据访问请求,目标用户为分布式存储系统的任意一个用户;确定数据访问请求是否符合预设的缓存更新条件;如果是,则根据获得的目标用户对应的数据访问频率表,确定待缓存数据;将待缓存数据更新到缓存中,以优先在缓存中响应数据访问请求。应用本发明实施例所提供的技术方案,可以优先在缓存中响应每个用户的数据访问请求,提高了每个用户的数据访问效率,提升了分布式存储系统性能。本发明还公开了一种分布式存储系统中数据缓存装置、设备及存储介质,具有相应技术效果。
-
公开(公告)号:CN107885812A
公开(公告)日:2018-04-06
申请号:CN201711071938.2
申请日:2017-11-03
Applicant: 深圳市沃特沃德股份有限公司
IPC: G06F17/30
CPC classification number: G06F17/30132 , G06F17/30017
Abstract: 本发明揭示了一种车载系统加载媒体数据文件的方法与车载系统,其中,车载系统加载媒体数据文件的方法,包括:分析待加载媒体数据文件的文件类型;根据所述文件类型将所述待加载媒体数据文件的文件路径分别加载于对应文件类型的指定文件夹中。本发明通过在车载系统上加载媒体数据文件时根据文件类型分类分别加载存储于车载系统对应的文件夹内,从源头上管理媒体数据文件的加载和存储,方便用户调用和查找相应的媒体数据文件,节省时间,且减少出现媒体数据文件内容重复的可能性,优化车载系统内存资源使用状态。本发明在加载过程中通过对媒体数据文件的来源文件夹进行逐级全面扫描,避免漏掉对某些媒体数据文件的分类与加载。
-
公开(公告)号:CN107870872A
公开(公告)日:2018-04-03
申请号:CN201610848648.3
申请日:2016-09-23
Applicant: 伊姆西IP控股有限责任公司
IPC: G06F12/0811 , G06F12/0888
CPC classification number: G06F12/0888 , G06F12/0804 , G06F12/0866 , G06F12/0886 , G06F17/30088 , G06F17/30132 , G06F2212/60 , G06F12/0811
Abstract: 本公开的各实施例总体上涉及用于管理高速缓存的方法和设备。具体地,该方法可以包括响应于接收到向高速缓存写入数据的请求,确定将要写入的数据量。该方法还可以包括响应于数据量超过阈值量,跳过向高速缓存写入数据,以及将数据写入高速缓存的下级存储中。还提供了对应的系统、装置和计算机程序产品。
-
公开(公告)号:CN107861994A
公开(公告)日:2018-03-30
申请号:CN201710973674.3
申请日:2017-10-18
Applicant: 福建中金在线信息科技有限公司
Inventor: 沈文策
IPC: G06F17/30
CPC classification number: G06F17/30132 , G06F17/30191 , G06F17/30864
Abstract: 本发明提供了日志整理方法及装置,涉及计算机技术领域,其中,该日志整理方法包括:首先,获取日志系统论坛的网址,其次,运用网络爬虫技术从网址中提取每条记录的日志内容,之后,将日志内容汇总到一个word文档里,其中,word文档按照预先设定的格式进行设置,通过上述处理过程,实现了将团队中每个人的日志统一在一个网址上进行填写,并由网络爬虫技术获取每条记录的日志内容,并自动将日志内容汇总到一个word文档里,从而节约了大量人力和时间的浪费,方便快捷。
-
公开(公告)号:CN107818150A
公开(公告)日:2018-03-20
申请号:CN201710994900.6
申请日:2017-10-23
Applicant: 中国移动通信集团广东有限公司 , 北京神州泰岳信息安全技术有限公司
CPC classification number: G06F17/30191 , G06F17/30115 , G06F17/30132 , G06F17/30985 , G06F21/552 , G06F21/577 , G06F2221/034
Abstract: 本发明公开了一种日志审计方法及装置,具体的,通过对从各大数据平台组件采集到的原始日志进行解析、字段标准化映射、以及日志的操作类型和操作细项划分处理,可以实现来源、格式不一的大数据平台中各组件的初始日志进行标准化;然后,根据大数据安全管控的审计要求,采用相应的审计规则和分析策略,对大数据平台中各组件的标准化后的日志进行自动化审计分析,来确定大数据平台及组件的管理和数据访问操作是否符合安全技术规范和管理要求。与人工审计方式相比,本发明提供的日志审计方法,通过对大数据平台组件日志的标准化处理与集中审计,可以对大数据平台组件的操作进行全面和及时的审计,快速发现安全隐患、定位安全问题。
-
公开(公告)号:CN107704596A
公开(公告)日:2018-02-16
申请号:CN201710953367.9
申请日:2017-10-13
Applicant: 郑州云海信息技术有限公司
Inventor: 李长春
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F17/30132
Abstract: 本发明公开了一种读取文件的方法、装置、设备及计算机可读存储介质,所述方法包括:获取目标文件的临时读缓存权限;根据所述临时读缓存权限获取所述目标文件的属性信息后,释放所述临时读缓存权限,并立即更新当前拥有的所有目录文件的权限,以使分布式文件系统发送所述目标文件的读缓存权限;获取所述读缓存权限,并利用所述读缓存权限读取所述目标文件。通过上述方法,能够有效缩短客户端读取文件时的延时以及等待时间,提高了分布式文件系统的读性能和存储的高可用性,避免了资源的浪费。相应地,本发明公开的一种读取文件的装置、设备及计算机可读存储介质,也同样具有上述技术效果。
-
-
-
-
-
-
-
-
-