映射化简应用的缓存管理方法和装置

    公开(公告)号:CN105446896B

    公开(公告)日:2018-05-04

    申请号:CN201410438255.6

    申请日:2014-08-29

    CPC classification number: G06F12/0875 G06F17/30132 G06F17/30194

    Abstract: 本发明涉及分布式文件系统,其公开了MapReduce应用的缓存管理方法和装置,该方法包括:接收需要迭代计算的MapReduce作业的Map任务的处理请求;获取所述Map任务的参数,所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目;获取所述Map任务的缓存分片大小,其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的;将待处理的数据按照所述缓存分片大小从所述分布式文件系统的存储介质读到缓存中用于Map任务处理;将Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。该方法能高效地缓存需要迭代计算的MapReduce作业的数据,提高内存缓存的利用率,减小处理延时。

    分布式存储系统中数据缓存方法、装置、设备及存储介质

    公开(公告)号:CN107908791A

    公开(公告)日:2018-04-13

    申请号:CN201711321576.8

    申请日:2017-12-12

    Inventor: 牛勇刚

    Abstract: 本发明公开了一种分布式存储系统中数据缓存方法,该方法可以包括以下步骤:接收目标用户的数据访问请求,目标用户为分布式存储系统的任意一个用户;确定数据访问请求是否符合预设的缓存更新条件;如果是,则根据获得的目标用户对应的数据访问频率表,确定待缓存数据;将待缓存数据更新到缓存中,以优先在缓存中响应数据访问请求。应用本发明实施例所提供的技术方案,可以优先在缓存中响应每个用户的数据访问请求,提高了每个用户的数据访问效率,提升了分布式存储系统性能。本发明还公开了一种分布式存储系统中数据缓存装置、设备及存储介质,具有相应技术效果。

    车载系统加载媒体数据文件的方法与车载系统

    公开(公告)号:CN107885812A

    公开(公告)日:2018-04-06

    申请号:CN201711071938.2

    申请日:2017-11-03

    Inventor: 王辉耀 方杰

    CPC classification number: G06F17/30132 G06F17/30017

    Abstract: 本发明揭示了一种车载系统加载媒体数据文件的方法与车载系统,其中,车载系统加载媒体数据文件的方法,包括:分析待加载媒体数据文件的文件类型;根据所述文件类型将所述待加载媒体数据文件的文件路径分别加载于对应文件类型的指定文件夹中。本发明通过在车载系统上加载媒体数据文件时根据文件类型分类分别加载存储于车载系统对应的文件夹内,从源头上管理媒体数据文件的加载和存储,方便用户调用和查找相应的媒体数据文件,节省时间,且减少出现媒体数据文件内容重复的可能性,优化车载系统内存资源使用状态。本发明在加载过程中通过对媒体数据文件的来源文件夹进行逐级全面扫描,避免漏掉对某些媒体数据文件的分类与加载。

    日志整理方法及装置
    8.
    发明公开

    公开(公告)号:CN107861994A

    公开(公告)日:2018-03-30

    申请号:CN201710973674.3

    申请日:2017-10-18

    Inventor: 沈文策

    CPC classification number: G06F17/30132 G06F17/30191 G06F17/30864

    Abstract: 本发明提供了日志整理方法及装置,涉及计算机技术领域,其中,该日志整理方法包括:首先,获取日志系统论坛的网址,其次,运用网络爬虫技术从网址中提取每条记录的日志内容,之后,将日志内容汇总到一个word文档里,其中,word文档按照预先设定的格式进行设置,通过上述处理过程,实现了将团队中每个人的日志统一在一个网址上进行填写,并由网络爬虫技术获取每条记录的日志内容,并自动将日志内容汇总到一个word文档里,从而节约了大量人力和时间的浪费,方便快捷。

    一种读取文件的方法、装置及设备

    公开(公告)号:CN107704596A

    公开(公告)日:2018-02-16

    申请号:CN201710953367.9

    申请日:2017-10-13

    Inventor: 李长春

    CPC classification number: G06F17/30194 G06F17/30132

    Abstract: 本发明公开了一种读取文件的方法、装置、设备及计算机可读存储介质,所述方法包括:获取目标文件的临时读缓存权限;根据所述临时读缓存权限获取所述目标文件的属性信息后,释放所述临时读缓存权限,并立即更新当前拥有的所有目录文件的权限,以使分布式文件系统发送所述目标文件的读缓存权限;获取所述读缓存权限,并利用所述读缓存权限读取所述目标文件。通过上述方法,能够有效缩短客户端读取文件时的延时以及等待时间,提高了分布式文件系统的读性能和存储的高可用性,避免了资源的浪费。相应地,本发明公开的一种读取文件的装置、设备及计算机可读存储介质,也同样具有上述技术效果。

Patent Agency Ranking