-
公开(公告)号：CN108351894A
公开(公告)日：2018-07-31
申请号：CN201680065867.2
申请日：2016-11-04
Applicant: 微软技术许可有限责任公司
IPC: G06F17/30
CPC classification number: G06F17/30194 , H04L47/726 , H04L67/1097
Abstract: 一种分布式文件系统包括多个计算节点层。至少一些计算节点层中的每一个包括具有相似特性的多个计算节点。分布式文件系统还具有分布部件形式的可执行部件，其包括在多个计算节点层当中分布文件系统实体的状态的逻辑。分布被执行，使得文件系统请求的时延由于响应于许多请求的状态为文件系统请求者知道的更接近时延而得以减少。此外，分布考虑了状态的持久性保证，由此满足持久性保证。
-
公开(公告)号：CN104885076B
公开(公告)日：2018-06-05
申请号：CN201380031080.0
申请日：2013-05-09
Applicant: 以太存储股份有限公司
Inventor： R·F·麦茨尼斯
IPC: G06F17/30
CPC classification number: G06F17/30578 , G06F11/1464 , G06F11/2094 , G06F17/30194 , G06F17/30365 , G06F21/602 , G06F2201/84 , H04L67/1097
Abstract: 用于使用连接至网络的多个计算设备的分布式存储的技术可包括将电子文件存储在计算设备之一的本地存储层内。所存储的电子文件可在网络上以诸部分的形式被非对称地传送至另一计算设备以跨分布式存储层中的其它计算设备存储该文件。电子文件可在网络上不同步地发送至云存储层，以使电子文件被镜像在云存储层中。每个计算设备的本地存储层对于分布式存储层中存储的每个电子文件可保存元数据，所述元数据具有指向存储在本地存储层和分布式存储层内的电子文件的部分的位置的指针。被存储在分布式存储层中的电子文件可如同被存储在单个逻辑驱动器中那样被显示。
-
公开(公告)号：CN108052617A
公开(公告)日：2018-05-18
申请号：CN201711344777.X
申请日：2017-12-15
Applicant: 四川汉科计算机信息技术有限公司
Inventor： 杨龙
CPC classification number: G06F17/30091 , G06F17/30112 , G06F17/30132 , G06F17/30194 , G06Q50/30
Abstract: 本发明涉及基于远程嵌入式数据采集的航空大数据智能分析系统，利用航空大数据分析监控飞机健康状况以及开展故障诊断。一方面实现机上视频、音频、及告警系统、飞参系统等多种监视手段的综合化，让系统记录和存储更多的飞行数据；另一方面将航空大数据应用软件嵌入在机载计算机系统中，以实现对飞机的实时监控，同时根据最新的研究成果对应用软件进行不断的升级，系统存储的数据也可以在地面结合历史数据进行趋势分析，还可以在教学、科研工作中进行再次利用。
-
公开(公告)号：CN107943867A
公开(公告)日：2018-04-20
申请号：CN201711106687.7
申请日：2017-11-10
Applicant: 中国电子科技集团公司第三十二研究所
IPC: G06F17/30
CPC classification number: G06F17/30221 , G06F17/30194
Abstract: 本发明提供了一种支持异构存储的高性能层次化存储系统，包括：文件系统模块，提供不同存储介质上的数据文件的统一访问；数据块存储模块，通过数据切片方式将完整数据分散存储到各个不同的节点；元数据管理模块，元数据管理模块结合集中与分散管理的优势，采用多副本分布式冗余存储的方法；存储调度模块，一方面它实现数据副本在各个节点间的调度，另一方面它实现数据块在内存、SSD以及HDD三种不同存储介质之间的调度；可视化模块，主要提供整个存储系统的使用情况，实时监测的展示，以及动态调整的可视化操作。本发明有效解决海量大数据访问低效问题，提升平台的数据存储和访问效率。
-
公开(公告)号：CN107943647A
公开(公告)日：2018-04-20
申请号：CN201711162365.4
申请日：2017-11-21
Applicant: 北京小度互娱科技有限公司
Inventor： 肖遥
CPC classification number: G06F11/3065 , G06F11/3093 , G06F17/30191 , G06F17/30194 , G06F17/30592
Abstract: 本申请提供了一种可靠的分布式日志收集方法和系统，该方法包括：将应传输的日志切分为多个日志块；将应传输的日志块与flume监控目录建立软链接；传输与flume监控目录建立了软链接的日志块；将已传输的日志块存入HDFS集群；将应传输的日志块在传输前的行数与从HDFS读取的相应已传输日志块的行数进行比较，以确定相应已传输的日志块是否为正常日志块；以及将所确定出的正常日志块存入数据仓库。本申请提供的日志收集方法能够直接对传输结果进行自动检测，在发现传输结果不合格时，自动执行相关的重传等操作，使得收集的日志更加稳定可靠，并极大地降低了人工运维成本。
-
Patent Agency Ranking
公开(公告)号：CN107908751A
公开(公告)日：2018-04-13
申请号：CN201711148455.8
申请日：2017-11-17
Applicant: 赛凡信息科技(厦门)有限公司
Inventor： 黄剑
IPC: G06F17/30
CPC classification number: G06F17/30091 , G06F17/30132 , G06F17/30194
Abstract: 一种分布式文件系统目录级配额的优化方法，涉及文件系统。创建两个配额更新操作字典，其中一个是当前活跃字典，另一个是非活跃字典，字典的键是文件的inode号，值是对这个文件的更新量；当一个文件被修改时，在当前活跃字典中查找该文件，若找到，则把这次的修改带来的变化量加到更新量上；否则在字典中增加该文件并记录更新量；当前活跃字典的更新操作数量达到预订的阀值，或者时间超过给定的超时值时，把当前活跃字典提交给存储介质，并切换活跃字典和非活跃字典；在系统接到提交后，把字典中的更新操作一次性写入存储介质。
-
公开(公告)号：CN107908708A
公开(公告)日：2018-04-13
申请号：CN201711096918.0
申请日：2017-11-09
Applicant: 北京锐安科技有限公司
IPC: G06F17/30
CPC classification number: G06F17/30174 , G06F17/30194
Abstract: 本发明实施例公开了一种集群文件同步的方法、系统、设备和存储介质。该方法包括：所述管理平台服务器将所述配置文件上传到所述管理平台服务器中搭建的zookeeper上；所述集群中的其他服务器上搭建监听程序对所述zookeeper上的配置文件进行监听；当所述管理平台服务器上的所述配置文件修改时，所述zookeeper上的配置文件同步更新，并且所述zookeeper向其他服务器上的监听程序发送更新消息；所述集群中的其他服务器上的监听程序根据所述更新消息同步更新对应的文件。本发明实施例通过搭建zookeeper和监听程序，以实现集群上的各服务器能够实时更新同步或下载最新的配置文件。
-
公开(公告)号：CN107908690A
公开(公告)日：2018-04-13
申请号：CN201711053343.4
申请日：2017-11-01
Applicant: 南京欣网互联网络科技有限公司
CPC classification number: G06F17/30112 , G06F9/546 , G06F17/30091 , G06F17/30115 , G06F17/30132 , G06F17/30191 , G06F17/30194 , G06F2209/547 , G06F2209/548
Abstract: 本发明涉及一种基于大数据运营分析的数据处理方法包括：步骤一采集源数据信息：通过规则引擎读取数据信息，启动Flume系统进行数据采集；步骤二数据分类；步骤三：清洗数据：利用Flume的各个Agent根据规则引擎中的清洗规则进行数据清洗；步骤四对清洗后的数据分类：为实时计算数据还是非实时计算数据；步骤五在上述步骤三中的HDFS目录根据预将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据并把最终处理结果保存到结果集中；步骤六：根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中。本方法充分利用Flume系统的本身优势并结合Kafka、HDFS等工具，实现对运营平台的数据分析配置。
-
公开(公告)号：CN104268242B
公开(公告)日：2018-04-10
申请号：CN201410513205.X
申请日：2011-09-16
Applicant: 微软技术许可有限责任公司
Inventor： D·M·克鲁斯 , M·乔治 , S·C·哈弗瓦拉 , C·G·奥尔雷德 , N·R·克里斯蒂安森
IPC: G06F17/30
CPC classification number: G06F17/30194 , G06F17/3012 , G06F17/30132 , G06F17/3048 , G06F21/6227
Abstract: 本发明涉及目录租赁。描述了用于允许访问分布式文件系统的客户机本地高速缓存目录元数据的实施例。客户机可请求读租约，这允许该客户机本地高速缓存目录元数据并使用该高速缓存服务于从最初请求目录元数据的同一应用程序接收到的请求。此外，客户机也可请求句柄租约，这允许客户机延迟目录句柄的关闭，并允许句柄被重用以服务于来自同一应用程序或不同应用程序的后续目录元数据请求。客户机还可请求写租约，这允许该客户机上的应用程序诸如通过创建或删除目录中的新文件或改变其属性来修改目录元数据，并高速缓存这些改变。
-
公开(公告)号：CN107862386A
公开(公告)日：2018-03-30
申请号：CN201711070292.6
申请日：2017-11-03
Applicant: 郑州云海信息技术有限公司
Inventor： 曹芳
CPC classification number: G06N99/005 , G06F17/30194 , G06F2216/03
Abstract: 本发明公开了一种数据处理的方法，应用于Mahout机器学习算法，该方法包括：读取样本集，将所述样本集中的数据分块，并对参数进行初始化；将各分块数据及所述参数传输至各集群节点的FPGA加速卡；调用硬件应用程序，利用各所述FPGA加速卡对各所述分块数据进行迭代计算并返回计算结果；判断算法是否收敛；若收敛则输出所述计算结果。利用FPGA加速卡对Mahout机器学习算法进行加速处理，有效提升了Mahout机器学习算法的计算性能。本发明还公开了一种数据处理的装置，同样具有上述技术效果。
-
-
-
-
-
-
-
-
-
Search Results
741
records
(took 0.024 seconds)
