-
公开(公告)号：CN106649462A
公开(公告)日：2017-05-10
申请号：CN201610849788.2
申请日：2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法，属于海量数据全文检索领域。本发明将Lucene引入检索引擎，对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上，设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制，对每个执行节点进行计数判断，调整每个fragment的执行位置，以均衡节点资源。本发明还优化全文读取引擎机制，优先采用Lucene进行检索，当出现问题时调用RCFile检索，以保证检索的持续性和正确性。本发明提高了检索性能，可更加合理地利用集群的资源。
-
Patent Agency Ranking
公开(公告)号：CN106446168A
公开(公告)日：2017-02-22
申请号：CN201610849787.8
申请日：2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法，属于信息处理领域；具体为：首先，初始化系统启动参数；加载器管理模块为每个线程各申请一个加载器；每个线程各创建一个数据解析模块，对客户端数据进行解析并传输给加载器；每个加载器分别调用数据校验模块进行检验；然后，将检验后的字段数据缓存到数据缓存模块，进行管理并传输给数据传输模块；通过分布式节点监听模块获取每个分布式数据仓库的监听状态，并发送给数据传输模块；最后，数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率，符合目前的应用需求，具有广阔的应用前景。
-
公开(公告)号：CN106649462B
公开(公告)日：2019-11-08
申请号：CN201610849788.2
申请日：2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法，属于海量数据全文检索领域。本发明将Lucene引入检索引擎，对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上，设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制，对每个执行节点进行计数判断，调整每个fragment的执行位置，以均衡节点资源。本发明还优化全文读取引擎机制，优先采用Lucene进行检索，当出现问题时调用RCFile检索，以保证检索的持续性和正确性。本发明提高了检索性能，可更加合理地利用集群的资源。
-
公开(公告)号：CN105472024B
公开(公告)日：2018-09-28
申请号：CN201511001080.3
申请日：2015-12-28
Applicant: 北京赛思信安技术股份有限公司
IPC: H04L29/08
Abstract: 本发明提供了一种基于消息推送模式的跨地域数据同步方法，用于实现对不同数据中心的数据进行异地备份和恢复，属于海量数据管理领域。本方法在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；针对不同的数据中心设置异地配置策略，设置需要同步的数据中心或数据中心的组合；底层传输采用HTTP协议和自定义序列化反序列化框架；最后基于消息组件实现数据的同步或更新、恢复以及移除，在实现时采用错误重试机制。本发明可实现消息的实时传递和处理，实现对一个点、多个点同时的数据推送、恢复和删除，确保更新、删除后的数据一致性，保证数据的跨地域同步的可靠性和安全性。
-
公开(公告)号：CN106101018A
公开(公告)日：2016-11-09
申请号：CN201610397801.5
申请日：2016-06-07
Applicant: 北京赛思信安技术股份有限公司
IPC: H04L12/861 , H04L29/08
CPC classification number: H04L49/9047 , H04L67/1097 , H04L67/141 , H04L67/2842
Abstract: 本发明公开了一种面向分布式海量数据加载系统的可靠数据发送方法,消息结构包括消息头和消息体两部分构成；消息头包括：消息ID，消息类型和自定义消息。该消息可以通过http，https，TCP/IP或者其他类型的网络传输协议进行网络传输。接收终端可以根据消息头部的消息ID进行去重，验证等操作并且返回处理结果。按照本发明提供的方法，用户可以准确，有效的向分布式系统中发送数据。
-
公开(公告)号：CN105472024A
公开(公告)日：2016-04-06
申请号：CN201511001080.3
申请日：2015-12-28
Applicant: 北京赛思信安技术股份有限公司
IPC: H04L29/08
CPC classification number: H04L67/1095 , H04L67/02 , H04L67/26
Abstract: 本发明提供了一种基于消息推送模式的跨地域数据同步方法，用于实现对不同数据中心的数据进行异地备份和恢复，属于海量数据管理领域。本方法在各数据中心配置集群内各数据中心消息组件部署的IP地址，采用推送方式来传输消息；针对不同的数据中心设置异地配置策略，设置需要同步的数据中心或数据中心的组合；底层传输采用HTTP协议和自定义序列化反序列化框架；最后基于消息组件实现数据的同步或更新、恢复以及移除，在实现时采用错误重试机制。本发明可实现消息的实时传递和处理，实现对一个点、多个点同时的数据推送、恢复和删除，确保更新、删除后的数据一致性，保证数据的跨地域同步的可靠性和安全性。
-
-
-
-
-
Search Results
16
records
(took 0.043 seconds)
