一种支持全局复杂检索的跨地域查询方法及系统

    公开(公告)号:CN107220363B

    公开(公告)日:2020-09-22

    申请号:CN201710422561.4

    申请日:2017-06-07

    Abstract: 本发明涉及一种支持全局复杂检索的跨地域查询方法及系统。该方法包括:1)建立用于跨地域查询的全局元数据组织结构,其包括全局视图以及全局视图与各数据中心的数据表的映射关系;2)根据各数据中心的数据表的结构调整,动态调整全局视图与各数据中心的数据表的映射关系;3)解析用户的查询请求,根据全局元数据组织结构将查询任务下发至各数据中心执行查询,各数据中心将查询结果反馈至全局点;4)全局点将各数据中心返回的查询结果进行汇总,并将汇总后的数据展示给用户,从而实现跨地域查询。本发明能够提高对各数据中心大数据的综合分析能力,在大数据处理领域具有很强的实用性和应用范围,具有广阔的应用前景。

    一种面向Spark-Sql检索的元数据实时更新方法

    公开(公告)号:CN107391555B

    公开(公告)日:2020-08-04

    申请号:CN201710422553.X

    申请日:2017-06-07

    Abstract: 本发明涉及一种面向Spark‑Sql检索的元数据实时更新方法。该方法在Spark Sql进行检索时,会将使用的元数据进行缓存,将被检索的数据块文件元数据以集合的形式缓存于内存中;当获得文件元数据的增量信息时,将首先检查该增量信息所属的表的检索元数据是否存在于缓存之中,若存在,则将增量的文件元数据增加至缓存的该表文件元数据的集合之中,由此完成Spark Sql检索元数据的增量更新。本发明还提出了对Spark Sql检索元数据增加情况的处理方法,可以实时的对检索元数据的增加情况进行处理,提高检索结果的实时性。本发明可以避免对检索元数据进行经常性的全量更新,以减少更新元数据时的时间和资源开销。

    数据即服务模式下支持范围查询的隐私保护方法和系统

    公开(公告)号:CN110378144A

    公开(公告)日:2019-10-25

    申请号:CN201910481273.5

    申请日:2019-06-04

    Abstract: 本发明涉及一种数据即服务模式下支持范围查询的隐私保护方法和系统。在数据即服务的管理模式中,数据服务商的安全策略可能并不完备,数据所有者对其并不完全信任。在这样的环境下,设计一个能够完备的、能够保证数据隐私安全同时数据查询相对高效的机制是很有必要的。已有的数据即服务的管理模式中存在时间效率低和隐私信息攻击的风险。本发明提出一个完备、隐私安全并且支持范围查询和数据验证的方案,其核心是通过对数据分区,在同一分区内的数据采取哈希函数部分和的方式获得索引;为了能够在范围查询时避免假命中数据和数据验证,引入了查询精度和验证矩阵。通过实验验证,本发明具有很好的时间效率,同时能够很好地减少数据信息泄露。

    一种基于GPU的多分区强连通图检测方法

    公开(公告)号:CN110288507A

    公开(公告)日:2019-09-27

    申请号:CN201910371230.1

    申请日:2019-05-06

    Abstract: 本发明提出一种基于GPU的多分区强连通图检测方法,包括以下步骤:加载图数据并统一存储格式;在图数据上基于GPU进行第一剪枝操作,检测出1-SCC;在除1-SCC外的部分上选取中心点,从中心点开始并行地前向和后向遍历,更新状态得到SCC和多个分区;在未被检测的图数据上基于GPU进行第二剪枝操作,检测出2-SCC;在未被检测的图数据上检测弱连通区域,并在弱连通区域上每个选取中心点,从中心点开始前向遍历;在弱连通区域的中未被前向遍历到的区域随机选取保存的最后一个顶点做为副中心点,从中心点与副中心点开始后向遍历,再进行第一剪枝操作,再次更新状态得到SCC和分区;通过上述步骤获得全部的SCC。

    基于云存储的备份数据存储管理方法、装置和系统

    公开(公告)号:CN107729177A

    公开(公告)日:2018-02-23

    申请号:CN201710841028.1

    申请日:2017-09-18

    CPC classification number: G06F11/1464 G06F3/0647 G06F3/067 H04L67/1095

    Abstract: 本发明涉及一种基于云存储的备份数据存储管理方法、装置和系统。备份控制端进行备份作业、恢复作业、迁移作业的管理和调度;备份客户端执行备份作业时将数据复制到本地存储端,执行恢复作业时接收本地存储端或云储存端发送的数据;本地存储端执行备份作业时接收来自备份客户端的数据并将其写入本地存储介质;执行迁移作业时将本地存储介质内的数据迁移到云存储端,执行恢复任务时将本地存储介质内的数据复制到备份客户端;云存储端执行迁移任务时接收来自本地存储端的迁移数据,执行恢复任务时将云存储设备内的数据复制到备份客户端。本发明充分结合了本地存储的高效性与云存储的可靠性,在提升备份效率的同时实现了备份数据云存储的目标。

    一种滑动窗口下多维数据重复检测快速索引方法

    公开(公告)号:CN105989061A

    公开(公告)日:2016-10-05

    申请号:CN201510066798.4

    申请日:2015-02-09

    Abstract: 本发明涉及一种滑动窗口下多维数据重复检测快速索引方法。该方法采用压缩计数型布隆过滤器矩阵数组来维护滑动窗口内的数据项,在滑动窗口内维护多个子窗口,队首子窗口以滑动方式接收新元素,队尾子窗口以滑动方式淘汰老元素;每个独立子窗口由一个计数型布隆过滤器矩阵组成,计数型布隆过滤器矩阵具备面向多维数据的维度删减能力,并且其内部维护计数器单元。通过对所有计数型布隆过滤器矩阵均采用相同的设计容量并共享同一组k个哈希函数,能够有效提升重复元素检测效率;通过在计数器单元中维护系统基础时钟,能够有效支持滑动窗口的元素隐式删除;通过矩阵方式维护多维数据,有效降低多维数据的组合误差率,降低整体误判率。

    一种界标窗口下域名数据重复检测快速索引方法

    公开(公告)号:CN104794158A

    公开(公告)日:2015-07-22

    申请号:CN201510117236.8

    申请日:2015-03-17

    Abstract: 本发明涉及一种界标窗口下域名数据重复检测快速索引方法。该方法将界标窗口根据子界标分成多个子窗口,通过稳定性布隆过滤器和字典树维护各子窗口的数据项;针对网络数据流自适应地调整索引策略,在数据较为密集时采用稳定性布隆过滤器,在数据相对稀疏时采用字典树索引策略。在域名数据重复检测的适配方面,本发明提出将域名数据翻转,形成重叠前缀字符串比率较高的数据集,有利于后续字典树的快速匹配和存储容量缩减。本发明能够降低索引维护的空间,提升元素重复检测的效率,并能够扩展到分布式场景下,有效解决网络监控应用中域名数据重复检测的问题,同时,本发明可以扩展到分布式计算场景下,便于计算性能线性提升。

    一种基于联邦学习的车载网络信用优先任务卸载方法

    公开(公告)号:CN114489964B

    公开(公告)日:2025-03-04

    申请号:CN202111517469.9

    申请日:2021-12-08

    Abstract: 本发明公开了一种基于联邦学习的车载网络信用优先任务卸载方法,其步骤包括:1)EC、CV分别将自己的位置信息和可用资源信息发送给CC;其中,EC为边缘云服务器,CV为车辆网中的车辆,CC为云中心;2)当CV需要进行任务卸载时,发送卸载任务信息给DC;其中,DC为车辆网中的决策中心;3)对于当前一批待处理的卸载任务,DC从CC获取发送卸载任务的各CV的信誉值;然后根据信用值设置各卸载任务的处理优先级,优先为处理优先级高的卸载任务制定任务卸载决策并发送给对应的EC和CV;其中,CC根据CV的行为信息计算对应CV的所述信誉值。本发明将信誉值用在任务卸载决策中,从而实现决策性能的提高。

Patent Agency Ranking