-
公开(公告)号:CN109902126A
公开(公告)日:2019-06-18
申请号:CN201910119268.X
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/27 , G06F16/2455
Abstract: 本发明公开了一种支持HIVE自动分区的加载系统及其实现方法,所述方法包括:数据源模块,用于接收数据,对数据进行预备分类,按照数据的来源和数据头上所携带的配置信息进行预处理,得到数据所需要写入的对应的HIVE表,将映射关系放入到数据头中,并将数据放入到数据通道;数据通道,用于作为所述数据源模块和所述输出接口模块之间的数据通道;输出接口模块,用于从数据通道中获取数据,对数据反序列化,进行进一步的校验,依据加载系统在HIVE中所获取的分区设置计算出分区,将与数据所对应的数据库名和表名一起作为数据写入hdfs中的key值,依据该key值,从文件写入管理模块中获取对应的文件句柄,将数据写入至hdfs或者其他存储介质中。
-
公开(公告)号:CN109885642A
公开(公告)日:2019-06-14
申请号:CN201910119254.8
申请日:2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种面向全文检索的分级存储方法及装置,所述方法包括:获取SQL语句,创建全文检索表,并将所述全文检索表持久化到Zookeeper中;配置ElasticSearch集群中一部分节点使用SSD盘,另一部分节点使用SATA盘,并在每个节点上安装自定义的ElasticSearch插件;数据加载工具通过ElasticSearch集群的调用接口API将文档数据加载到ElasticSearch集群中,通过所述ElasticSearch插件对请求进行过滤,并使用预先存储的全文检索表中的元数据进行索引创建;通过所述ElasticSearch插件运行监听策略,监听Zookeeper中表的元数据信息的变化,并应用分级存储策略,执行定时回滚策略,将回滚任务下发给ElasticSearch集群。
-
公开(公告)号:CN105939284B
公开(公告)日:2019-01-25
申请号:CN201610016462.1
申请日:2016-01-08
Applicant: 杭州迪普科技股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: H04L12/813
Abstract: 本申请提供一种报文控制策略的匹配方法及装置,该方法包括:对接收的报文进行解析,得到报文的五元组信息;将五元组信息中的每个信息与五元组掩码中对应掩码做按位与运算,得到对应的五个运算结果;如果五个运算结果与五元组信息对应相等,则在报文控制策略表中查找与报文匹配的报文控制策略;如果五个运算结果与五元组信息不相等,则确定报文控制策略表中不存在与报文匹配的报文控制策略,停止报文控制策略的匹配操作。本申请通过使用五元组掩码进行预匹配,可过滤掉部分不匹配报文控制策略的流量,减少了无效查找,提高了报文控制策略匹配的性能。
-
公开(公告)号:CN108519908A
公开(公告)日:2018-09-11
申请号:CN201810158916.8
申请日:2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/48
Abstract: 本发明公开了一种任务动态管理方法和装置。该方法在客户端侧执行,包括:接收用户提交的元数据操作信息;根据所述元数据操作信息,在实时监听器中操作元数据,并将操作后的所述元数据缓存在实时监听器中;其中,所述实时监听器以分布式协调服务zookeeper搭建,所述元数据为树形结构,所述树形结构的一级节点为流数据节点,二级节点为任务节点。该方法在任务控制器执行,包括:以Storm常驻任务的方式,预先占用中央处理器CPU资源;监听实时监听器中缓存的元数据;所述实时监听器以zookeeper搭建;如果所述实时监听器中缓存的元数据发生变化,则根据发送变化的所述元数据,更新已缓存的任务逻辑。通过本发明可以缩短任务生效时间,降低资源消耗。
-
公开(公告)号:CN104052755B
公开(公告)日:2018-01-19
申请号:CN201410300176.9
申请日:2014-06-26
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种基于云平台的DNS欺骗攻击探测及定位的系统和方法,所述云平台包括运行在覆盖全国所有省市各运营商的虚拟资源;所述系统包括探测子系统和定位子系统;所述探测子系统下发探测任务,分析探测的数据,并将探测结果递至所述定位子系统;所述定位子系统接收所述探测结果,并进行定位和警示。本发明提供的系统和方法带有位置信息,便于分析定位攻击发生的位置;本发明不仅能探测出DNS攻击,还能根据探测结果的位置信息,分析定位出攻击发生的具体位置;利用云平台快速部署的特性,本发明可以方便快捷地对全国各个省市各运营商的DNS解析结果进行检测并警示,从而在第一时间发现对于关键域名的攻击。
-
公开(公告)号:CN104079502B
公开(公告)日:2017-05-10
申请号:CN201410302274.6
申请日:2014-06-27
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L12/865
Abstract: 本发明提供一种多用户多队列调度方法,具体包括以下步骤:建立多用户多队列调度模型;调度服务器接收用户提交的作业,并对作业进行缓存;调度服务器对作业进行周期性循环调度,并将作业下发给资源对应的服务器。本发明提供一种多用户多队列调度方法,在任何调度场景下,它既可以避免用户间的调度抢占,又能在兼顾作业优先级的前提下,保证低优先级作业一定的调度机率。
-
公开(公告)号:CN106612234A
公开(公告)日:2017-05-03
申请号:CN201510707013.7
申请日:2015-10-27
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L12/741 , H04L12/801 , H04L12/935 , H04L12/947
Abstract: 本发明提供一种基于VLAN固化的网络报文复制及分发方法,通过获取报文分发的VLAN的个数及对应的HASH值域,得到目标WLAN;建立HASH索引与VLAN的对应关系;计算每个分流任务的分流目标的在全部目标VLAN中的平均出现次数;建立分流目标与目标VLAN的对应表;并将相应的分流目标添加到对应的目标VLAN中,并分发及复制分流业务。本发明提出的方法实现了固化VLAN与HASH索引表的关系,同时消除VLAN与业务端口的绑定关系,在保留VLAN复制优点的基础上实现灵活的流量调度,将流量调度的粒度由现有的VLAN级别,提高到端口级别;进而提高了流量的调度能力,提高了报文分发与复制的效率。
-
公开(公告)号:CN104052820A
公开(公告)日:2014-09-17
申请号:CN201410301191.5
申请日:2014-06-27
Applicant: 国家计算机网络与信息安全管理中心
CPC classification number: Y02D10/24
Abstract: 本发明提供一种分布式云计算平台的动态节能资源调度系统及其方法,该系统包括所述分布式云计算平台下的云服务器节点,所述云服务器节点分别连接全局控制器和监测系统;所述全局控制器和所述监测系统分别连接建模分析模块;所述监测系统包括能耗监测模块、流量监测模块和资源监测模块;所述云服务器节点上运行节点控制器。本发明的系统和方法针对分布式云计算平台的跨域分布特点及综合节能资源调度需求,实现同时降低服务器和网络能耗的效果。
-
公开(公告)号:CN104050038A
公开(公告)日:2014-09-17
申请号:CN201410301165.2
申请日:2014-06-27
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种基于策略感知的虚拟机迁移方法,该方法包括以下步骤:I、确定安全策略的中间件;II、确定前端服务器和后端服务器的资源需求和配置需求;III、构建flow安全图;IV、生成可达矩阵;V、增加策略映射函数,实现虚拟机迁移IP地址变更后的安全策略转换;VI、虚拟机迁移。该方法通过在虚拟机迁移过程中加入安全策略迁移感知机制,避免虚拟机迁移导致的策略违反和安全漏洞。
-
公开(公告)号:CN103078922A
公开(公告)日:2013-05-01
申请号:CN201210585921.X
申请日:2012-12-28
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L29/08
Abstract: 本发明提供了一种基于虚拟计算环境的资源发布系统,包括:节点级资源发布单元、和采集并整合其信息的系统级资源发布单元。本发明提供的基于虚拟计算环境的资源发布系统,通过合理的组织分层,实现软件模块间松耦合的工作模式,使得在虚拟计算环境中可以降低相关软件模块的运行维护成本、缩短新应用的开发周期,并提高系统的灵活性、健壮性和扩展性。
-
-
-
-
-
-
-
-
-