-
公开(公告)号：CN108572865A
公开(公告)日：2018-09-25
申请号：CN201810296570.8
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津市国瑞数码安全系统股份有限公司
IPC: G06F9/48
Abstract: 本发明公开了一种任务队列处理方法和装置。该方法包括：设置缓存决策树，为所述缓存决策树中的每个节点对应设置标签，并为节点中的叶子节点对应设置原子队列；根据任务的标签信息，在所述缓存决策树中逐级查询到叶子节点，在所述叶子节点对应的原子队列执行任务存取。本发明是一种支持高并发任务的队列设计方法，根据任务的标签，将任务通过决策树逐级分片缓存，使得任务的入队和出队分布在不同队列，使得高并发控制被逐级分担，有效地提高了并发的强度。
-
公开(公告)号：CN108536808A
公开(公告)日：2018-09-14
申请号：CN201810296682.3
申请日：2018-04-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于Spark计算框架的数据获取方法和装置。该方法包括：在接收到表对象访问请求之后，获取Spark的计算资源信息以及MPP集群中待访问的数据表的数据分布信息；根据计算资源信息和数据分布信息，生成多个Partition；其中，每个Partition对应数据表中的部分数据；通过生成的多个Partition，从MPP集群中获取数据表。本发明充分利用MPP集群的数据存储特性，通过多个Partition，直接从MPP的存储节点快速获取数据集。进一步地，在计算资源充足的情况下，可以对存储节点的数据表进行进一步的拆分，以达到提高并行度，提升数据导入性能的目的。可以根据MPP集群的数据分布情况，优先从本地存储中获取数据，减少数据传输开销、节约网络带宽、减少网络延迟、提高计算性能。
-
公开(公告)号：CN108519987A
公开(公告)日：2018-09-11
申请号：CN201810158889.4
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种数据持久化方法和装置。该方法包括：从Kafka中的预设Topic内，获取预先被转换为统一数据类型的数据；选择目标存储引擎；通过Flume将所述Topic内的数据加载到所述目标存储引擎，以便对所述数据执行持久化操作；其中，在所述目标存储引擎执行持久化操作之前，将所述数据从统一数据类型转换为所述数据原来的数据类型。本发明提供一种基于Kafka和Flume的支持多存储引擎的数据持久化方法，在本发明中，使用同一数据类型，通过一次数据序列化(转换为统一数据类型)实现了多存储引擎的统一加载，通过一次反序列化(转换为原数据类型)，实现多存储引擎的高效数据持久化。
-
公开(公告)号：CN108512902A
公开(公告)日：2018-09-07
申请号：CN201810159206.7
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L29/08
Abstract: 本发明公开了一种数据共享方法和装置。该方法包括：获取数据源对应的第一元数据和数据目的对应的第二元数据；根据所述第一元数据和所述第二元数据，配置整形流程文件；根据所述第一元数据、所述第二元数据、所述整形流程文件以及预先配置的数据传输路径，生成共享场景配置文件；根据所述共享场景配置文件传输数据，实现所述数据源和所述数据目之间的数据共享。本发明通过简单配置便可构建数据共享的快速传输通道，在传输通道中，可根据元数据定义及整形流程进行自动整形，数据规范化，可以对多源数据灵活整形，使数据共享过程规范化，并且有效提高了数据共享方案的通用性和传输效率。
-
公开(公告)号：CN108256115A
公开(公告)日：2018-07-06
申请号：CN201810142899.9
申请日：2018-02-11
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明提供了一种面向SparkSql的HDFS小文件实时合并的实现方法，属于大数据处理技术领域。定期筛选HDFS中待合并的小文件，对得到的待合并小文件，生成合并小文件的Spark任务，并提交至Yarn上执行；对完成小文件合并的结果信息放置于待替换列表中；结合Zookeeper保持SparkSql在使用合并后文件替换被合并文件时维持正常运行；根据SparkSql实时检索数据库表的情况，在Zookeeper中注册和注销相应数据库表的读状态；在文件替换时，通过网络在SparkSql中进行文件元数据缓存增量更新。本发明可以在保持SparkSql正常运行的情况下，实现实时合并HDFS小文件，有效的提高SparkSql的检索效率，在大数据处理领域具有很强的实用性和应用范围，具有很广泛的应用前景。
-
Patent Agency Ranking
公开(公告)号：CN104050038B
公开(公告)日：2018-04-10
申请号：CN201410301165.2
申请日：2014-06-27
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种基于策略感知的虚拟机迁移方法，该方法包括以下步骤：I、确定安全策略的中间件；II、确定前端服务器和后端服务器的资源需求和配置需求；III、构建flow安全图；IV、生成可达矩阵；V、增加策略映射函数，实现虚拟机迁移IP地址变更后的安全策略转换；VI、虚拟机迁移。该方法通过在虚拟机迁移过程中加入安全策略迁移感知机制，避免虚拟机迁移导致的策略违反和安全漏洞。
-
公开(公告)号：CN107391560A
公开(公告)日：2017-11-24
申请号：CN201710428418.6
申请日：2017-06-08
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F16/9024
Abstract: 本发明提供了一种方差优化直方图的构建方法和装置，该方法按内存大小和查询精度设定样本数目K和直方图桶的个数B，有新元素出现时，为使样本数目保持在K，以在线数据采样方法优化内存空间的数据样本；根据优化的内存空间数据样本，动态构建方差优化直方图；该装置包括优化单元和构建单元。本发明提供的技术方案降低了数据规模与分布特征的影响，能有效减少数据倾斜或数据分布的不均匀带来的区间检索误差。
-
公开(公告)号：CN107193862A
公开(公告)日：2017-09-22
申请号：CN201710212747.7
申请日：2017-04-01
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F16/9024
Abstract: 本发明涉及一种基于Spark Streaming的方差优化直方图构建方法及装置，该法包括：利用Spark Streaming对流数据进行在线采样；根据在线采样数据，动态构建方差优化直方图；利用新加入数据动态更新所述方差优化直方图，并根据新加入数据重新动态构建方差优化直方图；本发明提供的技术方案，可在限定内存空间内通过单遍扫描数据构建高精度的近似方差优化直方图。
-
公开(公告)号：CN106649893A
公开(公告)日：2017-05-10
申请号：CN201510706040.2
申请日：2015-10-27
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明涉及一种识别网络图中关键节点的分布式方法，包括：采用点切分方式将网络图切分到n台机器上；选择工作节点，分别对所述工作节点的消息和所述工作节点的后继节点的消息进行初始化；更新所述工作节点的后继节点的消息；确定所述工作节点的后继节点的单点依赖；根据网络图中节点的单点依赖确定节点的桥接中心度，本发明采用Graphlab框架来实现，不仅支持基于消息的编程模型，而且支持共享内存风格的“收集-更新-扩散”模型，能够获得更快的运行速度，并且随着集群规模的扩大，可以支持在更大规模的图中计算关键节点。
-
公开(公告)号：CN104951379A
公开(公告)日：2015-09-30
申请号：CN201510432339.3
申请日：2015-07-21
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明提供一种基于乘积季节模型的软件再生方法，包括以下步骤：确定软件的老化指标，并提取关键指标值；建立乘积季节模型；根据乘积季节模型评估老化状况。本发明利用乘积季节模型对季节性变化趋势的表达能力，在实际评估时不仅考虑了不同周期中相同周期点之间的相关性，还考虑了相同周期内不同周期点之间的关系，较为符合老化指标观测数据的实际情况，能够更为准确地预测出系统关键指标的变化趋势。
-
-
-
-
-
-
-
-
-
Search Results
94
records
(took 0.091 seconds)
