-
公开(公告)号：CN113271220B
公开(公告)日：2022-10-14
申请号：CN202110340162.X
申请日：2021-03-30
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: H04L41/04 , H04L41/069 , H04L41/0823 , H04L41/14 , H04L41/22 , H04L67/06 , H04L67/1097 , H04L67/30 , H04L9/40
Abstract: 本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括：采集大数据平台中各个组件的配置文件和日志文件；根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件；根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图；根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证，实现高精度的组件识别，结合凝练的安全审计模型，实现大数据平台整体数据流转情况的采集，进而支持业务流程中不同环节的数据使用情况审计，并能够对异常任务、异常数据使用场景进行识别和告警。
-
公开(公告)号：CN112241365B
公开(公告)日：2022-09-30
申请号：CN202010722288.9
申请日：2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象，通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象，由文件对象和文件块对象构成Namenode内存元数据；基于构建的元数据，构造与生产环境相符的Namenode负载状态，并进行Namenode内部扩展和集群扩展，实现RPC性能优化。本发明能够高速构建Namenode元数据，为快速搭建接近生产环境的测试集群提供了帮助，全局锁的拆分能够提升RPC性能，多个Namenode协作管理集群且同时对外提供服务，提供了更高的读写吞吐量。
-
公开(公告)号：CN113271220A
公开(公告)日：2021-08-17
申请号：CN202110340162.X
申请日：2021-03-30
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括：采集大数据平台中各个组件的配置文件和日志文件；根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件；根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图；根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证，实现高精度的组件识别，结合凝练的安全审计模型，实现大数据平台整体数据流转情况的采集，进而支持业务流程中不同环节的数据使用情况审计，并能够对异常任务、异常数据使用场景进行识别和告警。
-
公开(公告)号：CN112241365A
公开(公告)日：2021-01-19
申请号：CN202010722288.9
申请日：2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象，通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象，由文件对象和文件块对象构成Namenode内存元数据；基于构建的元数据，构造与生产环境相符的Namenode负载状态，并进行Namenode内部扩展和集群扩展，实现RPC性能优化。本发明能够高速构建Namenode元数据，为快速搭建接近生产环境的测试集群提供了帮助，全局锁的拆分能够提升RPC性能，多个Namenode协作管理集群且同时对外提供服务，提供了更高的读写吞吐量。
-
公开(公告)号：CN109902101B
公开(公告)日：2021-04-02
申请号：CN201910122512.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/2453 , G06F16/242
Abstract: 本发明公开了一种基于SparkSQL的透明分区方法及装置，所述方法包括：在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据。
-
Patent Agency Ranking
公开(公告)号：CN109981343A
公开(公告)日：2019-07-05
申请号：CN201910119940.5
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种基于传播加速度的微博传播流行度预测方法及装置，所述方法包括：确定微博消息m的目标时间Tt；将各个时间片的加速度Ai的加权算数平均值作为t0～Tr的传播加速度；在SH模型的基础上增加所述传播加速度的特征，构建二元线性回归预测模型；确定微博相对活跃强度，得到相对流行度N*(Tr)和相对传播加速度A*(Tr)；将相对流行度N*(Tr)和相对传播加速度A*(Tr)替代所述二元线性回归预测模型中的N(Tr)和A(Tr)，得到新的预测模型UAPA，并基于所述预测模型UAPA对微博传播流行度进行预测。
-
公开(公告)号：CN109816544A
公开(公告)日：2019-05-28
申请号：CN201910119279.8
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06Q50/00
Abstract: 本发明公开了一种基于接触概率的信息传播模型实现方法及装置，所述方法包括：将微博用户节点划分为四类节点，其中，所述四类节点具体包括：从未接触过信息的S节点、接触到信息但还未转发的C节点、接触到信息决定转发使自己具备传播能力的I节点、以及接触到信息选择忽略的R节点；确定所述四类节点之间的状态转换规则，并基于所述状态转换规则确定信息传播模型。
-
公开(公告)号：CN108536728A
公开(公告)日：2018-09-14
申请号：CN201810158917.2
申请日：2018-02-24
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种数据查询方法和装置。该方法包括：获取查询计划；确定所述查询计划中包含的数据源信息；根据所述数据源信息，对所述查询计划执行转义操作；根据转义后的所述查询计划，从所述数据源信息对应的数据源中查询数据并展示查询结果。本发明通过将查询计划进行转义操作，将查询计划转义为需要查询的数据库能够识别的语言，通过这种操作，可以使用一条查询计划同时查询不同数据库，实现跨平台联合查询，提升了数据查询效率，打通了不同数据库之间的技术壁垒，降低了开发人员的学习门槛。
-
公开(公告)号：CN109885316B
公开(公告)日：2023-05-09
申请号：CN201910119277.9
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F8/61
Abstract: 本发明公开了一种基于kubernetes的hdfs‑HBase部署方法，所述方法包括：计算层通过kubernetes模块获取服务器信息，打包基础镜像，并在所述镜像仓库中保存Hbase基础配置；在用户创建Hbase应用时，计算层通过管理页面获取用户输入的需求信息，修改Hbase基础配置，遴选服务器并打标签，并根据本次Hbase部署的需求信息，生成yaml文件，并调用所述kubernetes模块；所述kubernetes模块按照所述yaml文件要求部署并启动Hbase集群，并将所述Hbase集群添加到巡检队列中；所述巡检系统对所述巡检队列进行轮询。
-
公开(公告)号：CN109902126B
公开(公告)日：2021-12-07
申请号：CN201910119268.X
申请日：2019-02-18
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/27 , G06F16/2455
Abstract: 本发明公开了一种支持HIVE自动分区的加载系统及其实现方法，所述方法包括：数据源模块，用于接收数据，对数据进行预备分类，按照数据的来源和数据头上所携带的配置信息进行预处理，得到数据所需要写入的对应的HIVE表，将映射关系放入到数据头中，并将数据放入到数据通道；数据通道，用于作为所述数据源模块和所述输出接口模块之间的数据通道；输出接口模块，用于从数据通道中获取数据，对数据反序列化，进行进一步的校验，依据加载系统在HIVE中所获取的分区设置计算出分区，将与数据所对应的数据库名和表名一起作为数据写入hdfs中的key值，依据该key值，从文件写入管理模块中获取对应的文件句柄，将数据写入至hdfs或者其他存储介质中。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.057 seconds)
