-
公开(公告)号:CN113271220B
公开(公告)日:2022-10-14
申请号:CN202110340162.X
申请日:2021-03-30
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: H04L41/04 , H04L41/069 , H04L41/0823 , H04L41/14 , H04L41/22 , H04L67/06 , H04L67/1097 , H04L67/30 , H04L9/40
Abstract: 本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括:采集大数据平台中各个组件的配置文件和日志文件;根据采集的配置文件和日志文件,识别分布式环境下部署在不同物理服务器上的大数据组件;根据识别出的大数据组件并结合日志文件中的信息,构建跨组件的数据流向图;根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证,实现高精度的组件识别,结合凝练的安全审计模型,实现大数据平台整体数据流转情况的采集,进而支持业务流程中不同环节的数据使用情况审计,并能够对异常任务、异常数据使用场景进行识别和告警。
-
公开(公告)号:CN112241365B
公开(公告)日:2022-09-30
申请号:CN202010722288.9
申请日:2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象,通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象,由文件对象和文件块对象构成Namenode内存元数据;基于构建的元数据,构造与生产环境相符的Namenode负载状态,并进行Namenode内部扩展和集群扩展,实现RPC性能优化。本发明能够高速构建Namenode元数据,为快速搭建接近生产环境的测试集群提供了帮助,全局锁的拆分能够提升RPC性能,多个Namenode协作管理集群且同时对外提供服务,提供了更高的读写吞吐量。
-
公开(公告)号:CN113271220A
公开(公告)日:2021-08-17
申请号:CN202110340162.X
申请日:2021-03-30
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
Abstract: 本发明涉及一种基于配置文件和日志文件的跨组件数据流向审计方法和系统。该方法的步骤包括:采集大数据平台中各个组件的配置文件和日志文件;根据采集的配置文件和日志文件,识别分布式环境下部署在不同物理服务器上的大数据组件;根据识别出的大数据组件并结合日志文件中的信息,构建跨组件的数据流向图;根据数据流向图进行数据流向的异常判定及告警。本发明通过采集各个组件的配置文件、运行日志文件、审计日志文件实现交叉验证,实现高精度的组件识别,结合凝练的安全审计模型,实现大数据平台整体数据流转情况的采集,进而支持业务流程中不同环节的数据使用情况审计,并能够对异常任务、异常数据使用场景进行识别和告警。
-
公开(公告)号:CN112241365A
公开(公告)日:2021-01-19
申请号:CN202010722288.9
申请日:2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象,通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象,由文件对象和文件块对象构成Namenode内存元数据;基于构建的元数据,构造与生产环境相符的Namenode负载状态,并进行Namenode内部扩展和集群扩展,实现RPC性能优化。本发明能够高速构建Namenode元数据,为快速搭建接近生产环境的测试集群提供了帮助,全局锁的拆分能够提升RPC性能,多个Namenode协作管理集群且同时对外提供服务,提供了更高的读写吞吐量。
-
公开(公告)号:CN118228733A
公开(公告)日:2024-06-21
申请号:CN202410221099.1
申请日:2024-02-28
Applicant: 中国科学院信息工程研究所
IPC: G06F40/30 , G06F40/211 , G06N3/0464 , G06N3/045 , G06N3/0442 , G06N3/042 , G06F18/25
Abstract: 本发明提出一种基于图神经网络的微博评论对话情感分析方法及系统,涉及自然语言处理和图神经网络领域。首先利用图卷积神经网络分析每条评论的词性和依赖关系,获得单个评论的局部句法信息,同时利用图注意力神经网络对评论之间的关系进行建模得到具有全局特征的语义信息。最后经过融合模块将局部的句法信息和全局的语义信息进行融合,获得含有丰富对话信息的特征,提升了对话级情感分析的准确性。
-
公开(公告)号:CN118132710B
公开(公告)日:2025-01-24
申请号:CN202410273102.4
申请日:2024-03-11
Applicant: 中国科学院信息工程研究所
IPC: G06F16/3329 , G06F40/30 , G06F18/213
Abstract: 本发明提出了一种基于多尺度滑动窗口与动态聚合的对话级情感分析方法,涉及自然语言处理领域。本方法首先对评论对话构造对话树,通过滑动窗口构造多尺度话语窗口;然后利用预训练语言模型编码多尺度话语窗口;再基于对话情感预测模型根据编码的多尺度话语窗口特征表示进行预测,生成多尺度话语窗口预测结果并进行动态聚合;利用多任务学习,构造窗口级、线程级和对话级损失函数,训练优化对话情感预测模型。本方法在无需设计复杂网络的情况下提高在由多轮对话情感分析的预测效果。
-
公开(公告)号:CN118228733B
公开(公告)日:2024-12-17
申请号:CN202410221099.1
申请日:2024-02-28
Applicant: 中国科学院信息工程研究所
IPC: G06F40/30 , G06F40/211 , G06N3/0464 , G06N3/045 , G06N3/0442 , G06N3/042 , G06F18/25
Abstract: 本发明提出一种基于图神经网络的微博评论对话情感分析方法及系统,涉及自然语言处理和图神经网络领域。首先利用图卷积神经网络分析每条评论的词性和依赖关系,获得单个评论的局部句法信息,同时利用图注意力神经网络对评论之间的关系进行建模得到具有全局特征的语义信息。最后经过融合模块将局部的句法信息和全局的语义信息进行融合,获得含有丰富对话信息的特征,提升了对话级情感分析的准确性。
-
公开(公告)号:CN111754383B
公开(公告)日:2023-03-10
申请号:CN202010403115.0
申请日:2020-05-13
Applicant: 中国科学院信息工程研究所
Abstract: 本发明提出一种基于GPU加速的优化线程调度与分区的强连通图检测方法,为使用异构系统进行强连通图检测的方法,通过将每个warp分成多个虚拟warp并分配多个顶点任务、使用着色分区替换传统的WCC分区等方法平衡了线程分配、增加了每次迭代产生的强连通图数目,从而达到提升算法运行效率的目的。
-
公开(公告)号:CN114461906A
公开(公告)日:2022-05-10
申请号:CN202210024433.5
申请日:2022-01-06
Applicant: 中国科学院信息工程研究所
IPC: G06F16/9535 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种聚焦于用户核心兴趣的序列推荐方法及装置,包括获取用户与项目的交互序列以及所述交互序列中每个交互行为对应的时间戳;得到所述交互序列的嵌入矩阵;对所述嵌入矩阵进行自注意力计算,得到每一查询对于所有键的注意力值概率分布;获取每一查询的预先定义固定默认概率分布;根据两个概率分布相似性,得到各查询的活跃性度量;基于所述活跃性度量分别计算各键的注意力值,以构建自注意力矩阵;依据所述自注意力矩阵,得到所述用户的项目推荐结果。本发明通过在嵌入层加入时间间隔,并加入了活跃性度量指标,从而可以自适应地衡量项目与用户核心兴趣之间的相关性,提高了模型表达能力和推荐结果的准确率。
-
公开(公告)号:CN110287150B
公开(公告)日:2021-05-11
申请号:CN201910405408.X
申请日:2019-05-16
Applicant: 中国科学院信息工程研究所
IPC: G06F16/13 , G06F16/16 , G06F16/182
Abstract: 本发明公开了一种大规模存储系统元数据分布式管理方法与系统。本发明将HDFS存储于NameNode内存中的元数据抽象成二维表的结构,以二维表的形式存储在分布式数据库中;抽象后的各二维表之间通过inode_id相互关联。Namenode成为客户端存取元数据的桥梁,客户端首先连接Namenode,Namenode来操作分布式数据库中的元数据,并将元数据返回给客户端。本发明解决了HDFS的单点故障问题。
-
-
-
-
-
-
-
-
-