-
公开(公告)号：CN112241365A
公开(公告)日：2021-01-19
申请号：CN202010722288.9
申请日：2020-07-24
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F11/36 , G06F16/182 , G06F9/54
Abstract: 本发明涉及一种面向Namenode的高效元数据构建和RPC性能提升的方法和装置。该方法通过性能测试工具中的创建文件功能构造文件对象，通过在内存中虚拟出的仅有基本结构的Datanode节点构造文件块对象，由文件对象和文件块对象构成Namenode内存元数据；基于构建的元数据，构造与生产环境相符的Namenode负载状态，并进行Namenode内部扩展和集群扩展，实现RPC性能优化。本发明能够高速构建Namenode元数据，为快速搭建接近生产环境的测试集群提供了帮助，全局锁的拆分能够提升RPC性能，多个Namenode协作管理集群且同时对外提供服务，提供了更高的读写吞吐量。
-
公开(公告)号：CN107220363B
公开(公告)日：2020-09-22
申请号：CN201710422561.4
申请日：2017-06-07
Applicant: 中国科学院信息工程研究所
IPC: G06F16/2458 , G06F16/22
Abstract: 本发明涉及一种支持全局复杂检索的跨地域查询方法及系统。该方法包括：1)建立用于跨地域查询的全局元数据组织结构，其包括全局视图以及全局视图与各数据中心的数据表的映射关系；2)根据各数据中心的数据表的结构调整，动态调整全局视图与各数据中心的数据表的映射关系；3)解析用户的查询请求，根据全局元数据组织结构将查询任务下发至各数据中心执行查询，各数据中心将查询结果反馈至全局点；4)全局点将各数据中心返回的查询结果进行汇总，并将汇总后的数据展示给用户，从而实现跨地域查询。本发明能够提高对各数据中心大数据的综合分析能力，在大数据处理领域具有很强的实用性和应用范围，具有广阔的应用前景。
-
公开(公告)号：CN107391555B
公开(公告)日：2020-08-04
申请号：CN201710422553.X
申请日：2017-06-07
Applicant: 中国科学院信息工程研究所
IPC: G06F16/27 , G06F16/2455 , G06F16/23
Abstract: 本发明涉及一种面向Spark‑Sql检索的元数据实时更新方法。该方法在Spark Sql进行检索时，会将使用的元数据进行缓存，将被检索的数据块文件元数据以集合的形式缓存于内存中；当获得文件元数据的增量信息时，将首先检查该增量信息所属的表的检索元数据是否存在于缓存之中，若存在，则将增量的文件元数据增加至缓存的该表文件元数据的集合之中，由此完成Spark Sql检索元数据的增量更新。本发明还提出了对Spark Sql检索元数据增加情况的处理方法，可以实时的对检索元数据的增加情况进行处理，提高检索结果的实时性。本发明可以避免对检索元数据进行经常性的全量更新，以减少更新元数据时的时间和资源开销。
-
公开(公告)号：CN109189743A
公开(公告)日：2019-01-11
申请号：CN201810671449.9
申请日：2018-06-26
Applicant: 国家计算机网络与信息安全管理中心 , 中国科学院信息工程研究所
IPC: G06F16/178 , G06F16/182 , H04L12/26 , H04L29/06
Abstract: 本发明公开一种面向大流量实时图数据的低资源消耗的超级节点识别过滤方法和系统，属于大数据预处理领域。该方法包括：1)接收图数据并对其进行格式转化；2)根据过滤规则对格式转化之后的数据进行过滤；3)识别过滤之后的数据中的超级节点，并根据识别出的超级节点对所述过滤规则进行动态修改。该系统包括数据接收模块、数据过滤模块、过滤规则管理模块以及超级节点识别模块。本发明可在海量实时图数据流中识别出超级节点，是一种低资源消耗的超级节点识别方案，只需极少资源就可以在海量数据中识别出超级节点。
-
公开(公告)号：CN118069891B
公开(公告)日：2025-05-13
申请号：CN202410261182.1
申请日：2024-03-07
Applicant: 中国科学院信息工程研究所
IPC: G06F16/901 , G06F16/907 , G06F16/903 , G06F16/22
Abstract: 本发明涉及一种基于滑动窗口的LSM数据合并排序方法和装置。本发明提出的方法首先构建面向合并操作中处于低层级的排序字符串表的滑动窗口，依据滑动窗口选定参与合并操作的低层级排序字符串表，同时获取滑动窗口左右最近的两个排序字符串表，并获取其键控范围，然后在处于高层级的排序字符串表中选择与低层级排序字符串表键控范围存在交集的排序字符串表并获取其键控范围，通过预估合并后排序字符串表的键控范围，并与滑动窗口左右最近的两个排序字符串表键控范围作比较，判定是否进行合并排序操作。本发明减少了处于高层级的排序字符串表反复参与低层级排序字符串表合并过程的次数，加快了合并排序速率，提升了系统读写性能。
-
Patent Agency Ranking
公开(公告)号：CN119272158A
公开(公告)日：2025-01-07
申请号：CN202411113875.2
申请日：2024-08-14
Applicant: 中国科学院信息工程研究所
IPC: G06F18/243 , G06F18/211 , G06N20/20
Abstract: 本发明公开了一种基于外键聚合和特征选择的数据血缘发现方法及装置，其步骤包括：1)聚合器根据输入的表格数据集、目标列以及表间外键关系，将与目标列所在的表存在关系的表格聚合成一个与目标表行对齐的中间表；2)映射检测模块验证每一候选映射函数能否根据中间表中的列生成目标列，根据验证结果选取一候选映射函数作为最终的映射函数；然后利用映射函数对中间表中与目标列有数据血缘关系的每一列进行回溯，得到目标列的字段级数据血缘；如果各候选映射函数均不能作为最终的映射函数，则执行步骤3)；3)从中间表中筛选出对生成目标列贡献最大的列，作为最优特征子集；对最优特征子集中的每一列进行回溯，得到目标列的字段级数据血缘。
-
公开(公告)号：CN118132710A
公开(公告)日：2024-06-04
申请号：CN202410273102.4
申请日：2024-03-11
Applicant: 中国科学院信息工程研究所
IPC: G06F16/332 , G06F40/30 , G06F18/213
Abstract: 本发明提出了一种基于多尺度滑动窗口与动态聚合的对话级情感分析方法，涉及自然语言处理领域。本方法首先对评论对话构造对话树，通过滑动窗口构造多尺度话语窗口；然后利用预训练语言模型编码多尺度话语窗口；再基于对话情感预测模型根据编码的多尺度话语窗口特征表示进行预测，生成多尺度话语窗口预测结果并进行动态聚合；利用多任务学习，构造窗口级、线程级和对话级损失函数，训练优化对话情感预测模型。本方法在无需设计复杂网络的情况下提高在由多轮对话情感分析的预测效果。
-
公开(公告)号：CN116055081A
公开(公告)日：2023-05-02
申请号：CN202210916122.X
申请日：2022-08-01
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种大规模物联网联邦学习隐私保护方法及系统。本发明使用基于区块链的支付激励方法来迫使矿工和机构诚实行事，从而加快联邦学习收敛；此外，考虑到现实网络环境中矿工存在断网现象，导致共识协议中断，影响收敛速度，本发明设计了基于PVSS的鲁棒权益证明共识来解决这一问题。实验表明，本发明的激励机制能够提高预测的准确性，降低参与者不诚实的可能性；且本发明提出的架构可以很好的具有鲁棒性地保护设备隐私。
-
公开(公告)号：CN110287150A
公开(公告)日：2019-09-27
申请号：CN201910405408.X
申请日：2019-05-16
Applicant: 中国科学院信息工程研究所
IPC: G06F16/13 , G06F16/16 , G06F16/182
Abstract: 本发明公开了一种大规模存储系统元数据分布式管理方法与系统。本发明将HDFS存储于NameNode内存中的元数据抽象成二维表的结构，以二维表的形式存储在分布式数据库中；抽象后的各二维表之间通过inode_id相互关联。Namenode成为客户端存取元数据的桥梁，客户端首先连接Namenode，Namenode来操作分布式数据库中的元数据，并将元数据返回给客户端。本发明解决了HDFS的单点故障问题。
-
公开(公告)号：CN103226520A
公开(公告)日：2013-07-31
申请号：CN201310113105.3
申请日：2013-04-02
Applicant: 中国科学院信息工程研究所
IPC: G06F12/08
Abstract: 本发明涉及一种集群内存自适应管理方法、服务器集群。其中，集群内存自适应管理方法包括：对于数据服务器集群中的每个数据服务器，在使用前对该数据服务器按照变步长加性增长方式进行内存预分配，将内存分割为设定数目的片组，每个片组的总容量相等，每个片组包含容量相等的多个分片。本发明的集群内存自适应调管理方法，采用优化模式的内存预先分配的策略，保证了内存的合理分片，从而提高了内存的存取效率，也减少了内存碎片的产生。此外，本发明的集群内存自适应调管理方法能够进行内存自适应调整，大大提高了内存的自治能力和稳定性。
-
-
-
-
-
-
-
-
-
Search Results
32
records
(took 0.039 seconds)
