-
公开(公告)号:CN105095353A
公开(公告)日:2015-11-25
申请号:CN201510345279.1
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
CPC classification number: G06F17/30132
Abstract: 本发明公开了一种并行网络文件系统中预读小文件后忙等的系统及方法,该系统包括:客户端,用于根据当前访问文件的文件布局确定当前访问文件的数据页面数量,并访问磁盘中当前访问文件的数据页面;服务器端,用于获取当前访问文件的文件布局并发送给客户端;客户端当上层应用在缓存中查找到被加锁的当前数据页面时,将该当前数据页面标记为“未访问”,跳过该当前数据页面,访问下一个数据页面,待全部数据页面访问完成后,对该当前数据页面进行再次访问。
-
公开(公告)号:CN104281506A
公开(公告)日:2015-01-14
申请号:CN201410328048.5
申请日:2014-07-10
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种文件系统的数据维护方法及系统,本发明涉及分布式文件系统技术领域,该方法包括将源数据中心的源数据备份到副本数据中心,作为该源数据的副本数据;根据该源数据中心的状态,选择由该源数据中心提供读写服务或由该副本数据中心提供该读写服务,若该源数据或该副本数据被修改,则获取对该源数据或该副本数据的修改记录,并生成日志文件;根据该日志文件对该源数据或该副本数据进行更新,以保证该源数据中心与该副本数据中心的数据的一致性。本发明能够有效提高数据中心数据可靠性,存储服务可用性的,为数据提供最终一致性语义。
-
公开(公告)号:CN109889452B
公开(公告)日:2021-06-11
申请号:CN201910012933.5
申请日:2019-01-07
Applicant: 中国科学院计算技术研究所
IPC: H04L12/851 , H04L12/24 , H04L12/26 , H04L1/00
Abstract: 本发明涉及一种基于条件生成式对抗网络的网络背景流量生成方法,包括:数据获取步骤,获取的网络流量数据及条件信息,并向量化为真实流量;模型生成步骤,以该真实流量得到初始生成模型和判别模型,并通过条件生成式对抗网络以该判别模型对该初始生成模型进行训练,以得到生成模型;流量生成步骤,通过该生成模型以随机向量生成模拟背景流量。
-
公开(公告)号:CN112667221A
公开(公告)日:2021-04-16
申请号:CN202011249093.3
申请日:2020-11-10
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于深度学习开发IDE的深度学习模型构建方法及系统,本发明不仅支持多种不同的深度学习框架,可以让用户以简单的方式选择不同的框架进行模型的训练或推断而不引入额外的类似启动容器的开销;同时通过提供模型转换以支持不同框架模型的可视化,并支持以文本和可视化联调的方式实现实施模型结构的编辑。本发明的IDE较现有方法提供了更简单、方便且全面的开发环境。
-
公开(公告)号:CN108874849B
公开(公告)日:2020-12-25
申请号:CN201810097136.7
申请日:2018-01-31
Applicant: 中国科学院计算技术研究所
IPC: G06F16/2453
Abstract: 本发明公开了一种非等值关联子查询的优化方法和系统,其特征在于,包括:获取关联子查询的外表关联列的取值集;根据该关联子查询中操作符的类型和该取值集,建立该关联子查询的外表关联列到内表关联列分区的映射关系;根据得到的分区集合,对该关联子查询的内表进行分区,同时依据该关联子查询中内表的查询聚合函数,获取关联子查询在各分区的中间结果状态信息;根据该映射关系,遍历该外表关联列,通过聚合对应的分区集的中间结果状态信息,得到外表中各关联列对应的子查询结果。本发明具有的技术效果包括:通过对内表进行分区,并重复利用各分区的中间结果从而得到最终的子查询结果集,以提升查询性能。
-
公开(公告)号:CN104503706A
公开(公告)日:2015-04-08
申请号:CN201410810681.8
申请日:2014-12-23
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
CPC classification number: G06F3/0689 , G06F3/0611
Abstract: 本发明提供一种基于磁盘阵列的数据存储方法,其中每个条带包括空子条带和纠删码子条带;存储方法包括下列步骤:1)确定需要写入数据的条带并将其作为当前条带;2)当需要写入的数据是全条带数据时,将所述全条带数据写入当前条带的空子条带,写入完毕后将该空子条带转换为纠删码子条带;3)在新的纠删码子条带生效后,将当前条带的原有纠删码子条带转换为空子条带。所述条带还可以进一步包括镜像子条带。另外,本发明还提供了相应的基于磁盘阵列的数据读取方法。本发明能够解决纠删码技术中的WriteHole问题;能够提高基于纠删码的存储系统的I/O性能;无论在写入数据块较多还是较少时均能达到较高的性能。
-
公开(公告)号:CN103944958A
公开(公告)日:2014-07-23
申请号:CN201410095627.X
申请日:2014-03-14
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种广域文件系统及实现方法,涉及文件系统技术领域,是在广域上适用的文件系统的一种实现方法。该系统包括:通过事件驱动模块接收操作请求,则根据所请求文件的节点号,通过缓存管理模块查询本地缓存中是否存在该文件,若存在,则从缓存中访问该文件,若不存在,则根据该节点号通过节点管理模块查询该文件在服务器端数据库中的路径名,并根据操作请求信息通过事件处理模块获得该文件和该文件元信息,将该文件和该文件元信息发送到缓存管理模块,缓存管理模块将该文件和该文件的元信息存入本地缓存。本发明不依赖于底层文件系统,仅要求底层文件系统可共享即可,并提供缓存的空间管理功能,提高了系统的资源利用率。
-
公开(公告)号:CN108090222B
公开(公告)日:2020-07-07
申请号:CN201810011460.2
申请日:2018-01-05
Applicant: 中国科学院计算技术研究所 , 中科天玑数据科技股份有限公司
IPC: G06F16/27
Abstract: 本发明公开了一种数据库集群节点间数据同步系统,涉及数据处理领域。所述系统包括配置单元、元数据存储单元、元数据判断单元、读写判断单元、Paxos同步单元、日志存储单元和日志重现单元。本发明解决了现有数据库同步方法中异步方式可能导致数据库集群数据不一致的问题,也解决了同步方式可能因为某个节点阻塞导致性能低下的问题;最后,本发明所述数据库集群节点间数据同步系统也支持不同方向的数据同步,没有只能将数据从主数据库同步到从数据库的限制。
-
公开(公告)号:CN106354870B
公开(公告)日:2019-07-12
申请号:CN201610828103.6
申请日:2016-09-18
Applicant: 中国科学院计算技术研究所
IPC: G06F16/25
Abstract: 本发明提供一种数据加载系统和方法。所述方法包括:多个数据加载节点中的一个接收加载请求;响应于该加载请求,在多个数据加载节点中启动与该加载请求相对应的加载服务进程,以及生成加载标识,该加载标识与该加载服务进程相关联;数据源节点基于所述加载标识获得所述加载服务进程的监听地址;数据源节点向该监听地址发送待加载数据;数据加载节点从该监听地址接收来自该数据源节点的待加载数据,以及按照设置的路由规则将数据转发至其他数据加载节点,或者将数据加载到相关联的存储设备。根据本发明的方法,可以提高数据加载的安全性和可靠性,避免采用硬件或者频繁启动加载而带来的损耗成本,并且利用并发的系统资源来执行数据加载的过程。
-
公开(公告)号:CN108874849A
公开(公告)日:2018-11-23
申请号:CN201810097136.7
申请日:2018-01-31
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明公开了一种非等值关联子查询的优化方法和系统,其特征在于,包括:获取关联子查询的外表关联列的取值集;根据该关联子查询中操作符的类型和该取值集,建立该关联子查询的外表关联列到内表关联列分区的映射关系;根据得到的分区集合,对该关联子查询的内表进行分区,同时依据该关联子查询中内表的查询聚合函数,获取关联子查询在各分区的中间结果状态信息;根据该映射关系,遍历该外表关联列,通过聚合对应的分区集的中间结果状态信息,得到外表中各关联列对应的子查询结果。本发明具有的技术效果包括:通过对内表进行分区,并重复利用各分区的中间结果从而得到最终的子查询结果集,以提升查询性能。
-
-
-
-
-
-
-
-
-