一种基于插值算法面向计算通信联合优化的负载均衡方法

    公开(公告)号:CN104281494A

    公开(公告)日:2015-01-14

    申请号:CN201410503520.4

    申请日:2014-09-26

    Applicant: 清华大学

    Abstract: 本发明涉及一种基于插值算法的面向计算通信联合优化的负载均衡方法,属于高性能科学计算的应用领域,该方法包括以运算的实测计算量和通信量为基础值,利用插值算法以计算时间和责任通信时间的实测值推算计算量累加函数和通信量变化率函数的近似函数,以该函数为参照通过多次迭代获得最佳的数据划分;监视每次运算的计算量和通信量变化,分析处理器的负载均衡状况并预测负载均衡的趋势,当负载均衡的效率或预测值低于设定的阈值时,根据当前的计算量和通信量的实测值再次计算量累加函数和通信量变化率函数的近似函数,并对数据块的划分进行动态调整。本方法旨在技术领域提升科学计算的负载均衡效率,进而提高并行运行效率,节约超级计算资源。

    基于DO突变率的城市污水生物抑制性实时监控系统与方法

    公开(公告)号:CN102495103B

    公开(公告)日:2013-06-12

    申请号:CN201110379117.1

    申请日:2011-11-25

    Abstract: 一种基于DO突变率的城市污水生物抑制性实时监控系统与方法,监控系统是利用由曝气混合槽和折流式生物反应器邻接组成的曝气混合折流式生物反应器,用DO1在线监测仪和DO2在线监测仪组成的DO检测系统监测曝气混合槽中DO1值与折流式生物反应器出口位置的DO2值,传输到PLC控制系统中,根据公式DO2T=(DO22-DO21)/DO21*100%,计算DO2的突变率,与预设的DO2突变率值DO2T1、DO2T2以及DO2T3比较,可判断活性污泥中OUR的变化情况,进而判断活性污泥受抑制情况。

    pNFS系统高效支持海量虚拟机在线启动运行的方法

    公开(公告)号:CN103077055A

    公开(公告)日:2013-05-01

    申请号:CN201210592629.0

    申请日:2012-12-31

    Applicant: 清华大学

    Abstract: 本发明涉及云计算技术,具体公开了一种pNFS系统高效支持海量虚拟机在线启动运行的方法。所述方法包括:客户端从元数据服务器获取pNFS系统的布局类型信息,并判断pNFS系统的布局类型是否与自身兼容,若兼容,则进入下一步;客户端向元数据服务器请求所需文件的布局信息,元数据服务器即时计算出文件的布局信息并发送给客户端;客户端根据文件的布局信息,向对应的数据服务器并行存取文件数据。本发明的技术方案简化了MDS端元数据信息,以减轻海量文件并发读取时对MDS的压力,同时能够动态均衡DS数据分布,使文件数据更加均匀地分布到各个DS,尤其适用于通用场景下海量虚拟机在线启动和运行。

    一种用于地球系统模式耦合过程的高阶插值方法

    公开(公告)号:CN103019704A

    公开(公告)日:2013-04-03

    申请号:CN201210495395.8

    申请日:2012-11-28

    Applicant: 清华大学

    Abstract: 本发明涉及一种用于地球系统模式耦合过程的高阶插值方法,属于地球系统模式耦合技术领域,该方法分为两个部分,第一个部分根据网格A、网格B信息生成给定高阶插值算法的一阶形式的插值系数W′1,并形成一阶形式的插值系数文件;第二个部分利用网格A上的物理量数据通过插值系数W′1插值计算得到网格B相应的物理量数据;本发明按照高阶插值算法的计算表达式,结合偏导数系数和高阶插值系数,合成高阶插值算法对应的一阶形式的插值系数,应用该发明,已有的高阶插值算法可以应用于地球系统模式的耦合过程,进而提高插值结果的数值精度,潜在地对整个地球系统模式的模拟结果产生有利的影响。

    一种用于地球系统模式的耦合通信方法

    公开(公告)号:CN103019654A

    公开(公告)日:2013-04-03

    申请号:CN201210493456.7

    申请日:2012-11-28

    Applicant: 清华大学

    Abstract: 本发明涉及一种用于地球系统模式的耦合通信方法,属于地球系统模式的耦合技术领域。该方法包括根据耦合数据的特征自适应判定是否对耦合数据进行压缩,以及采用何种压缩方式的第一阶段;和根据自适应判定结果进行耦合通信的第二阶段;所述的压缩方式包括针对相似性的压缩方式S以及针对零值的压缩方式Z;压缩方式S针对同一网格单元上的耦合物理量在连续两个耦合时间步中,其数值未发生变化的特性;压缩方式Z针对分量模式的耦合数据中包含了一定比例的0值数据。本发明方法采用针对耦合数据的实时压缩算法,通过压缩来减少耦合过程中传输数据的数据量,从而减少耦合通信时间。该方法应用于耦合器中,旨在提升地球系统模式的耦合通信性能。

    网格中基于历史数据建模的作业性能预测方法

    公开(公告)号:CN101697141B

    公开(公告)日:2012-09-05

    申请号:CN200910236533.9

    申请日:2009-10-30

    Applicant: 清华大学

    Abstract: 网格中基于历史数据建模的作业性能预测方法,属于高性能网格中作业完成时间建模及预测方法,其特征在于在网格节点中建立基于CGSP网格软件和CGSV网格软件的历史作业信息库,内有N个历史作业信息,涉及资源配置、资源负载、作业请求及作业实际性能四个方面,同时建立一个由多个候选回归函数组成的集合,在预测时用户所提交的第N+1个作业根据第N个作业的回归模型得到,而该第N个作业的回归模型又根据第N个作业的作业实际性能和根据第N-1个作业的各个候选回归模型的实际性能预测值结果之差值中选择一个差值最小的候选回归模型得到,仿真实验证明本发明可以解决资源负载过大所导致的作业时间开销急剧上升的问题。

    基于选择性扫描的文件系统的元数据抽取方法及装置

    公开(公告)号:CN102110156A

    公开(公告)日:2011-06-29

    申请号:CN201110042837.9

    申请日:2011-02-22

    Applicant: 清华大学

    Abstract: 本发明提出一种基于选择性扫描的文件系统的元数据抽取方法及装置,该方法包括以下步骤:A.定义目录分组模式;B.根据扫描策略加载目录组;C.对目录排序并扫描;D.判断是否扫描完成,如果否则选择要扫描的目录并初始化其子对象元数据列表;E.判断是否扫描完成,如果否则读取下一个子对象元数据并加入子对象元数据列表中,更新时间局部性目录组;F.否则更新时间戳方差目录组;和G.判断当前扫描是否为基础扫描,如果是则更新当前目录的子目录数组并转至步骤D,否则直接转至步骤D。应用本发明实施例的元数据抽取方法,极大的提高了抽取效率。另外,本发明设计简单,易于实现。

    网格中基于历史数据建模的作业性能预测方法

    公开(公告)号:CN101697141A

    公开(公告)日:2010-04-21

    申请号:CN200910236533.9

    申请日:2009-10-30

    Applicant: 清华大学

    Abstract: 网格中基于历史数据建模的作业性能预测方法,属于高性能网格中作业完成时间建模及预测方法,其特征在于在网格节点中建立基于CGSP网格软件和CGSV网格软件的历史作业信息库,内有N个历史作业信息,涉及资源配置、资源负载、作业请求及作业实际性能四个方面,同时建立一个由多个候选回归函数组成的集合,在预测时用户所提交的第N+1个作业根据第N个作业的回归模型得到,而该第N个作业的回归模型又根据第N个作业的作业实际性能和根据第N-1个作业的各个候选回归模型的实际性能预测值结果之差值中选择一个差值最小的候选回归模型得到,仿真实验证明本发明可以解决资源负载过大所导致的作业时间开销急剧上升的问题。

    基于网格环境的多计算引擎协同使用方法

    公开(公告)号:CN1540481A

    公开(公告)日:2004-10-27

    申请号:CN200310103047.2

    申请日:2003-10-31

    Applicant: 清华大学

    Abstract: 基于网格环境的多计算引擎协同使用方法其特征在于:在OGSA的GT3版本支持下,远程计算节点和用户端计算节点借助于安装了jdk1.4和Java1.4运行时环境的操作系统的支持,应用GridFTP协议,使得用户计算节点可以通过向注册节点查询已经注册的远程计算节点列表,并运用客户端的协同计算软件包来协同使用分布在网格上的计算资源。它的基本方法就是通过统一的计算接口把计算资源用GridService服务包装起来,客户端通过GridService服务提供的接口把子任务分配到远程计算节点上并调度和协同执行。它可把高性能计算软硬件资源有效地整合起来,获取高效的计算能力和存储能力。

    数据处理方法、装置、计算机设备和存储介质

    公开(公告)号:CN116089076B

    公开(公告)日:2023-11-28

    申请号:CN202211727084.X

    申请日:2022-12-30

    Applicant: 清华大学

    Abstract: 本申请涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。方法包括:对地震有限区域的地震属性数据进行数字网格化处理,得到网格化后的多个计算单元;根据预设的计算单元分类算法和多个计算单元,确定计算单元组,并根据预设的计算量处理策略确定各计算单元组的组计算量;根据各计算单元组对应的组计算量的大小以及预设的计算单元分配策略,将计算单元组分配至不同的数据处理进程;通过数据处理进程对计算单元组进行计算,得到地震波属性数据。采用本方法能够保证各数据处理进程的负载均衡,减少了数据处理等待时间,缩短得到地震波属性数据的时间,提高了地震波属性数据的计算效率。

Patent Agency Ranking