-
公开(公告)号:CN111783977A
公开(公告)日:2020-10-16
申请号:CN202010317520.0
申请日:2020-04-21
Abstract: 本发明涉及一种基于分区域梯度更新的神经网络训练过程中间值存储压缩方法和装置。该方法在神经网络训练的前向传播过程中将特定区域的输入激活值保存在内存中;在神经网络训练的反向传播过程中利用保存的特定区域的输入激活值计算梯度,以更新神经网络的权重参数。所述区域是在输入激活值的长度和宽度方向上划分的区域。通过分块步长和网络稠密度确定所述特定区域,首先根据分块步长对输入激活值划分区域,并确定区域起始位置,然后根据网络稠密度确定保留区域总数。本发明对神经网络训练时需要保存的激活值进行存储优化,能够大幅降低内存成本,提高训练深度更深、规模更大的神经网络的能力,同时也可以在内存受限的设备上在线训练网络。
-
公开(公告)号:CN110795363A
公开(公告)日:2020-02-14
申请号:CN201910791493.8
申请日:2019-08-26
Applicant: 北京大学深圳研究生院 , 鹏城实验室
IPC: G06F12/02 , G06F12/123
Abstract: 一种存储介质的热页预测方法和页面调度方法,通过获取存储介质中近期N个被访问页面的访问信息,并依据当前被访问页面的访问信息和近期N个被访问页面的访问信息,获取当前被访问页面的权重值,并依据被访问页面的权重值对该被访问页面进行热页预测,其中访问信息包括访问次数和物理地址。由于依据访问信息中的访问次数和物理地址对被访问页面进行热页预测,使得热页预测的效率和准确率更高。
-
公开(公告)号:CN110389833A
公开(公告)日:2019-10-29
申请号:CN201910572132.4
申请日:2019-06-28
Applicant: 北京大学深圳研究生院 , 鹏城实验室
IPC: G06F9/50
Abstract: 本申请提供一种处理器的性能调度方法及系统,该方法包括设置公式过程:设置适用于处理器内存子系统模型的IPC与MR(#L3way)、BW的计算式;求得优选值过程:依据计算式,确定目标IPC值所对应的MR(#L3way)与BW的优选取值。性能调度系统包括依次连接的输入单元、运算单元和设置单元。本申请提供的处理器的性能调度方法及系统,可以指导处理器上的内存带宽与第三级高速缓存资源的协同调度,针对性能优化目标,选择合适的内存带宽与第三级高速缓存。
-
公开(公告)号:CN101594309B
公开(公告)日:2011-06-08
申请号:CN200910158467.8
申请日:2009-06-30
CPC classification number: G06F12/0806 , G06F12/0866
Abstract: 本发明实施例提供一种集群系统中内存资源的管理方法及设备,其中,种集群系统中内存资源的管理方法包括:请求方向仲裁服务器发送请求远程缓存的消息,所述请求远程缓存的消息包括本地虚拟机需要的远程缓存容量;请求方接收所述仲裁服务器发送的供给方的信息,所述供给方的信息是所述仲裁服务器根据集群系统中的物理主机上报的空闲内存信息和所述本地虚拟机需要的远程缓存容量获得的;请求方根据所述供给方的信息,利用所述供给方的空闲内存,其中,所述请求方和供给方是所述集群系统中不同的物理主机。使用本发明实施例提供的技术方案,能够提高集群系统中内存资源的利用率。
-
公开(公告)号:CN101814049A
公开(公告)日:2010-08-25
申请号:CN201010131849.4
申请日:2010-03-23
Applicant: 北京大学
Abstract: 本发明公开了一种内存泄漏探测方法,属于虚拟化技术领域。本发明的方法为:1)虚拟机管理器截获内存资源的申请函数和释放函数的地址,从而获取分配的动态内存信息;2)根据动态内存的起始地址和长度,计算该动态内存所跨越的所有内存监控单元;3)在影子页表中删除对所述内存监控单元的虚拟地址到机器地址的映射关系;4)虚拟机陷入时,虚拟机管理器监测2)中的内存监控单元是否被访问;5)监控策略模块将设定时间内未被应用程序访问的内存监控单元所在的动态内存项视为存在内存泄漏嫌疑的动态内存项。与现有技术相比,本发明能够发现潜在的内存泄露,且不需要修改被探测程序的源代码,也不需要重新编译,为被测试代码提供了透明性。
-
-
公开(公告)号:CN112506666B
公开(公告)日:2024-08-23
申请号:CN202011525125.8
申请日:2020-12-22
Abstract: 本发明公开了一种基于驱动封装的GPU分时共享方法及系统,所述方法包括:获取任务切换指令,并根据所述任务切换指令确定切换前的任务;根据所述切换前的任务,确定所述切换前的任务所占用的GPU显存资源;将所述GPU显存资源备份,并在备份完成后释放所述GPU显存资源,以使得切换后的任务使用GPU并运行。本发明可通过截获用户应用对GPU资源的使用,并且在任务切换时,将所述GPU显存资源备份,并在备份完成后释放所述GPU显存资源,以使得切换后的任务使用GPU并运行,从而实现了GPU资源在不同任务之间的分时共享,推高了集群资源的利用率,降低了用户的等待时间。
-
公开(公告)号:CN118193148A
公开(公告)日:2024-06-14
申请号:CN202311465492.7
申请日:2023-11-03
Abstract: 本申请提供一种任务调度方法及装置,涉及计算机领域。该方法应用于云计算系统,该云计算系统中包括多个计算节点;该方法包括:检测第一任务的带宽污染能力。根据第一任务的带宽污染能力,确定在第一计算节点中运行第一任务的时间。第一计算节点包含于多个计算节点。本申请用于在保证云计算系统中各种任务顺利运行的同时,提高云计算系统中计算资源的使用效率。
-
公开(公告)号:CN110389833B
公开(公告)日:2023-06-16
申请号:CN201910572132.4
申请日:2019-06-28
Applicant: 北京大学深圳研究生院 , 鹏城实验室
IPC: G06F9/50
Abstract: 本申请提供一种处理器的性能调度方法及系统,该方法包括设置公式过程:设置适用于处理器内存子系统模型的IPC与MR(#L3way)、BW的计算式;求得优选值过程:依据计算式,确定目标IPC值所对应的MR(#L3way)与BW的优选取值。性能调度系统包括依次连接的输入单元、运算单元和设置单元。本申请提供的处理器的性能调度方法及系统,可以指导处理器上的内存带宽与第三级高速缓存资源的协同调度,针对性能优化目标,选择合适的内存带宽与第三级高速缓存。
-
公开(公告)号:CN111783976B
公开(公告)日:2023-04-21
申请号:CN202010317078.1
申请日:2020-04-21
IPC: G06N3/084 , G06N3/08 , G06N3/0985 , G06N3/0464
Abstract: 本发明涉及一种基于窗口梯度更新的神经网络训练过程中间值存储压缩方法和装置。该方法在神经网络训练的前向传播过程中,选择部分通道的输入激活值保存在内存中;在神经网络训练的反向传播过程中,利用保存的部分通道的输入激活值计算梯度,以更新神经网络的权重参数。通过窗口选择所述部分通道,通过超参数网络稠密度决定窗口大小,即窗口内包含的通道数占总通道数的比例。通过窗口选择所述部分通道的步骤包括:确定窗口的起始位置;根据网络稠密度确定窗口大小。本发明对神经网络训练时需要保存的激活值进行存储优化,能够大幅降低内存成本,提高训练深度更深、规模更大的神经网络的能力,同时也可以在内存受限的设备上在线训练网络。
-
-
-
-
-
-
-
-
-