公开(公告)号：CN117413281A

公开(公告)日：2024-01-16

申请号：CN202280038288.4

申请日：2022-05-04

Applicant: 微软技术许可有限责任公司

Inventor： V·埃兰戈 ,  B·达尔维什·鲁哈尼 ,  E·S·钟 ,  D·C·伯格 ,  M·戈卢布

IPC: G06N3/082 ,  G06N3/084 ,  G06N3/0499

Abstract: 本公开的实施例包括用于执行用于神经网络的数据感知模型修剪的系统和方法。在训练阶段期间，使用第一组数据训练神经网络。在验证阶段期间，使用第二组数据利用神经网络执行推理使神经网络在神经网络中的层处生成第一组输出。在验证阶段期间，基于第一组输出计算多个平均值和多个方差值。基于多个平均值和多个方差值计算多个熵值。基于多个熵值修剪第二组输出。第二组输出是由神经网络的层使用第三组数据生成的。

公开(公告)号：CN116745776A

公开(公告)日：2023-09-12

申请号：CN202280010765.6

申请日：2022-01-05

Applicant: 微软技术许可有限责任公司

Inventor： M·戈卢布 ,  R·赵 ,  E·钟 ,  D·伯格 ,  B·达尔维什·鲁哈尼 ,  杨格 ,  N·富西

IPC: G06N3/08

Abstract: 本公开的实施例包括一种系统，用于通过基于多个训练参数配置模型以执行训练过程、监测在训练过程的执行时产生的多个统计量、以及基于统计量中的一个或多个统计量来调整训练参数中的一个或多个训练参数以将统计量中的至少一个统计量维持在预定范围内来优化人工神经网络。在一些实施例中，人工智能(AI)处理器可以对模型执行训练过程，该训练过程具有相关联的训练参数集。训练过程的执行可以产生多个统计量。耦合到(多个)AI处理器的(多个)控制处理器可以接收统计量，并且据此调整训练参数中的一个或多个训练参数，以在训练过程的执行期间将统计量中的至少一个统计量维持在预定范围内。