公开(公告)号：CN112470171B

公开(公告)日：2025-04-18

申请号：CN201980031270.X

申请日：2019-04-27

Applicant: 微软技术许可有限责任公司

Inventor： S·阿米扎德 ,  杨格 ,  N·富西 ,  F·P·卡萨莱

IPC: G06N3/0464 ,  G06N3/084 ,  G06N5/00 ,  G06N3/047 ,  G06N3/044 ,  G06N3/0499

Abstract: 公开了用于针对机器学习问题选择神经网络的系统和方法。一种方法包括访问输入矩阵。该方法包括访问与机器学习问题相关联的机器学习问题空间和用于解决机器学习问题的多个未经训练的候选神经网络。该方法包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的表达性的至少一个表达性度量。该方法包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的可训练性的至少一个可训练性度量。该方法包括基于至少一个表达性度量和至少一个可训练性度量选择用于解决机器学习问题的至少一个候选神经网络。

公开(公告)号：CN112470171A

公开(公告)日：2021-03-09

申请号：CN201980031270.X

申请日：2019-04-27

Applicant: 微软技术许可有限责任公司

Inventor： S·阿米扎德 ,  杨格 ,  N·富西 ,  F·P·卡萨莱

IPC: G06N3/04 ,  G06N3/08 ,  G06N5/00

Abstract: 公开了用于针对机器学习问题选择神经网络的系统和方法。一种方法包括访问输入矩阵。该方法包括访问与机器学习问题相关联的机器学习问题空间和用于解决机器学习问题的多个未经训练的候选神经网络。该方法包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的表达性的至少一个表达性度量。该方法包括针对每个未经训练的候选神经网络，计算捕获候选神经网络关于机器学习问题的可训练性的至少一个可训练性度量。该方法包括基于至少一个表达性度量和至少一个可训练性度量选择用于解决机器学习问题的至少一个候选神经网络。

公开(公告)号：CN116745776A

公开(公告)日：2023-09-12

申请号：CN202280010765.6

申请日：2022-01-05

Applicant: 微软技术许可有限责任公司

Inventor： M·戈卢布 ,  R·赵 ,  E·钟 ,  D·伯格 ,  B·达尔维什·鲁哈尼 ,  杨格 ,  N·富西

IPC: G06N3/08

Abstract: 本公开的实施例包括一种系统，用于通过基于多个训练参数配置模型以执行训练过程、监测在训练过程的执行时产生的多个统计量、以及基于统计量中的一个或多个统计量来调整训练参数中的一个或多个训练参数以将统计量中的至少一个统计量维持在预定范围内来优化人工神经网络。在一些实施例中，人工智能(AI)处理器可以对模型执行训练过程，该训练过程具有相关联的训练参数集。训练过程的执行可以产生多个统计量。耦合到(多个)AI处理器的(多个)控制处理器可以接收统计量，并且据此调整训练参数中的一个或多个训练参数，以在训练过程的执行期间将统计量中的至少一个统计量维持在预定范围内。

公开(公告)号：CN116097281A

公开(公告)日：2023-05-09

申请号：CN202180051137.8

申请日：2021-05-13

Applicant: 微软技术许可有限责任公司

Inventor： 胡景峰 ,  杨格 ,  刘晓东 ,  高剑峰

IPC: G06N3/0985 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0499

Abstract: 提供了涉及调整与小神经网络模型相关联的超参数并将该超参数传递给大神经网络模型的系统和方法。至少一个神经网络模型可与针对一个或多个经调整的超参数的请求一起被接收。在缩放大神经网络之前，大神经网络根据参数化方案被参数化。然后大神经网络被缩放并且其尺寸被减小，使得超参数调整过程可被执行。然后经调整的超参数可被提供给请求方，使得该超参数可以直接输入到大神经网络中。通过使用小神经网络调整超参数，可以节省大量的计算周期和能量。