用于统合不同数据模态的统计模型的系统和方法

    公开(公告)号:CN112119411A

    公开(公告)日:2020-12-22

    申请号:CN201980032862.3

    申请日:2019-05-08

    Abstract: 一种使用多模态统计模型执行预测任务的技术,所述多模态统计模型被配置为接收来自多个模态的输入数据,其包括来自第一模态的输入数据和来自不同于第一模态的第二模态的输入数据。该技术包括:获得指定所述多模态统计模型的信息,所述信息包括所述多模态统计模型的多个组件中的每一个的参数的值,所述多个组件包括用于分别处理第一和第二模态的输入数据的第一和第二编码器、第一和第二模态嵌入、联合模态表示和预测器;获得第一数据模态的第一输入数据;将第一输入数据提供给第一编码器以生成第一特征向量;使用所述联合模态表示、第一模态嵌入和第一特征向量来标识第二特征向量;以及使用所述预测器和第二特征向量来生成对预测任务的预测。

Patent Agency Ranking