一种基于秘密共享的轻量级隐私保护ViT推理框架

    公开(公告)号:CN118196603A

    公开(公告)日:2024-06-14

    申请号:CN202311607587.8

    申请日:2023-11-29

    Inventor: 付钰 马敏 黄凯

    Abstract: 本发明公开了一种基于秘密共享的轻量级隐私保护ViT推理框架,包括嵌入层、分类层以及Transform编码器,所述嵌入层用于对输入的图片进行分块,展平后添加位置编码信息和类别token;Transform编码器包括多头注意力模块以及MLP块,用于提取图像的特征;分类层用于对数据进行分类,输入的图片依次进入嵌入层、SlayerNorm层、Transform编码器和分类层。该框架基于ABY2.0的分享语义,设计了安全Softmax、安全LayerNorm、安全GELU等计算协议,实验结果表明,SViT在不改变模型架构的情况下,可以保持高精度,同时降低推理开销,计算时间减少了2‑7倍,在线通信量降低了4‑6倍。

Patent Agency Ranking