公开(公告)号：CN119918679A

公开(公告)日：2025-05-02

申请号：CN202510419806.2

申请日：2025-04-03

Applicant: 科大讯飞股份有限公司

Inventor： 张晨 ,  赵向军 ,  仉乾隆

IPC: G06N5/04 ,  G06N3/096

Abstract: 本申请公开了一种推理方法、相关装置及推理系统，应用于推理加速技术领域，推理方法包括：云端服务器通过对第一模型进行模型蒸馏得到第二模型，通过复制第二模型得到影子模型，将第二模型发送至终端；终端在本地部署第二模型，利用本地的第二模型对用户请求进行推理；终端将推理相关数据发送至云端服务器；云端服务器利用推理相关数据，辅以第一模型对影子模型进行参数优化，将影子模型的优化后参数发送至终端；终端根据影子模型的优化后参数对本地的第二模型进行参数优化。由于推理过程由端侧的本地小模型完成，因此，本申请公开的推理方法具有较高的推理速度，另外，本申请提供的推理方法可通过云侧的影子模型实现对于端侧模型的优化。

公开(公告)号：CN119721215A

公开(公告)日：2025-03-28

申请号：CN202510242434.0

申请日：2025-03-03

Applicant: 科大讯飞股份有限公司

Inventor： 张晨 ,  赵向军 ,  仉乾隆

IPC: G06N5/022

Abstract: 本申请公开了一种数据预测方法、预测大模型训练方法及相关装置，该方法包括：构建本次的n条输入数据，其中，各条输入数据均包括当前已预测数据、分别指示本次待预测的一数据单元的位置，每条输入数据指示的位置不同，n大于一；利用预测大模型分别基于各条输入数据执行目标预测任务，得到n个预测数据单元；将n个预测数据单元添加至当前已预测数据中，得到更新后的当前已预测数据，其中，各预测数据单元在当前已预测数据中的位置与对应的输入数据序列所指示的位置匹配；重复上述步骤，直至满足数据预测完成条件，并基于最新的当前已预测数据得到目标预测任务的预测结果。通过上述方式，本申请能够提高数据的预测效率。

公开(公告)号：CN118779449A

公开(公告)日：2024-10-15

申请号：CN202410848438.9

申请日：2024-06-27

Applicant: 科大讯飞股份有限公司

Inventor： 赵向军 ,  邓玉龙 ,  张晨 ,  仉乾隆

IPC: G06F16/35 ,  G06F40/30 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/084

Abstract: 本申请提供一种题块划分方法、装置、电子设备及存储介质，属于教育技术领域，该方法包括：获取表示试卷内容的原始序列和要素序列；通过第一编码器对原始序列进行编码以提取其语义信息，生成第一语义表示；并通过第二编码器对所述要素序列进行编码以提取其结构信息，生成第二语义表示；将第一语义表示和第二语义表示进行拼接以融合试卷的语义和结构信息，得到试卷语义表示；通过解码器对试卷语义表示进行解码，生成标签序列，标签序列用于表示试卷中每行内容在题块结构中的位置。本申请减少了规则依赖性，提高了信息的利用效率，并且通过解码过程引入了学习机制，使得模型能够适应不同的试卷内容和结构。