基于拓扑计算的大模型推理计算架构、方法及装置

    公开(公告)号:CN119740663A

    公开(公告)日:2025-04-01

    申请号:CN202411809841.7

    申请日:2024-12-10

    Abstract: 本发明提出一种基于拓扑计算的大模型推理计算架构,包括:CPU、SDRAM、代码存储器、提示词存储器,以及大模型推理加速器,并通过总线将该CPU、该SDRAM、该代码存储器、该提示词存储器及该大模型推理加速器进行路由连接;进行大模型推理计算时,首先将该代码存储器中的代码及该提示词存储器中的提示词和词表,读取至该SDRAM,再根据该提示词的标记ID查询该SDRAM中的词表以获取嵌入向量,然后将该嵌入向量发送给该大模型推理加速器进行大模型推理计算,将该大模型推理加速器获得的输出结果发送上位机。本发明还提出一种基于拓扑计算的大模型推理计算方法及装置。本发明解决了大模型推理过程中权值加载的开销过大及KV cache的SRAM实现面积开销过大的问题。

    高光谱遥感图像分类方法、装置、存储介质

    公开(公告)号:CN119313952A

    公开(公告)日:2025-01-14

    申请号:CN202411342753.0

    申请日:2024-09-25

    Abstract: 本发明提出一种高光谱遥感图像分类方法、装置、存储介质,该方法包含:获取待测高光谱遥感图像的源域数据集与目标域数据集,该源域数据集的样本量大于该目标域数据集;分别对该源域数据集与目标域数据集进行多尺度中心样本信息增强处理,得到第一多尺度中心样本集、第二多尺度中心样本集;将该第一多尺度中心样本集输入至分类模型进行预训练,该分类模型包含分支融合网络,用以执行特征融合处理,输出融合的空谱特征;将预训练后的分类模型迁移至该第二多尺度中心样本集,执行轻量化微调处理,该分类模型输出最终的目标分类结果。该方法在参数量少的情况下达到了优异的分类效果,提高了高光谱遥感图像的分类准确性。

    基于AI处理器板卡任务调度的AI任务执行加速方法及装置

    公开(公告)号:CN118394482A

    公开(公告)日:2024-07-26

    申请号:CN202410647061.0

    申请日:2024-05-23

    Abstract: 本发明提出一种基于AI处理器板卡任务调度的AI任务执行加速方法和装置,包括:获取待执行的AI任务,并在该AI任务中增加调度策略配置参数;具有多个AI处理器板卡的AI计算平台根据该调度策略配置参数,确定执行该AI任务的AI处理器板卡ID;将该AI任务的运行在该AI处理器板卡ID对应的AI处理器板卡上,得到该AI任务的执行结果。从而可以达到更高效地利用AI处理器的效果;在该调度机制中,用户可以在配置文件中灵活地设置调度策略;调度策略包括内存占用最少优先、计算利用率最低优先和智能调度策略。

    一种基于芯粒结构编码的芯片性能预测方法及装置

    公开(公告)号:CN118504517A

    公开(公告)日:2024-08-16

    申请号:CN202410707802.X

    申请日:2024-06-03

    Abstract: 本发明提出一种基于芯粒结构编码的芯片性能预测方法和装置,包括:构建包括多个单芯粒设计和多个芯粒组合设计的芯粒设计空间;从该芯粒设计空间中选取一个单芯粒设计和一个芯粒组合设计,得到芯片结构的图数据和芯片中芯粒的特征参数,该图数据采用二维矩阵编码表示;构建包括结构编码器、参数编码器和特征解码器的芯片性能预测模型,将该图数据输入该结构编码器得到结构特征,将该特征参数输入该参数编码器得到参数特征,将该结构特征和该参数特征输入该特征解码器得到该芯片结构的性能和功耗作为性能预测结果。

    用于分形智能处理器的分形可重配指令集

    公开(公告)号:CN111831331A

    公开(公告)日:2020-10-27

    申请号:CN202010688961.1

    申请日:2020-07-16

    Abstract: 本公开提供一种用于分形智能处理器的分形可重配指令集,该分形可重配指令集将本地指令或计算原语映射为用于分形运算的分形指令,该本地指令作用于向量数据或标量数据。该分形可重配指令集包括间接指令域。对应的,分形智能处理器的控制系统包括分解模块、降级模块及记录模块;分解模块用于对分形可重配指令集进行串行分解;降级模块用于对串行分解后的串行分解子指令进行降级;分解模块还用于对降级后的串行分解子指令进行并行分解。记录模块,用于在每一次串行分解之前,替换所间接指令域的值,以实现对分形可重配指令集的动态控制。该分形可重配指令抽象层次高,表达灵活性强,结合控制系统的硬件架构支持,可解决计算过程中的失效问题。

    大模型推理芯片的验证方法、装置、存储介质

    公开(公告)号:CN119623377A

    公开(公告)日:2025-03-14

    申请号:CN202411790989.0

    申请日:2024-12-06

    Abstract: 本发明提出一种大模型推理芯片的验证方法、装置、存储介质,该方法包含:根据大模型推理芯片的设计文档搭建模拟器核心状态机,并基于状态机搭建大模型推理芯片的模拟器;抓取大模型推理芯片的模型推理算法各步骤的数据流踪迹,获取踪迹文件;利用模拟器模拟推理过程,利用权重类型文件提供模型参数,利用激活类型文件比对模型推理算法执行过程中在相同输入下运算得到的激活数据,验证数据流踪迹的正确性;若数据流踪迹比对成功,抓取符合硬件行为仿真验证格式要求的踪迹文件,得到筛选后的跟踪文件;利用筛选后的跟踪文件作为金标准,对大模型推理芯片进行验证。该方法提高了对大模型推理芯片行为的模拟效果,提高了验证效率。

    用于智能处理器的指令执行方法、装置及电子设备

    公开(公告)号:CN111831339B

    公开(公告)日:2024-04-02

    申请号:CN202010688860.4

    申请日:2020-07-16

    Abstract: 本公开提供一种用于智能处理器的指令执行方法及装置,方法包括:指令译码,将执行分形运算的串行分解子指令译码为本地指令及分形运算指令;数据装载,将分形运算所需数据从外部存储单元读取至智能处理器的本地存储单元;操作执行,根据分形运算指令对数据完成分形运算;规约执行,根据本地指令对分形运算的结果进行规约运算;数据写回,将本地存储器中存储的规约运算结果读取至外部存储器;指令译码、数据装载、操作执行、规约执行及数据写回按照流水线方式执行。该方法可以在任意时将全部层次上的全部模块调动起来,提供了智能处理器的数据吞吐率,从而提高了智能处理器的执行效率。

Patent Agency Ranking