公开(公告)号：CN111414994A

公开(公告)日：2020-07-14

申请号：CN202010150245.8

申请日：2020-03-03

Applicant: 哈尔滨工业大学

Inventor： 郑浩然 ,  李君宝 ,  刘环宇 ,  吴然 ,  吴瑞东 ,  赵菲 ,  刘小龙

IPC: G06N3/04 ,  G06N3/08 ,  G06K9/62

Abstract: 本发明是一种基于FPGA的Yolov3网络计算加速系统及其加速方法。所述系统包括ARM和FPGA平台架构、片外存储区、AXI_M接口和AXI_S接口，所述ARM平台架构包括核心处理器和数据和内存控制器，所述FPGA平台架构包括加速核心单元、输入缓存端和输出缓存端；所述核心处理器包括ARM Cortex-A53CPU和L2缓存区，所述片外存储区包括SD卡和外部DDR4，所述加速核心单元包括数据矩阵向量阵列和计算模块。本发明输入和输出缓存端采用多通道并行读取写回的方式代替传统的单通道读写方式，最大化利用了Zynq芯片的带宽。输入缓存端设计双缓存区和寄存器阵列，实现高效的数据复用，成倍提高带宽。

公开(公告)号：CN119762537A

公开(公告)日：2025-04-04

申请号：CN202411935258.0

申请日：2024-12-26

Applicant: 哈尔滨工业大学

Inventor： 刘环宇 ,  温佳铮 ,  李君宝

IPC: G06T7/246 ,  G06N3/0455 ,  G06N3/092 ,  G06V10/44

Abstract: 基于序列建模强化学习的长期单目标跟踪方法、系统和设备，属于目标跟踪技术领域，解决跟踪器在长期跟踪环境中性能低问题。本发明方法包括：构建基于序列建模强化学习的长期跟踪器包括感知层和决策层，均采用基于Transformer的结构；感知层的视觉Transformer编码信息作为决策Transformer的输入，决策层生成的动作序列被反馈到感知层；长期跟踪器结合基于序列建模的强化学习改进，自适应选取基线短期跟踪器。通过分析记忆序列中的内容做决策；单个短期跟踪器影响整体跟踪结果，整体跟踪结果由视觉编码器和跟踪方法共同决定；决策层动态优化搜索区域位置实现目标跟踪。本发明适用长期单目标跟踪场景下目标跟踪。

公开(公告)号：CN117113078A

公开(公告)日：2023-11-24

申请号：CN202310995855.1

申请日：2023-08-08

Applicant: 哈尔滨工业大学

Inventor： 刘环宇 ,  绳远远 ,  王传朋 ,  张化良 ,  李君宝

IPC: G06F18/214 ,  G06F18/241 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/08 ,  G01M13/04

Abstract: 基于多源数据集成的小样本轴承故障模式识别方法和系统，涉及机械装备智能运维及健康管理领域。解决了现有小样本轴承故障模式下，样本少导致识别困难，且存在识别不准确的问题。所述方法包括：根据公开数据集构建多源数据样本；提取多源数据样本特征，构建源域训练集和目标域训练集；将目标域训练集和源域训练集进行组合，获取组合后的源域训练集；根据目标域测试集和组合后的多源域样本集训练基分类器；计算域间分布度量和样本相似度；构建权重矩阵；根据基分类器对目标域测试集进行分类识别，获得类别概率；根据权重矩阵对类别概率进行加权集成，获取目标域测试集的分类结果，完成故障模式识别。本发明应用于故障识别领域。

公开(公告)号：CN115861765A

公开(公告)日：2023-03-28

申请号：CN202211439778.3

申请日：2022-11-17

Applicant: 哈尔滨工业大学

Inventor： 刘环宇 ,  吴然 ,  李君宝 ,  杨忠琳

IPC: G06V10/82 ,  G06V10/774 ,  G06V10/764 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/088 ,  G06N3/096

Abstract: 基于无监督蒸馏网络的学生网络获取方法、图像分类模型获取方法、图像分类方法，涉及神经网络加速领域。针对现有技术中无监督训练方法面对大网络性能较好，在小网络上则不能保证训练的精度，除了预训练教师网络外，还会构造一个样本库来实现损失函数，限制了网络在边缘端的更新的问题，本发明提供了：基于无监督蒸馏网络的学生网络获取方法，包括：采集图像作为数据集；根据数据集，得到两个增广；两个增广分别通过教师网络和学生网络，得到教师网络的投影值和预测值和学生网络的投影值和预测值；根据教师网络的投影值和预测值和学生网络的投影值和预测值，更新教师网络和学生网络；输出当前学生网络，作为结果。适合应用于边缘计算场景。

公开(公告)号：CN111709522B

公开(公告)日：2022-08-02

申请号：CN202010436453.4

申请日：2020-05-21

Applicant: 哈尔滨工业大学

Inventor： 刘环宇 ,  李君宝 ,  谢浩哲 ,  杨一 ,  赵菲 ,  刘劼

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种基于服务器‑嵌入式协同的深度学习目标检测系统。服务器端包括知识库、训练模型、测试结果统计分析和计算资源监控模块，知识库包括数据管理模块，训练模型包括深度学习网络训练模块和模型压缩模块，测试结果统计分析包括模型测试模块，计算资源监控模块用于对系统的CPU、GPU资源进行实时监控，便于用户根据实际情况合理利用计算资源；嵌入端包括主控制器ARM和协处理器FPGA，主控制器ARM负责外部图像输入、图像预处理、NMS算法、叠加检测信息和图像输出任务；协处理器FPGA负责深度网络推理中的卷积层、捷径层和上采样层加速。本发明解决现深度学习网络模型由服务器端的训练到嵌入式端的快速部署问题。

公开(公告)号：CN114118406A

公开(公告)日：2022-03-01

申请号：CN202111262226.5

申请日：2021-10-28

Applicant: 哈尔滨工业大学 ,  中国航天科工集团第二研究院

Inventor： 吴然 ,  刘环宇 ,  唐嘉泽 ,  董博 ,  李君宝 ,  马喆

IPC: G06N3/08 ,  G06N3/04

Abstract: 一种卷积神经网络的量化压缩方法，解决了如何能够在提高压缩比的同时有效保留精度的问题，属于神经网络加速领域。本发明包括：S1、获取卷积神经网络的原始权重张量、输入特征张量以及量化点；S2、将原始权重张量输入至DP结构，DP结构对原始权重张量进行修改，输出修改后的原始权重张量；S3、利用量化点及量化函数对修改后的原始权重张量及除第一层外的原始输入特征张量进行定点量化；利用定点量化后的权重张量和输入特征张量替换原始权值张量和输入特征张量，得到量化后的卷积神经网络；S4、将训练数据输入至量化后的卷积神经网络，计算loss，利用反向传播和梯度下降更新DP结构的参数和原始权重张量，转入S2，进行下一轮，直至训练完成。