-
公开(公告)号：CN116739000A
公开(公告)日：2023-09-12
申请号：CN202310677729.1
申请日：2023-06-08
Applicant: 北京智源人工智能研究院
IPC: G06F40/30 , G06F40/126 , G06F16/35
Abstract: 本发明公开了用于复杂语境的言论抽取模型训练方法、装置和电子设备，属于语言智能处理技术领域。训练方法包括：构建标注有标签的言论内容变长文本为训练数据；利用训练数据对言论抽取模型进行训练，通过学习变长文本的语义表示以输出所述变长文本中每个单词的标签；利用输出的标签与标注的标签优化所述言论抽取模型的参数，以得到训练好的言论抽取模型。训练好的言论抽取模型能够在编码的词表示之上以一种更连续的方式适应具有不同结构的长跨度文本，不仅能够解决言论内容结构复杂和变长带来的抽取召回率和准确率低的问题，而且对于直接言论和间接言论的抽取都具有较高的召回率，模型的性能可以达到工业界可以实际使用的程度。
-
公开(公告)号：CN116306796A
公开(公告)日：2023-06-23
申请号：CN202310558620.6
申请日：2023-05-17
Applicant: 北京智源人工智能研究院
IPC: G06N3/0455 , G06N3/08
Abstract: 本发明公开了模型自生长训练加速方法、装置、电子设备和存储介质，属于人工智能技术领域。所述模型自生长训练加速方法包括，从基础神经网络结构中确定一个或多个生长维度；定义与所确定的每个生长维度相关联的基于掩码的生长算子，并利用所述生长算子对所述基础神经网络结构的所述生长维度进行扩展，以实现模型自生长训练。本发明在模型层面上实现了大模型的自生长加速，支持横向和纵向生长，在通过保值性实现知识继承的同时，降低了预训练的时间和算力成本。
-
公开(公告)号：CN119167895A
公开(公告)日：2024-12-20
申请号：CN202411649720.0
申请日：2024-11-19
Applicant: 北京智源人工智能研究院
IPC: G06F40/166 , G06N5/022
Abstract: 发明公开了一种大语言模型的知识编辑方法、装置和电子设备，涉及计算模型和人工智能技术领域。方法包括：利用随机前缀和第一隐藏状态计算大语言模型各编辑层的编辑历史的主体向量；利用第二隐藏状态计算大语言模型各编辑层的编辑历史的关系向量；利用编辑历史的主体向量、编辑历史的关系向量和整个模型层的协方差矩阵计算编辑层的输出权重的偏移量；利用偏移量更新编辑层的输出权重；利用更新的编辑层的输出权重对大语言模型的编辑层进行知识编辑。本方法只需要#imgabs0#存储空间，并允许将序列编辑方法转换为批处理编辑方法，从而减少序列编辑过程中对编辑模型的损坏，实现了轻损害知识编辑。该方法突破了现有技术中的编辑瓶颈问题，具有优越的性能。
-
公开(公告)号：CN115146607A
公开(公告)日：2022-10-04
申请号：CN202211078798.2
申请日：2022-09-05
Applicant: 北京智源人工智能研究院
IPC: G06F40/186 , G06F40/194 , G06K9/62 , G06F16/35
Abstract: 本发明公开了评论信息情感偏好识别模型训练方法、识别方法及设备，属于自然语言处理技术领域。评论信息情感偏好识别模型训练方法包括在原始通道中生成各组评论训练数据各自对应的原始文本模板，并在镜像通道中生成交换原始文本模板中比较对象的位置后形成的镜像文本模板，其中每组评论训练数据均包括评论信息、两个比较对象和属性；基于各个评论信息、原始文本模板和镜像文本模板，对原始通道和镜像通道中的情感偏好识别模型进行训练及优化，以使情感偏好识别模型用于输出评论信息中两个比较对象针对该属性的情感偏好结果。本发明通过双通道模型训练，降低了比较对象在评论信息句子中的顺序敏感度，在对比情感分析的实际应用中提高了识别准确度。
-
公开(公告)号：CN119169396B
公开(公告)日：2025-01-28
申请号：CN202411667066.6
申请日：2024-11-21
Applicant: 北京智源人工智能研究院
IPC: G06V10/764 , G06V10/42 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0499
Abstract: 本发明公开了一种合成图像检测框架构建方法和系统，属于图像识别技术领域。方法包括：获取一定数量的图片对作为训练集；分别对训练集中的各图片进行预处理形成一维序列并输入至视觉转换模型的线性层进行编码获得序列编码；分别提取训练集中的各图片的高曝光底片、频率域低通滤波图和暗通道图进行编码，获得额外编码；将其与序列编码和位置编码相加后获得的原始图像编码输入transformer编码模型中进行融合，提取出全局特征并输入至多层感知器中进行训练，获得各图片所属的类别。本申请采用视觉Transformer结构处理图像，添加额外编码，得到全局特征用于分类；另外采用图像到图像的生成方式获取成对的真实图片和生成图片，大幅度提高模型训练速度、减少数据量的依赖。
-
Patent Agency Ranking
公开(公告)号：CN119169396A
公开(公告)日：2024-12-20
申请号：CN202411667066.6
申请日：2024-11-21
Applicant: 北京智源人工智能研究院
IPC: G06V10/764 , G06V10/42 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0499
Abstract: 本发明公开了一种合成图像检测框架构建方法和系统，属于图像识别技术领域。方法包括：获取一定数量的图片对作为训练集；分别对训练集中的各图片进行预处理形成一维序列并输入至视觉转换模型的线性层进行编码获得序列编码；分别提取训练集中的各图片的高曝光底片、频率域低通滤波图和暗通道图进行编码，获得额外编码；将其与序列编码和位置编码相加后获得的原始图像编码输入transformer编码模型中进行融合，提取出全局特征并输入至多层感知器中进行训练，获得各图片所属的类别。本申请采用视觉Transformer结构处理图像，添加额外编码，得到全局特征用于分类；另外采用图像到图像的生成方式获取成对的真实图片和生成图片，大幅度提高模型训练速度、减少数据量的依赖。
-
公开(公告)号：CN118803262B
公开(公告)日：2024-11-22
申请号：CN202411287882.4
申请日：2024-09-14
Applicant: 北京智源人工智能研究院
IPC: H04N19/186 , H04N19/625 , H04N19/63 , H04N19/124
Abstract: 本发明公开了一种对图像tokenize的方法、装置和电子设备，属于人工智能技术领域。方法包括：对图像的三个通道分别进行时域‑频域转换，对应得到频域矩阵；利用与所述频域矩阵相同大小的量化表对频域矩阵进行量化，得到稀疏的整数矩阵；将量化后得到的稀疏的整数矩阵转化成符号序列；对转化得到的符号序列中高频共现的符号组合成为新的符号，得到新的符号序列，完成对图像的tokenize。该方法不仅解决了现有技术存在的核心不足，而且运行速度快，无需训练模型，实现和部署更简单方便；还可以通过调节高频、低频信息的保留和压缩比例，控制图像或视频的还原质量，可以灵活地适配到不同的领域和任务。
-
公开(公告)号：CN118917378A
公开(公告)日：2024-11-08
申请号：CN202411397473.X
申请日：2024-10-09
Applicant: 北京智源人工智能研究院
IPC: G06N3/0895 , G06N3/0455 , G06T7/73
Abstract: 本发明公开了一种视觉大模型的预训练方法、装置和电子设备，属于人工智能技术领域。预训练方法包括：获取无标注的图像并进行分片以及遮蔽分片的处理，得到遮蔽处理图像；基于遮蔽处理图像，以总损失#imgabs0#为优化目标，对改进的视觉大模型进行预训练；改进的视觉大模型为在包含有编码器和解码器的标准视觉大模型的基础上，在编码器的输出位置引入位置预测模块得到的。改进的视觉大模型能够在预训练过程中同时关注图像的内容和结构，从而提高模型的泛化能力、对位置信息建模理解能力和对图像内容的理解能力，解决了现有的标准视觉大模型在空间结构理解方面的不足。本发明为计算机视觉任务提供更强大的预训练模型。
-
公开(公告)号：CN116340779A
公开(公告)日：2023-06-27
申请号：CN202310620027.X
申请日：2023-05-30
Applicant: 北京智源人工智能研究院
IPC: G06F18/214 , G06F40/289 , G06F40/30 , G06F40/211
Abstract: 本发明公开了一种下一代通用基础模型的训练方法、装置和电子设备，属于自然语言处理技术领域。通过在语言训练阶段利用原始数据训练模型，以使下一代通用基础模型能够基于输入的原始数据生成对应的统一数据；在教师训练阶段利用统一数据训练模型，以使下一代通用基础模型能够判断命题的正确性；对模型进行交替迭代的语言训练和教师训练，以得到训练好的下一代通用基础模型。该方法通过在训练过程中利用语言原始数据和任务感知数据，教导模型学习任务感知数据，同时强调它作为语言模型的作用。使用者可以利用本发明训练得到的单一模型来处理多项任务，无需针对各个任务进行额外的微调，建模成本低，模型泛化性强，可以提高业务表现的性能。
-
公开(公告)号：CN119167895B
公开(公告)日：2025-03-11
申请号：CN202411649720.0
申请日：2024-11-19
Applicant: 北京智源人工智能研究院
IPC: G06F40/166 , G06N5/022
Abstract: 发明公开了一种大语言模型的知识编辑方法、装置和电子设备，涉及计算模型和人工智能技术领域。方法包括：利用随机前缀和第一隐藏状态计算大语言模型各编辑层的编辑历史的主体向量；利用第二隐藏状态计算大语言模型各编辑层的编辑历史的关系向量；利用编辑历史的主体向量、编辑历史的关系向量和整个模型层的协方差矩阵计算编辑层的输出权重的偏移量；利用偏移量更新编辑层的输出权重；利用更新的编辑层的输出权重对大语言模型的编辑层进行知识编辑。本方法只需要#imgabs0#存储空间，并允许将序列编辑方法转换为批处理编辑方法，从而减少序列编辑过程中对编辑模型的损坏，实现了轻损害知识编辑。该方法突破了现有技术中的编辑瓶颈问题，具有优越的性能。
-
-
-
-
-
-
-
-
-
Search Results
21
records
(took 0.04 seconds)
