公开(公告)号：CN116362242A

公开(公告)日：2023-06-30

申请号：CN202310259317.6

申请日：2023-03-17

Applicant: 中国科学院新疆理化技术研究所

Inventor： 周喜 ,  杨奉毅 ,  杨雅婷 ,  马博 ,  董瑞 ,  艾比布拉·阿塔伍拉

IPC: G06F40/289 ,  G06F40/216 ,  G06F40/30 ,  G06F18/214

Abstract: 本发明公开了一种小样本槽值提取方法、装置、设备及存储介质，该方法获取槽值提取数据集，对数据集进行处理，构建小样本槽值提取数据集；利用辅助集上的全部数据，训练基础领域上的槽值提取模型，获得历史信息编码器；将生成的历史信息特征向量、元知识特征向量和词性信息特征向量进行融合，获取单词的增强特征向量，进一步得到目标槽位的原型向量表示；计算查询集中每个句子的发射分数与转移分数，计算出每个单词所属槽位的概率，提取出句子中的槽值。本发明充分迁移了相似领域中的大量知识，降低了模型对历史信息的遗忘程度，有效适应了小样本场景下的槽值提取任务，提高了小样本槽值提取的准确率。

公开(公告)号：CN116956942A

公开(公告)日：2023-10-27

申请号：CN202310547236.6

申请日：2023-05-16

Applicant: 中国科学院新疆理化技术研究所

Inventor： 周喜 ,  艾比布拉·阿塔伍拉 ,  杨雅婷 ,  马博 ,  杨奉毅

IPC: G06F40/35 ,  G06F40/30 ,  G06F40/211 ,  G06F16/35 ,  G06F18/2431 ,  G06F18/22 ,  G06F18/25 ,  G06N3/045

Abstract: 本发明涉及基于槽位共享跨度预测的多领域对话状态追踪方法、装置、设备以及存储介质，该方法获取多领域对话状态追踪数据集，对数据集进行处理，构建对话状态追踪数据集；提取对话上下文和槽位的语义信息，将其编码为高维特征词向量；通过新的融合机制融合对话上下文和槽位词向量，得到融合槽语义的对话上下文词向量和句子向量；根据槽位在上一轮是否被系统提和槽位的槽值在上一轮是否进行填充，构建两个辅助特征，并将其作为先验融合到融合槽语义的对话上下文句子向量，得到增强的对话上下文句子向量；将融合槽语义的对话上下文词向量和增强句子向量输入到槽值提取层提取槽值，进行对话状态更新。本发明通过设计一种新的融合机制，可以有效适应对话状态追踪任务，不仅提高了对话状态追踪的准确率，而且槽位共享的设计提高模型的扩展能力。

公开(公告)号：CN119539014A

公开(公告)日：2025-02-28

申请号：CN202411508097.7

申请日：2024-10-28

Applicant: 中国科学院新疆理化技术研究所

Inventor： 周喜 ,  艾比布拉·阿塔伍拉 ,  杨奉毅 ,  杨雅婷 ,  马博 ,  艾合塔木江·艾合麦提 ,  鲁凯文 ,  毕然

IPC: G06N3/088 ,  G06N3/092 ,  G06N3/0895 ,  G06N3/096 ,  G06F40/237 ,  G06F40/284

Abstract: 本公开提供了一种面向低资源语言的大语言模型训练方法、装置、设备及介质，涉及人工智能技术领域。该方法包括：获取低资源语言数据并经预处理得到低资源语言无监督训练数据；生成低资源语言词表并对现有的模型进行词表扩充；根据低资源语言无监督训练数据结合第一低秩自适应模块对词表扩充后的模型进行无监督预训练；根据低资源语言指令微调数据集结合第二低秩自适应模块对预训练后的模型进行指令微调；将高资源语言有监督语料分别输入指令微调后的模型和现有成熟模型，分别得到负例和正例数据，以此生成基于模型反馈的强化学习低资源语言数据集，并结合第三低秩自适应模块来对指令微调后的模型进行强化学习训练。

公开(公告)号：CN118585952A

公开(公告)日：2024-09-03

申请号：CN202410687610.7

申请日：2024-05-30

Applicant: 中国科学院新疆理化技术研究所

Inventor： 周喜 ,  杨奉毅 ,  杨雅婷 ,  马博 ,  王磊 ,  艾比布拉·阿塔伍拉 ,  毕然 ,  蒋同海

IPC: G06F18/25 ,  G06N3/042 ,  G06F18/213 ,  G06N3/0455

Abstract: 本公开提供了一种结构化数据语义表征方法，可应用于自然语言处理、结构化数据语义表征和大模型技术领域。该方法包括以下步骤：将结构化数据输入目标结构语义表征模型；使用基于图神经网络的结构特征提取器对结构化数据中的结构信息进行编码提取，得到结构化数据的结构表征；使用文本特征提取器对结构化数据中的文本信息进行编码提取，得到结构化数据的文本表征；以及将结构表征和文本表征进行融合，得到结构化数据的语义表征，其中，结构化数据包括知识图谱、表格和数据记录中的至少一种。本公开还提供了一种结构化数据语义表征装置、设备及介质。

公开(公告)号：CN118689965A

公开(公告)日：2024-09-24

申请号：CN202410931098.6

申请日：2024-07-12

Applicant: 中国科学院新疆理化技术研究所

Inventor： 周喜 ,  杨奉毅 ,  毕然 ,  杨雅婷 ,  艾比布拉·阿塔伍拉 ,  刘香玉 ,  刘金龙

IPC: G06F16/33 ,  G06F16/332 ,  G06F40/30 ,  G06N3/0455 ,  G06N3/084

Abstract: 本公开提供了一种基于小样本场景的意图槽位联合识别方法，包括：获取目标领域中待识别的m个第一对话文本和n个第二对话文本，并给m个第一对话文本分别添加意图标签和槽位标签，其中，m和n均为大于等于1的正整数；基于m个第一对话文本，利用预先训练的意图槽位联合识别模型，得到意图增强原型和槽位增强原型；通过意图槽位联合识别模型将每一个第二对话文本的所有单词转化为对应的第二单词特征向量，并对各第二单词特征向量分别进行编码，得到第二意图向量和第二槽位向量；比对增强意图原型与各第二意图向量，以及增强槽位原型与各第二槽位向量的语义相似程度，识别对话文本的意图及槽位。

公开(公告)号：CN118520094A

公开(公告)日：2024-08-20

申请号：CN202410842914.6

申请日：2024-06-27

Applicant: 中国科学院新疆理化技术研究所

Inventor： 周喜 ,  杨奉毅 ,  杨雅婷 ,  马博 ,  董瑞 ,  艾比布拉·阿塔伍拉 ,  鲁凯文 ,  蒋同海

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/30 ,  G06N20/00

Abstract: 提供了一种基于思维链的动态语义检索方法，可应用于自然语言处理、检索增强生成和大模型技术领域。该方法包括以下步骤：获取复杂问题、大模型和向量检索库；将复杂问题输入大模型中，利用大模型对复杂问题进行分解，得到回复复杂问题的子问题思维链；基于子问题思维链、大模型和向量检索库，获取复杂问题的语义表征、当前子问题的语义表征以及上一子问题的回复的语义表征；将上述三种语义表征输入预先训练的检索模型中，得到当前子问题的回复的语义表示；以及获取子问题思维链中的最后一个子问题的回复的语义表示作为复杂问题的正确回复。本公开还提供了一种基于思维链的动态语义检索装置、设备及介质。