公开(公告)号：CN117198267A

公开(公告)日：2023-12-08

申请号：CN202311019795.6

申请日：2023-08-14

Applicant: 西安电子科技大学

Inventor： 李卫斌 ,  姜冠宇 ,  李微 ,  任意 ,  毛鑫

IPC: G10L15/00 ,  G10L15/06 ,  G10L15/16 ,  G06F16/33 ,  G06F16/332 ,  G06F16/338 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0455 ,  G06N3/08 ,  G06F40/42

Abstract: 一种地方方言语音智能识别与问答方法、系统、设备及介质，WeNet2.0为普通话语音识别模型M1；获取地方方言文本翻译任务训练样本集R；Transformer模型为地方方言文本翻译模型M2；将R输入M2中，对M2迭代训练，得到地方方言文本翻译模型M2'；将用户测试方言音频输入M1，得到的中间文本向量输入M2'中，得到普通话文本；将普通话文本输入可定制检索式问答模型，若普通话文本与Q1和Q2匹配度计算后命中问答知识库，输出对应答复文本，否则将普通话文本输入生成式大语言模型，生成答复文本；将答复文本输入TTS模型，得到对应的音频；系统、设备及介质：用于实现该方法；本发明解决了地方方言语音识别方法识别准确率低的问题。

公开(公告)号：CN119721233A

公开(公告)日：2025-03-28

申请号：CN202411358506.X

申请日：2024-09-27

Applicant: 西安电子科技大学

Inventor： 李卫斌 ,  任意 ,  胡彦华 ,  董旭荣

IPC: G06N5/04 ,  G06N5/02 ,  G06F18/24

Abstract: 一种应用于水利领域的多模态大模型构建方法、系统、设备和介质，先获取水利领域文本数据并进行预处理，并结合向量数据库构建本地知识库，再对预处理后的水利领域文本数据设计提示词，调用大语言模型及人工标注生成问答形式数据集；对本地大语言模型词表扩充，并基于预处理后的水利领域文本数据，对词表扩充后的本地大语言模型二次预训练，得到水利领域大模型；接着基于问答形式数据集，使用Lora算法对水利领域大模型进行指令精调，生成水利领域智能聊天大模型；构建评测数据集评测水利领域智能聊天大模型的性能；基于水利领域智能聊天大模型和本地知识库，构建专用于水利领域的Water_Agent，并基于评测数据集，评测和优化；本发明具有准确性、效率高等优点。