-
公开(公告)号:CN111966810B
公开(公告)日:2021-03-09
申请号:CN202010910552.1
申请日:2020-09-02
Applicant: 中国矿业大学(北京)
IPC: G06F16/332 , G06F16/338
Abstract: 本发明公开了一种用于问答系统的问答对排序方法,涉及自然语言处理领域。该方法包括以下步骤:针对给定问题检索相关文档,并初步筛选出大概率具有所需回答的文档;将得到的文档按段落拆分为N个片段,分别放在给定问题的后边并向量化表示,得到N个向量化的问题‑片段对,N为整数;将N个向量化表示的问题‑片段对编码为N个统一大小的单个向量;对得到的N个统一大小的单个向量进行分类,得到问题‑片段对中“回答”是该“问题”的相关回答的概率,并进行排序;通过置信区间筛选出相关性较高的片段,作为最终答案。本发明可用于问答系统的问答对的准确排序。
-
公开(公告)号:CN111966810A
公开(公告)日:2020-11-20
申请号:CN202010910552.1
申请日:2020-09-02
Applicant: 中国矿业大学(北京)
IPC: G06F16/332 , G06F16/338
Abstract: 本发明公开了一种用于问答系统的问答对排序方法,涉及自然语言处理领域。该方法包括以下步骤:针对给定问题检索相关文档,并初步筛选出大概率具有所需回答的文档;将得到的文档按段落拆分为N个片段,分别放在给定问题的后边并向量化表示,得到N个向量化的问题-片段对,N为整数;将N个向量化表示的问题-片段对编码为N个统一大小的单个向量;对得到的N个统一大小的单个向量进行分类,得到问题-片段对中“回答”是该“问题”的相关回答的概率,并进行排序;通过置信区间筛选出相关性较高的片段,作为最终答案。本发明可用于问答系统的问答对的准确排序。
-
公开(公告)号:CN113688634B
公开(公告)日:2022-02-11
申请号:CN202110945239.6
申请日:2021-08-17
Applicant: 中国矿业大学(北京)
IPC: G06F40/30 , G06F40/211 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种细粒度情感分析方法,涉及自然语言处理领域。该方法包括以下步骤:为数据集中每条样本生成序列标签和位置嵌入向量、添加“ ”和“ ”标志以标识样本的首尾、添加标签“ ”以补齐样本长度,之后将样本通过词典转化为整数编码序列,输入bert模型生成样本的嵌入向量;搭建实体数量预测模型、实体起始位置标注模型和实体长度预测模型,并将样本分别输入三个模型进行训练,完成评价对象提取(OTE);搭建情感预测模型,并将样本输入该模型进行训练,完成情感极性分析(OSC);顺次连接以上训练完毕的四个模型,输入待预测样本,抽取评价对象并分析评价对象的情感极性。本发明可用于抽取评论文本中的评价对象及对其进行情感分析。
-
公开(公告)号:CN113688634A
公开(公告)日:2021-11-23
申请号:CN202110945239.6
申请日:2021-08-17
Applicant: 中国矿业大学(北京)
IPC: G06F40/30 , G06F40/211 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明涉及一种细粒度情感分析方法,涉及自然语言处理领域。该方法包括以下步骤:为数据集中每条样本生成序列标签和位置嵌入向量、添加“ ”和“ ”标志以标识样本的首尾、添加标签“ ”以补齐样本长度,之后将样本通过词典转化为整数编码序列,输入bert模型生成样本的嵌入向量;搭建实体数量预测模型、实体起始位置标注模型和实体长度预测模型,并将样本分别输入三个模型进行训练,完成评价对象提取(OTE);搭建情感预测模型,并将样本输入该模型进行训练,完成情感极性分析(OSC);顺次连接以上训练完毕的四个模型,输入待预测样本,抽取评价对象并分析评价对象的情感极性。本发明可用于抽取评论文本中的评价对象及对其进行情感分析。
-
公开(公告)号:CN113867961B
公开(公告)日:2022-07-22
申请号:CN202111159606.6
申请日:2021-09-30
Applicant: 中国矿业大学(北京)
Abstract: 一种异构GPU集群深度学习混合负载调度优化方法,包括:为异构GPU集群的多个下层计算节点静态添加节点类型标签;为分布式集群上层应用进行分类应用;分布式集群上层所服务的多个应用,通过调度模块将多个不同类型的下层计算节点平均分配至多个应用运行;计算多个不同类型的下层计算节点运行在多个应用上的所需时间;利用计算的多组所需时间,发现的异构GPU应用性能差异;并由第二价格交易法交易异构GPU应用性能差异。本发明中,在异构GPU集群种,该调度优化模型方法比传统的分布式处理框架在处理深度学习混合负载表现更优异,尤其是在集群环境复杂、异构化严重时更能充分利用集群资源、显著提高系统的执行效率。
-
公开(公告)号:CN113867961A
公开(公告)日:2021-12-31
申请号:CN202111159606.6
申请日:2021-09-30
Applicant: 中国矿业大学(北京)
Abstract: 一种异构GPU集群深度学习混合负载调度优化方法,包括:为异构GPU集群的多个下层计算节点静态添加节点类型标签;为分布式集群上层应用进行分类应用;分布式集群上层所服务的多个应用,通过调度模块将多个不同类型的下层计算节点平均分配至多个应用运行;计算多个不同类型的下层计算节点运行在多个应用上的所需时间;利用计算的多组所需时间,发现的异构GPU应用性能差异;并由第二价格交易法交易异构GPU应用性能差异。本发明中,在异构GPU集群种,该调度优化模型方法比传统的分布式处理框架在处理深度学习混合负载表现更优异,尤其是在集群环境复杂、异构化严重时更能充分利用集群资源、显著提高系统的执行效率。
-
公开(公告)号:CN112799844A
公开(公告)日:2021-05-14
申请号:CN202110140195.X
申请日:2021-02-02
Applicant: 中国矿业大学(北京) , 中煤科工开采研究院有限公司
Abstract: 一种异构环境下时空型混合负载调度优化方法,包括:依据异构分布式集群的各计算节点的处理器将其划分为高/中性能计算节点;对排队待运行混合负载的传统资源请求{CPU/GPU,Mem}进行属性扩展,增加Label和Time两个属性;对排队待运行混合负载的资源请求增加属性Utility;构建调度优化模型目标函数增加针对负载的限制;增加针对计算节点的限制;求解模型。本发明采用效益函数扩充时空型混合负载的传统资源请求,为其构建全局调度优化模型,进行灵活的任务分配,在可用资源充足时尽量为任务分配偏好的资源,在偏好资源忙碌时为其分配其它可执行资源,来达到提高系统执行效率的目标。
-
-
-
-
-
-