公开(公告)号：CN119090692A

公开(公告)日：2024-12-06

申请号：CN202411196566.6

申请日：2024-08-29

Applicant: 浪潮云信息技术股份公司

Inventor： 桑新靖 ,  薛娇 ,  姜建彪 ,  张忠瑞

IPC: G06Q50/26 ,  G06F16/35 ,  G06F16/335 ,  G06F16/33 ,  G06F16/332 ,  G06F40/30 ,  G06N20/00

Abstract: 本发明公开一种基于大模型的拒识拒答方法及系统，涉及网络安全技术领域，方法包括：对用户提交的问题文本进行预处理；选择并加载预训练的大模型，大模型将预处理后的问题文本转换为嵌入向量；定义非法内容，构建索引库；计算用户所提交问题文本与索引库中非法内容的距离值，根据计算结果，触发拒答条件，自动判定该问题文本存在非法风险，随后采取标记或拦截措施，并反馈提示信息给对应用户，或者通过联网搜索或者预先构建的数据库向用户返回与问题文本对应的答案。本发明可以提升网络环境的和谐度与安全水平，通过智能拦截功能有效应对各类网络威胁。

公开(公告)号：CN118796473A

公开(公告)日：2024-10-18

申请号：CN202410962916.9

申请日：2024-07-18

Applicant: 浪潮云信息技术股份公司

Inventor： 张忠瑞 ,  薛娇 ,  朱芳娟 ,  姜建彪 ,  吕书宁

IPC: G06F9/50

Abstract: 本发明涉及计算机技术领域，具体为一种大模型服务的GPU资源调度方法及系统，包括以下步骤：GPU资源状态转换；GPU资源锁定；GPU资源解锁；GPU资源释放；有益效果为：本发明提出的大模型服务的GPU资源调度方法及系统，通过结合Redis的SET、DEL命令和过期时间设置，实现了一个高效、可靠的GPU资源锁定机制。SET命令确保了资源锁定的原子性，避免了并发冲突；而过期时间的设置则有效防止了因服务异常导致的死锁问题，提高了系统的健壮性和可用性。

公开(公告)号：CN119865420A

公开(公告)日：2025-04-22

申请号：CN202510006671.7

申请日：2025-01-03

Applicant: 浪潮云信息技术股份公司

Inventor： 吕书宁 ,  姜建彪 ,  张忠瑞

IPC: H04L41/0631 ,  H04L41/22

Abstract: 本发明提供了一种基于大模型集群的告警推送方法和监控系统。其中，该方法的实现主要是通过监控信息收集模块实时收集和处理来自vLLM框架的metrics接口的vLLM监控指标和GPU监控指标，利用信息处理模块对收集到的vLLM监控指标和GPU监控指标进行数据处理并将这些信息暴露为Prometheus可识别的metrics接口数据格式，再通过监控指标展示模块查询Prometheus以获取监控指标，并以大屏展示的形式呈现给运维人员，可以方便运维人员实时地查看大模型集群的运行状态和资源使用情况。此外，该方法还设置告警设置功能，当监控指标符合预设告警规则即在监控指标出现异常时，系统将告警信息提示推送给运维人员及时进行处理。通过上述方式能够提高系统监控的效率。

公开(公告)号：CN117492987A

公开(公告)日：2024-02-02

申请号：CN202311435170.8

申请日：2023-10-31

Applicant: 浪潮云信息技术股份公司

Inventor： 张忠瑞 ,  尹萍 ,  黄启庆 ,  于沈课

IPC: G06F9/50 ,  H04L67/51 ,  H04L67/10 ,  H04L61/3015 ,  G06F16/28

Abstract: 本发明公开了一种应用部署节点管理方法、系统、设备及可读存储介质，在接收到请求方发送的应用及其各部署节点的关联关系的保存请求时，会从保存请求中确定应用的详情信息及其各部署节点的ID，并调用第一持久化服务，以将应用的详情信息保存至数据库中，得到第一持久化服务生成的应用的ID，后续再构建应用的ID和各部署节点的ID的关联关系，并调用第二持久化服务，以将各关联关系存储至数据库中，若所有的关联关系保存成功，则将应用的ID返回给请求方。可见，通过该种方式，能够实现对应用的应用详情、应用的ID和各部署节点的ID的关联关系的保存，便于后续基于应用获取部署节点信息及对应用及其部署节点的管理。

公开(公告)号：CN119067102A

公开(公告)日：2024-12-03

申请号：CN202411195784.8

申请日：2024-08-29

Applicant: 浪潮云信息技术股份公司

Inventor： 张忠瑞 ,  薛娇 ,  朱芳娟 ,  姜建彪 ,  吕书宁 ,  桑新靖

IPC: G06F40/232 ,  G06F40/253 ,  G06F40/30 ,  G06F18/2431 ,  G06N20/00

Abstract: 本发明提供一种基于大模型的文本纠错方法及装置、介质、设备。该方法包括：接收用户的文本纠错请求；确定待纠错文本和分隔符列表；识别出所述待纠错文本中存在的各个分隔符，将不连续且相距最近的每两个分隔符之间的文本作为一个原始文本语句分割出来；利用第一大模型对所述原始文本语句列表中的原始文本语句进行纠错处理，得到一次纠错文本语句；将所述一次纠错文本语句列表中一次纠错文本语句以及该一次纠错文本语句的上下文语句输入至第二大模型中，得到二次纠错文本语句；确定纠错位置数据，并将所述原始文本语句列表、所述二次纠错文本语句列表和所述纠错位置数据返回至所述用户。本发明可以提高纠错的准确率，减少人力和时间成本。

公开(公告)号：CN118819618A

公开(公告)日：2024-10-22

申请号：CN202410962919.2

申请日：2024-07-18

Applicant: 浪潮云信息技术股份公司

Inventor： 吕书宁 ,  薛娇 ,  朱芳娟 ,  姜建彪 ,  张忠瑞

IPC: G06F8/71 ,  G06F9/455 ,  G06F11/30 ,  G06F11/32

Abstract: 本发明涉及大数据处理技术领域，具体为一种云平台的大模型配置管理方法及系统，包括以下方法：配置编写；大模型配置下发；大模型配置脚本生成及执行；采集监控信息及告警；有益效果为：本发明提出的云平台的大模型配置管理方法及系统，利用云平台资源编排管理技术自定义资源实现大模型配置的灵活加载。通过节点标签，提供统一的配置下发方法，并根据资源监控数据实时反馈给用户，方便灵活的根据监控数据指导制定配置文件。同时，在大模型发生异常时及时，通过告警及时通知运维人员。