一种基于动态数据评估的大语言模型能力评估方法及系统

    公开(公告)号:CN119988914A

    公开(公告)日:2025-05-13

    申请号:CN202510481116.X

    申请日:2025-04-17

    Applicant: 暨南大学

    Abstract: 本发明涉及机器学习技术领域,特别是涉及一种基于动态数据评估的大语言模型能力评估方法及系统,方法包括:获取用户输入的题目,并从所述题目中提取核心知识点和主旨内容;基于所述核心知识点和主旨内容,利用预训练的大语言模型进行联网检索,生成与所述题目相关的知识详述;基于所述核心知识点、主旨内容和知识详述,生成评估题目;对所述评估题目进行难度调控和优化,获取最终评估题目;对所述最终评估题目进行多维度能力评估和质量检测,获取评估结果,完成大语言模型的能力评估。本发明能够确保评估数据的质量和一致性,提升LLMs能力评估的可靠性与公平性。

Patent Agency Ranking