一种面向多语言大模型的词语表示学习方法

    公开(公告)号:CN116956889A

    公开(公告)日:2023-10-27

    申请号:CN202310622720.0

    申请日:2023-05-30

    Abstract: 本发明提出一种面向多语言大模型的词语表示学习方法。所述方法在表示能力上能够显著高于主流的静态和动态词向量模型。本发明突破性地将单语词的向量表示改进为多点的流形表示。这种新的框架有望增加词向量空间的整体容量,更好地应对一词多义与细微上下文含义变化的场景。从流形学习与模式匹配的这一观点出发,充分利用现有的语言模型,挖掘词的空间表征能力,提高词语表示空间的完整性,使语言空间和词空间具有形式统一的表示。

Patent Agency Ranking