公开(公告)号：CN111339753B

公开(公告)日：2023-06-16

申请号：CN202010117792.6

申请日：2020-02-25

Applicant: 北京林业大学

Inventor： 蒋东辰 ,  唐帅 ,  蒋翱远 ,  牛颖

IPC: G06F40/216 ,  G06F40/289 ,  G06F40/30

Abstract: 本发明提出一种自适应中文新词识别方法及系统，所述方法包括如下步骤：文本初始化步骤：用于对输入文本text做结构化处理，获得一个包含原有中文汉字并保持原文本中中文汉字相邻关系、间隔关系的宽字符序列；非偶然共现判定步骤：使用二项分布或使用泊松分布近似表征一对汉字前后相邻出现的概率分布，并基于给定的非偶然共现显著性水平αp确定文本text中的所有非偶然共现的相邻汉字对；统计关联性判定步骤：给定关联性显著性水平αk，判定文本text中相邻中文字符的关联程度，筛选出具有内部强关联的中文字符串；现有词库过滤步骤：基于现有词典，在满足非偶然共现和内部关联性强的字符串中筛选出尚未在词典中出现的中文字符串。

公开(公告)号：CN111339753A

公开(公告)日：2020-06-26

申请号：CN202010117792.6

申请日：2020-02-25

Applicant: 北京林业大学

Inventor： 蒋东辰 ,  唐帅 ,  蒋翱远 ,  牛颖

IPC: G06F40/216 ,  G06F40/289 ,  G06F40/30

Abstract: 本发明提出一种自适应中文新词识别方法及系统，所述方法包括如下步骤：文本初始化步骤：用于对输入文本text做结构化处理，获得一个包含原有中文汉字并保持原文本中中文汉字相邻关系、间隔关系的宽字符序列；非偶然共现判定步骤：使用二项分布或使用泊松分布近似表征一对汉字前后相邻出现的概率分布，并基于给定的非偶然共现显著性水平αp确定文本text中的所有非偶然共现的相邻汉字对；统计关联性判定步骤：给定关联性显著性水平αk，判定文本text中相邻中文字符的关联程度，筛选出具有内部强关联的中文字符串；现有词库过滤步骤：基于现有词典，在满足非偶然共现和内部关联性强的字符串中筛选出尚未在词典中出现的中文字符串。