一种基于HFile的HBase二级索引更新方法及系统

    公开(公告)号:CN105404676B

    公开(公告)日:2018-08-31

    申请号:CN201510813149.6

    申请日:2015-11-20

    Abstract: 本发明公开了一种基于HFile的HBase二级索引更新方法及系统,该方法包括:解析步骤,监视HBase数据库刷新HFile文件的过程,当针对目标索引列产生了用户操作并生成有HFile文件时,解析该HFile文件并据以更新二级索引表;延迟步骤,在到达HFile文件的compaction操作的启动时间点时,判断该compaction操作所对应的HFile文件是否已经执行该解析该HFile文件的步骤,如果否,延迟该compaction操作的启动时间点,如果是,执行该compaction操作。本发明选择基于HBase文件存储中的HFile这一粒度层次来确定索引更新,不需要大幅度修改HBase源码,不需要维护多余的源表信息,在实现上与用户数据操作异步,不影响用户的时间体验,将索引数据更新维护与源表数据操作解耦。提高了HBase源表数据与二级索引表的同步程度。

    一种基于时间串的论坛页面信息自动抽取方法及系统

    公开(公告)号:CN104268148B

    公开(公告)日:2018-02-06

    申请号:CN201410429698.9

    申请日:2014-08-27

    Abstract: 本发明公开了一种基于时间串的论坛页面信息自动抽取方法及系统。该方法包括创建文件对象模型树,清除文件对象模型树中的无用标签和空标签,根据所述时间串,对所述文件对象模型树进行聚类,生成多个聚类集合,遍历所述聚类集合,获取最大簇,若所述最大簇只包含一个单独节点,则所述论坛页面为单楼页面,根据所述单独节点的时间串,获取所述单楼页面的发帖时间信息;遍历所述文件对象模型树,获取包含网页地址的新节点,通过关键字列表或正则式列表,对网页地址进行关键字查找或正则式查找;若网页地址包含关键字列表中的关键字或所述正则式列表中的正则式,则获取新节点及其子节点包含的文本信息,文本信息为所述单楼页面的用户名信息。

    一种面向网络话题的热度评价方法

    公开(公告)号:CN104615685B

    公开(公告)日:2018-01-26

    申请号:CN201510032875.4

    申请日:2015-01-22

    Abstract: 本发明提供一种面向网络话题的热度评价方法,包括:将网络话题的属性与规则中的属性进行对比;其中,所述规则是经过训练得到的,且用于指示网络话题的属性与热度值的对应关系;以及根据对比的结果得到该网络话题的热度值。本发明定义了数值评价体系,方便了用户理解话题的热度程度,有利于话题之间的热度比较;以及,采用粗糙集相关理论最优化训练集中的不一致性,学习出热度值与属性之间的关系,提供了高热度评价的效果,其中,将无限制的属性值离散化到有限的数值范围内,减小了计算的复杂度;此外,综合多种背景知识的用户的评价得到训练集,使得样本数据更为全面,尽可能地减轻了个体的偏见。

    一种训练用于预测社交网络用户转发消息的模型的方法

    公开(公告)号:CN107566249A

    公开(公告)日:2018-01-09

    申请号:CN201710727462.7

    申请日:2017-08-23

    Abstract: 一种训练用于预测社交网络用户转发消息的模型的方法,包括:1)获得所述社交网络中的历史数据,所述历史数据包括不同用户对同一条消息进行发布、转发的次序;2)根据所述历史数据,求解使得损失函数取值最小时各名用户的影响力和易感性;其中,所述影响力用于描述该名用户发布的消息被转发的概率,所述易感性用于描述该名用户受到发布消息的源发用户的影响而对所述消息进行转发的概率,所述损失函数是发布消息的源发用户的影响力、除所述源发用户之外的其他用户的易感性的函数;以及其中,所述用户的影响力和易感性作为所述用于预测社交网络用户转发消息的模型的参数。

    一种面向在线百科的实体属性抽取方法及系统

    公开(公告)号:CN103853823B

    公开(公告)日:2017-01-18

    申请号:CN201410065743.7

    申请日:2014-02-26

    Abstract: 本发明提供一种面向在线百科的实体属性抽取方法及系统,该方法包括:在待抽取的在线百科网页文本集合T中选择一个页面,抽取该页面的实体属性表达规则,得到当前规则集合。该方法还包括使用当前规则集合对所述待抽取的在线百科网页文本集合T进行实体属性抽取,并且根据抽取得到的实体属性抽取T的实体属性表达规则,用抽取得到的规则集合作为当前规则集合并重复这一过程k次,得到最终规则集合。使用所述最终规则集合对T进行实体属性抽取。本发明提供的实体属性抽取方法能够适应文本结构的变化,适用于各种在线百科,具有召回率高并且准确率高的效果。

    一种微博流行趋势预测方法、装置及系统

    公开(公告)号:CN103258248B

    公开(公告)日:2016-12-07

    申请号:CN201310190225.3

    申请日:2013-05-21

    Abstract: 本发明提供一种微博流行趋势预测方法、装置及系统。所述方法包括:获得微博用户群体行为特征描述,所述微博用户群体行为特征描述表征用户发布微博的行为特征以及微博转发和评论中用户的行为特征。所述方法还包括:根据微博发布后第1至i-1个时间间隔的转发和评论数量,以及所述微博用户群体行为特征描述,计算所述微博在第i个时间间隔的转发和评论数量,其中i为大于1的正整数。本发明从时间维度出发,对微博用户的群体行为特征进行描述,在保证微博流行趋势预测的准确性以及效率的同时还可以在线实时进行预测。

Patent Agency Ranking