-
-
公开(公告)号:CN105824913A
公开(公告)日:2016-08-03
申请号:CN201610147697.4
申请日:2016-03-15
Applicant: 南京邮电大学
IPC: G06F17/30
CPC classification number: G06F16/2465 , G06F16/2246 , G06F16/24568 , G06F16/285
Abstract: 本发明公开一种基于Storm的决策树分类CVFDT并行化算法,用于高效快速的获取实时流数据,从中提取出隐含的、未知的、潜在的和有用的信息,进行商用。通过Spout产生数据源,通过Bolt对数据进行传递和分析处理,最终构建出一个决策树的分类模型,构建出的模型随着传输数据流的变化而自动更新,更加具有实时性和高效性。
-
公开(公告)号:CN105578212A
公开(公告)日:2016-05-11
申请号:CN201510933758.5
申请日:2015-12-15
Applicant: 南京邮电大学
IPC: H04N21/24 , H04N21/262 , H04N21/63
Abstract: 本发明是给出一种大数据中流计算平台下的点对点流媒体实时监测方法。分布式架构为Hadoop系统,点对点流媒体指的是Flash P2P数据。我们所提出的方法主要用于快速提取Flash P2P流量数据,从中再提取出隐含的、未知的、潜在的和有用的信息,使分析出的数据更加具有时效性,主要是用于解决将FLASH P2P迅速从巨大的总流量中快速实时分离出来这个问题,只有将FLASH P2P流量分离出来才能快速找到该隐含的信息,进行商用。通过HDFS存储实时数据,Mapreduce程序根据处理能力处理数据,对所有的数据进行两次map,筛选出符合要求的数据,其他数据则被删除。对数据进行reduce时,因为不需要做别的处理,可以直接整合输出。
-
公开(公告)号:CN105578212B
公开(公告)日:2019-02-19
申请号:CN201510933758.5
申请日:2015-12-15
Applicant: 南京邮电大学
IPC: H04N21/24 , H04N21/262 , H04N21/63
Abstract: 本发明是给出一种大数据中流计算平台下的点对点流媒体实时监测方法。分布式架构为Hadoop系统,点对点流媒体指的是Flash P2P数据。我们所提出的方法主要用于快速提取Flash P2P流量数据,从中再提取出隐含的、未知的、潜在的和有用的信息,使分析出的数据更加具有时效性,主要是用于解决将FLASH P2P迅速从巨大的总流量中快速实时分离出来这个问题,只有将FLASH P2P流量分离出来才能快速找到该隐含的信息,进行商用。通过HDFS存储实时数据,Mapreduce程序根据处理能力处理数据,对所有的数据进行两次map,筛选出符合要求的数据,其他数据则被删除。对数据进行reduce时,因为不需要做别的处理,可以直接整合输出。
-
公开(公告)号:CN105824715A
公开(公告)日:2016-08-03
申请号:CN201610147855.6
申请日:2016-03-15
Applicant: 南京邮电大学
IPC: G06F11/07
CPC classification number: G06F11/0754 , G06F11/0706
Abstract: 本发明公开了基于Storm的CVFDT在CDN运维预测中的算法,主要用于CDN运维领域,通过对Storm拓扑进行相应建模,对高强度的应用下的磁盘或者刀片服务器出现故障的可能性进行预判。从而提高用户感受,提升服务质量。同时也为后台人员迁移数据,动态调整负载等等方面提供了一个更可靠的标准。
-
-
-
-