一种面向高维度大数据的子空间聚类方法及装置

    公开(公告)号:CN106909942A

    公开(公告)日:2017-06-30

    申请号:CN201710112771.3

    申请日:2017-02-28

    CPC classification number: G06K9/6218 G06F17/30598

    Abstract: 本发明实施例提供了一种面向高维度大数据的子空间聚类方法及装置,其中,方法包括:针对获取的高维大数据的每行建立第一Map任务,并按照维度对每个第一Map任务中的数据进行分割,得到每个第一Map任务中每个维度的特征值;在第一Reduce节点中,获取并根据每个维度所有特征值的数据区域、预设窗口数、预设窗口合并阈值及预设窗口密度阈值,得到每个维度的1维密集子空间;根据每两个k维密集子空间,确定k+1维候选子空间;针对每个k维密集子空间建立第二Map任务,并获得分布于每个k维密集子空间的所有样本点;在第二Reduce节点中,得到聚类后的k+1维密集子空间。通过本方案可以提升高维度大数据聚类的运行效率。

    一种基于非累积属性的实时欺诈检测方法及装置

    公开(公告)号:CN105930430A

    公开(公告)日:2016-09-07

    申请号:CN201610245288.8

    申请日:2016-04-19

    Abstract: 本发明提供了一种基于非累积属性的实时欺诈检测方法及装置,用于电信信息安全技术领域。本发明装置包括属性设计模块、用户分箱模块、用户离散化模块、评分计算模块以及欺诈判决模块;属性设计模块中选择非累积的属性表征用户的通话习惯,用户分箱模块采用等深分箱,获取被检测用户在每个属性上的离散化结果,评分计算模块计算用户间的曼哈顿距离的最小值,欺诈判决模块根据阈值判断是否发生欺诈。本发明方法用非累积的属性刻画用户的行为特征,根据其通话习惯的相似性进行欺诈识别,采用等深分箱避免高值用户对正态分布偏度的影响,使用曼哈顿距离进行评分计算。本发明计算复杂度低,实现了海量数据实时运算,可在欺诈早期进行识别告警。

    Web服务质量的分布式测量系统和方法

    公开(公告)号:CN103209102B

    公开(公告)日:2015-11-04

    申请号:CN201310076529.7

    申请日:2013-03-11

    Abstract: 一种Web服务的服务质量QoS分布式测量系统和方法,系统设有:中心节点和多个测量节点;它是根据Web服务QoS估测模型,利用网络定位技术分别计算用户主机、多个测量节点和Web服务部署主机、即服务部署节点在抽象的网络坐标系中的网络坐标,再计算用户主机与测量节点的相似度,以便估测用户能够获得的QoS属性值。本发明能快速、准确地估测不同地域和/或不同网络环境下用户端能够获得的包括响应时间和可靠性的Web服务QoS。测量方法的实时性强,不依赖用户的历史QoS数据,不给用户增加额外负担,且估测过程透明。创新点是将网络系统映射到多维坐标系中,结合测量节点与用户主机的相似性,估测用户端能够获得的Web服务的响应时间和可靠性,数据真实、可信。

Patent Agency Ranking