一种Hadoop Yarn网络带宽资源调度、隔离方法和装置

    公开(公告)号:CN107483364A

    公开(公告)日:2017-12-15

    申请号:CN201610404404.6

    申请日:2016-06-08

    CPC classification number: H04L47/76

    Abstract: 本发明公开了一种Hadoop Yarn网络带宽资源调度、隔离方法和装置。该调度方法在RM侧执行,包括:接收AM发送的作业资源请求;所述工作资源请求包括:在作业中,每个任务的网络带宽资源需求量;根据每个所述任务的网络带宽需求量,采用预设的公平调度算法,为每个所述任务对应分配容器;其中,在每个所述容器中封装有对应任务的网络带宽资源分配量。该隔离方法在NM侧执行,包括:从AM获取多个容器;其中,每个所述容器中封装有对应的任务的网络带宽资源分配量;根据各个任务的网络带宽资源分配量,隔离各个任务占用的网络带宽资源。本发明在Yarn集群中增加了对网络带宽资源的调度,而且可以避免各个任务之间由于网络带宽资源的竞争而相互干扰。

    一种基于GraphX的分布式幂迭代聚类方法和装置

    公开(公告)号:CN107480685A

    公开(公告)日:2017-12-15

    申请号:CN201610402954.4

    申请日:2016-06-08

    Abstract: 本发明公开了一种基于GraphX的分布式幂迭代聚类方法和装置。该方法包括:获取分布式存储的多个数据;对所述多个数据分别进行数据清洗,得到多个清洗数据;基于所述多个清洗数据中两两之间的相似度,构建亲和矩阵;基于GraphX,利用设置的随机初始向量对所述亲和矩阵进行迭代处理;利用KMeans++算法,对迭代向量进行聚类处理,并根据处理结果得到所述多个清洗数据的聚类结果。本发明有效地解决了基于图的聚类算法可扩展性不强、计算复杂度高的问题。

    PCI‑E零拷贝DMA数据传输方法

    公开(公告)号:CN104239249B

    公开(公告)日:2017-08-04

    申请号:CN201410472223.8

    申请日:2014-09-16

    Abstract: 本发明提供了一种PCI‑E零拷贝DMA数据传输方法,属于PCI‑E数据传输技术领域。本方法首先在数据源和数据目的系统中各自分配适当大小的物理内存,并分别对两个系统中分配的物理内存使用双向链表建立空闲内存池和工作内存池;在数据源系统上,用户应用程序传输数据时,从空闲内存池取得空闲内存后直接进行数据填充,数据填充完后传输给数据目的系统;在数据目的系统,将接收的数据存入工作内存池,用户应用程序使用相应的API接口从工作内存池中取得数据进行使用;使用完毕后将相应的内存归还给空闲内存池。本发明极大地减轻了CPU的压力,减少了系统调用,对于大规模小数据量的传输减轻了用户内核空间的切换,提高了系统效率。

    基于自适应异构多分类模型的钓鱼网站检测方法和系统

    公开(公告)号:CN108965245B

    公开(公告)日:2021-04-13

    申请号:CN201810549417.1

    申请日:2018-05-31

    Abstract: 本发明提供了一种基于自适应异构多分类模型的钓鱼网站检测方法和系统。所述方法对多种基分类算法通过线性加成构建自适应异构多分类模型,对多分类模型进行训练,该模型输入是各基分类算法的输入,输出是样本标签,每个基分类算法从样本记录中提取相应的特征作为输入;采用机器学习算法求解模型参数,并用测试集进行测试和优化,最终得到该类钓鱼网站的检测模型。所述系统包括域名词素特征分类器、主题索引特征分类器、内容相似性特征分类器、结构样式特征分类器、视觉规则特征分类器、线性加成训练模块、集成分类器、训练数据集管理模块和检测及告警模块。本发明实现对钓鱼网站实时检测,并提高了钓鱼网站检测的准确性和稳定性。

    一种网络数据交互方法及装置

    公开(公告)号:CN107483384B

    公开(公告)日:2020-07-14

    申请号:CN201610404248.3

    申请日:2016-06-08

    Abstract: 本发明公开了一种网络数据交互方法及装置,本发明对从网络侧获取的网络数据进行分类,并对分类后的网络数据完成相应的处理后,通过共享内存的方式与后端BT系统进行数据交互,从而解决了相关技术中大规模的动态接入的连接的管理方法效率较低的问题,提高了系统运行效率,提升了服务器的性能。

Patent Agency Ranking