-
公开(公告)号:CN110764912A
公开(公告)日:2020-02-07
申请号:CN201911021198.0
申请日:2019-10-25
Abstract: 本发明公开一种自适应任务调度器及方法,属于分布式流处理系统负载均衡调度技术领域,该调度器主要包括性能监控数据采集模块、平滑加权轮询任务调度模块以及基于蚁群算法的任务调度模块,采用本发明的自适应任务调度器进行任务调度的方法在任务运行初始阶段,采用平滑加权轮询任务调度算法,根据节点的权重分配任务,在保证选中次数不变的情况下,使得节点不被连续选中;当集群的负载超过设定阈值的时候,为避免拖延任务集合的整体完成时间,使用基于蚁群算法的负载均衡算法在一定的迭代次数内计算出最优的任务分配方案,待集群资源降低到设定阈值下时候,继续采用平滑加权轮询算法。
-
公开(公告)号:CN105868422B
公开(公告)日:2019-07-23
申请号:CN201610445356.5
申请日:2016-06-21
Applicant: 东北大学
IPC: G06F16/9535
Abstract: 本发明提出一种基于弹性维特征向量优化抽取的协同过滤推荐方法,属于互联网信息推荐技术领域,本发明使用用户特征向量和推荐对象特征向量构建推荐方法,利用用户辅助向量和推荐对象辅助向量分别弹性的获取每个用户特征向量和每个推荐对象特征向量中用户真正感兴趣和推荐对象真正隶属的维度;本发明不需要专业知识和个体信息,安全简单;采用最小均方根误差作为优化约束条件,在实现过程中只需针对评分矩阵中已有的部分进行约束,仍能给出正确的拟合评分,避免了数据稀疏和由于缺乏历史数据的冷启动问题;该方法能获取每个用户特征向量和每个推荐对象特征向量中真正起作用的维度,并自适应地调整搜索方向,使推荐方法避免过拟合,优化推荐结果。
-
公开(公告)号:CN109447138A
公开(公告)日:2019-03-08
申请号:CN201811207644.2
申请日:2018-10-17
Applicant: 东北大学
IPC: G06K9/62 , G06F16/2458
Abstract: 本发明公开了一种基于直接区分序列挖掘的不确定数据分类方法,对不确定数据集UTD,首先初始化类标签,给出类标签集;在类标签集下,基于给定的信息增益阈值导出最小支持度阈值:采用模式增长策略进行子序列枚举,生成模式候选x,挖掘其中的区分序列,并采用削减策略,生成最终的区分序列结果集Rs;再对区分序列结果集Rs检查,利用闭序列检测算法判断Rs中的每个候选区分序列是否为概率频繁闭序列;若是概率频繁闭序列,则将满足条件的区分序列加入结果集RsTmp;最后结合基于规则的分类方法或支持向量机已有的成熟数据分类方法,完成数据分类。本发明作为不确定数据集上区分模式挖掘补充,显著提高效率,结果集更加简洁。
-
公开(公告)号:CN108897990A
公开(公告)日:2018-11-27
申请号:CN201810575946.9
申请日:2018-06-06
Applicant: 东北大学
Abstract: 本发明提供一种面向大规模高维序列数据的交互特征并行选择方法,包括:对原始高维序列数据进行编码;通过基于图论的块过滤,保留与目标类相关的编码后的序列数据;将与目标类相关的序列数据执行细粒度的特征过滤;以g为粒度划分特征过滤后的序列数据集为若干块,并基于极大等位公共子序列MACS得到特征候选区域;对候选区域对应的数据集基于MapReduce进行特征区域的多样性选择,得到代表性特征区域;对代表性特征区域采用置换搜索的并行蚁群算法进行交互特征选择。本发明为解决在大规模序列数据中进行交互特征选择提出一个全新的框架,使得特征选择更加高效、功能更为强大。
-
公开(公告)号:CN120012823A
公开(公告)日:2025-05-16
申请号:CN202510084492.5
申请日:2025-01-20
Applicant: 东北大学
Abstract: 本发明提供一种基于代理模型的无监督进化图神经网络搜索方法,涉及神经架构搜索技术领域,本发明在应用场景上考虑无监督场景,在网络层面上同时考虑网络层的拓扑关系、特征融合策略、不固定网络层数量,使用图对比学习方法训练图神经网络获取分类精度,使用遗传算法作为搜索算法,使用代理模型、权值共享策略减少了在搜索过程中图神经架构的评估时间。本发明适应无标签信息场景,同时考虑网络层的拓扑关系、特征融合策略,并且无需提前训练超网络,不固定网络层数,搜索空间更广,使用遗传算法全局搜索,引入预测器模块、权值共享策略减少搜索过程中图神经架构的评估时间。
-
公开(公告)号:CN119988733A
公开(公告)日:2025-05-13
申请号:CN202510080472.0
申请日:2025-01-20
Applicant: 东北大学
IPC: G06F16/9535 , G06F16/906 , G06F16/901 , G06F18/2321 , G06Q50/00 , G06N20/00
Abstract: 本发明提供一种基于图流三角形计数的社交网络异常用户检测的方法,涉及社交网络异常检测技术领域,本发明采用基于抽样的近似计算技术,在有限内存的约束下高效完成动态图流的三角形计数,显著提高三角形计数的实时性与准确性,适应大规模图流的实时处理需求;本发明通过动态计算节点的聚类系数,结合异常行为特征,能够有效识别社交网络中的异常顶点,在检测异常用户及异常社交模式方面具有更高的精确度;本发明通过分布式计算实现了实现计算任务的高效分配与并行执行,突破单机内存和处理能力的瓶颈,提升了算法实时估计精度的同时,通过负载均衡进一步降低了通信开销。
-
公开(公告)号:CN114782051B
公开(公告)日:2025-03-14
申请号:CN202210484477.6
申请日:2022-05-06
Applicant: 东北大学
IPC: G06Q20/40 , G06Q20/38 , G06N3/042 , G06N3/0442 , G06N3/08
Abstract: 本发明提供了基于多特征学习的以太坊钓鱼诈骗账户检测装置及方法,涉及以太坊交易网络的安全领域。该装置包括数据采集模块、以太坊钓鱼诈骗网络构建模块、以太坊钓鱼诈骗网络初始化模块、特征提取模块、账户类别平衡模块和分类模块。该方法包括采集以太坊钓鱼诈骗相关数据;构建以太坊钓鱼诈骗网络G并确定该网络的邻接矩阵A;初始化该网络的节点特征和边特征,获得初始节点特征矩阵F和初始边特征矩阵X;根据A、F和X提取每个节点的相关特征,并为各特征分配注意力系数;对该网络中的账户类别进行平衡处理后,使用图神经网络更新节点的节点特征,并基于交叉熵损失函数训练分类器,区分出钓鱼诈骗账户和正常账户。该装置及方法准确度和安全性均较高且节约资源。
-
公开(公告)号:CN113835896B
公开(公告)日:2024-03-22
申请号:CN202111149214.1
申请日:2021-09-29
Abstract: 本发明提供一种Gaia系统中面向迭代计算的并行度动态调整方法,涉及分布式大数据计算系统及迭代计算技术领域。该方法不需要事先预测作业所需资源,而是在作业执行过程中进行迭代资源的动态调整。如果作业执行过程中出现Slot资源不足或占用过高的情况,则根据用户预先设定的资源利用率目标进行相应的Slot资源扩容,使得作业所需的迭代资源得到满足。如果作业执行过程中出现Slot资源浪费的情况,则根据用户预设的资源利用率目标进行相应的Slot资源进行缩容,使得迭代作业所占用的Slot资源数量进行相应的减少。该并行度动态调整方法不需要在作业执行之前就执行相似的作业,也不需要执行专门的作业短示例,无需额外过多的预测时间。
-
公开(公告)号:CN117574227A
公开(公告)日:2024-02-20
申请号:CN202311533979.4
申请日:2023-11-17
Applicant: 东北大学
IPC: G06F18/241 , G06F18/20 , G06F18/214 , G06F18/21
Abstract: 本发明提供一种基于最优运输规划的图自监督分类方法,涉及人工智能技术领域。该方法首先收集原始图数据,并对每个图数据进行图增强,生成两个扰动图,得到扰动图的图表示;再使用图神经网络作为编码器,生成图中各个节点的嵌入,得到扰动图的节点表示;然后对两个扰动图的图表示和节点表示分别生成最优运输概率矩阵;并以两个相同维度的最优运输概率矩阵为基础构建编码器的损失函数,将节点的向量表示空间与图空间对齐进行比较;重复执行该过程,直至损失函数收敛至数值稳定,获得扰动图的节点表示的编码器作为下游任务的预训练模型。该方法不依赖正负样本对的区分,不使用优化意义模糊的损失函数,能够在数据不完整的情况下表现出良好的性能。
-
公开(公告)号:CN116402509A
公开(公告)日:2023-07-07
申请号:CN202310393194.5
申请日:2023-04-13
Applicant: 东北大学
IPC: G06Q20/40 , G06Q40/04 , G06F18/24 , G06F18/213 , G06F18/214 , G06F16/901 , G06F16/27 , G06N3/0442 , G06N3/0455 , G06N3/0464
Abstract: 本发明提供了基于图神经网络的以太坊诈骗账户检测装置及方法,涉及区块链中以太坊交易网络的安全技术领域。对于多数类节点的邻居进行欠采样以过滤不同类别的邻居,对少数类节点的邻居进行过采样链接与其特征相似或类别相同的邻居,有效缓解以太坊交易网络图的异质性问题。提取并学习节点特征时:聚合节点不同距离的邻居集合的特征,利用卷积和注意力机制对聚合的节点特征进行优化,更好地捕获以太坊交易网络图的结构信息;充分学习节点的时序特征,最终将两种不同类型的特征进行连接,使节点特征捕捉的信息更加全面。对少数类的采样概率高于多数类的采样概率,以缓解以太坊交易网络图中存在类别极端不平衡问题,提高分类器识别诈骗账户的准确性。
-
-
-
-
-
-
-
-
-