-
公开(公告)号:CN119782090A
公开(公告)日:2025-04-08
申请号:CN202411973779.5
申请日:2024-12-30
Applicant: 哈尔滨工业大学 , 中国移动通信集团黑龙江有限公司
Inventor: 巢泽敏 , 陈潇 , 杜长斌 , 孙长秋 , 毕研恒 , 李菲 , 王宏志 , 高肇明 , 郑乔译 , 李欣宇 , 齐志鑫 , 谭世喆 , 王宇 , 朱艳秋 , 柴云峰 , 葛广志 , 岑建何
Abstract: 一种HADOOP集群的能耗监测及优化方法,它属于计算机技术领域。本发明解决了现有功耗预测模型的泛化能力差、现有能耗预测方法未考虑CPU频率的影响以及现有能耗优化方法难以识别出最优配置参数组合的问题。本发明首先对功率缺失值进行填补,再利用填补后的数据对功耗预测模型进行训练,且训练过程中考虑了硬件资源使用情况数据,提高了训练好的功耗预测模型的泛化能力。本发明定性研究了包含集群服务器CPU频率在内的硬件参数和HADOOP集群配置参数列表对于集群能耗的映射关系,并利用基于强化学习的参数选择算法对配置参数列表进行选择并以此为基础应用调优,可以识别出最优配置参数组合,实现对能耗的优化。本发明方法可以应用于HADOOP集群的能耗监测及优化。
-
公开(公告)号:CN119781936A
公开(公告)日:2025-04-08
申请号:CN202411973777.6
申请日:2024-12-30
Applicant: 哈尔滨工业大学 , 中国移动通信集团黑龙江有限公司
Abstract: 一种Spark自动能效优化方法,涉及计算机技术领域,针对现有Spark应用的能效优化效率低的问题,本申请的技术方案可以显著提升Spark应用的能效优化效率。在本申请中,用户仅需提交命令,系统即可自动解析参数、应用需求,并调用优化方案进行参数调优,大大减轻了手动调优的工作负担,加速了Spark应用的部署和执行过程。本申请所提出的技术方案结合了启发式优化和机器学习方法的优势,能够在数据不足的情况下依赖硬件条件进行初步调优(“冷启动”),并且为后续的机器学习模型提供训练数据。这种方案增强了系统在不同场景下的适应性和鲁棒性。
-
公开(公告)号:CN114911823B
公开(公告)日:2025-04-04
申请号:CN202210319734.0
申请日:2022-03-29
Applicant: 哈尔滨工业大学
IPC: G06F16/2453 , G06F18/25 , G06N3/042 , G06N3/0464 , G06N3/08
Abstract: 面向云边端协同查询的深度学习代价估计系统、方法及设备,属于计算机技术领域。为了解决于目前还没有一种针对云、边、端三种设备联合查询优化的方法的问题。本发明所述系统中以云边端系统的系统节点元信息和协同查询计划树确定面向云边端协同查询的深度学习代价估计模型的模型输入,代价估计模型根据模型输入进行代价估计;代价估计模型采用残差连接的m个树卷积模块,对协同查询计划树编码进行特征融合和特征提取,进而得到针对每个云/边/端节点的查询计划特征;然后使用GCN和树卷积高效融合了查询特征和云边端数据库系统特征,实现了对云边端数据库的准确代价估计。本发明主要用于面向云边端协同查询的深度学习代价估计。
-
公开(公告)号:CN118227869A
公开(公告)日:2024-06-21
申请号:CN202410434523.0
申请日:2024-04-11
Applicant: 哈尔滨工业大学
IPC: G06F16/953 , G06N20/00
Abstract: 搜索引擎中轻量级基数估计系统及方法,涉及搜索引擎数据处理领域。本发明是为了提高搜索引擎的性能和效率。本发明所述的搜索引擎中轻量级基数估计系统及方法,对网页数据集中的网页数据进行预处理,获得网页数据的重要性排序;根据所述划分比例并结合所述重要性排序将网页数据集中的网页数据划分为采用传统基数估计方法进行基数估计部分和采用深度无监督方法进行基数估计部分,并根据划分结果进行基数估计;将传统基数估计方法的估计结果和深度无监督方法的估计结果进行合并,获得搜索引擎中轻量级基数估计结果。
-
公开(公告)号:CN117194408A
公开(公告)日:2023-12-08
申请号:CN202210609902.X
申请日:2022-05-31
IPC: G06F16/22 , G06F16/242
Abstract: 本申请实施例公开了一种索引方案的选择方法和存储设备,用于为递归架构的底层进行索引方案的选择。在本申请中,存储设备首先构建索引模型的递归架构,并获取多个索引和多个索引中各个索引对应的存储空间的位置,得到多个键值对,并为递归架构中底层的各个索引模型划分多个索引,得到递归架构中底层的各个索引模型所划分的索引,并确定与多个键值对中各个键值对拟合的各个索引方案,得到从索引到索引方案的索引映射函数,最后基于索引映射函数和递归架构中底层的各个索引模型所划分的索引,为递归架构中底层的各个索引模型分别确定一个索引方案,从而实现自动选择索引方案,不需要依赖用户专业知识和经验,具有较低的使用门槛。
-
公开(公告)号:CN117076272A
公开(公告)日:2023-11-17
申请号:CN202311053068.1
申请日:2023-08-21
Applicant: 哈尔滨工业大学
Abstract: 智能数据库性能评估方法,属于数据库性能评估领域。解决了现有数据库性能评估方法评估准确性低,且评估模型训练时间长、模型构建效率的问题。本发明在模型训练前期将多个变量进行划分,区分变量为频繁变量和不频繁变量,通过线性回归模型学习不频繁变量对数据库性能的影响,将线性回归模型的系统参数输入到第二阶段的机器学习分层模型中,频繁变量直接输入机器学习分层模型,学习频繁变量对数据库性能的影响,训练后的机器学习分层模型作为数据库性能评估模型进行性能评估。本发明主要用于对数据库性能进行评估。
-
公开(公告)号:CN116841987A
公开(公告)日:2023-10-03
申请号:CN202310830704.0
申请日:2023-07-07
Applicant: 哈尔滨工业大学
IPC: G06F16/21 , G06F16/2455 , G06F16/25 , G06F9/50 , G06F9/54
Abstract: 多嵌入式数据库缓冲区大小协调优化方法及系统,涉及数据库技术领域,针对现有技术中对嵌入式数据库优化时,往往是逐个进行优化,这一过程在同一个系统中重复执行多次,不但浪费时间且使每一个数据库的缓存大幅增长,导致其他程序运行时,由于内存不足,使得其他程序无法运行的问题,本申请针对嵌入式数据库轻量级的特点,对所有的嵌入式数据库进行统一的优化而不是每个数据库分别优化,提升了优化效率,避免了逐个优化导致的时间浪费。并且本申请通过缩小子函数,将缓冲区按排序恢复到默认大小,以此帮助系统渡过内存使用的高峰期,进而解决了数据库的缓存大幅增长,导致其他程序运行时,由于内存不足,使得其他程序无法运行的问题。
-
公开(公告)号:CN116450608A
公开(公告)日:2023-07-18
申请号:CN202310399085.4
申请日:2023-04-14
Applicant: 哈尔滨工业大学
IPC: G06F16/21 , G06F16/22 , G06F16/2455 , G06N3/0442
Abstract: 一种基于缓存与深度学习的索引推荐方法及系统,具体涉及一种基于缓存数据库与深度学习的计算机数据库的索引推荐方法及系统,为解决数据查询时计算机数据库的索引推荐方法未利用历史数据,且索引推荐算法无法判断计算机某个列表中特定列是否需要创建索引,导致查询准确率比较低的问题。将编码后的计算机数据库的工作负载和索引配置合并,得到特征向量;将计算机数据库对应的列和数据插入建立的缓存数据库内进行存储;将特征向量输入基于长短期记忆网络建立的数据库调优模型中,结合缓存数据库,输出向量B,若向量B中第i位元素为1,则在计算机数据库列表第i列创建索引,否则不创建索引,根据创建索引的列完成数据查询。属于索引推荐领域。
-
公开(公告)号:CN116345469A
公开(公告)日:2023-06-27
申请号:CN202310386777.5
申请日:2023-04-12
Applicant: 哈尔滨工业大学
Abstract: 一种基于图神经网络的电网潮流调整方法,属于电网控制技术领域。为了解决目前的人工调整电网潮流的方式存在耗费人力资源且速度很慢的问题。本发明利用图神经网络模型对电网异构图节点的电网数据进行图嵌入处理;然后针对图嵌入处理后不收敛的电网数据,基于强化学习的方式进行电网参数调整;图神经网络模型进行图嵌入处理时,利用重启随机游走的方式进行电网的节点采样,先将同一节点的不同参数转化成维度相同的特征,再对转换后的不同参数对应的特征进行不分先后顺序的聚合,然后针对目标节点选择将相同类型的邻居节点进行聚合,最后有权重地聚合不同类型邻居节点和目标节点参数。主要用于电网潮流调整。
-
公开(公告)号:CN116304589A
公开(公告)日:2023-06-23
申请号:CN202310156625.6
申请日:2023-02-17
Applicant: 国网浙江省电力有限公司 , 国网浙江省电力有限公司信息通信分公司 , 哈尔滨工业大学
IPC: G06F18/15 , G06F18/241 , G06N20/00 , G06F123/02
Abstract: 本申请公开了一种基于多约束协同的异常数据检测并修复的方法及相关产品,可应用于数据修复技术领域。该方法包括:确定多元时间序列中的待修复时间区间;根据所述待修复时间区间建立依赖网络;根据所述依赖网络获取可变特征预测顺序以及对应的预测模型字典;根据所述可变特征预测顺序和所述预测模型字典确定可变特征对应的候选修复值;根据所述候选修复值更新所述多元时间序列,实现时序数据的修复。因此,本申请对多元时间序列进行划分,并采用上类约束的算法对多元时间序列进行修复从而保证在修复过程中不引入新的约束的违规,在提高了错误数据修复结果的准确率和可靠度的前提下提高了错误数据的修复速度。
-
-
-
-
-
-
-
-
-