公开(公告)号：CN119781936A

公开(公告)日：2025-04-08

申请号：CN202411973777.6

申请日：2024-12-30

Applicant: 哈尔滨工业大学 ,  中国移动通信集团黑龙江有限公司

Inventor： 巢泽敏 ,  陈潇 ,  杜长斌 ,  孙长秋 ,  王宏志 ,  谭世喆 ,  岑建何 ,  王宇 ,  葛广志 ,  朱艳秋 ,  柴云峰 ,  李菲 ,  高肇明 ,  李欣宇

IPC: G06F9/48 ,  G06F9/50 ,  G06N20/00

Abstract: 一种Spark自动能效优化方法，涉及计算机技术领域，针对现有Spark应用的能效优化效率低的问题，本申请的技术方案可以显著提升Spark应用的能效优化效率。在本申请中，用户仅需提交命令，系统即可自动解析参数、应用需求，并调用优化方案进行参数调优，大大减轻了手动调优的工作负担，加速了Spark应用的部署和执行过程。本申请所提出的技术方案结合了启发式优化和机器学习方法的优势，能够在数据不足的情况下依赖硬件条件进行初步调优(“冷启动”)，并且为后续的机器学习模型提供训练数据。这种方案增强了系统在不同场景下的适应性和鲁棒性。

公开(公告)号：CN119782090A

公开(公告)日：2025-04-08

申请号：CN202411973779.5

申请日：2024-12-30

Applicant: 哈尔滨工业大学 ,  中国移动通信集团黑龙江有限公司

Inventor： 巢泽敏 ,  陈潇 ,  杜长斌 ,  孙长秋 ,  毕研恒 ,  李菲 ,  王宏志 ,  高肇明 ,  郑乔译 ,  李欣宇 ,  齐志鑫 ,  谭世喆 ,  王宇 ,  朱艳秋 ,  柴云峰 ,  葛广志 ,  岑建何

IPC: G06F11/30 ,  G06F9/50 ,  G06N3/048 ,  G06N3/084 ,  G06N3/092 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/044

Abstract: 一种HADOOP集群的能耗监测及优化方法，它属于计算机技术领域。本发明解决了现有功耗预测模型的泛化能力差、现有能耗预测方法未考虑CPU频率的影响以及现有能耗优化方法难以识别出最优配置参数组合的问题。本发明首先对功率缺失值进行填补，再利用填补后的数据对功耗预测模型进行训练，且训练过程中考虑了硬件资源使用情况数据，提高了训练好的功耗预测模型的泛化能力。本发明定性研究了包含集群服务器CPU频率在内的硬件参数和HADOOP集群配置参数列表对于集群能耗的映射关系，并利用基于强化学习的参数选择算法对配置参数列表进行选择并以此为基础应用调优，可以识别出最优配置参数组合，实现对能耗的优化。本发明方法可以应用于HADOOP集群的能耗监测及优化。

公开(公告)号：CN119088776A

公开(公告)日：2024-12-06

申请号：CN202411084163.2

申请日：2024-08-08

Applicant: 中国移动通信集团黑龙江有限公司 ,  中国移动通信集团有限公司

Inventor： 孙长秋 ,  杜长斌 ,  王恒石 ,  仇慧杰 ,  高肇明 ,  李欣宇 ,  李菲 ,  尹秉政 ,  谭世喆 ,  朱艳秋 ,  柴云峰 ,  孙芳杰

IPC: G06F16/176 ,  G06F16/182 ,  G06F9/50

Abstract: 本发明提供一种项目文件共享方法、装置、设备、介质及计算机程序产品，所述方法包括：在分布式云数据中心构建云资源调度模型和关键词提取模型，将所述关键词提取模型部署到所述目标用户终端；基于所述云资源调度模型确定所述分布式云数据中心中的目标云服务器，将目标项目文件存储至所述目标云服务器；基于所述目标用户终端生成的检索关键词，将所述分布式云数据中心中所述检索关键词对应的项目文件传输至所述目标用户终端；所述检索关键词是基于所述关键词提取模型确定的。本发明通过关键词提取模型提取项目文件的关键词，并将关键词作为项目文件的文件索引，实现用户终端通过云检索下载项目文件，提高了项目文件的共享效率。