-
公开(公告)号：CN112051968A
公开(公告)日：2020-12-08
申请号：CN202010785947.3
申请日：2020-08-07
Applicant: 东北大学
Abstract: 本发明属于大数据存储领域，涉及一种基于Kafka的分布式数据流分级缓存自动迁移算法。根据Kafka数据访问的特点，设计了热数据的存储结构，不仅减少了存储空间，而且能够根据该结构来管理热数据的元数据信息。根据热数据的结构，提出了结合访问热度和迁移频率的数据自动迁移算法(HHF‑Migrate)，系统会根据该数据识别算法计算所有TopicPartition数据的访问热度和迁移频率，自动将热度和频率低的冷数据从SSD迁移至HDD，而HDD中热度和频率高的热数据将自动迁移至SSD，从未实现分级缓存。本发明设计的系统提升了Kafka的吞吐量，提供较低的延迟并减少存储成本。
-
公开(公告)号：CN112051969B
公开(公告)日：2021-10-08
申请号：CN202010785961.3
申请日：2020-08-07
Applicant: 东北大学
Abstract: 本发明属于大数据存储领域，涉及一种基于深度强化学习的分级存储数据自适应迁移方法。基于深度强化学习DQN模型的思路，结合分级存储系统的特点，定义了状态空间、动作空间、奖励值，设计实现了一种自适应数据迁移方法，数据块会根据该方法在全连接层神经网络的指导下做出迁移决策，最后由系统根据决策进行相应的数据迁移。本发明设计的自适应迁移算法提升了分级存储系统的吞吐量，并提供较低的延迟，充分利用了SSD存储设备的优势，减少了存储成本，提高了分级存储系统的数据访问性能。
-
公开(公告)号：CN112051969A
公开(公告)日：2020-12-08
申请号：CN202010785961.3
申请日：2020-08-07
Applicant: 东北大学
Abstract: 本发明属于大数据存储领域，涉及一种基于深度强化学习的分级存储数据自适应迁移方法。基于深度强化学习DQN模型的思路，结合分级存储系统的特点，定义了状态空间、动作空间、奖励值，设计实现了一种自适应数据迁移方法，数据块会根据该方法在全连接层神经网络的指导下做出迁移决策，最后由系统根据决策进行相应的数据迁移。本发明设计的自适应迁移算法提升了分级存储系统的吞吐量，并提供较低的延迟，充分利用了SSD存储设备的优势，减少了存储成本，提高了分级存储系统的数据访问性能。
-
公开(公告)号：CN112051968B
公开(公告)日：2021-10-22
申请号：CN202010785947.3
申请日：2020-08-07
Applicant: 东北大学
Abstract: 本发明属于大数据存储领域，涉及一种基于Kafka的分布式数据流分级缓存自动迁移方法。根据Kafka数据访问的特点，设计了热数据的存储结构，不仅减少了存储空间，而且能够根据该结构来管理热数据的元数据信息。根据热数据的结构，提出了结合访问热度和迁移频率的数据自动迁移方法(HHF‑Migrate)，系统会根据该数据识别方法计算所有TopicPartition数据的访问热度和迁移频率，自动将热度和频率低的冷数据从SSD迁移至HDD，而HDD中热度和频率高的热数据将自动迁移至SSD，从未实现分级缓存。本发明设计的系统提升了Kafka的吞吐量，提供较低的延迟并减少存储成本。
-
-
-
Search Results
4
records
(took 0.019 seconds)
