• Patent Title: 一种基于多级缓存结构的流式数据实时处理方法及系统
  • Patent Title (English): Streaming data real-time processing method and system based on multi-level cache structure
  • Application No.: CN201710176167.7
    Application Date: 2017-03-23
  • Publication No.: CN106959928A
    Publication Date: 2017-07-18
  • Inventor: 赵峰李少锋金海肖洋
  • Applicant: 华中科技大学
  • Applicant Address: 湖北省武汉市洪山区珞喻路1037号
  • Assignee: 华中科技大学
  • Current Assignee: 华中科技大学
  • Current Assignee Address: 湖北省武汉市洪山区珞喻路1037号
  • Agency: 华中科技大学专利中心
  • Agent 李智; 曹葆青
  • Main IPC: G06F12/0811
  • IPC: G06F12/0811
一种基于多级缓存结构的流式数据实时处理方法及系统
Abstract:
本发明公开了一种基于多级缓存结构的流式数据实时处理方法和系统,属于大数据流式处理技术领域。本发明方法将流式数据使用在线处理和批量处理以满足处理的低延迟、高吞吐、可靠性。将在线处理结果存储于在线缓存,并设计在线缓存结构使其自动高效删除过期数据;将近期访问离线持久化数据库的数据存于批量缓存,并采用基于LRU的策略高效淘汰过期数据;将查询结果高效合并以快速返回给用户。本发明还实现了一种基于多级缓存结构的流式数据实时处理系统。本发明能够解决现有方法中存在的存储与查询效率不高,可靠性低和内存占用率较高的问题。
Patent Agency Ranking
0/0