一种基于多级缓存结构的流式数据实时处理方法及系统
Abstract:
本发明公开了一种基于多级缓存结构的流式数据实时处理方法和系统,属于大数据流式处理技术领域。本发明方法将流式数据使用在线处理和批量处理以满足处理的低延迟、高吞吐、可靠性。将在线处理结果存储于在线缓存,并设计在线缓存结构使其自动高效删除过期数据;将近期访问离线持久化数据库的数据存于批量缓存,并采用基于LRU的策略高效淘汰过期数据;将查询结果高效合并以快速返回给用户。本发明还实现了一种基于多级缓存结构的流式数据实时处理系统。本发明能够解决现有方法中存在的存储与查询效率不高,可靠性低和内存占用率较高的问题。
Patent Agency Ranking
0/0