一种基于数据流的大数据增量抽取的数据交换平台
Abstract:
本发明涉及一种基于数据流的大数据增量抽取的数据交换平台,包括以下部分:网络服务器模块,为增量处理器模块和大数据存储模块提供执行环境,并用于托管大数据存储模块中的数据流的基于HTTP的命令和控制API;增量处理器模块,获取网络服务器模块提供的执行环境,将缓存队列存储在大数据存储模块中;大数据存储模块,获取网络服务器模块提供的执行环境,用于存储增量处理器模块的缓存队列;所述网络服务器模块的输出端连接增量处理器模块的输入端,增量处理器模块与大数据存储模块之间双向通信连接,网络服务器模块与大数据存储模块之间双向通信连接。本发明的数据变换平台对增量数据易于管理,使用方便,具有灵活缩放和可扩展的优点。
Public/Granted literature
Patent Agency Ranking
0/0