基于跨机房Hadoop集群的数据存储的方法及装置
Abstract:
本发明涉及数据处理技术领域,特别涉及基于跨机房Hadoop集群的数据存储的方法及装置,用以解决现有技术中存在的基于跨机房的Hadoop集群中数据在存储时产生的传输数据流量较大的问题。该方法包括:在接收到需要写入的数据表后,确定用于计算数据表中数据的任务类型;根据确定的任务类型,将数据表中满足同一预设条件的数据存储到同一机房中或将数据表中全部数据存储到同一机房中。这种技术方案由于能够将数据表中满足同一预设条件的数据存储到同一机房中或将数据表中全部数据存储到同一机房中,使得同一数据不会存储在多个机房中,从而避免了在存储过程中产生的跨机房数据流量。
Public/Granted literature
Patent Agency Ranking
0/0