公开(公告)号：KR101638048B1

公开(公告)日：2016-07-20

申请号：KR1020140168339

申请日：2014-11-28

Applicant: 삼육대학교산학협력단

Inventor： 강우람 ,  김현규

IPC: G06F17/00 ,  G06F17/30

Abstract: 본발명은빅데이터처리를위한데이터를제공하는웹서버(10)와, 상기웹서버(10)의데이터를분할한후 여러분산노드로이동시켜주어진작업을병렬로처리할수 있도록지원하는마스터노드(20)와, 상기마스터노드(20)에의해맵 작업을할당받은서브노드인맵퍼(30) 및리듀스작업을할당받은서브노드인리듀서(40)로구성된데이터처리시스템에서빅데이터를처리하는방법에있어서, 상기웹서버(10)의데이터를제공받아 SQL질의문이발생했을때, 어떤데이터속성이맵퍼(30) 및리듀서(40)에전달되어야하는지를파악하는 SQL질의문분석단계(S10)와, 상기 SQL질의문분석단계(S10)를통해파악된속성들만을입력데이터로부터추출한후, 추출된데이터를상기맵퍼(30) 및리듀서(40)로데이터를분할하는데이터분할단계(S20)와, 분할된데이터를맵퍼(30)로전송하고, 주어진 SQL 조건에부합하는레코드의 ID 만을출력하는맵 단계(S30) 및상기맵퍼(30)로부터출력된레코드 ID를이용하여 DFS으로부터 ID에대한레코드정보를리듀서(40)로전달받은후 집계처리를수행하는리듀스단계(S40)로구성되어네트워크서비스로부터발생되는대량의데이터를보다빠른시간에처리할수 있다.

公开(公告)号：KR1020160064569A

公开(公告)日：2016-06-08

申请号：KR1020140168339

申请日：2014-11-28

Applicant: 삼육대학교산학협력단

Inventor： 강우람 ,  김현규

IPC: G06F17/00 ,  G06F17/30

CPC classification number: G06F17/00 ,  G06F17/30 ,  G06F17/60

Abstract: 본발명은빅데이터처리를위한데이터를제공하는웹서버(10)와, 상기웹서버(10)의데이터를분할한후 여러분산노드로이동시켜주어진작업을병렬로처리할수 있도록지원하는마스터노드(20)와, 상기마스터노드(20)에의해맵 작업을할당받은서브노드인맵퍼(30) 및리듀스작업을할당받은서브노드인리듀서(40)로구성된데이터처리시스템에서빅데이터를처리하는방법에있어서, 상기웹서버(10)의데이터를제공받아 SQL질의문이발생했을때, 어떤데이터속성이맵퍼(30) 및리듀서(40)에전달되어야하는지를파악하는 SQL질의문분석단계(S10)와, 상기 SQL질의문분석단계(S10)를통해파악된속성들만을입력데이터로부터추출한후, 추출된데이터를상기맵퍼(30) 및리듀서(40)로데이터를분할하는데이터분할단계(S20)와, 분할된데이터를맵퍼(30)로전송하고, 주어진 SQL 조건에부합하는레코드의 ID 만을출력하는맵 단계(S30) 및상기맵퍼(30)로부터출력된레코드 ID를이용하여 DFS으로부터 ID에대한레코드정보를리듀서(40)로전달받은후 집계처리를수행하는리듀스단계(S40)로구성되어네트워크서비스로부터발생되는대량의데이터를보다빠른시간에처리할수 있다.

Abstract translation: 本发明涉及一种在数据处理系统中处理大数据的方法，包括：用于提供用于处理大数据的数据的web服务器（10）; 主节点（20），用于分割web服务器（10）的数据，并将划分的数据传送到各种分发节点，使得可以并行处理给定的任务; 作为用于接收由主节点（20）分配的地图任务的子节点的映射器（30）; 和Reducer（40）作为接收Reduce任务的子节点。 处理大数据的方法包括：SQL查询分析步骤（S10），用于从web服务器（10）接收数据，并且当SQL查询发生时确定哪些数据属性将被传送到映射器（30）和 减速器（40）; 数据分割步骤（S20），仅从所述SQL查询分析步骤（S10）中提取从所述SQL查询分析步骤（S10）获得的属性，并且对所述提取的所述绘图器（30）和所述减速器（40）的数据进行分割; 将划分的数据发送到映射器（30）并仅输出满足预定义SQL条件的记录的标识（ID）的映射步骤（S30） 以及减少步骤（S40），通过使用从映射器（30）输出的记录ID，从减少器（40）上的分布式文件系统（DFS）接收记录ID的记录信息，然后执行计算处理。 根据本发明，可以在短时间内处理从网络服务产生的大量数据。