Abstract:
대규모 데이터 스트림의 실시간 처리를 지원하기 위해 데이터 플로(flow) 처리 언어를 제공하고, 이를 클러스터 시스템에서 실행하는 환경을 제공하는 데이터 스트림 처리 방법 및 그 장치가 개시된다. 본 발명의 일 면에 따른 데이터 플로 기반 대규모 데이터 스트림 처리 방법은 실시간 데이터 플로 언어로 기술된 빅데이터 실시간 처리 서비스를 입력 받는 단계; 상기 빅데이터 실시간 처리 서비스를 해석하여 분산 스트림 처리 서비스를 생성하는 단계; 및 다수의 노드들로 구성된 클러스터 시스템에 상기 분산 스트림 처리 서비스를 분산 배치하고, 각 노드들에서 상기 분산 스트림 처리 서비스를 실행하기 위한 실행 환경을 구성하는 단계를 포함한다.
Abstract:
PURPOSE: A method and an apparatus for providing services are provided to support distributed continuous processing services with respect to large capacity stream data and storage data with various application environment and various formats. CONSTITUTION: A new service is registered in a data processing system(501). The system selects at least one node and/or at least one task executor according to the node. The node allocates tasks forming the new service. The system allocates the tasks to the task executor of the selected node and/or the selected task executor(503). The system dynamically executes scheduling processes based on the execution state of the tasks(504).
Abstract:
PURPOSE: A method and apparatus for providing global counter value is provided to reduce load calculating global counter value all the time through a load adapting type global counter providing method. CONSTITUTION: A method for providing global counter comprises: a step(820) of deciding global counter related to load state; a step of collecting corresponding counter information from a global counter list, in case the decided load state is an update-heavy mode; a step(840) of calculating global counter value; a step(850) of providing the calculated global counter value; and a step(880) of obtaining the global counter value from a global counter summary list, in case the decided load state is a request-heavy mode.
Abstract:
PURPOSE: A distributed parallel processing system and method based on incremental MapReduce on data stream are provided to process bulk data stream in nearly real-time by processing consecutively collected bulk data stream using a distributed parallel processing technique based on incremental MapReduce. CONSTITUTION: A stream data monitor(112) periodically monitors the additional data collected in the input data storage position(111). A task management device(102) generates an additional task according to the monitoring results, and outputs new final results by combining the intermediate results generated from the existing task and the additional task. The task management device processes the additional data and generates a map task for outputting intermediate results and a reduce task for handling the intermediate results.
Abstract:
본 발명의 파일 복제를 제공하는 클러스터 시스템을 기초로한 데이터 관리 방법 및 이를 이용한 데이터 관리 시스템에서는, 동일한 파티션을 다수의 파티션 서버가 동시에 서비스하기 위하여 복제 파티션 서버군이 할당되고, 상기 복제 파티션 서버군을 이용하여 서비스를 제공한다. 이때, 노드 오류 발생시 데이터를 복구하여, 상기 복제 파티션 서버군을 재구성한다.
Abstract:
A device for distributing a task per a task thread group in a distributed parallel processing system, a method thereof and a processing method thereof are provided to allocate a map task per a task thread group and share an intermediate result file about an individual map task, thereby reducing the number of reduce task transfer files. A thread unit task distributing device comprises a work manager(521) and a map task launcher(531). The work manager distributes works requested by a user by a core unit task of a separated node processor. The task launcher processes the task by a thread unit of the core in parallel. The task launcher generates an integrated intermediate result file.
Abstract:
본 발명은 XML(eXtended Markup Language) 기반 센서 데이터 스트림 처리 시스템 및 방법에 관한 것으로, 다양한 종류의 센서들로부터 들어오는 데이터 스트림에 대하여 다양한 조건들로 구성되는 이벤트(즉, 특정 상황의 발생 여부)를 정의할 수 있고, 특정 이벤트 발생시 적용해야 하는 서비스를 정의하여, 이를 실행할 수 있도록 함으로써, 다양한 유비쿼터스 서비스 환경을 쉽게 구축할 수 있다. 또한, 본 발명의 XML 기반 센서 데이터 스트림 처리 시스템 및 방법은, 표현력이 뛰어나고 융통성이 있는 XML모델을 기반으로 센서 데이터를 처리하도록 구성되어 있으므로 다양한 형식의 센서 데이터를 제공하는 각종 센서들과의 연동이 용이하다. 또한, 연동된 센서들로부터 들어오는 대용량의 센서 데이터 스트림을 실시간으로 처리하여 유비쿼터스 환경의 다양한 응용에서 요구하는 실시간 정보를 제공해 줌으로써, 서비스 제공자가 용용 서비스 개발에만 전념할 수 있도록 한다. XML, 센서 데이터, 스트림 처리, 이벤트, 유비쿼터스
Abstract:
본 발명은 관계형 데이터베이스를 기반으로 하는 XML 데이터베이스에서 XQuery 트리거를 지원하는 방법 및 시스템에 관한 것으로서, 수없이 많은 개체에 의해 끊임없이 XML 데이터가 생성되는 유비쿼터스 환경에서 사용자가 XML 데이터베이스의 변경을 일일이 점검한 후에 질의를 해야 하는 불편함 및 이에 따른 성능 감소를 해소시키기 위해, 관계형 데이터베이스를 기반으로 하는 XML 데이터베이스에 있어, 기존 관계형 데이터베이스에서 특정 테이블에 데이터의 변화가 발생했을 때 이와 연관된 INSERT, UPDATE, DELETE문, 그리고 저장 또는 외부 프로시져 등을 자동으로 실행시키는 SQL 트리거를 기반으로 XQuery 트리거 기법을 지원한다. XML, XQuery, XML 데이터베이스, SQL, 관계형 데이터베이스, 트리거
Abstract:
본 발명은 XML 문서 검색장치 및 그 방법에 관한 것으로서, 외부 장치를 통해 데이터베이스 질의어와 XML 질의어가 밀결합된 형태의 통합질의어를 입력받고, 상기 통합질의어를 분석하여 그 통합질의어에 대한 구문트리를 생성하는 구문분석모듈과, 상기 구문분석모듈에서 생성된 구문트리를 이용하여 통합 XML 질의어에서 요구하는 질의를 수행하는 질의처리모듈과, 상기 질의처리모듈의 질의 수행결과를 데이터베이스 엔진에서 처리하기에 적합한 형태로 변환하는 결과처리모듈과, 상기 구문분석모듈, 질의처리모듈 및 결과처리모듈을 제어하고, 데이터베이스 엔진과의 인터페이스를 수행하는 검색관리모듈을 포함하는 XML 문서 검색장치에 의해 XML 문서를 검색함으로써, 대량의 XML 데이터와 기존 데이터를 용이하게 연동하여 사용할 수 있고, XML 질의 � ��리 성능을 최적화할 수 있다는 특징이 있다.
Abstract:
PURPOSE: A device and a method for managing an XML(eXtensible Markup Language) result of an XML document retrieval system are provided to shorten a response time when a user accesses the result by offering the partial result of a proper size according to user's needs. CONSTITUTION: A result managing module(11) manages a retrieval result until the connection to a server is cancelled by completing the result transmission needed to a client. A result access module(12) provides the access to a predetermined partial result document from an entire result document set of the server in order to support the partial result tree transmission. A DOM(Document Object Model) interface module(13) transparently displays the partial retrieval result document selected from the result access module to the client in a DOM tree form of the W3C(World Wide Web Consortium), transmits the partial result tree of the partial result document between the server and the client, and reconfigures an original result tree.