-
公开(公告)号:KR1020110069338A
公开(公告)日:2011-06-23
申请号:KR1020090126035
申请日:2009-12-17
Applicant: 한국전자통신연구원
CPC classification number: G06F9/5027 , G06F15/17393 , G06F2209/5017
Abstract: PURPOSE: A distributed parallel processing system and method based on incremental MapReduce on data stream are provided to process bulk data stream in nearly real-time by processing consecutively collected bulk data stream using a distributed parallel processing technique based on incremental MapReduce. CONSTITUTION: A stream data monitor(112) periodically monitors the additional data collected in the input data storage position(111). A task management device(102) generates an additional task according to the monitoring results, and outputs new final results by combining the intermediate results generated from the existing task and the additional task. The task management device processes the additional data and generates a map task for outputting intermediate results and a reduce task for handling the intermediate results.
Abstract translation: 目的:提供基于数据流上增量MapReduce的分布式并行处理系统和方法,通过使用基于增量MapReduce的分布式并行处理技术处理连续收集的批量数据流,几乎实时处理批量数据流。 构成:流数据监视器(112)周期性地监视在输入数据存储位置(111)中收集的附加数据。 任务管理装置(102)根据监视结果生成附加任务,并通过组合从现有任务生成的中间结果和附加任务来输出新的最终结果。 任务管理装置处理附加数据并生成用于输出中间结果的映射任务和用于处理中间结果的减少任务。
-
公开(公告)号:KR101035857B1
公开(公告)日:2011-05-19
申请号:KR1020080130226
申请日:2008-12-19
Applicant: 한국전자통신연구원
Abstract: 본 발명의 파일 복제를 제공하는 클러스터 시스템을 기초로한 데이터 관리 방법 및 이를 이용한 데이터 관리 시스템에서는, 동일한 파티션을 다수의 파티션 서버가 동시에 서비스하기 위하여 복제 파티션 서버군이 할당되고, 상기 복제 파티션 서버군을 이용하여 서비스를 제공한다. 이때, 노드 오류 발생시 데이터를 복구하여, 상기 복제 파티션 서버군을 재구성한다.
-
公开(公告)号:KR100921683B1
公开(公告)日:2009-10-15
申请号:KR1020070132588
申请日:2007-12-17
Applicant: 한국전자통신연구원
IPC: G06F12/00
Abstract: 본 발명은 키-값 데이터 모델에 적합한 캐시를 최적화할 수 있는 메모리 페이지 내의 데이터 저장방법에 대한 것이다.
본 발명에 따른 캐쉬 최적화를 위한 메모리 페이지 내 데이터 저장 방법은, 메모리 내 페이지를 관리하기 위한 정보를 저장하는 페이지 헤더를 저장하는 단계와, 로우 키 및 각 컬럼의 저장 위치에 대한 정보를 포함하는 로우 키 페이지를 생성하는 단계와, 셀 키를 저장하는 키 페이지와 데이터를 저장하는 값 페이지를 구분하여 컬럼 페이지를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 키-값 단위로 데이터를 분할하여 메인 메모리 내의 페이지에 저장함으로써 캐시 미스의 발생을 현저히 감소시켜 캐시를 최적화할 수 있다.
키-값 모델, 최적 캐시, 메모리 페이지, 컬럼 기반-
公开(公告)号:KR100912371B1
公开(公告)日:2009-08-19
申请号:KR1020070132589
申请日:2007-12-17
Applicant: 한국전자통신연구원
IPC: G06F17/30
CPC classification number: G06F17/30327 , G06F17/30333
Abstract: Provided are a system and a method for indexing high-dimensional data in parallel in a cluster environment. The system for indexing high-dimensional data in parallel in a cluster environment includes a Spill-tree creation means for creating a Spill-tree using an sampled N-dimensional feature vector, a feature vector division storage means for distributedly storing the N-dimensional feature vector in a terminal node of the Spill-tree, and a local signature creation means for creating and managing a local signature for the N-dimensional feature vector dispersed into each node of the Spill-tree.
-
公开(公告)号:KR100903961B1
公开(公告)日:2009-06-25
申请号:KR1020070132582
申请日:2007-12-17
Applicant: 한국전자통신연구원
IPC: G06F17/30
CPC classification number: G06F17/3002
Abstract: 본 발명은 2레벨 시그니처를 기반으로 하여 고차원의 데이터에 대한 내용 기반 검색 방법 및 그 시스템에 관한 것이다.
본 발명에 따른 2레벨 시그니처를 이용한 고차원 데이터 검색 시스템은 고차원 데이터 객체로부터 특징벡터를 추출하고 이를 출력하는 특징벡터 추출수단과, 상기 고차원 데이터 객체에 대응하는 객체 식별자를 생성하고 출력하는 식별자 생성수단과, 상기 특징벡터 및 상기 객체 식별자를 기초로 2레벨 시그니처 색인을 생성하는 색인 생성수단과, 상기 고차원 데이터 객체 및 상기 2레벨 시그니처 색인을 저장하는 저장수단 및 질의 특징벡터를 기초로 생성된 시그니처를 이용하여 상기 2레벨 시그니처 색인에서 질의 고차원 데이터 객체를 검색하는 검색수단를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 질의를 빠르고 정확하게 처리하게 할 수 있으며, 질의 특징벡터에 대한 시그니처를 보강하여 검색에 이용함으로써 검색의 정확도를 높일 수 있다.
멀티미디어 데이터 검색, 고차원 데이터 색인, 시그니처 검색, 보정된 시그니처 검색-
公开(公告)号:KR1020090065133A
公开(公告)日:2009-06-22
申请号:KR1020070132585
申请日:2007-12-17
Applicant: 한국전자통신연구원
Abstract: A device for distributing a task per a task thread group in a distributed parallel processing system, a method thereof and a processing method thereof are provided to allocate a map task per a task thread group and share an intermediate result file about an individual map task, thereby reducing the number of reduce task transfer files. A thread unit task distributing device comprises a work manager(521) and a map task launcher(531). The work manager distributes works requested by a user by a core unit task of a separated node processor. The task launcher processes the task by a thread unit of the core in parallel. The task launcher generates an integrated intermediate result file.
Abstract translation: 提供了一种用于在分布式并行处理系统中分配任务线程组的任务的装置,其方法及其处理方法,用于为每个任务线程组分配映射任务并共享关于单个映射任务的中间结果文件, 从而减少了减少任务传输文件的数量。 线程单元任务分发设备包括工作管理器(521)和地图任务发射器(531)。 工作经理由分离的节点处理器的核心单元任务分发用户请求的作品。 任务启动器通过并行的核心的线程单元处理任务。 任务启动器生成一个集成的中间结果文件。
-
公开(公告)号:KR100901691B1
公开(公告)日:2009-06-08
申请号:KR1020070125100
申请日:2007-12-04
Applicant: 한국전자통신연구원
CPC classification number: H04L49/15 , H04L12/44 , H04L12/46 , H04L49/109 , H04L49/30
Abstract: A mesh-star mixing on-chip network communications system and a communications method thereof for implementing the expandability of minimum delay time and optimizing the communication characteristic of SoC design are provided to compose a hierarchical communications structure by connecting mesh-star mixing on-chip. Star switches formulate star networks. The star switches switch packets of star IP cores according to a source routing mode. A plurality of mesh switches forms mesh network(20). Mesh IP cores are one by one connected to each mesh switch. Bridges connect star networks and mesh network. The mesh-star mixing on-chip network communications system optimizes the communication characteristic of system on chip design.
Abstract translation: 提供了网状星型混合片上网络通信系统及其通信方法,用于实现最小延迟时间的可扩展性和优化SoC设计的通信特性,以通过连接网状星形混合片上组成分层通信结构。 星形交换机配置星形网络。 星型交换机根据源路由模式切换星型IP核的数据包。 多个网格交换机形成网状网络(20)。 网状IP内核逐个连接到每个网格交换机。 桥梁连接星形网络和网状网络。 网状星形混合片上网络通信系统优化了片上系统设计的通信特性。
-
公开(公告)号:KR100900514B1
公开(公告)日:2009-06-02
申请号:KR1020070124293
申请日:2007-12-03
Applicant: 한국전자통신연구원
Abstract: 본 발명은 센서 데이터 스트림 처리 시스템에 입력 되는 다양한 형식의 센싱 데이터 스트림들에 대하여 XML 공통 형식을 이용하여 입력 데이터 스트림에 대한 처리를 효과적으로 수행할 수 있는 XML 공통 형식을 이용한 이기종 센서 데이터 스트림 처리 시스템 및 방법에 관한 것으로, 본 발명이 적용되는 센서 데이터 스트림 처리 시스템은 이기종 센서와의 연동을 위한 센서 연동기; 상기 이기종 센서로부터 입력되는 센서 데이터 스트림에 대한 스키마 정보를 관리하는 스키마 관리기; 및 상기 센서 데이터 스트림에 대하여 사용자 질의를 처리하는 스트림 질의 처리기를 포함하며, 본 발명에 따르면 이기종 센싱 데이터에 대하여 메시지 변환기를 적용하여 입력 데이터 스트림을 원하는 공통 형식의 XML 데이터 스트림으로 변환함으로써 공통 형식의 입력 데이터 스트림에 XML 데이터 모델에 처리할 수 있는 동일한 필터링이나 스트림 처리가 가능하도록 한다.
이기종 센서, 데이터 스트림, XML, 스키마, RFID, 질의어-
69.
公开(公告)号:KR100808143B1
公开(公告)日:2008-02-29
申请号:KR1020060032331
申请日:2006-04-10
Applicant: 한국전자통신연구원
Abstract: 1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 엑스패스를 이용한 접근 제어 기능을 가지는 엑스엠엘 데이터 스트림 처리 시스템 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 엑스엠엘 질의어인 엑스패스(XPath)를 이용하여 엑스엠엘 데이터 처리시의 접근 제어 규칙을 정의하고, 상기 정의한 엑스패스(XPath) 접근 제어 규칙을 이용하여 엑스엠엘 데이터 스트림 전체, 스트림의 엘리먼트 구조 및 스트림의 특정 엘리먼트의 값에 대한 사용자별 접근 제어를 손쉽게 수행할 수 있도록 하기 위한, 엑스패스를 이용한 접근 제어 기능을 가지는 엑스엠엘 데이터 스트림 처리 시스템 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 엑스엠엘 데이터 스트림 처리 시스템에 있어서, 사용자를 등록, 삭제하고 사용자 정보를 제공하기 위한 사용자 관리 수단; 엑스엠엘 데이터 스트림에 대한 규격을 정의한 스키마를 등록, 삭제하고 스키마 정보를 제공하기 위한 스키마 관리 수단; 각 스키마에 대한 권한을 사용자별로 부여, 철회하고 엑스패스 형태의 사용자 권한 정보를 제공하기 위한 권한 관리 수단; 및 외부로부터 입력받는 엑스엠엘 데이터 스트림에 대한 사용자 질의를 파싱한 후, 상기 스키마 관리 수단으로부터의 스키마 정보를 이용하여 스키마의 구조 및 타입에 정당한 질의인지의 여부를 검증하고, 상기 권한 관리 수단으로부터의 사용자 권한 정보를 이용하여 접근 가능 여부를 검증하여, 정당한 질의이고 접근 가능함에 따라 질의를 처리하기 위한 스트림 질의 처리 수단을 포함한다.
4. 발명의 중요한 용도
본 발명은 엑스엠엘 데이터 스트림 처리 시스템 등에 이용됨.
엑스엠엘 데이터 스트림, 접근 제어 규칙, 엑스패스, 엑스엠엘 데이터 스트림 처리 시스템-
公开(公告)号:KR100798302B1
公开(公告)日:2008-01-28
申请号:KR1020060090365
申请日:2006-09-19
Applicant: 한국전자통신연구원
Abstract: 본 발명은 하나 이상의 프로세서와 상기 프로세서에 의해서 제어되는 다양한 하드웨어 모듈을 포함하는 시스템 온칩의 통신 구조에 관한 것으로,
본 발명의 시스템 온칩은 상기 시스템 온칩에 포함된 하드웨어 모듈들의 동작을 제어하는 하나 이상의 프로세서와, 상기 하드웨어 모듈들 중 상기 프로세서의 제어를 받아서 동작하는 하나 이상의 슬레이브 모듈과, 상기 하드웨어 모듈들 중 상기 슬레이브 모듈을 제어하되, 상기 프로세서의 제어를 받지 않고 동작하는 하나 이상의 마스터 모듈과, 상기 프로세서와 상기 슬레이브 모듈 사이의 데이터 통신 경로가 되는 온칩 버스와, 상기 마스터 모듈과 상기 슬레이브 모듈 사이의 데이터 통신 경로가 되는 온칩 네트워크를 포함한다.
본 발명에 따른 시스템 온칩은 두 가지의 데이터 통신 경로를 복합적으로 갖도록 하여, 데이터 전송의 특성에 따라서 서로 다른 통신 경로를 사용하도록 함으로써 우수한 성능의 시스템 온칩을 설계할 수 있도록 하는 효과가 있다.
시스템 온칩, 프로세서, 온칩 버스, 온칩 네트워크
-
-
-
-
-
-
-
-
-