公开(公告)号：WO2013147374A1

公开(公告)日：2013-10-03

申请号：PCT/KR2012/007478

申请日：2012-09-19

Applicant: 서울대학교산학협력단 ,  이바도 ,  석호식 ,  장병탁

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: H04N7/26

CPC classification number: G10L25/57 ,  G06K9/00765

Abstract: 본 발명은 비디오 스트림에 대한 분석 기술에 관한 것으로, 본 발명의 일 실시예에 따른 비디오 스트림 분석 방법은 비디오 스트림을 입력받고 상기 입력받은 비디오 스트림의 스토리 변환을 분석할 수 있는 비디오 스트립 분석 장치에서 수행된다. 상기 비디오 스트림 분석 방법은 (a) 비디오 스트림 데이터를 이미지 채널과 사운드 채널로 구분하고, 구분된 상기 이미지 채널 및 사운드 채널 각각에 대한 학습 모델들을 구성하는 단계, (b) 구성된 이미지 채널 및 사운드 채널의 학습 모델들을 이용하여 후행하는 프레임 집합에 대한 현재 프레임 집합의 우도를 추정하는 단계 및 (c) 상기 추정된 우도의 동향을 기록하고, 상기 기록된 우도의 동향 중 기 설정된 임계값을 초과하는 피크 점을 이용하여 상기 비디오 스트림의 스토리 변환점을 결정하는 단계를 포함한다.

Abstract translation: 本发明涉及视频流分析技术。 根据本发明的一个实施例，在能够接收视频流并分析接收到的视频流的故事转换的视频流分析设备中执行用于分析视频流的方法。 用于分析视频流的方法包括以下步骤：（a）将视频流数据划分为图像通道和声道，并构建分割图像通道和声道的学习模型; （b）通过使用所构建的用于图像和声音通道的学习模型来估计在连续帧设置的当前帧的可能性; （c）通过使用超过预设阈值的峰值从记录的可能性趋势中记录估计可能性的趋势并确定视频流的故事转换点。

公开(公告)号：KR101369270B1

公开(公告)日：2014-03-10

申请号：KR1020120032383

申请日：2012-03-29

Applicant: 서울대학교산학협력단

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: H04N19/00

CPC classification number: G10L25/57 ,  G06K9/00765

Abstract: 본 발명은 비디오 스트림에 대한 분석 기술에 관한 것으로, 본 발명의 일 실시예에 따른 비디오 스트림 분석 방법은 비디오 스트림을 입력받고 상기 입력받은 비디오 스트림의 스토리 변환을 분석할 수 있는 비디오 스트립 분석 장치에서 수행된다. 상기 비디오 스트림 분석 방법은 (a) 비디오 스트림 데이터를 이미지 채널과 사운드 채널로 구분하고, 구분된 상기 이미지 채널 및 사운드 채널 각각에 대한 학습 모델들을 구성하는 단계, (b) 구성된 이미지 채널 및 사운드 채널의 학습 모델들을 이용하여 후행하는 프레임 집합에 대한 현재 프레임 집합의 우도를 추정하는 단계 및 (c) 상기 추정된 우도의 동향을 기록하고, 상기 기록된 우도의 동향 중 기 설정된 임계값을 초과하는 피크 점을 이용하여 상기 비디오 스트림의 스토리 변환점을 결정하는 단계를 포함한다. 본 발명에 따르면, 비디오 스트림을 이미지 채널 및 사운드 채널로 구분하여 각각 학습하고, 학습한 데이터를 기반으로 우도 변화를 참조하여 비디오 스트림의 의미론적 경계를 구분의 의존성 관계를 분석할 수 있는 효과가 있다.

公开(公告)号：KR101247220B1

公开(公告)日：2013-03-25

申请号：KR1020110021444

申请日：2011-03-10

Applicant: 서울대학교산학협력단

Inventor： 하성종 ,  이상화 ,  김병희 ,  이바도 ,  장병탁 ,  조남익

IPC: G06T7/00 ,  G06T1/00

Abstract: 개시된 기술에 따른 영상 처리 방법은 (a) 입력된 이미지로부터 복수의 특징점들을 추출하는 단계, (b) 상기 복수의 특징점들을 반복적인 패턴들로부터 추출된 적어도 하나의 제1 특징점과 두드러진 적어도 일부로부터 추출된 적어도 하나의 제2 특징점으로 분류하는 단계 및 (c) 상기 제1 특징점들을 이용하여 상기 반복적인 패턴들 각각에 대한 분류기를 생성하는 단계를 포함한다.

公开(公告)号：KR1020120110460A

公开(公告)日：2012-10-10

申请号：KR1020110028333

申请日：2011-03-29

Applicant: 서울대학교산학협력단

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: G06F17/00 ,  G06Q50/10

CPC classification number: G06Q50/10

Abstract: PURPOSE: A multi-modal learning and classifying method of multimedia content is provided to represent a classifier corresponding to each category as a specific set. CONSTITUTION: A weak classifier generation module(41) evaluates performance of a cross entropy calculation module(45). The weak classifier generation module makes a weak classifier group(411) in a roulette type proportionally to the weighted value. An integration module makes a classifier by combination of the selected classifier. The integration module evaluates the performance of the cross entropy calculation module. A top-ten classifier(501) having weight value of learning-completed 20 classifiers is obtained. [Reference numerals] (30) Binary coded learning data set; (40) Classifier learning module; (41) Weak classifier generation module; (411) Weak classifier set; (42) Integration module; (43) Performance measuring module; (431) Binary coded learning data set; (44) Weak classifier addition module; (441) Binary coded learning data set; (45) Cross entropy calculation module; (501) Completed classifier; (AA) Performance would be better?

Abstract translation: 目的：提供多模态多媒体内容的学习和分类方法，将每个类别对应的分类器表示为特定集合。 构成：弱分类器生成模块（41）评估交叉熵计算模块（45）的性能。 弱分类器生成模块以与加权值成比例的轮盘赌类型构成弱分类器组（411）。 集成模块通过所选分类器的组合来制作分类器。 集成模块评估交叉熵计算模块的性能。 获得具有学习完成的20个分类器的权重值的前十位分类器（501）。 （附图标记）（30）二进制编码学习数据组; （40）分类学习模块; （41）弱分类器生成模块; （411）弱分类器集; （42）集成模块; （43）性能测量模块; （431）二进制编码学习数据集; （44）弱分类器加法模块; （441）二进制编码学习数据集; （45）交叉熵计算模块; （501）完成分类器; （AA）表现会好些吗？

公开(公告)号：KR1020120103284A

公开(公告)日：2012-09-19

申请号：KR1020110021444

申请日：2011-03-10

Applicant: 서울대학교산학협력단

Inventor： 하성종 ,  이상화 ,  김병희 ,  이바도 ,  장병탁 ,  조남익

IPC: G06T7/00 ,  G06T1/00

CPC classification number: G06K9/6267 ,  G06F17/30244 ,  G06K9/4671

Abstract: PURPOSE: An image processing method and an apparatus thereof through a repetition pattern are provided to efficiently match an image including a plurality of repetition patterns and to efficiently recognize an image including a repetition pattern. CONSTITUTION: A feature extracting unit(120) extracts a plurality of feature points from an inputted image. A classifying unit(130) classifies a plurality of feature points into one or more first feature points and one or more second feature points extracted from a repeated pattern. The classifying unit generates a classifier about each repetition pattern by using the first feature points. [Reference numerals] (110) Inputting unit; (120) Feature extracting unit; (130) Classifying unit; (140) Matching unit; (150) Image DB

Abstract translation: 目的：提供一种通过重复图案的图像处理方法及其装置，以有效地匹配包括多个重复图案的图像，并且有效地识别包括重复图案的图像。 构成：特征提取单元（120）从输入图像中提取多个特征点。 分类单元（130）将多个特征点分类为从重复模式提取的一个或多个第一特征点和一个或多个第二特征点。 分类单元通过使用第一特征点来生成关于每个重复图案的分类器。 （附图标记）（110）输入单元; （120）特征提取单元; （130）分类单位; （140）配套单元; （150）图像DB

公开(公告)号：KR101255841B1

公开(公告)日：2013-04-23

申请号：KR1020110001347

申请日：2011-01-06

Applicant: 서울대학교산학협력단

Inventor： 김병희 ,  이바도 ,  하성종 ,  조남익 ,  장병탁

IPC: G06F17/30

Abstract: 이미지 연관 검색 방법은 제1 이미지 데이터베이스 및 제2 이미지 데이터베이스를 기초로 이루어진다. 상기 이미지 연관 검색 방법은 (a) 상기 제1 및 제2 이미지 데이터베이스에 포함된 이미지들을 상기 시각단어들의 빈도로 표현하는 단계, (b) 상기 시각단어들의 빈도를 기초로 바이소스 토픽모델을 생성하는 단계 및 (c) 상기 바이소스 토픽모델을 이용하여 상기 제1 이미지 데이터베이스와 상기 제2 이미지 데이터베이스를 연관하여 이미지를 검색하는 단계를 포함한다.

公开(公告)号：KR1020130110417A

公开(公告)日：2013-10-10

申请号：KR1020120032383

申请日：2012-03-29

Applicant: 서울대학교산학협력단

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: H04N19/00

CPC classification number: G10L25/57 ,  G06K9/00765

Abstract: PURPOSE: A video stream analysis method of using a multi channel analysis is provided to analyze a dependency relation of a division and a semantic boundary of a video stream by learning the video stream by classifying the video stream into an image channel and a sound channel and by referencing a likelihood change based on the learned data. CONSTITUTION: A video stream analysis method comprises the following steps: a step aims to classify a video stream data into an image channel and a sound channel, and to comprise learning models about the classified image channel and the classified sound channel respectively (S1010, S1020); a step (S1030) aims to estimate a likelihood of a current frame set about a frame set which follows by using the learning models of the comprised image channel and the comprised sound channel; and a step (S1040) aims to record trends of the estimated likelihood, and to decide a story transition point of a video stream by using a peak point exceeding a predetermined threshold among the trends of a recent recorded likelihood. [Reference numerals] (AA) Start; (BB) End; (S1010) Classify a video stream data into an image channel and a sound channel; (S1020) Comprise learning models about the classified image channel and the classified sound channel respectively; (S1030) Estimate a likelihood of a current frame set about a frame set which follows by using each learning model; (S1040) Decide a story transition point by using a peak point exceeding a predetermined threshold

Abstract translation: 目的：提供一种使用多通道分析的视频流分析方法，通过将视频流分类为图像通道和声道通过学习视频流来分析视频流的分割和语义边界的依赖关系， 通过参考基于学习数据的似然变化。 构成：视频流分析方法包括以下步骤：步骤：将视频流数据分类为图像通道和声道，并分别包括关于分类图像通道和分类声音通道的学习模型（S1010，S1020 ）; 步骤（S1030）旨在通过使用包含的图像通道和包含的声音通道的学习模型来估计关于随后的帧集合的当前帧集的可能性; 步骤（S1040）旨在记录估计似然度的趋势，并且通过使用最近记录的可能性的趋势中的超过预定阈值的峰值点来决定视频流的故事转换点。 （附图标记）（AA）开始; （BB）结束; （S1010）将视频流数据分类为图像声道和声音通道; （S1020）分别组合分类图像通道和分类声道的学习模型; （S1030）通过使用每个学习模型来估计关于随后的帧集合的当前帧集的可能性; （S1040）通过使用超过预定阈值的峰值点来确定故事转换点

公开(公告)号：KR101219469B1

公开(公告)日：2013-01-11

申请号：KR1020110028333

申请日：2011-03-29

Applicant: 서울대학교산학협력단

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: G06F17/00 ,  G06Q50/10

Abstract: 본 발명은 멀티미디어 컨텐츠의 멀티모달 학습 및 분류 방법에 관한 것으로 특정한 특징 개수로 평활화되고 이진 코드화된 멀티모달 학습 데이터 세트를 준비하는 단계; 카테고리 별로 각각의 특징에 대하여 가중치 계산 모듈을 사용하여 상기 특징 개수 범위 내의 일정 개수로 초기의 약한 분류기 집합을 준비하는 단계; 상기 약한 분류기 중에 정해진 방식으로 선택된 분류기를 2개 결합하여 가중치 계산 모듈을 사용하여 가중치를 계산하고 이를 진화 연산 방식으로 반복하여 상기 일정 개수 내의 완성된 약한 분류기 집합을 획득하는 단계; 상기의 특정한 특징 개수로 평활화디고 이진 코드화된 멀티모달 시험 데이터 세트를 준비하는 단계; 및 상기 완성된 약한 분류기 집합과 상기 이진 코드화된 멀티모달 시험 데이터 세트와 매칭하고 가중치를 합산하여 합산 가중치가 가장 높은 카테고리로 결정하는 단계를 포함하는 멀티미디어 컨텐츠의 멀티모달 학습 및 분류 방법을 제공한다.
본 발명의 분류 방법은 최초의 특징 집합의 제약이 없이 유연하면서도 반복 과정 중에 유익한 특징의 결합블록은 유지되어 효율이 높고 결함이 낮은 분류 방법을 제공한다.

公开(公告)号：KR1020120079968A

公开(公告)日：2012-07-16

申请号：KR1020110001347

申请日：2011-01-06

Applicant: 서울대학교산학협력단

Inventor： 김병희 ,  이바도 ,  하성종 ,  조남익 ,  장병탁

IPC: G06F17/30

CPC classification number: G06F17/30253 ,  G06F17/18

Abstract: PURPOSE: An associative image searching method based on a bi-source topic model and a system for the same are provided to calculate similarity based on topic distribution by expressing the association of data with the topic distribution. CONSTITUTION: Images included in first image database and second image database are expressed based on the frequency of visual words(S310). A bi-source topic model is generated based on the frequency of the visual words(S320). The first image database and the second image database are associated based on the bi-source topic model(S330). Images are searched based on the association of the first image database and the second image database.

Abstract translation: 目的：提供一种基于双源主题模型及其系统的关联图像搜索方法，通过表达数据与主题分布的关联，基于主题分布计算相似度。 构成：基于视觉词的频率来表示包括在第一图像数据库和第二图像数据库中的图像（S310）。 基于视觉词的频率生成双源主题模型（S320）。 第一图像数据库和第二图像数据库基于双源主题模型相关联（S330）。 基于第一图像数据库和第二图像数据库的关联来搜索图像。