公开(公告)号：WO2013147374A1

公开(公告)日：2013-10-03

申请号：PCT/KR2012/007478

申请日：2012-09-19

Applicant: 서울대학교산학협력단 ,  이바도 ,  석호식 ,  장병탁

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: H04N7/26

CPC classification number: G10L25/57 ,  G06K9/00765

Abstract: 본 발명은 비디오 스트림에 대한 분석 기술에 관한 것으로, 본 발명의 일 실시예에 따른 비디오 스트림 분석 방법은 비디오 스트림을 입력받고 상기 입력받은 비디오 스트림의 스토리 변환을 분석할 수 있는 비디오 스트립 분석 장치에서 수행된다. 상기 비디오 스트림 분석 방법은 (a) 비디오 스트림 데이터를 이미지 채널과 사운드 채널로 구분하고, 구분된 상기 이미지 채널 및 사운드 채널 각각에 대한 학습 모델들을 구성하는 단계, (b) 구성된 이미지 채널 및 사운드 채널의 학습 모델들을 이용하여 후행하는 프레임 집합에 대한 현재 프레임 집합의 우도를 추정하는 단계 및 (c) 상기 추정된 우도의 동향을 기록하고, 상기 기록된 우도의 동향 중 기 설정된 임계값을 초과하는 피크 점을 이용하여 상기 비디오 스트림의 스토리 변환점을 결정하는 단계를 포함한다.

Abstract translation: 本发明涉及视频流分析技术。 根据本发明的一个实施例，在能够接收视频流并分析接收到的视频流的故事转换的视频流分析设备中执行用于分析视频流的方法。 用于分析视频流的方法包括以下步骤：（a）将视频流数据划分为图像通道和声道，并构建分割图像通道和声道的学习模型; （b）通过使用所构建的用于图像和声音通道的学习模型来估计在连续帧设置的当前帧的可能性; （c）通过使用超过预设阈值的峰值从记录的可能性趋势中记录估计可能性的趋势并确定视频流的故事转换点。

公开(公告)号：KR101369270B1

公开(公告)日：2014-03-10

申请号：KR1020120032383

申请日：2012-03-29

Applicant: 서울대학교산학협력단

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: H04N19/00

CPC classification number: G10L25/57 ,  G06K9/00765

Abstract: 본 발명은 비디오 스트림에 대한 분석 기술에 관한 것으로, 본 발명의 일 실시예에 따른 비디오 스트림 분석 방법은 비디오 스트림을 입력받고 상기 입력받은 비디오 스트림의 스토리 변환을 분석할 수 있는 비디오 스트립 분석 장치에서 수행된다. 상기 비디오 스트림 분석 방법은 (a) 비디오 스트림 데이터를 이미지 채널과 사운드 채널로 구분하고, 구분된 상기 이미지 채널 및 사운드 채널 각각에 대한 학습 모델들을 구성하는 단계, (b) 구성된 이미지 채널 및 사운드 채널의 학습 모델들을 이용하여 후행하는 프레임 집합에 대한 현재 프레임 집합의 우도를 추정하는 단계 및 (c) 상기 추정된 우도의 동향을 기록하고, 상기 기록된 우도의 동향 중 기 설정된 임계값을 초과하는 피크 점을 이용하여 상기 비디오 스트림의 스토리 변환점을 결정하는 단계를 포함한다. 본 발명에 따르면, 비디오 스트림을 이미지 채널 및 사운드 채널로 구분하여 각각 학습하고, 학습한 데이터를 기반으로 우도 변화를 참조하여 비디오 스트림의 의미론적 경계를 구분의 의존성 관계를 분석할 수 있는 효과가 있다.

公开(公告)号：KR1020130110417A

公开(公告)日：2013-10-10

申请号：KR1020120032383

申请日：2012-03-29

Applicant: 서울대학교산학협력단

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: H04N19/00

CPC classification number: G10L25/57 ,  G06K9/00765

Abstract: PURPOSE: A video stream analysis method of using a multi channel analysis is provided to analyze a dependency relation of a division and a semantic boundary of a video stream by learning the video stream by classifying the video stream into an image channel and a sound channel and by referencing a likelihood change based on the learned data. CONSTITUTION: A video stream analysis method comprises the following steps: a step aims to classify a video stream data into an image channel and a sound channel, and to comprise learning models about the classified image channel and the classified sound channel respectively (S1010, S1020); a step (S1030) aims to estimate a likelihood of a current frame set about a frame set which follows by using the learning models of the comprised image channel and the comprised sound channel; and a step (S1040) aims to record trends of the estimated likelihood, and to decide a story transition point of a video stream by using a peak point exceeding a predetermined threshold among the trends of a recent recorded likelihood. [Reference numerals] (AA) Start; (BB) End; (S1010) Classify a video stream data into an image channel and a sound channel; (S1020) Comprise learning models about the classified image channel and the classified sound channel respectively; (S1030) Estimate a likelihood of a current frame set about a frame set which follows by using each learning model; (S1040) Decide a story transition point by using a peak point exceeding a predetermined threshold

Abstract translation: 目的：提供一种使用多通道分析的视频流分析方法，通过将视频流分类为图像通道和声道通过学习视频流来分析视频流的分割和语义边界的依赖关系， 通过参考基于学习数据的似然变化。 构成：视频流分析方法包括以下步骤：步骤：将视频流数据分类为图像通道和声道，并分别包括关于分类图像通道和分类声音通道的学习模型（S1010，S1020 ）; 步骤（S1030）旨在通过使用包含的图像通道和包含的声音通道的学习模型来估计关于随后的帧集合的当前帧集的可能性; 步骤（S1040）旨在记录估计似然度的趋势，并且通过使用最近记录的可能性的趋势中的超过预定阈值的峰值点来决定视频流的故事转换点。 （附图标记）（AA）开始; （BB）结束; （S1010）将视频流数据分类为图像声道和声音通道; （S1020）分别组合分类图像通道和分类声道的学习模型; （S1030）通过使用每个学习模型来估计关于随后的帧集合的当前帧集的可能性; （S1040）通过使用超过预定阈值的峰值点来确定故事转换点

公开(公告)号：KR101219469B1

公开(公告)日：2013-01-11

申请号：KR1020110028333

申请日：2011-03-29

Applicant: 서울대학교산학협력단

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: G06F17/00 ,  G06Q50/10

Abstract: 본 발명은 멀티미디어 컨텐츠의 멀티모달 학습 및 분류 방법에 관한 것으로 특정한 특징 개수로 평활화되고 이진 코드화된 멀티모달 학습 데이터 세트를 준비하는 단계; 카테고리 별로 각각의 특징에 대하여 가중치 계산 모듈을 사용하여 상기 특징 개수 범위 내의 일정 개수로 초기의 약한 분류기 집합을 준비하는 단계; 상기 약한 분류기 중에 정해진 방식으로 선택된 분류기를 2개 결합하여 가중치 계산 모듈을 사용하여 가중치를 계산하고 이를 진화 연산 방식으로 반복하여 상기 일정 개수 내의 완성된 약한 분류기 집합을 획득하는 단계; 상기의 특정한 특징 개수로 평활화디고 이진 코드화된 멀티모달 시험 데이터 세트를 준비하는 단계; 및 상기 완성된 약한 분류기 집합과 상기 이진 코드화된 멀티모달 시험 데이터 세트와 매칭하고 가중치를 합산하여 합산 가중치가 가장 높은 카테고리로 결정하는 단계를 포함하는 멀티미디어 컨텐츠의 멀티모달 학습 및 분류 방법을 제공한다.
본 발명의 분류 방법은 최초의 특징 집합의 제약이 없이 유연하면서도 반복 과정 중에 유익한 특징의 결합블록은 유지되어 효율이 높고 결함이 낮은 분류 방법을 제공한다.

公开(公告)号：KR101262352B1

公开(公告)日：2013-05-08

申请号：KR1020120016980

申请日：2012-02-20

Applicant: 서울대학교산학협력단

Inventor： 유준희 ,  석호식 ,  장병탁

IPC: G06T7/00

CPC classification number: G06K9/00744 ,  G06K9/4671 ,  G06T5/10 ,  G06T2207/20021

Abstract: PURPOSE: An analysis method for video stream data using evolutionary particle filtering is provided to analyze multi-modal video stream in real time, by extracting dependency relation of video stream. CONSTITUTION: A video stream analysis system generates a particle set showing dominant feature for the video stream data and divides video stream data into segment sets(S1110, S1120). The system performs evolutionary particles filtering the segment set(S1130). The system converts the filtered particle set into a transition probability matrix, by estimating sequence-dependent structure for the filtered particle set(S1140). [Reference numerals] (AA) Start; (BB) End; (S1110) Generate a particle set for video stream data; (S1120) Divide the video stream data to segments using the particle set; (S1130) Perform evolutionary particle filtering for the segment set; (S1140) Convert into a transition probability matrix by estimating a sequence-dependent structure

Abstract translation: 目的：提出使用进化粒子滤波的视频流数据分析方法，通过提取视频流的依赖关系实时分析多模态视频流。 构成：视频流分析系统生成显示视频流数据的主要特征的粒子集，并将视频流数据分割成段集（S1110，S1120）。 该系统执行进化粒子过滤段集（S1130）。 系统通过估算滤波后的粒子集合的序列依赖结构将过滤的粒子集转换为转移概率矩阵（S1140）。 （附图标记）（AA）开始; （BB）结束; （S1110）生成视频流数据的粒子集; （S1120）使用粒子集将视频流数据划分为段; （S1130）对段集执行进化粒子滤波; （S1140）通过估计序列依赖结构转换成转移概率矩阵

公开(公告)号：KR1020120110460A

公开(公告)日：2012-10-10

申请号：KR1020110028333

申请日：2011-03-29

Applicant: 서울대학교산학협력단

Inventor： 이바도 ,  석호식 ,  장병탁

IPC: G06F17/00 ,  G06Q50/10

CPC classification number: G06Q50/10

Abstract: PURPOSE: A multi-modal learning and classifying method of multimedia content is provided to represent a classifier corresponding to each category as a specific set. CONSTITUTION: A weak classifier generation module(41) evaluates performance of a cross entropy calculation module(45). The weak classifier generation module makes a weak classifier group(411) in a roulette type proportionally to the weighted value. An integration module makes a classifier by combination of the selected classifier. The integration module evaluates the performance of the cross entropy calculation module. A top-ten classifier(501) having weight value of learning-completed 20 classifiers is obtained. [Reference numerals] (30) Binary coded learning data set; (40) Classifier learning module; (41) Weak classifier generation module; (411) Weak classifier set; (42) Integration module; (43) Performance measuring module; (431) Binary coded learning data set; (44) Weak classifier addition module; (441) Binary coded learning data set; (45) Cross entropy calculation module; (501) Completed classifier; (AA) Performance would be better?

Abstract translation: 目的：提供多模态多媒体内容的学习和分类方法，将每个类别对应的分类器表示为特定集合。 构成：弱分类器生成模块（41）评估交叉熵计算模块（45）的性能。 弱分类器生成模块以与加权值成比例的轮盘赌类型构成弱分类器组（411）。 集成模块通过所选分类器的组合来制作分类器。 集成模块评估交叉熵计算模块的性能。 获得具有学习完成的20个分类器的权重值的前十位分类器（501）。 （附图标记）（30）二进制编码学习数据组; （40）分类学习模块; （41）弱分类器生成模块; （411）弱分类器集; （42）集成模块; （43）性能测量模块; （431）二进制编码学习数据集; （44）弱分类器加法模块; （441）二进制编码学习数据集; （45）交叉熵计算模块; （501）完成分类器; （AA）表现会好些吗？