SEMANTIC PARSING OF OBJECTS IN VIDEO
    1.
    发明申请
    SEMANTIC PARSING OF OBJECTS IN VIDEO 审中-公开
    视频中的对象语义分离

    公开(公告)号:WO2012013711A3

    公开(公告)日:2013-02-21

    申请号:PCT/EP2011062925

    申请日:2011-07-27

    Abstract: The invention provides an improved method to detect semantic attributes of human body in computer vision. In detecting semantic attributes of human body in computer vision, the invention maintains a list of semantic attributes, each of which corresponds to a human body part. A computer module then analyzes segments of a frame of a digital video to detect each semantic attribute by finding a most likely attribute for each segment. A threshold is applied to select candidate segments of the frame for further analysis. The candidate segments of the frame then go through geometric and resolution context analysis by applying the physical structure principles of a human body and by analyzing increasingly higher resolution versions of the image to verify the existence and accuracy of parts and attributes. A computer module computes a resolution context score for a lower resolution version of the image based on a weighted average score computed for a higher resolution version of the image by evaluating appearance features, geometric features, and resolution context features when available on the higher resolution version of the image. Finally, an optimal configuration step is performed via dynamic programming to select an optimal output with both semantic attributes and spatial positions of human body parts on the frame.

    Abstract translation: 本发明提供了一种用于检测计算机视觉中人体语义属性的改进方法。 在检测计算机视觉中人体的语义属性时,本发明保留了语义属性的列表,每个语义属性对应于人体部分。 然后,计算机模块通过为每个段找到最可能的属性来分析数字视频的帧的段以检测每个语义属性。 应用阈值来选择帧的候选片段用于进一步分析。 然后,帧的候选片段通过应用人体的物理结构原理并通过分析图像的越来越高的分辨率版本来验证部件和属性的存在和准确性来进行几何和分辨率上下文分析。 计算机模块基于通过在更高分辨率版本上可用时评估外观特征,几何特征和分辨率上下文特征来计算针对图像的较高分辨率版本的加权平均得分,来计算图像的较低分辨率版本的分辨率上下文得分 的图像。 最后,通过动态规划执行最佳配置步骤,以选择具有框架上人体部位的语义属性和空间位置的最优输出。

    Incorporating video meta-data in 3D models

    公开(公告)号:GB2503621A

    公开(公告)日:2014-01-01

    申请号:GB201318426

    申请日:2012-05-02

    Applicant: IBM

    Abstract: A moving object detected and tracked within a field of view environment of a 2D data feed of a calibrated video camera is represented by a 3D model through localizing a centroid of the object and determining an intersection with a ground-plane within the field of view environment. An appropriate 3D mesh-based volumetric model for the object is initialized by using a back-projection of a corresponding 2D image as a function of the centroid and the determined ground-plane intersection. Nonlinear dynamics of a tracked motion path of the object are represented as a collection of different local linear models. A texture of the object is projected onto the 3D model, and 2D tracks of the object are upgraded to 3D motion to drive the 3D model by learning a weighted combination of the different local linear models that minimizes an image re-projection error of model movement.

    Video-based detection of multiple object types under varying poses

    公开(公告)号:GB2508094A

    公开(公告)日:2014-05-21

    申请号:GB201318865

    申请日:2012-04-13

    Applicant: IBM

    Abstract: Training data object images are clustered as a function of motion direction attributes and resized from respective original into same aspect ratios. Motionlet detectors are learned for each of the sets from features extracted from the resized object blobs. A deformable sliding window is applied to detect an object blob in input by varying window size, shape or aspect ratio to conform to a shape of the detected input video object blob. A motion direction of an underlying image patch of the detected input video object blob is extracted and motionlet detectors selected and applied that have similar motion directions. An object is thus detected within the detected blob and semantic attributes of an underlying image patch extracted if a motionlet detectors fires, the extracted semantic attributes available for use for searching for the detected object.

    Semantisches Parsen von Objekten in Videos

    公开(公告)号:DE112011101927B4

    公开(公告)日:2016-03-17

    申请号:DE112011101927

    申请日:2011-07-27

    Applicant: IBM

    Abstract: Die Erfindung stellt ein verbessertes Verfahren zum Erkennen semantischer Attribute des menschlichen Körpers in der Computersicht bereit. Beim Erkennen semantischer Attribute des menschlichen Körpers in der Computersicht unterhält die Erfindung eine Liste semantischer Attribute, von denen jedes einem menschlichen Körperteil entspricht. Dann analysiert ein Computermodul Segmente eines Einzelbildes eines digitalen Videos, um jedes semantische Attribut durch Suchen eines wahrscheinlichsten Attributs für jedes Segment zu erkennen. Ein Grenzwert wird angewandt, um Kandidatensegmente des Einzelbildes für die weitere Analyse auszuwählen. Die Kandidatensegmente des Einzelbildes durchlaufen dann eine geometrische und eine Auflösungskontextanalyse, indem die physischen Aufbauprinzipien eines menschlichen Körpers angewandt werden und indem Versionen des Bildes mit zunehmend höherer Auflösung analysiert werden, um das Vorhandensein und die Genauigkeit der Teile und Attribute zu überprüfen. Ein Computermodul berechnet eine Auflösungskontextzahl für eine Version des Bildes mit niedrigerer Auflösung auf der Grundlage einer für eine Version des Bildes mit höherer Auflösung berechneten Zahl des gewichteten Mittels, indem Auftretensmerkmale, geometrische Merkmale und Auflösungskontextmerkmale ausgewertet werden, falls sie in der Version des Bildes mit höherer Auflösung verfügbar sind. Schließlich wird mittels dynamischer Programmierung ein Schritt für die optimale Konfiguration durchgeführt, um eine optimale Ausgabe mit semantischen Attributen und auch räumlichen Positionen menschlicher Körperteile im Einzelbild auszuwählen.

    Multi-cue object detection and analysis

    公开(公告)号:GB2516204A

    公开(公告)日:2015-01-14

    申请号:GB201420407

    申请日:2013-05-31

    Applicant: IBM

    Abstract: Foreground objects of interest are distinguished from a background model by dividing a region of interest of a video data image into a grid array of individual cells that are each smaller than that a foreground object of interest. More particularly, image data of the foreground object of interest spans a contiguous plurality of the cells. Each of the cells are labeled as foreground if accumulated edge energy within the cell meets an edge energy threshold, if color intensities for different colors within each cell differ by a color intensity differential threshold, or as a function of combinations of said determinations in view of one or more combination rules.

    Semantic parsing of objects in video

    公开(公告)号:GB2495881A

    公开(公告)日:2013-04-24

    申请号:GB201302234

    申请日:2011-07-27

    Applicant: IBM

    Abstract: The invention provides an improved method to detect semantic attributes of human body in computer vision. In detecting semantic attributes of human body in computer vision, the invention maintains a list of semantic attributes, each of which corresponds to a human body part. A computer module then analyzes segments of a frame of a digital video to detect each semantic attribute by finding a most likely attribute for each segment. A threshold is applied to select candidate segments of the frame for further analysis. The candidate segments of the frame then go through geometric and resolution context analysis by applying the physical structure principles of a human body and by analyzing increasingly higher resolution versions of the image to verify the existence and accuracy of parts and attributes. A computer module computes a resolution context score for a lower resolution version of the image based on a weighted average score computed for a higher resolution version of the image by evaluating appearance features, geometric features, and resolution context features when available on the higher resolution version of the image. Finally, an optimal configuration step is performed via dynamic programming to select an optimal output with both semantic attributes and spatial positions of human body parts on the frame.

    Semantisches Parsen von Objekten in Videos

    公开(公告)号:DE112011101927T5

    公开(公告)日:2013-09-05

    申请号:DE112011101927

    申请日:2011-07-27

    Applicant: IBM

    Abstract: Die Erfindung stellt ein verbessertes Verfahren zum Erkennen semantischer Attribute des menschlichen Körpers in der Computersicht bereit. Beim Erkennen semantischer Attribute des menschlichen Körpers in der Computersicht unterhält die Erfindung eine Liste semantischer Attribute, von denen jedes einem menschlichen Körperteil entspricht. Dann analysiert ein Computermodul Segmente eines Einzelbildes eines digitalen Videos, um jedes semantische Attribut durch Suchen eines wahrscheinlichsten Attributs für jedes Segment zu erkennen. Ein Grenzwert wird angewandt, um Kandidatensegmente des Einzelbildes für die weitere Analyse auszuwählen. Die Kandidatensegmente des Einzelbildes durchlaufen dann eine geometrische und eine Auflösungskontextanalyse, indem die physischen Aufbauprinzipien eines menschlichen Körpers angewandt werden und indem Versionen des Bildes mit zunehmend höherer Auflösung analysiert werden, um das Vorhandensein und die Genauigkeit der Teile und Attribute zu überprüfen. Ein Computermodul berechnet eine Auflösungskontextzahl für eine Version des Bildes mit niedrigerer Auflösung auf der Grundlage einer für eine Version des Bildes mit höherer Auflösung berechneten Zahl des gewichteten Mittels, indem Auftretensmerkmale, geometrische Merkmale und Auflösungskontextmerkmale ausgewertet werden, falls sie in der Version des Bildes mit höherer Auflösung verfügbar sind. Schließlich wird mittels dynamischer Programmierung ein Schritt für die optimale Konfiguration durchgeführt, um eine optimale Ausgabe mit semantischen Attributen und auch räumlichen Positionen menschlicher Körperteile im Einzelbild auszuwählen.

    Improved abandoned object recognition using pedestrian detection

    公开(公告)号:GB2496266A

    公开(公告)日:2013-05-08

    申请号:GB201218606

    申请日:2012-10-17

    Applicant: IBM

    Abstract: Methods and apparatus are provided for improved abandoned object recognition using pedestrian detection. An abandoned object is detected in one or more images by determining if one or more detected objects in a foreground of the images comprises a potential abandoned object; applying a trained pedestrian detector 130 to the potential abandoned object to determine if the potential abandoned object comprises at least a portion of a pedestrian; and classifying the potential abandoned object as an abandoned object based on whether the potential abandoned object is not at least a portion of a pedestrian. The trained pedestrian detector is trained using positive training samples comprised of at least portions of human bodies in one or more poses and/or negative training samples comprised of at least portions of abandoned objects.

Patent Agency Ranking