公开(公告)号：US20160116995A1

公开(公告)日：2016-04-28

申请号：US14803949

申请日：2015-07-20

Applicant: Microsoft Corporation

Inventor： Andrew WILSON ,  Nuria OLIVER

IPC: G06F3/038 ,  A63F13/428 ,  G06T7/20 ,  A63F13/211 ,  G06F3/0346 ,  G06F3/01

CPC classification number: G06F3/017 ,  A63F13/211 ,  A63F13/213 ,  A63F13/42 ,  A63F13/428 ,  A63F2300/1093 ,  G06F3/011 ,  G06F3/012 ,  G06F3/013 ,  G06F3/0346 ,  G06F3/038 ,  G06K9/00335 ,  G06K9/00355 ,  G06T7/20 ,  G06T7/285 ,  G06T7/593 ,  H04N13/128 ,  H04N13/239 ,  H04N13/366 ,  H04N2013/0081

Abstract: Apparatus and process for controlling a computer process with gestures and a handheld pointing device. The computer system employing the pointing device to determine what component a user wants to control and what control action is desired.

Abstract translation: 用手势控制计算机进程和手持指点装置的装置和过程。 采用指示设备的计算机系统来确定用户想要控制什么组件以及期望什么控制动作。

公开(公告)号：US20140292654A1

公开(公告)日：2014-10-02

申请号：US14307428

申请日：2014-06-17

Applicant: Microsoft Corporation

Inventor： Andrew WILSON

IPC: G06F3/0346

CPC classification number: G06F3/0346 ,  G06F3/038 ,  G06F2203/0381 ,  G08C17/00 ,  G08C2201/31 ,  G08C2201/32 ,  G08C2201/41 ,  G08C2201/50

Abstract: The present invention is directed toward a system and process that controls a group of networked electronic components using a multimodal integration scheme in which inputs from a speech recognition subsystem, gesture recognition subsystem employing a wireless pointing device and pointing analysis subsystem also employing the pointing device, are combined to determine what component a user wants to control and what control action is desired. In this multimodal integration scheme, the desired action concerning an electronic component is decomposed into a command and a referent pair. The referent can be identified using the pointing device to identify the component by pointing at the component or an object associated with it, by using speech recognition, or both. The command may be specified by pressing a button on the pointing device, by a gesture performed with the pointing device, by a speech recognition event, or by any combination of these inputs.

Abstract translation: 本发明涉及一种使用多模式集成方案来控制一组网络化电子部件的系统和过程，其中来自语音识别子系统的手势识别子系统，采用无线指点装置的手势识别子系统以及也使用指示装置的指点分析子系统， 被组合以确定用户想要控制什么组件以及期望什么控制动作。 在该多模式集成方案中，关于电子部件的期望动作被分解成命令和指示对。 可以使用指示设备来识别该对象，通过使用语音识别或两者来指向组件或与其相关联的对象来识别组件。 命令可以通过按下指示设备上的按钮，通过用指示设备执行的手势，语音识别事件或这些输入的任意组合来指定。