KR101958778B1 - A Head Mounted Display and a Method for Controlling a Digital Device Using the Same - Google Patents
A Head Mounted Display and a Method for Controlling a Digital Device Using the Same Download PDFInfo
- Publication number
- KR101958778B1 KR101958778B1 KR1020120096132A KR20120096132A KR101958778B1 KR 101958778 B1 KR101958778 B1 KR 101958778B1 KR 1020120096132 A KR1020120096132 A KR 1020120096132A KR 20120096132 A KR20120096132 A KR 20120096132A KR 101958778 B1 KR101958778 B1 KR 101958778B1
- Authority
- KR
- South Korea
- Prior art keywords
- hmd
- digital device
- external digital
- gesture input
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004891 communication Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명은 헤드 마운트 디스플레이를 이용하여 유저의 제스처 입력을 수신하고, 수신된 제스처 입력을 이용하여 디지털 디바이스를 통합적으로 제어하는 방법에 관한 발명이다.
이를 위해 본 발명은, 상기 HMD가 유저에게 착용 되었는지 여부를 디텍트 하는 단계; 상기 HMD와 연동된 외부 디지털 디바이스의 위치 상태를 디텍트 하는 단계, 상기 위치 상태는 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 상기 외부 디지털 디바이스가 상기 HMD의 상기 화각 영역에 위치하지 않는 제 2 상태를 포함함; 유저의 제스처 입력을 디텍트 하는 단계; 상기 HMD가 유저에게 착용 되었는지 여부 및 상기 디텍트 된 외부 디지털 디바이스의 위치 상태에 기초하여, 상기 제스처 입력을 적용하여 디스플레이를 제어할 적어도 하나의 디지털 디바이스를 결정하는 단계, 상기 적어도 하나의 디지털 디바이스는 상기 HMD 및 상기 외부 디지털 디바이스 중 적어도 하나를 포함함; 및 상기 결정된 디지털 디바이스의 디스플레이 오브젝트를 상기 제스처 입력을 적용하여 제어하는 단계; 를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법을 제공한다.The present invention is directed to a method for receiving a gesture input of a user using a head mounted display and integrally controlling the digital device using the received gesture input.
To this end, the present invention comprises: detecting whether the HMD is worn by a user; Detecting a positional state of an external digital device interlocked with the HMD, wherein the positional state is a first state in which the external digital device is located in a predetermined angle of view region of the HMD, A second state that is not located in the region; Detecting a user's gesture input; Determining at least one digital device to control the display by applying the gestural input based on whether the HMD is worn by a user and a positional state of the detected external digital device, At least one of the HMD and the external digital device; And controlling the display object of the determined digital device by applying the gesture input; (HMD) for controlling a digital device using the head mounted display (HMD).
Description
본 발명은 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법에 관한 것이다. 더욱 상세하게는 본 발명은 헤드 마운트 디스플레이를 이용하여 유저의 제스처 입력을 수신하고, 수신된 제스처 입력을 이용하여 디지털 디바이스를 통합적으로 제어하는 방법에 관한 발명이다.The present invention relates to a head mount display and a digital device control method using the same. More particularly, the present invention relates to a method for receiving a gesture input of a user using a head-mounted display and integrally controlling the digital device using the received gesture input.
헤드 마운트 디스플레이(Head Mounted Display, HMD)란 안경처럼 머리에 착용하여 영상을 볼 수 있도록 하는 각종 영상 표시 장치를 말한다. 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, 상기 HMD 또한 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합 되어 유저에게 다양한 편의를 제공할 수 있다.Head Mounted Display (HMD) refers to various image display devices that can be worn on the head like glasses. 2. Description of the Related Art [0002] Various wearable computers (wearable computers) have been developed in accordance with the trend of weight reduction and miniaturization of digital devices, and such HMDs are also widely used. The HMD can be combined with augmented reality technology, N screen technology, etc., beyond the simple display function, to provide various convenience to the user.
HMD는 다양한 디지털 디바이스들과 연계하여 사용 가능하다. 특히, 유저가 사용할 수 있는 디지털 디바이스의 종류가 다양해짐에 따라, 각 디바이스를 통합적으로 제어할 수 있는 방법이 필요하다.The HMD can be used in conjunction with various digital devices. Particularly, as the types of digital devices usable by the user become various, a method of integrally controlling each device is needed.
본 발명은 HMD를 이용하여 다양한 디지털 디바이스를 통합적으로 제어할 수 있는 방법을 제공하기 위한 목적을 가지고 있다.An object of the present invention is to provide a method for integrally controlling various digital devices using an HMD.
더욱 구체적으로, 본 발명은 HMD를 통해 디텍트 되는 유저의 제스처 입력을 이용하여 HMD 및 외부 디지털 디바이스 중 적어도 하나의 디스플레이 오브젝트를 제어하는 방법을 제공하기 위한 목적을 가지고 있다.More specifically, the present invention is directed to providing a method of controlling at least one display object of an HMD and an external digital device using a gesture input of a user detected through an HMD.
또한, 본 발명은 제스처 입력을 수행한 유저가 어떠한 디지털 디바이스의 디스플레이를 제어하려고 하는지의 의도를 파악하고, 유저의 의도에 맞게 해당 디지털 디바이스의 디스플레이 오브젝트를 제어할 수 있는 방법을 제공하기 위한 목적을 가지고 있다.It is another object of the present invention to provide a method of controlling a display object of a digital device in accordance with a user's intention by grasping an intention of a user who has performed a gesture input to control a display of the digital device Have.
상기와 같은 문제를 해결하기 위해 본 발명은, HMD가 유저에게 착용 되었는지 여부를 디텍트 하는 단계; 상기 HMD와 연동된 외부 디지털 디바이스의 위치 상태를 디텍트 하는 단계, 상기 위치 상태는 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 상기 외부 디지털 디바이스가 상기 HMD의 상기 화각 영역에 위치하지 않는 제 2 상태를 포함함; 유저의 제스처 입력을 디텍트 하는 단계; 상기 HMD가 유저에게 착용 되었는지 여부 및 상기 디텍트 된 외부 디지털 디바이스의 위치 상태에 기초하여, 상기 제스처 입력을 적용하여 디스플레이를 제어할 적어도 하나의 디지털 디바이스를 결정하는 단계, 상기 적어도 하나의 디지털 디바이스는 상기 HMD 및 상기 외부 디지털 디바이스 중 적어도 하나를 포함함; 및 상기 결정된 디지털 디바이스의 디스플레이 오브젝트를 상기 제스처 입력을 적용하여 제어하는 단계; 를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법을 제공한다.In order to solve the above problems, the present invention provides a method of detecting an HMD, the method comprising: detecting whether the HMD is worn by a user; Detecting a positional state of an external digital device interlocked with the HMD, wherein the positional state is a first state in which the external digital device is located in a predetermined angle of view region of the HMD, A second state that is not located in the region; Detecting a user's gesture input; Determining at least one digital device to control the display by applying the gestural input based on whether the HMD is worn by a user and a positional state of the detected external digital device, At least one of the HMD and the external digital device; And controlling the display object of the determined digital device by applying the gesture input; (HMD) for controlling a digital device using the head mounted display (HMD).
또한, 본 발명은 HMD의 작동을 제어하는 프로세서; 상기 프로세서의 명령에 기초하여 영상을 출력하는 디스플레이 유닛; 상기 HMD의 주변 환경을 센싱하고, 센싱 결과를 상기 프로세서에 전달하는 센서 유닛; 및 상기 프로세서의 명령에 기초하여 외부 디지털 디바이스와 데이터를 송/수신하는 커뮤니케이션 유닛을 포함하되, 상기 프로세서는, 상기 HMD가 유저에게 착용 되었는지 여부를 디텍트 하고, 상기 HMD와 연동된 외부 디지털 디바이스의 위치 상태를 디텍트 하되, 상기 위치 상태는 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 상기 외부 디지털 디바이스가 상기 HMD의 상기 화각 영역에 위치하지 않는 제 2 상태를 포함하고, 유저의 제스처 입력을 디텍트 하고, 상기 HMD가 유저에게 착용 되었는지 여부 및 상기 디텍트 된 외부 디지털 디바이스의 위치 상태에 기초하여, 상기 제스처 입력을 적용하여 디스플레이를 제어할 적어도 하나의 디지털 디바이스를 결정하되, 상기 적어도 하나의 디지털 디바이스는 상기 HMD 및 상기 외부 디지털 디바이스 중 적어도 하나를 포함하며, 상기 결정된 디지털 디바이스의 디스플레이 오브젝트를 상기 제스처 입력을 적용하여 제어하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 제공한다.The present invention also relates to a processor for controlling the operation of an HMD; A display unit for outputting an image based on an instruction of the processor; A sensor unit for sensing a surrounding environment of the HMD and transmitting a sensing result to the processor; And a communication unit for transmitting / receiving data to / from an external digital device based on an instruction from the processor, wherein the processor detects whether the HMD is worn by a user, Wherein the position state includes a first state in which the external digital device is located in a predefined field angle region of the HMD and a second state in which the external digital device is not in the field angle region of the HMD Determining whether the HMD is worn by the user and based on the detected position of the external digital device, applying the gesture input to the at least one digital device to control the display , Wherein the at least one digital device The outside comprises at least one of the digital device, and provides a head mounted display (HMD), characterized in that to control by applying the gesture input to a display object of the determined digital device.
본 발명의 실시예에 따른 디지털 디바이스 제어 방법에 의하면, HMD를 이용하여 복수의 디지털 디바이스의 디스플레이를 통합적으로 제어할 수 있다.According to the digital device control method of the embodiment of the present invention, the display of a plurality of digital devices can be integrally controlled by using the HMD.
특히, 본 발명의 실시예에 따르면 유저는 하나의 HMD를 이용하여 HMD 자체의 디스플레이 오브젝트뿐만 아니라 HMD와 연동된 외부 디지털 디바이스의 디스플레이 오브젝트도 함께 제어할 수 있다.Particularly, according to the embodiment of the present invention, the user can control not only the display object of the HMD itself but also the display object of the external digital device interlocked with the HMD by using one HMD.
본 발명의 실시예에 따르면, 유저가 HMD와 외부 디지털 디바이스 중 어떠한 디지털 디바이스의 디스플레이 오브젝트를 제어하기를 원하는지에 대한 의도를 파악할 수 있으며, 이러한 유저의 의도에 부합되게 해당 디지털 디바이스의 디스플레이 오브젝트를 제어할 수 있도록 하는 간편하고 직관적인 유저 인터페이스를 제공한다.According to the embodiment of the present invention, it is possible to grasp the intention of the user who wants to control the display object of any digital device among the HMD and the external digital device, and to control the display object of the corresponding digital device in accordance with the intention of the user It provides a simple and intuitive user interface that allows you to
본 발명의 일 실시예에 따르면, HMD가 유저에게 착용되었는지 여부에 기초하여 유저의 제스처 입력의 반전 여부 및 보정 여부를 결정할 수 있다. 따라서, 본 발명의 실시예에 따라 HMD가 서로 다른 다양한 상태에 있더라도, 제스처 입력을 수행하는 유저를 중심으로 하여 제스처 입력의 적용 방향을 결정할 수 있다.According to one embodiment of the present invention, it is possible to determine whether the gesture input of the user is reversed or not based on whether or not the HMD is worn by the user. Therefore, even if the HMD is in various states according to the embodiment of the present invention, the application direction of the gesture input can be determined centering on the user performing the gesture input.
도 1은 본 발명의 실시예에 따른 HMD, 상기 HMD를 착용한 유저 및 상기 HMD와 연동된 디지털 디바이스를 나타낸 도면.
도 2는 본 발명의 첫 번째 실시예에 따른 디지털 디바이스 제어 방법을 나타낸 도면.
도 3은 본 발명의 두 번째 실시예에 따른 디지털 디바이스 제어 방법을 나타낸 도면.
도 4 및 도 5는 본 발명의 세 번째 실시예에 따른 디지털 디바이스 제어 방법을 나타낸 도면.
도 6 내지 도 8은 본 발명의 실시예에 따라 HMD를 이용하여 복수의 외부 디지털 디바이스를 제어 하는 방법을 나타낸 도면.
도 9 및 도 10은 본 발명의 네 번째 실시예에 따른 디지털 디바이스 제어 방법을 나타낸 도면.
도 11은 본 발명의 실시예에 따른 HMD를 나타내는 블록도.
도 12는 본 발명의 실시예에 따른 HMD를 이용한 디지털 디바이스 제어 방법을 나타내는 순서도.1 is a view illustrating an HMD according to an embodiment of the present invention, a user wearing the HMD, and a digital device interlocked with the HMD.
2 illustrates a digital device control method according to a first embodiment of the present invention.
3 is a diagram illustrating a digital device control method according to a second embodiment of the present invention.
4 and 5 show a digital device control method according to a third embodiment of the present invention.
6 through 8 illustrate a method of controlling a plurality of external digital devices using an HMD according to an embodiment of the present invention.
9 and 10 show a digital device control method according to a fourth embodiment of the present invention.
11 is a block diagram illustrating an HMD according to an embodiment of the present invention.
12 is a flowchart showing a digital device control method using an HMD according to an embodiment of the present invention.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.As used herein, terms used in the present invention are selected from general terms that are widely used in the present invention while taking into account the functions of the present invention. However, these terms may vary depending on the intention of a person skilled in the art, custom or the emergence of new technology. Also, in certain cases, there may be a term arbitrarily selected by the applicant, and in this case, the meaning thereof will be described in the description of the corresponding invention. Therefore, it is intended that the terminology used herein should be interpreted relative to the meaning of the term rather than to the nomenclature of the term, and the entire content of the specification.
도 1은 본 발명의 실시예에 따른 HMD(100), 상기 HMD를 착용한 유저(10) 및 상기 HMD(100)와 연동된 외부 디지털 디바이스(200)를 나타내고 있다.FIG. 1 shows an HMD 100 according to an embodiment of the present invention, a
도 1에서 HMD(100)는 다양한 컨텐츠를 출력할 수 있으며, 적어도 하나의 외부 디지털 디바이스(200)와 연동하여 작동할 수 있다. 이때, 상기 HMD(100)는 외부 디지털 디바이스(200)와의 연동을 위해 별도의 페어링 또는 통신 접속을 수행할 수 있다. 이러한 페어링 또는 통신 접속 작업은 HMD(100) 또는 외부 디지털 디바이스(200)를 통한 유저 입력에 의해 수행될 수 있다. 예를 들어, HMD(100)는 외부 디지털 디바이스(200)와의 페어링 또는 통신 접속을 위한 별도의 유저 인터페이스를 제공할 수 있으며, 유저는 상기 유저 인터페이스를 이용한 유저 입력을 통해 HMD(100)와 외부 디지털 디바이스(200) 간의 페어링 또는 통신 접속을 수행할 수 있다.In FIG. 1, the HMD 100 can output various contents and can operate in conjunction with at least one external
HMD(100)는 구비된 디스플레이 유닛을 통해 적어도 하나의 오브젝트를 디스플레이 할 수 있다. 예를 들어, HMD(100) 자체의 컨텐츠, 유저 인터페이스 등을 디스플레이 할 수 있으며, 더 나아가 HMD(100)와 연동된 외부 디지털 디바이스(200)의 다양한 컨텐츠를 디스플레이 할 수도 있다.The HMD 100 may display at least one object through the display unit. For example, it is possible to display contents of the HMD 100 itself, a user interface, and the like, and further display various contents of the external
한편, 외부 디지털 디바이스(200)는 다양한 종류의 컨텐츠를 출력할 수 있다. 예를 들어, 상기 외부 디지털 디바이스(200)는 생방송, 영화, 음악, 드라마, 웹 페이지, 게임 또는 어플리케이션 등의 다양한 멀티미디어 컨텐츠를 출력할 수 있다. 상기 외부 디지털 디바이스(200)는 적어도 하나의 디스플레이 유닛(220)을 구비하며, 외부 디지털 디바이스(200)에서 출력되는 컨텐츠는 상기 디스플레이 유닛(220)으로 디스플레이 될 수 있다. 한편, 외부 디지털 디바이스(200)는 커뮤니케이션 유닛(미도시)을 구비할 수 있으며, 상기 커뮤니케이션 유닛을 통해 HMD(100) 및 기타 다른 외부 디바이스들과 데이터 송수신이 가능하다. 본 발명에서 외부 디지털 디바이스(200)는 디스플레이 유닛 및 커뮤니케이션 유닛을 구비한 다양한 디지털 디바이스들을 포함한다. 예를 들면, 외부 디지털 디바이스(200)는 PC, PDA(Personal Digital Assistant), 노트북, 태블릿 피씨, 텔레비전 등 이미지 디스플레이가 가능하며 데이터 통신이 가능한 다양한 디지털 디바이스 들을 포함한다.Meanwhile, the external
HMD(100)와 외부 디지털 디바이스(200)는 다양한 형태의 유선 또는 무선 통신 수단을 이용하여 데이터의 송/수신이 가능하다. 이때, 사용 가능한 무선 통신 수단으로는 NFC(Near Field Communication), Zigbee, 적외선 통신, 블루투스, 와이파이 등이 있으며, 본 발명은 이에 한정하지 않는다. 본 발명에서 HMD(100)와 외부 디지털 디바이스(200)간의 통신은 앞서 열거된 통신 수단 중 어느 하나를 이용하여 이루어질 수도 있으며, 이들 간의 조합을 통하여 이루어질 수도 있다.The HMD 100 and the external
본 발명의 HMD(100)는 기 설정된 범위의 화각 영역(102)을 가질 수 있다. 상기 화각 영역(102)은 HMD(100)를 착용한 유저(10)의 시야에 대응하는 기 설정된 영역으로서, HMD(100)의 전방 방향으로 일정한 각도 이내의 영역을 포함할 수 있다. 본 발명의 실시예에 따르면, HMD(100)는 상기 HMD(100)와 연동된 외부 디지털 디바이스(200)가 HMD(100)의 화각 영역(102)에 위치하는지 여부를 디텍트 할 수 있다. 즉, HMD(100)는 상기 HMD(100)와 연동된 외부 디지털 디바이스(200)의 위치 상태를 디텍트 할 수 있는데, 본 발명에서 상기 위치 상태는 외부 디지털 디바이스(200)가 HMD(100)의 화각 영역(102)에 위치하는 제 1 상태와, 외부 디지털 디바이스(200)가 HMD(100)의 화각 영역(102)에 위치하지 않는 제 2 상태를 포함할 수 있다.The HMD 100 of the present invention may have the
또한, HMD(100)는 유저(10)의 제스처 입력(15)을 디텍트 할 수 있다. 상기 제스처 입력(15)은 유저(10)의 손 또는 손가락을 제 1 지점에서 제 2 지점으로 이동하는 입력을 포함한다. 다만, 본 발명은 이에 한정하지 않으며, 상기 제스처 입력(15)은 디지털 디바이스의 컨텐츠를 제어하기 위한 다양한 유저 입력을 포함한다. 본 발명의 HMD(100)는 상기 제스처 입력(15)의 포인팅 디렉션(pointing direction) 정보를 더 디텍트 할 수 있다. 본 발명에서 제스처 입력(15)의 포인팅 디렉션 정보는 해당 제스처 입력(15)을 이용하여 디스플레이를 제어하고자 하는 디지털 디바이스가 어떠한 것인지에 대한 정보를 나타낸다. 본 발명의 실시예에 따르면, 상기 제스처 입력(15)의 포인팅 디렉션(pointing direction) 정보는 상기 제스처 입력(15)의 손가락이 가리키는 방향에 기초하여 결정될 수 있다. 예를 들어, 상기 제스처 입력(15)의 손가락이 도 1에서와 같이 외부 디지털 디바이스(200)를 향한다면, 해당 제스처 입력(15)의 포인팅 디렉션 정보는 상기 외부 디지털 디바이스(200)를 가리킬 수 있다. 또한, 상기 제스처 입력(15)의 손가락이 HMD(100)를 향한다면, 해당 제스처 입력(15)의 포인팅 디렉션 정보는 상기 HMD(100)를 가리킬 수 있다. 다만, 본 발명에서 제스처 입력(15)의 포인팅 디렉션 정보를 결정하는 방법은 이에 한정하지 않으며, 다양한 실시예로 변형 가능하다. 예를 들어, 제스처 입력(15)에 포함된 기 설정된 동작 (예를 들면, 특정 손가락을 펴는지 여부 등)에 따라 포인팅 디렉션 정보가 다르게 결정되도록 할 수 있다.Further, the HMD 100 can detect the
상기 HMD(100)는 유저(10)에게 착용 되었는지 여부를 더 디텍트 할 수 있다. 즉, HMD(100)는 구비된 센서 유닛을 이용하여 유저(10)가 해당 HMD(100)를 착용하였는지 여부를 디텍트 할 수 있다. 본 발명에서 HMD(100)는 디텍트 된 상기 조건들을 이용하여, 유저(10)의 제스처 입력(15)에 대응하는 디지털 디바이스의 제어를 수행할 수 있다. 즉, 상기 HMD(100)가 유저(10)에게 착용되었는지 여부 및 디텍트 된 외부 디지털 디바이스(200)의 위치 상태에 기초하여, 본 발명의 HMD(100)는 제스처 입력(15)을 적용하여 디스플레이를 제어할 디지털 디바이스를 결정할 수 있다. 이때, 상기 디스플레이 제어를 위한 디지털 디바이스는 HMD(100) 및 외부 디지털 디바이스(200) 중 적어도 하나를 포함할 수 있다. 이에 대한 구체적인 실시예는 도 2 내지 도 10을 참조로 후술하도록 한다.The HMD 100 may further detect whether the
도 2는 본 발명의 일 실시예에 따른 디지털 디바이스 제어 방법을 나타내고 있다. 도 2의 실시예에서 HMD(100)는 유저에게 착용된 상태이며, HMD(100)와 연동된 외부 디지털 디바이스는 HMD(100)의 화각 영역(102) 밖에 위치한다.2 shows a digital device control method according to an embodiment of the present invention. In the embodiment of FIG. 2, the
먼저, 본 발명의 HMD(100)는 유저의 제스처 입력(15)을 디텍트 한다. 다음으로, HMD(100)는 상기 디텍트 된 유저의 제스처 입력(15)을 이용하여 HMD(100)의 디스플레이 오브젝트(125)를 제어한다. 예를 들어, 도 2에서 HMD(100)는 화각 영역(102) 내에서 HMD(100)의 좌측(L)에서 HMD(100)의 우측(R)으로 이동하는 제스처 입력(15)을 디텍트 할 수 있다. HMD(100)는 상기 디텍트 된 제스처 입력(15)을 적용하여, HMD(100)의 디스플레이 유닛(120)에 출력되는 디스플레이 오브젝트(125)를 제어할 수 있다. 즉, HMD(100)는 상기 디스플레이 오브젝트(125)에 대하여 좌측에서 우측으로 이동하는 입력을 적용할 수 있다. 이때, 상기 제스처 입력(15)에 의해 제어되는 디스플레이 오브젝트(125)는 상기 HMD(100)의 디스플레이 유닛(120)에 디스플레이 되는 다양한 컨텐츠 및 유저 인터페이스 중 적어도 하나가 될 수 있다.First, the
한편, 본 발명의 실시예에 따르면, HMD(100)는 HMD(100)와 연동된 외부 디지털 디바이스가 HMD(100)와 동일한 디스플레이 오브젝트를 제공하는지 여부를 판별할 수 있다. 즉, HMD(100)는 상기 외부 디지털 디바이스가 HMD(100)의 디스플레이 오브젝트(125)를 동일하게 출력하는 N 스크린 상태에 있는지 여부를 판별한다. 만약, 외부 디지털 디바이스가 HMD(100)와 동일한 디스플레이 오브젝트를 제공할 경우, 외부 디지털 디바이스의 디스플레이 오브젝트는 HMD(100)의 디스플레이 오브젝트(125)와 함께 제어될 수 있다. 즉, HMD(100)는 디텍트 된 제스처 입력(15)을 적용하여 HMD(100)의 디스플레이 오브젝트(125)와 외부 디지털 디바이스의 디스플레이 오브젝트를 함께 제어한다. 이때, HMD(100)에 의해 제어되는 외부 디지털 디바이스의 디스플레이 오브젝트는 HMD(100)를 통해 출력 되는 디스플레이 오브젝트(125)와 동일한 오브젝트가 될 수 있다. 그러나, 외부 디지털 디바이스가 HMD(100)와 동일한 디스플레이 오브젝트를 제공하지 않거나 HMD(100)와 연동된 외부 디지털 디바이스가 없을 경우, HMD(100)는 디텍트 된 제스처 입력(15)을 적용하여 HMD(100)의 디스플레이 오브젝트(125)만을 제어할 수 있다.Meanwhile, according to the embodiment of the present invention, the
도 3은 본 발명의 다른 실시예에 따른 디지털 디바이스 제어 방법을 나타내고 있다. 도 3의 실시예에서 HMD(100)는 유저에게 착용된 상태이며, HMD(100)와 연동된 외부 디지털 디바이스(200)는 HMD(100)의 화각 영역(102) 내에 위치한다.3 shows a digital device control method according to another embodiment of the present invention. 3, the
먼저, 본 발명의 HMD(100)는 유저의 제스처 입력(15)을 디텍트 한다. 다음으로, HMD(100)는 HMD(100)와 연동된 외부 디지털 디바이스(200)가 HMD(100)와 동일한 디스플레이 오브젝트를 제공하는지 여부를 판별할 수 있다. 즉, HMD(100)는 상기 외부 디지털 디바이스가 HMD(100)의 디스플레이 오브젝트(125)를 동일하게 출력하는 N 스크린 상태에 있는지 여부를 판별한다. 도 3의 실시예와 같이, 외부 디지털 디바이스(200)가 HMD(100)와 동일한 디스플레이 오브젝트를 제공할 경우, 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)는 HMD(100)의 디스플레이 오브젝트(125)와 함께 제어될 수 있다. 즉, HMD(100)는 디텍트 된 제스처 입력(15)을 적용하여 HMD(100)의 디스플레이 오브젝트(125)와 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)를 함께 제어한다. 이때, HMD(100)에 의해 제어되는 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)는 HMD(100)를 통해 출력 되는 디스플레이 오브젝트(125)와 동일한 오브젝트가 될 수 있다.First, the
HMD(100)는 상기 디텍트 된 유저의 제스처 입력(15)을 이용하여 HMD(100)의 디스플레이 오브젝트(125) 및 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)를 함께 제어한다. 예를 들어, 도 3에서 HMD(100)는 화각 영역(102) 내에서 HMD(100)의 좌측(L)에서 HMD(100)의 우측(R)으로 이동하는 제스처 입력(15)을 디텍트 할 수 있다. HMD(100)는 상기 디텍트 된 제스처 입력(15)을 적용하여, HMD(100)의 디스플레이 유닛(120)에 출력되는 디스플레이 오브젝트(125)와 외부 디지털 디바이스(200)의 디스플레이 유닛(220)에 출력되는 디스플레이 오브젝트(225)를 제어할 수 있다. 즉, HMD(100)는 상기 디스플레이 오브젝트 125 및 디스플레이 오브젝트 225에 대하여 좌측에서 우측으로 이동하는 입력을 적용할 수 있다. 이때, 상기 제스처 입력(15)에 의해 제어되는 디스플레이 오브젝트 125 및 디스플레이 오브젝트 225는 상기 HMD(100)의 디스플레이 유닛(120) 및 외부 디지털 디바이스(200)의 디스플레이 유닛(220)에 각각 디스플레이 되는 다양한 컨텐츠 및 유저 인터페이스 중 적어도 하나가 될 수 있다.The
다음으로 도 4 및 도 5는 본 발명의 또 다른 실시예에 따른 디지털 디바이스 제어 방법을 나타내고 있다. 도 4 및 도 5의 실시예에서 HMD(100)는 유저에게 착용된 상태이며, HMD(100)와 연동된 외부 디지털 디바이스(200)는 HMD(100)의 화각 영역(102) 내에 위치한다.4 and 5 show a digital device control method according to another embodiment of the present invention. 4 and 5, the
먼저, 본 발명의 HMD(100)는 유저의 제스처 입력(15)을 디텍트 한다. 다음으로, HMD(100)는 HMD(100)와 연동된 외부 디지털 디바이스(200)가 HMD(100)와 동일한 디스플레이 오브젝트를 제공하는지 여부를 판별할 수 있다. 만약, 도 4 및 도 5의 실시예와 같이, 외부 디지털 디바이스(200)가 HMD(100)와 동일한 디스플레이 오브젝트를 제공하지 않을 경우, HMD(100)는 상기 디텍트 된 제스처 입력(15)의 포인팅 디렉션 정보를 디텍트 한다. 이때, 상기 포인팅 디렉션 정보는 제스처 입력(15)이 타겟으로 하는 디지털 디바이스를 나타낸다. 본 발명의 일 실시예에 따르면 상기 포인팅 디렉션 정보는 상기 제스처 입력(15)의 손가락이 가리키는 방향에 기초하여 결정될 수 있다. 본 발명의 실시예에 따른 HMD(100)는 상기 제스처 입력(15)이 포인팅하는 디지털 디바이스의 디스플레이 오브젝트를 제어할 수 있다.First, the
먼저, 도 4에 도시된 바와 같이 디텍트 된 제스처 입력(15)의 포인팅 디렉션 정보가 화각 영역(102) 내에 있는 외부 디지털 디바이스(200)를 가리킬 경우, HMD(100)는 상기 디텍트 된 유저의 제스처 입력(15)을 이용하여 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)를 제어할 수 있다. 예를 들어, 도 4에서 HMD(100)는 화각 영역(102) 내에서 HMD(100)의 좌측(L)에서 HMD(100)의 우측(R)으로 이동하는 제스처 입력(15)을 디텍트 할 수 있다. 이때, 상기 제스처 입력(15)의 포인팅 디렉션은 외부 디지털 디바이스(200)를 향한다. HMD(100)는 상기 디텍트 된 제스처 입력(15)을 적용하여, 외부 디지털 디바이스(200)의 디스플레이 유닛(220)에 출력되는 디스플레이 오브젝트(225)를 제어할 수 있다. 즉, HMD(100)는 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)에 대하여 좌측에서 우측으로 이동하는 입력을 적용할 수 있다. 본 발명의 실시예에 따르면, HMD(100)는 디텍트 된 제스처 입력(15)을 외부 디지털 디바이스(200)에 전송할 수 있다. 상기 외부 디지털 디바이스(200)는 HMD(100)로부터 제스처 입력(15)을 수신하고, 상기 제스처 입력(15)을 적용하여 디스플레이 오브젝트(225)를 제어한다.4, when the pointing direction information of the detected
한편, 도 5에 도시된 바와 같이 디텍트 된 제스처 입력(15)의 포인팅 디렉션 정보가 HMD(100)를 가리킬 경우, HMD(100)는 상기 디텍트 된 유저의 제스처 입력(15)을 이용하여 HMD(100)의 디스플레이 오브젝트(125)를 제어할 수 있다. 즉, 도 5의 실시예에서 HMD(100)가 화각 영역(102) 내에서 HMD(100)의 좌측(L)에서 HMD(100)의 우측(R)으로 이동하는 제스처 입력(15)을 디텍트 하면, HMD(100)는 HMD(100)의 디스플레이 오브젝트에 대하여 좌측에서 우측으로 이동하는 입력을 적용할 수 있다.5, when the pointing direction information of the detected
이와 같이 도 4 및 도 5의 실시예에 따르면, HMD(100)의 화각 영역(102) 내에 위치하는 외부 디지털 디바이스(200)가 HMD(100)와 동일한 디스플레이 오브젝트를 제공하지 않을 경우, HMD(100)는 디텍트 된 제스처 입력(15)의 포인팅 디렉션 정보에 기초하여 디스플레이를 제어할 디지털 디바이스를 결정할 수 있다. 즉, HMD(100)는 제스처 입력(15)의 포인팅 디렉션 정보에 따라 HMD(100)와 외부 디지털 디바이스(200) 중 어느 하나의 디스플레이 오브젝트를 제어할 수 있다. 이때, HMD(100)와 연동된 외부 디지털 디바이스(200)는 HMD(100)와 서로 다른 플랫폼을 구비할 수 있다. 즉, HMD(100)의 디스플레이 오브젝트(125)는 HMD(100)에 의해 제어되며, 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)는 외부 디지털 디바이스(200)에 의해서 제어될 수 있다. 만약, 도 4의 실시예와 같이, 디텍트 된 제스처 입력(15)의 포인팅 디렉션 정보가 화각 영역(102) 내에 있는 외부 디지털 디바이스(200)를 가리킬 경우, HMD(100)는 상기 디텍트 된 제스처 입력(15)을 외부 디지털 디바이스(200)에 전송할 수 있다. 이때, 외부 디지털 디바이스(200)는 본 발명의 HMD(100)를 유저 입력 수신 장치 중 하나로 사용하게 된다.4 and 5, when the external
도 6 내지 도 8은 본 발명의 실시예에 따른 HMD(100)를 이용하여 복수의 외부 디지털 디바이스(200a, 200b, 200c)를 제어 하는 방법을 나타내고 있다. 도 6 내지 도 8에서 HMD(100)는 유저(10)에게 착용된 상태에 있다. 또한, HMD(100)는 복수의 외부 디지털 디바이스(200a, 200b, 200c)와 연동된 상태에 있으며, 각 외부 디지털 디바이스(200a, 200b, 200c)는 HMD(100)와 다른 디스플레이 오브젝트를 제공한다.6 to 8 show a method of controlling a plurality of external
도 6 내지 도 8의 실시예에 따르면, HMD(100)는 각 외부 디지털 디바이스(200a, 200b, 200c)가 화각 영역(102) 내에 위치하는지 여부를 디텍트 하고, 화각 영역(102) 내에 위치하는 해당 외부 디지털 디바이스의 디스플레이 오브젝트를 제어할 수 있다. 즉, HMD(100)와 연동된 외부 디지털 디바이스가 화각 영역(102) 내에 위치하고, 디텍트 된 제스처 입력(15)의 포인팅 디렉션 정보가 화각 영역(102) 내에 있는 외부 디지털 디바이스를 가리킬 경우, HMD(100)는 상기 디텍트 된 제스처 입력(15)을 이용하여 해당 외부 디지털 디바이스의 디스플레이 오브젝트를 제어할 수 있다.6 through 8, the
예를 들어, 도 6에 도시된 바와 같이 HMD(100)의 화각 영역(102) 내에 외부 디지털 디바이스 200a가 위치하고, HMD(100)에 디텍트 된 제스처 입력(15)의 포인팅 디렉션 정보가 상기 외부 디지털 디바이스 200a를 가리킬 경우, HMD(100)는 외부 디지털 디바이스 200a의 디스플레이를 제어하도록 결정할 수 있다. 즉, HMD(100)는 디텍트 된 제스처 입력(15)을 적용하여 외부 디지털 디바이스 200a의 디스플레이 유닛(220a)에 출력되는 디스플레이 오브젝트(225)를 제어할 수 있다. 본 발명의 실시예에 따르면, HMD(100)는 디텍트 된 제스처 입력(15)을 외부 디지털 디바이스 200a에 전송 할 수 있다. 외부 디지털 디바이스 200a는 HMD(100)로부터 전송된 제스처 입력(15)을 수신하고, 상기 제스처 입력(15)을 적용하여 디스플레이 오브젝트 225a를 제어할 수 있다.6, the external
또한, 도 7에 도시된 바와 같이 HMD(100)의 화각 영역(102) 내에 외부 디지털 디바이스 200b가 위치하고, HMD(100)에 디텍트 된 제스처 입력(15)의 포인팅 디렉션 정보가 상기 외부 디지털 디바이스 200b를 가리킬 경우, HMD(100)는 외부 디지털 디바이스 200b의 디스플레이를 제어하도록 결정할 수 있다. 마찬가지로, 도 8에 도시된 바와 같이 HMD(100)의 화각 영역(102) 내에 외부 디지털 디바이스 200c가 위치하고, HMD(100)에 디텍트 된 제스처 입력(15)의 포인팅 디렉션 정보가 상기 외부 디지털 디바이스 200c를 가리킬 경우, HMD(100)는 외부 디지털 디바이스 200c의 디스플레이를 제어하도록 결정할 수 있다. 도 7 및 도 8에서 HMD(100)가 각 외부 디지털 디바이스 200b 및 200c의 디스플레이 오브젝트 225b 및 225c를 제어하는 방법은 도 6을 참조로 설명한 바와 같다.7, when the external
이와 같이 본 발명의 실시예에 따르면, HMD(100)를 이용하여 복수의 외부 디지털 디바이스(200a, 200b, 200c)의 디스플레이 오브젝트(225a, 225b, 225c)를 제어할 수 있다. 즉, 각 외부 디지털 디바이스(200a, 200b, 200c)가 HMD(100)의 화각 영역(102) 내에 위치하는지 여부를 디텍트하고, 디텍트 된 결과에 따라 각 외부 디지털 디바이스(200a, 200b, 200c)를 제어할 수 있다. 유저(10)는 본 발명의 실시예에 따른 HMD(100)를 착용한 채, 제어를 원하는 외부 디지털 디바이스를 바라보고 제스처 입력(15)을 수행함으로 해당 외부 디지털 디바이스의 디스플레이 오브젝트에 대한 제어 입력을 수행할 수 있다.As described above, according to the embodiment of the present invention, the display objects 225a, 225b, and 225c of the plurality of external
도 9 및 도 10은 본 발명의 또 다른 실시예에 따른 디지털 디바이스 제어 방법을 나타내고 있다. 도 9 및 도 10의 실시예에서 HMD(100)는 유저에게 착용되지 않은 상태에 있다.9 and 10 show a digital device control method according to another embodiment of the present invention. In the embodiment of Figs. 9 and 10, the
먼저 도 9를 참조하면, HMD(100)는 유저의 제스처 입력(15)을 디텍트 하고, 디텍트 된 제스처 입력(15)을 이용하여 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)를 제어한다. 즉, 본 발명의 실시예에 따르면 HMD(100)가 유저에게 착용되지 않을 경우, HMD(100)는 디텍트 된 제스처 입력(15)을 이용하여 외부 디지털 디바이스(200)의 디스플레이를 제어하도록 결정할 수 있다. 따라서, 외부 디지털 디바이스(200)는 본 발명의 HMD(100)를 유저 입력 수신 장치로 사용할 수 있다.9, the
한편, 본 발명의 실시예에 따르면, HMD(100)는 상기 HMD(100)가 유저에게 착용되었는지 여부에 기초하여, 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)에 대한 제스처 입력(15)의 적용 방향을 보정할 수 있다. 즉, 본 발명의 HMD(100)가 유저에게 착용되지 않았을 경우, HMD(100)는 디텍트 된 제스처 입력(15)의 이동 방향에 대응하는 디스플레이 오브젝트(225)에 대한 제스처 입력 적용 방향을 좌우 반전할 수 있다. 예를 들어, 도 9에서와 같이 HMD(100)의 화각 영역(102) 내에서 유저의 제스처 입력(15)이 수행되면, HMD(100)는 제스처 입력(15)을 디텍트 한다. 상기 제스처 입력(15)은 HMD(100)의 우측(R)에서 좌측(L)으로 이동하는 입력이다. 이때, HMD(100)는 디텍트 된 제스처 입력(15)의 좌우를 반전하여 디스플레이 오브젝트(225)를 제어한다. 따라서, HMD(100)는 외부 디지털 디바이스(200)의 디스플레이 오브젝트(225)에 대하여 좌측에서 우측으로 이동하는 입력을 적용할 수 있다. 이에 따라, 유저는 본 발명의 HMD(100)를 이용하여 외부 디지털 디바이스(200)에 대한 제스처 입력을 수행할 때 이질감을 느끼지 않을 수 있게 된다.According to an embodiment of the present invention, the
본 발명의 실시예에 따르면, HMD(100)는 디텍트 된 제스처 입력(15)을 외부 디지털 디바이스(200)에 전송할 수 있다. 이때, HMD(100)는 디텍트 된 제스처 입력(15)의 좌우를 반전하여 외부 디지털 디바이스(200)에 전송할 수 있다. 외부 디지털 디바이스(200)는 HMD(100)로부터 좌우가 반전된 제스처 입력(15)을 수신하고, 수신된 제스처 입력(15)을 디스플레이 오브젝트(225)에 적용할 수 있다. 또는, HMD(100)는 디텍트 된 제스처 입력(15)에 더하여, 상기 제스처 입력을 디텍트한 HMD(100)의 상태에 대한 부가 정보를 함께 전송할 수 있다. 예를 들어, 이러한 부가 정보에는 제스처 입력(15)을 디텍트 한 HMD(100)가 유저에게 착용 되었는지 여부에 대한 정보가 포함될 수 있다. 만약, HMD(100)가 유저에게 착용 되지 않았음을 나타내는 부가 정보가 외부 디지털 디바이스(200)에 전달될 경우, 외부 디지털 디바이스(200)는 HMD(100)로부터 수신된 제스처 입력(15)의 좌우를 반전하여 디스플레이 오브젝트(225)에 적용할 수 있다. 따라서, 외부 디지털 디바이스(200)는 HMD(100)가 최초로 디텍트 한 제스처 입력(15)의 좌우를 반전하여 디스플레이 오브젝트(225)에 적용할 수 있으며, 디스플레이 오브젝트(225)를 유저의 의도에 맞게 제어할 수 있다.According to an embodiment of the present invention, the
다음으로 도 10은 HMD(100)가 유저에게 착용되지 않았을 때 디지털 디바이스를 제어하는 또 다른 실시예를 나타내고 있다. 본 발명의 실시예에 따르면, HMD(100)는 HMD(100)의 방향각을 센싱하는 센서, 예를 들면 G-센서 또는 자이로스코프 센서 등을 구비할 수 있다. 따라서, HMD(100)는 지면을 기준으로 HMD(100)가 기울어진 각도 즉, HMD(100)의 방향각을 센싱할 수 있다. 이때, HMD(100)는 서로 직교하는 x축, y축 및 z축 중 적어도 하나의 축을 기준으로 한 HMD(100)의 방향각을 센싱할 수 있다. 본 발명의 HMD(100)는 디텍트 된 유저의 제스처 입력(15)을 HMD(100)가 놓여진 방향각을 이용하여 보정할 수 있다.Next, Fig. 10 shows another embodiment of controlling the digital device when the
예를 들어, 도 10에 도시된 바와 같이 HMD(100)는 x축을 기준으로 각도 α만큼 기울어진 상태에서 유저의 제스처 입력(15)을 디텍트 할 수 있다. 이에 따라, 유저가 수평 방향의 제스처 입력을 수행하였음에도 불구하고, HMD(100)는 HMD(100)의 우측 상단 방향에서 HMD(100)의 좌측 하단 방향으로 이동하는 제스처 입력으로 인식 하게 될 수 있다. 따라서, 본 발명의 HMD(100)는 디텍트 된 제스처 입력(15)에 HMD(100)의 방향각을 보정하여 디스플레이 오브젝트(225)에 적용할 수 있다. 예를 들어, HMD(100)는 디텍트 된 제스처 입력(15)에 HMD(100)의 기울어진 각도 α를 더하거나 뺄 수 있다. 바람직하게는, HMD(100)는 디텍트 된 제스처 입력(15)의 좌우를 반전하고, HMD(100)의 방향각 α를 더함으로 제스처 입력(15)을 보정할 수 있다. 따라서 HMD(100)는 디스플레이 오브젝트(225)에 대하여 좌측에서 우측으로 이동하는 입력을 적용할 수 있다. 따라서, 외부 디지털 디바이스(200)는 HMD(100)가 놓여진 방향각에 관계없이 유저의 제스처 입력(15)을 동일한 조건하에서 수신할 수 있게 된다.For example, as shown in FIG. 10, the
본 발명의 실시예에 따르면, HMD(100)는 디텍트 된 제스처 입력(15)을 외부 디지털 디바이스(200)에 전송할 수 있다. 이때, HMD(100)는 HMD(100)의 방향각을 이용하여 보정된 제스처 입력(15)을 외부 디지털 디바이스(200)에 전송할 수 있다. 외부 디지털 디바이스(200)는 HMD(100)로부터 보정된 제스처 입력(15)을 수신하고, 수신된 제스처 입력(15)을 디스플레이 오브젝트(225)에 적용할 수 있다. 또는, HMD(100)는 디텍트 된 제스처 입력(15)에 더하여, 상기 제스처 입력을 디텍트한 HMD(100)의 상태에 대한 부가 정보를 함께 전송할 수 있다. 예를 들어, 이러한 부가 정보에는 제스처 입력(15)을 디텍트 한 HMD(100)가 유저에게 착용 되었는지 여부 및 HMD(100)의 방향각에 대한 정보가 포함될 수 있다. 외부 디지털 디바이스(200)는 HMD(100)로부터 수신된 제스처 입력(15)을 상기 부가 정보를 이용하여 보정하고, 보정된 제스처 입력을 디스플레이 오브젝트(225)에 적용할 수 있다.According to an embodiment of the present invention, the
도 11은 본 발명의 실시예에 따른 HMD(100)를 나타낸 블록도이다.11 is a block diagram showing an
도 11을 참조하면, 본 발명의 HMD(100)는 프로세서(110), 디스플레이 유닛(120), 오디오 출력 유닛(130), 센서 유닛(140) 및 커뮤니케이션 유닛(150)을 포함할 수 있다.Referring to FIG. 11, the
먼저, 디스플레이 유닛(120)은 디스플레이 화면에 이미지를 출력한다. 상기 디스플레이 유닛(120)은 프로세서(110)에 의해 실행되는 컨텐츠 또는 프로세서(110)의 제어 명령에 기초한 유저 인터페이스 등의 다양한 디스플레이 오브젝트를 출력할 수 있다. 본 발명의 다른 실시예에 따르면, 디스플레이 유닛(120)은 HMD(100)와 연동된 디지털 디바이스(예를 들면, 본 발명의 외부 디지털 디바이스)의 제어 명령에 기초하여 이미지를 디스플레이 할 수 있다. 예를 들어, 디스플레이 유닛(120)은 HMD(100)와 연동된 디지털 디바이스가 실행중인 컨텐츠를 디스플레이 할 수 있다. HMD(100)는 커뮤니케이션 유닛(150)을 통해 상기 디지털 디바이스로부터 데이터를 수신하며, 수신 받은 데이터에 기초하여 디스플레이 오브젝트를 출력할 수 있다. 본 발명의 실시예에 따르면 HMD(100)의 디스플레이 유닛(120)은 외부 디지털 디바이스(200)의 디스플레이 유닛과 동일한 디스플레이 오브젝트를 제공할 수도 있으며, 다른 디스플레이 오브젝트를 제공할 수도 있다. 만약, HMD(100) 및 외부 디지털 디바이스(200)가 서로 연동된 N 스크린 상태에 있다면, HMD(100)의 디스플레이 유닛(120)은 외부 디지털 디바이스(200)의 디스플레이 유닛과 동일한 디스플레이 오브젝트를 제공할 수 있다. 그러나 HMD(100)와 외부 디지털 디바이스(200)가 N 스크린 상태에 있지 않거나 서로 다른 플랫폼을 구비한다면, HMD(100)의 디스플레이 유닛(120)은 외부 디지털 디바이스(200)의 디스플레이 유닛과 다른 디스플레이 오브젝트를 제공할 수 있다.First, the
다음으로, 오디오 출력 유닛(130)은 스피커, 이어폰 등의 오디오 출력 수단을 포함한다. 상기 오디오 출력 유닛(130) 또한 프로세서(110)에서 실행되는 컨텐츠를 출력하거나, 프로세서(110)의 제어 명령에 기초하여 음성을 출력할 수 있다. 또한, 본 발명의 실시예에 따르면 오디오 출력 유닛(130)은 HMD(100)와 연동된 디지털 디바이스의 제어 명령에 기초하여 음성을 출력할 수 있다. 예를 들어, 오디오 출력 유닛(130)은 HMD(100)와 연동된 디지털 디바이스가 실행중인 컨텐츠의 음성 데이터를 출력할 수 있다. 본 발명에서 오디오 출력 유닛(130)은 HMD(100)상에 선택적으로 구비될 수 있다.Next, the
센서 유닛(140)은 HMD(100)에 장착된 복수의 센서를 사용하여 유저 입력 또는 상기 HMD(100)가 인식하는 환경을 프로세서(110)로 전달할 수 있다. 이때, 상기 센서 유닛(150)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 키네틱 센서, 자이로스코프 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서, 근접 센서 등의 센싱 수단을 포함할 수 있다. 센서 유닛(150)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 프로세서(110)가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 HMD(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.The
본 발명의 실시예에 따르면, 센서 유닛(140)은 HMD(100)가 유저에게 착용되었는지 여부를 디텍트 하는 다양한 종류의 센서를 구비할 수 있다. 예를 들어, HMD(100)는 근접 센서를 구비하여 유저의 HMD(100) 착용 여부를 디텍트할 수 있다. 또는, HMD(100)는 HMD(100)의 전면부와 다리부를 연결하는 힌지부가 접이 되었는지 여부를 디텍트 하는 센서를 구비할 수 있다. 따라서, HMD(100)는 상기 힌지부가 접이 되었는지 여부에 기초하여 유저의 HMD(100) 착용 여부를 판단할 수 있다.According to the embodiment of the present invention, the
또한, 본 발명의 실시예에 따르면, 센서 유닛(140)은 유저의 제스처 입력을 디텍트하기 위한 센서를 포함할 수 있다. 예를 들면, HMD는 키네틱 센서를 구비하여 HMD의 전방 방향의 기 설정된 각도 이내의 영역에서 유저의 제스처 입력을 디텍트할 수 있다. 또는, HMD는 제스처 입력을 위한 장갑의 동작을 디텍트 하는 센서를 포함할 수 있다. 예를 들어, HMD는 상기 장갑의 3차원 상의 위치와 방향에 대한 정보, 손가락 굽힘에 대한 정보 등을 디텍트 할 수 있다. 이때, 유저는 상기 장갑을 착용한 채로 제스처 입력을 수행하고, HMD는 상기 장갑의 동작을 통해 유저의 제스처 입력을 디텍트 할 수 있다.Further, according to an embodiment of the present invention, the
본 발명의 또 다른 실시예에 따르면, 센서 유닛(140)은 촬상 센서를 포함할 수 있다. 상기 촬상 센서는 HMD(100)의 기 설정된 화각 영역 내의 이미지를 디텍트하여 프로세서(110)에 제공할 수 있다. 본 발명의 일 실시예에 따르면, 프로세서(110)는 상기 촬상 센서를 통해 디텍트 된 이미지를 기초로 하여, HMD(100)의 화각 영역 내에 HMD(100)와 연동된 외부 디지털 디바이스(200)가 존재하는지 여부를 디텍트 할 수 있다. 상기 촬상 센서는 본 발명의 목적에 따라 적외선 센서 등으로 대체될 수 있다.According to another embodiment of the present invention, the
다음으로, 커뮤니케이션 유닛(150)은 외부 디지털 디바이스(200)와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 또한, 커뮤니케이션 유닛(150)은 유선 또는 무선으로 네트워크에 접속하여, 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 본 발명에서 HMD(100)는 커뮤니케이션 유닛(150)을 이용하여 외부 디지털 디바이스(200)와 페어링 및 통신 접속을 수행할 수 있으며, 상기 접속된 외부 디지털 디바이스(200)와 데이터를 송/수신할 수 있다. 한편, 본 발명의 일 실시예에 따르면, 커뮤니케이션 유닛(150)은 적어도 하나의 안테나를 포함할 수 있다. 상기 HMD(100)는 적어도 하나의 안테나를 이용하여, HMD(100)와 연동된 외부 디지털 디바이스(200)의 위치 상태를 디텍트 할 수 있다. 예를 들어, HMD(100)에 구비된 복수의 안테나를 통해 각각 송/수신되는 신호의 시간차, 위상차 등을 이용하여, HMD(100)와 연동된 외부 디지털 디바이스(200)가 HMD(100)의 화각 영역에 위치하는지 여부를 디텍트 할 수 있다.Next, the
본 발명의 프로세서(110)는 다양한 컨텐츠 및 애플리케이션을 실행하고, 디바이스 내부의 데이터를 프로세싱 할 수 있다. 이에 더하여, 상기 프로세서(110)는 상술한 HMD(100)의 각 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수도 있다.The
도 11에 도시된 HMD(100)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘러먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.The
도 12는 본 발명의 실시예에 따른 HMD를 이용한 디지털 디바이스 제어 방법을 나타낸 순서도이다. 이하 설명하는 도 12의 각 단계는 도 11에 도시된 HMD(100)의 프로세서(110)에 의해 제어될 수 있다.12 is a flowchart illustrating a digital device control method using an HMD according to an embodiment of the present invention. Each step of FIG. 12 to be described below can be controlled by the
먼저, 본 발명의 HMD는 유저에게 착용되었는지 여부를 디텍트할 수 있다(S1210). 이를 위해 HMD는 다양한 센싱 수단을 이용하여 유저의 HMD 착용 여부를 디텍트 할 수 있다. 예를 들어, HMD는 근접 센서를 구비하여 유저의 HMD 착용 여부를 디텍트할 수 있다. 또는, HMD는 HMD의 전면부와 다리부를 연결하는 힌지부가 접이 되었는지 여부를 디텍트 하는 센서를 구비할 수 있다. 따라서, HMD는 상기 힌지부가 접이 되었는지 여부에 기초하여 유저의 HMD 착용 여부를 판단할 수 있다.First, the HMD of the present invention can detect whether or not the user is worn (S1210). To this end, the HMD can detect whether or not the user wears the HMD by using various sensing means. For example, the HMD may include a proximity sensor to detect whether the user wears an HMD. Alternatively, the HMD may include a sensor for detecting whether the hinge portion connecting the front portion and the leg portion of the HMD is folded. Therefore, the HMD can determine whether or not the user wears the HMD based on whether or not the hinge portion is folded.
다음으로, 본 발명의 HMD는 HMD와 연동된 외부 디지털 디바이스의 위치 상태를 디텍트 한다(S1220). 본 발명에서 상기 위치 상태는 외부 디지털 디바이스가 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태와, 외부 디지털 디바이스가 상기 화각 영역에 위치하지 않는 제 2 상태를 포함한다. 본 발명에서 상기 화각 영역은 HMD를 착용한 유저의 시야에 대응하는 기 설정된 영역으로서, HMD의 전방 방향으로 일정한 각도 범위의 구간을 포함할 수 있다.Next, the HMD of the present invention detects the positional state of the external digital device interlocked with the HMD (S1220). In the present invention, the positional state includes a first state in which the external digital device is located in a predetermined angle of view region of the HMD, and a second state in which the external digital device is not located in the field of view angle. In the present invention, the field-of-view area is a predetermined area corresponding to the field of view of the wearer of the HMD, and may include a predetermined angular range in the forward direction of the HMD.
본 발명의 일 실시예에 따르면, HMD는 적어도 하나의의 안테나를 이용하여 외부 디지털 디바이스의 위치 상태를 디텍트 할 수 있다. 예를 들어, HMD는 복수의 안테나를 구비하고, 상기 복수의 안테나를 통해 외부 디지털 디바이스와 데이터 송/수신을 수행할 수 있다. 이때, HMD는 상기 복수의 안테나에 각각 송/수신되는 신호의 시간차, 위상차 등을 이용하여, 상기 HMD와 연동된 외부 디지털 디바이스 및 상기 HMD 간의 상대적인 위치 및 방향을 디텍트 할 수 있다. 본 발명의 실시예에 따르면 HMD에 구비된 복수의 안테나를 이용함으로, 외부 디지털 디바이스와 HMD 간의 거리가 일정하게 유지된 채 외부 디지털 디바이스가 위치하는 방향(방위각)이 변하는 상황에서도 외부 디지털 디바이스의 위치 상태를 정확하게 디텍트 할 수 있다. 한편, 본 발명의 다른 실시예에 따르면 HMD는 지향성 안테나를 구비하고, 상기 지향성 안테나를 통해 송/수신되는 신호를 이용하여 외부 디지털 디바이스의 위치 상태를 디텍트 할 수도 있다.According to an embodiment of the present invention, the HMD can detect the positional state of the external digital device using at least one antenna. For example, the HMD has a plurality of antennas, and can perform data transmission / reception with an external digital device through the plurality of antennas. At this time, the HMD can detect a relative position and direction between the HMD and an external digital device interlocked with the HMD, using a time difference and a phase difference of the signals transmitted / received to / from the plurality of antennas. According to the embodiment of the present invention, by using a plurality of antennas provided in the HMD, even when the distance between the external digital device and the HMD is kept constant and the direction (azimuth angle) The state can be detected accurately. According to another embodiment of the present invention, the HMD includes a directional antenna and may detect a positional state of an external digital device using a signal transmitted / received through the directional antenna.
본 발명의 또 다른 실시예에 따르면, HMD는 촬상 센서를 이용하여 상기 외부 디지털 디바이스의 위치 상태를 디텍트 할 수 있다. 즉, HMD가 외부 디지털 디바이스와 연동된 상태에서, 촬상 센서는 HMD의 기 설정된 화각 영역 내의 이미지를 디텍트하여 HMD의 프로세서에 제공할 수 있다. 상기 프로세서는 촬상 센서를 통해 디텍트 된 이미지를 기초로 하여, HMD의 화각 영역 내에 HMD와 연동된 외부 디지털 디바이스가 존재하는지 여부를 디텍트 할 수 있다. 예를 들어, HMD와 연동된 외부 디지털 디바이스는 기 설정된 광 패턴을 출력할 수 있으며, HMD는 촬상 센서를 이용하여 외부 디지털 디바이스가 출력하는 광 패턴을 디텍트할 수 있다. 여기서, 상기 광 패턴은 시간 적인 패턴 및 공간 적인 패턴 중 적어도 하나를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 상기 광 패턴은 외부 디지털 디바이스의 디스플레이 유닛을 통해 출력 될 수 있다.According to another embodiment of the present invention, the HMD can detect the positional state of the external digital device using an image sensor. That is, in a state where the HMD is interlocked with the external digital device, the image sensor can detect the image in the predefined field of view area of the HMD and provide it to the processor of the HMD. The processor can detect whether there is an external digital device interlocked with the HMD in the field of view area of the HMD, based on the detected image through the image sensor. For example, an external digital device interlocked with the HMD can output a predetermined light pattern, and the HMD can detect the light pattern output from the external digital device using the image sensor. Here, the light pattern may include at least one of a temporal pattern and a spatial pattern. According to an embodiment of the present invention, the light pattern may be output through a display unit of an external digital device.
만약, HMD의 화각 영역 내에 HMD와 연동된 외부 디지털 디바이스가 존재한다면, HMD는 외부 디지털 디바이스가 출력하는 광 패턴을 촬상 센서를 통해 디텍트 할 수 있다. 그러나, HMD의 화각 영역 내에 HMD와 연동된 외부 디지털 디바이스가 존재하지 않는다면, 외부 디지털 디바이스가 출력하는 광 패턴이 상기 촬상 센서를 통해 디텍트 되지 않을 것이다. 한편, 본 발명의 실시예에 따라 광 패턴이 외부 디지털 디바이스의 디스플레이 유닛을 통해 출력 되고, 외부 디지털 디바이스가 HMD의 화각 영역 내에 있지만 해당 외부 디지털 디바이스의 디스플레이 유닛이 유저에게 향하지 않을 경우에도 상기 광 패턴이 디텍트 되지 않을 것이다. 즉, 유저가 외부 디지털 디바이스의 디스플레이 유닛을 볼 수 없는 상황에 있을 때, HMD는 광 패턴을 디텍트 할 수 없게 된다. 이와 같이, 본 발명의 HMD는 화각 영역 내에 외부 디지털 디바이스의 광 패턴이 디텍트 되는지 여부를 기초로 하여, 외부 디지털 디바이스의 위치 상태를 디텍트 할 수 있다.If there is an external digital device interlocked with the HMD in the view angle region of the HMD, the HMD can detect the light pattern output from the external digital device through the image sensor. However, if there is no external digital device associated with the HMD in the field of view of the HMD, the light pattern output by the external digital device will not be detected through the imaging sensor. On the other hand, according to the embodiment of the present invention, even if the light pattern is outputted through the display unit of the external digital device and the external digital device is in the view angle area of the HMD, but the display unit of the external digital device is not directed to the user, Will not be detected. That is, when the user can not see the display unit of the external digital device, the HMD can not detect the light pattern. Thus, the HMD of the present invention can detect the positional state of the external digital device based on whether or not the light pattern of the external digital device is detected in the field angle area.
한편, 본 발명의 다른 실시예에 따르면, 상기 외부 디지털 디바이스의 위치 상태는 HMD를 착용한 유저의 시선에 기초하여 결정될 수 있다. 본 발명의 HMD는 상기 HMD를 착용한 유저의 동공의 위치를 디텍트 하는 촬상 센서를 추가로 구비할 수 있으며, 상기 촬상 센서를 이용하여 해당 유저의 시선을 트래킹 할 수 있다. 이에 따라, 본 발명의 외부 디지털 디바이스의 위치 상태는 상기 외부 디지털 디바이스가 HMD를 착용한 유저의 시야 영역 내에 위치하는지 여부를 기초로 하여 결정될 수 있다. 여기서 상기 시야 영역은 HMD를 착용한 유저의 시선에 대응하는 일정 범위의 영역을 포함할 수 있다. 즉, 본 발명에서 외부 디지털 디바이스의 위치 상태는 외부 디지털 디바이스가 HMD를 착용한 유저의 시야 영역에 위치하는 제 3 상태와, 외부 디지털 디바이스가 HMD를 착용한 유저의 시야 영역에 위치하지 않는 제 4 상태를 포함할 수 있다.Meanwhile, according to another embodiment of the present invention, the positional state of the external digital device may be determined based on the gaze of the user wearing the HMD. The HMD of the present invention may further include an image pickup sensor for detecting a position of a pupil of a user wearing the HMD, and the user can track the user's gaze using the image pickup sensor. Accordingly, the positional state of the external digital device of the present invention can be determined based on whether or not the external digital device is located in the field of view of the wearer of the HMD. Here, the viewing area may include a range of areas corresponding to a line of sight of the user wearing the HMD. That is, in the present invention, the positional state of the external digital device is a third state in which the external digital device is located in the field of view of the user wearing the HMD and a third state in which the external digital device is not located in the field of view of the user wearing the HMD. State.
본 발명의 실시예에 따르면, 외부 디지털 디바이스의 위치 상태가 변환될 때, HMD를 통해 적절한 피드백을 제공할 수 있다. 예를 들어, HMD와 연동된 외부 디지털 디바이스의 위치 상태가 제 1 상태와 제 2 상태 사이에서 변환될 경우, HMD는 진동 피드백을 제공할 수 있다. 마찬가지로, HMD와 연동된 외부 디지털 디바이스의 위치 상태가 제 3 상태와 제 4 상태에서 변환될 경우, HMD는 진동 피드백을 제공할 수 있다.According to an embodiment of the present invention, when the positional state of the external digital device is converted, it is possible to provide appropriate feedback through the HMD. For example, when the positional state of an external digital device interlocked with the HMD is converted between a first state and a second state, the HMD can provide vibration feedback. Similarly, when the positional state of an external digital device interlocked with the HMD is converted in the third state and the fourth state, the HMD can provide vibration feedback.
다음으로, 본 발명의 HMD는 유저의 제스처 입력을 디텍트 한다(S1230). 본 발명의 HMD는 유저의 제스처 입력을 디텍트하기 위한 다양한 종류의 센싱 수단, 예를 들면 키네틱 센서를 구비할 수 있다. 또는, HMD는 제스처 입력을 위한 장갑의 동작을 디텍트 하는 센서를 포함할 수 있다. 예를 들어, HMD는 상기 장갑의 3차원 상의 위치와 방향에 대한 정보, 손가락 굽힘에 대한 정보 등을 디텍트 할 수 있다. 이때, 유저는 상기 장갑을 착용한 채로 제스처 입력을 수행하고, HMD는 상기 장갑의 동작을 통해 유저의 제스처 입력을 디텍트 할 수 있다. 이와 같이, HMD는 다양한 종류의 센싱 수단을 이용하여 HMD 전방 방향의 기 설정된 각도 이내의 영역에서 유저의 제스처 입력을 디텍트할 수 있다. 한편, 본 발명의 다른 실시예에 따르면 HMD와 연동된 외부 디지털 디바이스가 유저의 제스처 입력을 디텍트할 수 있으며, HMD는 해당 외부 디지털 디바이스가 디텍트 한 제스처 입력을 수신할 수 있다.Next, the HMD of the present invention detects the user's gesture input (S1230). The HMD of the present invention may include various kinds of sensing means for detecting a user's gesture input, for example, a kinetic sensor. Alternatively, the HMD may include a sensor for detecting movement of the glove for gesture input. For example, the HMD can detect information about the position and direction of the three-dimensional image of the glove, information about finger bending, and the like. At this time, the user performs the gesture input while wearing the glove, and the HMD can detect the user's gesture input through the operation of the glove. Thus, the HMD can detect the user's gesture input in a region within a predetermined angle in the forward direction of the HMD by using various kinds of sensing means. According to another embodiment of the present invention, an external digital device interlocked with the HMD can detect a user's gesture input, and the HMD can receive a gesture input detected by the external digital device.
다음으로, 본 발명의 HMD는 제스처 입력을 적용하여 디스플레이를 제어할 적어도 하나의 디지털 디바이스를 결정한다(S1240). 이때, 상기 적어도 하나의 디지털 디바이스는 본 발명의 HMD 및 외부 디지털 디바이스 중 적어도 하나를 포함한다. 본 발명의 실시예에 따르면, HMD는 디텍트 된 HMD의 환경 및 설정에 기초하여 상기 디스플레이를 제어할 디지털 디바이스를 결정할 수 있다. 예를 들어, HMD는 HMD가 유저에게 착용 되었는지 여부(S1210) 및 디텍트 된 외부 디지털 디바이스의 위치 상태(S1220)에 기초하여 상기 디스플레이를 제어할 디지털 디바이스를 결정할 수 있다. 또한, HMD는 HMD가 외부 디지털 디바이스와 동일한 디스플레이 오브젝트를 제공하는지 여부를 더 판별하고, 이에 기초하여 상기 디스플레이를 제어할 디지털 디바이스를 결정할 수 있다.Next, the HMD of the present invention determines at least one digital device to control the display by applying a gesture input (S1240). At this time, the at least one digital device includes at least one of the HMD of the present invention and an external digital device. According to an embodiment of the present invention, the HMD may determine a digital device to control the display based on the environment and settings of the detected HMD. For example, the HMD may determine a digital device to control the display based on whether the HMD has been worn by the user (S1210) and the location state of the detected external digital device (S1220). Further, the HMD may further determine whether the HMD provides the same display object as the external digital device, and based thereon, determine the digital device to control the display.
다음으로, 본 발명의 HMD는 상기 S1240 단계에서 결정된 디지털 디바이스의 디스플레이 오브젝트를 상기 S1230 단계에서 디텍트 된 제스처 입력을 적용하여 제어한다(S1250). 본 발명의 실시예에 따른 HMD는 상기 S1240 단계의 결정에 따라, HMD의 디스플레이 오브젝트 및 외부 디지털 디바이스의 디스플레이 오브젝트 중 적어도 하나를 제어할 수 있다. 한편, 본 발명의 실시예에 따르면 HMD가 유저에게 착용되지 않았을 경우, HMD는 디텍트 된 제스처 입력을 보정하여 디스플레이 오브젝트를 제어할 수 있다. 또한, 본 발명의 실시예에 따라 외부 디지털 디바이스가 HMD와 서로 다른 디스플레이 오브젝트를 제공하고, HMD가 제스처 입력을 이용하여 외부 디지털 디바이스의 디스플레이를 제어하도록 결정할 경우, HMD는 디텍트 된 제스처 입력을 해당 외부 디지털 디바이스에 전송할 수 있다. 본 발명의 S1240 및 S1250 단계의 구체적인 실시예는 도 2 내지 도 10을 참조로 상술한 바와 같다.Next, the HMD of the present invention controls the display object of the digital device determined in step S1240 by applying the detected gesture input in step S1230 (S1250). The HMD according to the embodiment of the present invention can control at least one of the display object of the HMD and the display object of the external digital device according to the determination of step S1240. Meanwhile, according to the embodiment of the present invention, when the HMD is not worn by the user, the HMD can control the display object by correcting the detected gesture input. Further, in accordance with an embodiment of the present invention, when an external digital device provides a different display object with the HMD and the HMD determines to use the gesture input to control the display of the external digital device, the HMD sends the detected gesture input to the corresponding To an external digital device. The specific embodiments of steps S1240 and S1250 of the present invention are described above with reference to FIGS.
본 발명에서 설명한 HMD는 본 발명의 목적에 따라 다양한 디바이스로 변경 및 대체 가능하다. 예를 들어, 본 발명의 HMD는 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 유저에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스를 포함하며, 본 발명에서 사용된 용어에 한정되지 않는다.The HMD described in the present invention can be changed and replaced with various devices in accordance with the object of the present invention. For example, the HMD of the present invention includes various devices capable of providing a display by being worn by a user such as an EMD (Eye Mounted Display), eyeglass, eyepiece, eye wear, and HWD Lt; / RTI >
10 : 유저 15 : 제스처 입력
100 : HMD 102 : 화각 영역
125, 225 : 디스플레이 오브젝트 200 : 외부 디지털 디바이스10: User 15: Gesture input
100: HMD 102: Angle of field
125, 225: display object 200: external digital device
Claims (20)
상기 HMD가 유저에게 착용 되었는지 여부를 디텍트 하는 단계;
상기 HMD와 연동된 외부 디지털 디바이스의 위치 상태를 디텍트 하는 단계, 상기 위치상태 디텍트 단계에서, 상기 위치 상태는 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 상기 외부 디지털 디바이스가 상기 HMD의 상기 화각 영역에 위치하지 않는 제 2 상태를 포함하며;
유저의 제스처 입력을 디텍트 하는 단계;
상기 HMD가 유저에게 착용 되었는지 여부 및 상기 디텍트 된 외부 디지털 디바이스의 위치 상태에 기초하여, 상기 제스처 입력을 적용하여 디스플레이를 제어할 적어도 하나의 디지털 디바이스를 결정하는 단계, 상기 결정단계에서, 상기 적어도 하나의 디지털 디바이스는 상기 HMD 및 상기 외부 디지털 디바이스 중 적어도 하나를 포함하며;
상기 결정된 디지털 디바이스의 디스플레이 오브젝트를 상기 제스처 입력을 적용하여 제어하는 단계; 및
상기 HMD가 유저에게 착용될 경우, 상기 HMD와 상기 외부 디지털 디바이스가 동일한 디스플레이 오브젝트를 제공하는지 여부를 판별하는 단계를 포함하며,
상기 HMD 및 상기 외부 디지털 디바이스가 동일한 디스플레이 오브젝트를 제공할 경우, 상기 결정하는 단계는, 상기 HMD의 디스플레이 및 상기 외부 디지털 디바이스의 디스플레이를 함께 제어하도록 결정하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.As a digital device control method using a head mount display (HMD)
Detecting whether the HMD is worn by a user;
Detecting a positional state of an external digital device interlocked with the HMD; and in the positional state detection step, the positional state is determined by a first state in which the external digital device is located in a pre- A second state in which the digital device is not located in the field of view region of the HMD;
Detecting a user's gesture input;
Determining at least one digital device to control the display by applying the gestural input based on whether the HMD is worn by a user and a positional state of the detected external digital device; One digital device includes at least one of the HMD and the external digital device;
Controlling the display object of the determined digital device by applying the gesture input; And
Determining whether the HMD and the external digital device provide the same display object when the HMD is worn on the user,
Wherein the HMD and the external digital device provide the same display object, the determining step determines to control the display of the HMD and the display of the external digital device together A method of controlling a digital device.
상기 HMD의 디스플레이 오브젝트 및 상기 외부 디지털 디바이스의 디스플레이 오브젝트는 상기 HMD에 의해 함께 제어되는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.The method according to claim 1,
Wherein the display object of the HMD and the display object of the external digital device are controlled together by the HMD.
상기 HMD와 상기 외부 디지털 디바이스가 동일한 디스플레이 오브젝트를 제공하지 않고, 상기 외부 디지털 디바이스의 위치 상태가 제 1 상태일 경우, 상기 디텍트 된 제스처 입력의 포인팅 디렉션 정보를 디텍트 하는 단계를 더 포함하며,
상기 결정하는 단계는, 상기 적어도 하나의 디지털 디바이스 중 상기 제스처 입력의 포인팅 디렉션 정보가 가리키는 디지털 디바이스의 디스플레이를 제어하도록 결정하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.The method according to claim 1,
Further comprising detecting the pointing direction information of the detected gesture input when the HMD and the external digital device do not provide the same display object and the location state of the external digital device is the first state,
Wherein the determining step determines to control the display of the digital device indicated by the pointing direction information of the gesture input among the at least one digital device.
상기 결정하는 단계가 상기 외부 디지털 디바이스의 디스플레이를 제어하도록 결정할 경우,
상기 제어하는 단계는, 상기 디텍트 된 제스처 입력을 상기 외부 디지털 디바이스에 전송하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.5. The method of claim 4,
If the determining step determines to control the display of the external digital device,
Wherein the controlling step transmits the detented gesture input to the external digital device. ≪ Desc / Clms Page number 19 >
상기 HMD와 상기 외부 디지털 디바이스가 동일한 디스플레이 오브젝트를 제공하지 않고, 상기 외부 디지털 디바이스의 위치 상태가 제 2 상태일 경우,
상기 결정하는 단계는, 상기 HMD의 디스플레이를 제어하도록 결정하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.The method according to claim 1,
When the HMD and the external digital device do not provide the same display object and the positional state of the external digital device is in the second state,
Wherein the determining step determines to control the display of the HMD. ≪ Desc / Clms Page number 20 >
상기 HMD가 유저에게 착용되지 않을 경우,
상기 결정하는 단계는, 상기 외부 디지털 디바이스의 디스플레이를 제어하도록 결정하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.The method according to claim 1,
If the HMD is not worn by the user,
Wherein the determining step determines to control the display of the external digital device. ≪ Desc / Clms Page number 20 >
상기 디스플레이 오브젝트에 대한 상기 제스처 입력의 적용 방향을 상기 HMD가 유저에게 착용 되었는지 여부에 기초하여 보정하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.2. The method of claim 1,
And corrects the application direction of the gesture input for the display object based on whether or not the HMD is worn by the user.
상기 HMD가 유저에게 착용되지 않을 경우,
상기 제어하는 단계는, 상기 디텍트 된 제스처 입력의 좌우를 반전하여 상기 디스플레이 오브젝트에 적용하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.9. The method of claim 8,
If the HMD is not worn by the user,
Wherein the controlling step reverses the left and right sides of the detected gesture input and applies the reversed gesture input to the display object.
상기 HMD가 유저에게 착용되지 않을 경우,
서로 직교하는 제 1 축, 제 2 축 및 제 3 축 중 적어도 하나의 축을 기준으로 한 상기 HMD의 방향각을 센싱하는 단계를 더 포함하며,
상기 제어하는 단계는, 상기 디스플레이 오브젝트에 대한 상기 제스처 입력의 적용 방향을 상기 센싱된 방향각을 이용하여 보정하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.10. The method of claim 9,
If the HMD is not worn by the user,
Sensing the direction angle of the HMD with respect to at least one axis of the first axis, the second axis and the third axis orthogonal to each other,
Wherein the controlling step corrects the application direction of the gesture input to the display object using the sensed direction angle. ≪ Desc / Clms Page number 19 >
상기 결정하는 단계가 상기 외부 디지털 디바이스의 디스플레이를 제어하도록 결정할 경우,
상기 제어하는 단계는, 상기 보정된 제스처 입력을 상기 외부 디지털 디바이스에 전송하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.9. The method of claim 8,
If the determining step determines to control the display of the external digital device,
Wherein the controlling step transmits the corrected gesture input to the external digital device. ≪ Desc / Clms Page number 19 >
상기 결정하는 단계가 상기 외부 디지털 디바이스의 디스플레이를 제어하도록 결정할 경우,
상기 제어하는 단계는, 상기 디텍트 된 제스처 입력과 상기 HMD가 유저에게 착용 되었는지 여부에 관한 부가 정보를 상기 외부 디지털 디바이스에 전송하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD)를 이용한 디지털 디바이스 제어 방법.9. The method of claim 8,
If the determining step determines to control the display of the external digital device,
Wherein the controlling step transmits additional information about the detected gesture input and whether or not the HMD is worn by the user to the external digital device.
상기 HMD의 작동을 제어하는 프로세서;
상기 프로세서의 명령에 기초하여 영상을 출력하는 디스플레이 유닛;
상기 HMD의 주변 환경을 센싱하고, 센싱 결과를 상기 프로세서에 전달하는 센서 유닛; 및
상기 프로세서의 명령에 기초하여 외부 디지털 디바이스와 데이터를 송/수신하는 커뮤니케이션 유닛을 포함하되,
상기 프로세서는,
상기 HMD가 유저에게 착용 되었는지 여부를 디텍트 하고,
상기 HMD와 연동된 외부 디지털 디바이스의 위치 상태를 디텍트 하되, 상기 위치 상태는 상기 외부 디지털 디바이스가 상기 HMD의 기 설정된 화각 영역에 위치하는 제 1 상태 및 상기 외부 디지털 디바이스가 상기 HMD의 상기 화각 영역에 위치하지 않는 제 2 상태를 포함하고,
유저의 제스처 입력을 디텍트 하고,
상기 HMD가 유저에게 착용 되었는지 여부 및 상기 디텍트 된 외부 디지털 디바이스의 위치 상태에 기초하여, 상기 제스처 입력을 적용하여 디스플레이를 제어할 적어도 하나의 디지털 디바이스를 결정하되, 상기 적어도 하나의 디지털 디바이스는 상기 HMD 및 상기 외부 디지털 디바이스 중 적어도 하나를 포함하며,
상기 결정된 디지털 디바이스의 디스플레이 오브젝트를 상기 제스처 입력을 적용하여 제어하고,
상기 HMD가 유저에게 착용될 경우, 상기 HMD와 상기 외부 디지털 디바이스가 동일한 디스플레이 오브젝트를 제공하는지 여부를 판별하고,
상기 HMD 및 상기 외부 디지털 디바이스가 동일한 디스플레이 오브젝트를 제공할 경우, 상기 HMD의 디스플레이 및 상기 외부 디지털 디바이스의 디스플레이를 함께 제어하도록 결정하는 것을 특징으로 하는 헤드 마운트 디스플레이(HMD).A head-mounted display (HMD)
A processor for controlling operation of the HMD;
A display unit for outputting an image based on an instruction of the processor;
A sensor unit for sensing a surrounding environment of the HMD and transmitting a sensing result to the processor; And
And a communication unit for transmitting / receiving data to / from an external digital device based on an instruction of the processor,
The processor comprising:
Whether or not the HMD is worn by the user,
Wherein the positional state is a first state in which the external digital device is located in a predetermined angle of view region of the HMD and a second state in which the external digital device is located in the angle of view region of the HMD, And a second state that is not located in the second state,
Detect the user's gesture input,
Determining at least one digital device to control the display by applying the gestural input based on whether the HMD is worn by a user and a positional state of the detected external digital device, An HMD and the external digital device,
Controlling the display object of the determined digital device by applying the gesture input,
Determining whether the HMD and the external digital device provide the same display object when the HMD is worn by the user,
And determine to control the display of the HMD and the display of the external digital device together if the HMD and the external digital device provide the same display object.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120096132A KR101958778B1 (en) | 2012-08-31 | 2012-08-31 | A Head Mounted Display and a Method for Controlling a Digital Device Using the Same |
| US13/662,033 US9223402B2 (en) | 2012-08-31 | 2012-10-26 | Head mounted display and method of controlling digital device using the same |
| PCT/KR2013/007680 WO2014035118A1 (en) | 2012-08-31 | 2013-08-27 | Head mounted display and method of controlling digital device using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120096132A KR101958778B1 (en) | 2012-08-31 | 2012-08-31 | A Head Mounted Display and a Method for Controlling a Digital Device Using the Same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140029901A KR20140029901A (en) | 2014-03-11 |
| KR101958778B1 true KR101958778B1 (en) | 2019-03-15 |
Family
ID=50186827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120096132A Active KR101958778B1 (en) | 2012-08-31 | 2012-08-31 | A Head Mounted Display and a Method for Controlling a Digital Device Using the Same |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9223402B2 (en) |
| KR (1) | KR101958778B1 (en) |
Families Citing this family (118)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9158116B1 (en) | 2014-04-25 | 2015-10-13 | Osterhout Group, Inc. | Temple and ear horn assembly for headworn computer |
| US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
| US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
| US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
| US20150277120A1 (en) | 2014-01-21 | 2015-10-01 | Osterhout Group, Inc. | Optical configurations for head worn computing |
| US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
| US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
| US9798144B2 (en) * | 2012-09-12 | 2017-10-24 | Sony Corporation | Wearable image display device to control display of image |
| US10171800B2 (en) * | 2013-02-19 | 2019-01-01 | Mirama Service Inc. | Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance |
| US9438543B2 (en) * | 2013-03-04 | 2016-09-06 | Google Technology Holdings LLC | Gesture-based content sharing |
| US9448621B2 (en) * | 2013-12-20 | 2016-09-20 | Nokia Technologies Oy | Causation of display of information on a see through display |
| US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
| US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9366868B2 (en) | 2014-09-26 | 2016-06-14 | Osterhout Group, Inc. | See-through computer display systems |
| US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
| US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
| US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
| US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
| US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
| US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
| US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
| US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
| US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
| US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US12093453B2 (en) | 2014-01-21 | 2024-09-17 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
| US9811152B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US9529199B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US9310610B2 (en) | 2014-01-21 | 2016-04-12 | Osterhout Group, Inc. | See-through computer display systems |
| US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
| US9615742B2 (en) | 2014-01-21 | 2017-04-11 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US12105281B2 (en) | 2014-01-21 | 2024-10-01 | Mentor Acquisition One, Llc | See-through computer display systems |
| US20150206173A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
| US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
| US9852545B2 (en) | 2014-02-11 | 2017-12-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US12112089B2 (en) | 2014-02-11 | 2024-10-08 | Mentor Acquisition One, Llc | Spatial location presentation in head worn computing |
| US10613642B2 (en) * | 2014-03-12 | 2020-04-07 | Microsoft Technology Licensing, Llc | Gesture parameter tuning |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
| US20150309534A1 (en) | 2014-04-25 | 2015-10-29 | Osterhout Group, Inc. | Ear horn assembly for headworn computer |
| US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
| US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
| US9423842B2 (en) | 2014-09-18 | 2016-08-23 | Osterhout Group, Inc. | Thermal management for head-worn computer |
| US20160137312A1 (en) | 2014-05-06 | 2016-05-19 | Osterhout Group, Inc. | Unmanned aerial vehicle launch system |
| US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| KR102437104B1 (en) | 2014-07-29 | 2022-08-29 | 삼성전자주식회사 | Mobile device and method for pairing with electric device |
| WO2016017945A1 (en) * | 2014-07-29 | 2016-02-04 | Samsung Electronics Co., Ltd. | Mobile device and method of pairing the same with electronic device |
| KR102216126B1 (en) | 2014-07-31 | 2021-02-16 | 삼성전자주식회사 | Wearable device for operating using vein authentication and operation method of the same |
| KR102232419B1 (en) | 2014-08-26 | 2021-03-26 | 엘지전자 주식회사 | Wearable display device and controlling method thereof |
| WO2016032052A1 (en) * | 2014-08-26 | 2016-03-03 | Lg Electronics Inc. | Wearable display device and method of controlling therefor |
| KR102194787B1 (en) | 2014-09-24 | 2020-12-24 | 삼성전자주식회사 | Apparatus and method for user based sensor data acquiring |
| KR102243656B1 (en) | 2014-09-26 | 2021-04-23 | 엘지전자 주식회사 | Mobile device, head mounted display and system |
| KR20160051411A (en) * | 2014-11-03 | 2016-05-11 | 삼성전자주식회사 | An electoronic device for controlling an external object and a method thereof |
| CN105635776B (en) * | 2014-11-06 | 2019-03-01 | 深圳Tcl新技术有限公司 | Pseudo operation graphical interface remoting control method and system |
| KR102265086B1 (en) | 2014-11-07 | 2021-06-15 | 삼성전자 주식회사 | Virtual Environment for sharing of Information |
| US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
| USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
| USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
| USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
| US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
| KR102439993B1 (en) * | 2015-02-27 | 2022-09-06 | 삼성전자주식회사 | Electronic device with heat dissipation device and control method thereof |
| US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
| US10850116B2 (en) | 2016-12-30 | 2020-12-01 | Mentor Acquisition One, Llc | Head-worn therapy device |
| US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
| US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
| US9826299B1 (en) | 2016-08-22 | 2017-11-21 | Osterhout Group, Inc. | Speaker systems for head-worn computer systems |
| US9880441B1 (en) | 2016-09-08 | 2018-01-30 | Osterhout Group, Inc. | Electrochromic systems for head-worn computer systems |
| US9910284B1 (en) | 2016-09-08 | 2018-03-06 | Osterhout Group, Inc. | Optical systems for head-worn computers |
| US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
| US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
| US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
| CN106200944A (en) * | 2016-06-30 | 2016-12-07 | 联想(北京)有限公司 | The control method of a kind of object, control device and control system |
| US10690936B2 (en) | 2016-08-29 | 2020-06-23 | Mentor Acquisition One, Llc | Adjustable nose bridge assembly for headworn computer |
| USD840395S1 (en) | 2016-10-17 | 2019-02-12 | Osterhout Group, Inc. | Head-worn computer |
| USD864959S1 (en) | 2017-01-04 | 2019-10-29 | Mentor Acquisition One, Llc | Computer glasses |
| CN108665805B (en) | 2017-04-01 | 2020-09-25 | 北京京东方显示技术有限公司 | Display panel, display device and virtual reality equipment |
| WO2018191847A1 (en) * | 2017-04-17 | 2018-10-25 | 深圳市柔宇科技有限公司 | Head-mountable display device and method for power conditioning sensor thereof |
| WO2019013409A1 (en) | 2017-07-10 | 2019-01-17 | Samsung Electronics Co., Ltd. | Wearable augmented reality head mounted display device for phone content display and health monitoring |
| US11048325B2 (en) | 2017-07-10 | 2021-06-29 | Samsung Electronics Co., Ltd. | Wearable augmented reality head mounted display device for phone content display and health monitoring |
| US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
| US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
| US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
| US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
| US11323556B2 (en) | 2018-01-18 | 2022-05-03 | Samsung Electronics Co., Ltd. | Electronic device and method of operating electronic device in virtual reality |
| KR102499354B1 (en) | 2018-02-23 | 2023-02-13 | 삼성전자주식회사 | Electronic apparatus for providing second content associated with first content displayed through display according to motion of external object, and operating method thereof |
| US10540015B2 (en) * | 2018-03-26 | 2020-01-21 | Chian Chiu Li | Presenting location related information and implementing a task based on gaze and voice detection |
| US11982809B2 (en) * | 2018-09-17 | 2024-05-14 | Apple Inc. | Electronic device with inner display and externally accessible input-output device |
| US11309947B2 (en) * | 2018-11-19 | 2022-04-19 | Facebook Technologies, Llc | Systems and methods for maintaining directional wireless links of motile devices |
| KR102171459B1 (en) * | 2018-12-07 | 2020-10-29 | 테크빌교육 주식회사 | Apparatus for recognizing use's hand gesture and method using the same |
| KR102623349B1 (en) | 2019-04-05 | 2024-01-11 | 삼성전자 주식회사 | Method for pairing with an eternal device using a beam and electronic device therfor |
| EP3931676A4 (en) | 2019-04-11 | 2022-04-13 | Samsung Electronics Co., Ltd. | HEAD MOUNTED DISPLAY DEVICE AND METHOD OF OPERATION THEREOF |
| US11422669B1 (en) | 2019-06-07 | 2022-08-23 | Facebook Technologies, Llc | Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action |
| US11334212B2 (en) * | 2019-06-07 | 2022-05-17 | Facebook Technologies, Llc | Detecting input in artificial reality systems based on a pinch and pull gesture |
| CN111158492B (en) * | 2019-12-31 | 2021-08-06 | 维沃移动通信有限公司 | Video editing method and head mounted device |
| US11847258B2 (en) | 2020-11-17 | 2023-12-19 | Samsung Electronics Co., Ltd. | Method for wireless connection in augmented reality environment and electronic device therefor |
| KR20220067128A (en) * | 2020-11-17 | 2022-05-24 | 삼성전자주식회사 | Method for wireless connection in augmented reality environment and electronic device therefor |
| US11644902B2 (en) * | 2020-11-30 | 2023-05-09 | Google Llc | Gesture-based content transfer |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100066821A1 (en) * | 2008-09-16 | 2010-03-18 | Plantronics, Inc. | Infrared Derived User Presence and Associated Remote Control |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7565295B1 (en) | 2003-08-28 | 2009-07-21 | The George Washington University | Method and apparatus for translating hand gestures |
| WO2005043218A1 (en) | 2003-10-30 | 2005-05-12 | Brother Kogyo Kabushiki Kaisha | Image display device |
| KR100812624B1 (en) * | 2006-03-02 | 2008-03-13 | 강원대학교산학협력단 | Stereovision-Based Virtual Reality Device |
| JP5293154B2 (en) | 2008-12-19 | 2013-09-18 | ブラザー工業株式会社 | Head mounted display |
| KR101692433B1 (en) | 2010-01-07 | 2017-01-03 | 엘지전자 주식회사 | Method, system and mobile terminal for video service providing |
| US9129295B2 (en) * | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
| JP5428943B2 (en) | 2010-03-02 | 2014-02-26 | ブラザー工業株式会社 | Head mounted display |
| US8493174B2 (en) | 2010-03-24 | 2013-07-23 | Dharma P. Agrawal | Apparatus for instantaneous translation of sign language |
| JP2012048659A (en) | 2010-08-30 | 2012-03-08 | Canon Inc | Image processing system and image processing method |
| US10627860B2 (en) * | 2011-05-10 | 2020-04-21 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
| KR101252169B1 (en) * | 2011-05-27 | 2013-04-05 | 엘지전자 주식회사 | Mobile terminal and operation control method thereof |
| US8964008B2 (en) * | 2011-06-17 | 2015-02-24 | Microsoft Technology Licensing, Llc | Volumetric video presentation |
-
2012
- 2012-08-31 KR KR1020120096132A patent/KR101958778B1/en active Active
- 2012-10-26 US US13/662,033 patent/US9223402B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100066821A1 (en) * | 2008-09-16 | 2010-03-18 | Plantronics, Inc. | Infrared Derived User Presence and Associated Remote Control |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140062854A1 (en) | 2014-03-06 |
| US9223402B2 (en) | 2015-12-29 |
| KR20140029901A (en) | 2014-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101958778B1 (en) | A Head Mounted Display and a Method for Controlling a Digital Device Using the Same | |
| US10475254B2 (en) | Methods and apparatus to align components in virtual reality environments | |
| US9374549B2 (en) | Head mounted display and method of outputting audio signal using the same | |
| US10565725B2 (en) | Method and device for displaying virtual object | |
| US10416835B2 (en) | Three-dimensional user interface for head-mountable display | |
| US8862186B2 (en) | Lapel microphone micro-display system incorporating mobile information access system | |
| KR102471302B1 (en) | Head-mounted display apparatus | |
| KR102720174B1 (en) | Method for image display and electronic device supporting the same | |
| US11226689B2 (en) | Display system that selects a character string according to movement detected | |
| US20050059489A1 (en) | Motion sensing applications | |
| KR20140010715A (en) | A method of providing contents using head mounted display and a head mounted display thereof | |
| JP2015095802A (en) | Display control apparatus, display control method and program | |
| KR20150096947A (en) | The Apparatus and Method for Display System displaying Augmented Reality image | |
| CN112213856A (en) | Wearable glasses and method of displaying images via wearable glasses | |
| KR20160145976A (en) | Method for sharing images and electronic device performing thereof | |
| KR20160056133A (en) | Method for controlling display of image and apparatus implementing the same | |
| US20240143066A1 (en) | Head-mounted information processing apparatus and its controlling method | |
| KR20140129936A (en) | A Head Mounted Display and A Method for Providing Contents Using the Same | |
| KR102650572B1 (en) | Electronic apparatus and method for controlling thereof | |
| JP2021056371A (en) | Display system, display method, and display program | |
| KR101665027B1 (en) | Head tracking bar system for head mount display | |
| KR101695695B1 (en) | Mobile terminal and method for controlling the same | |
| WO2014035118A1 (en) | Head mounted display and method of controlling digital device using the same | |
| KR20180063581A (en) | Virtual reality display device and method for controlling the same | |
| KR20180037511A (en) | Electronic device and user interface providing method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20120831 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20170830 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20120831 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20180724 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20190109 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20190311 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20190312 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20220209 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230209 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250210 Start annual number: 7 End annual number: 7 |