KR101315399B1 - Terminal device and method for providing object information - Google Patents
Terminal device and method for providing object information Download PDFInfo
- Publication number
- KR101315399B1 KR101315399B1 KR1020100080781A KR20100080781A KR101315399B1 KR 101315399 B1 KR101315399 B1 KR 101315399B1 KR 1020100080781 A KR1020100080781 A KR 1020100080781A KR 20100080781 A KR20100080781 A KR 20100080781A KR 101315399 B1 KR101315399 B1 KR 101315399B1
- Authority
- KR
- South Korea
- Prior art keywords
- attribute information
- screen
- terminal device
- displayed
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 abstract description 12
- 239000000284 extract Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 3
- 238000002156 mixing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
- H04M2203/359—Augmented reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 증강현실에 관한 것으로, 특히, 화면에 디스플레이되는 객체의 상태에 따라 해당 객체의 속성 정보를 단계적으로 제공하는 단말 장치 및 방법에 관한 것이다.
본 발명에 따른 카메라를 통해 입력되는 영상에서 추출된 객체 및 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에 있어서, 다수의 객체들의 이미지와 이들 객체별 속성 정보가 저장되는 객체 서버와 데이터 통신을 수행하는 통신부와, 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 객체 인식부와, 기설정된 가중치 조건에 따라 인식된 객체와 관련되어 화면에 디스플레이되는 속성 정보의 단계를 결정하여 통신부를 통해 객체 서버로부터 결정된 단계의 속성 정보를 수신하여 인식된 객체와 상기 화면에 디스플레이되도록 제어하는 제어부를 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면에 디스플레이되는 객체의 상태에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.The present invention relates to augmented reality, and more particularly, to a terminal device and a method for providing attribute information of a corresponding object step by step according to a state of an object displayed on a screen.
In a terminal device displaying an object extracted from an image input through a camera according to the present invention and property information of an object on a screen, data communication is performed with an object server storing images of a plurality of objects and property information of each object. A communication unit, an object recognition unit that extracts and recognizes an object from an image input through a camera, and an object server through the communication unit by determining a step of attribute information displayed on the screen in relation to the recognized object according to a predetermined weight condition. And a controller configured to receive the attribute information of the step determined from the control unit and display the recognized object on the screen.
According to this aspect of the invention, the terminal device may determine the step of the attribute information of the object according to the state of the object displayed on the screen and provide the attribute information accordingly.
Description
본 발명은 증강현실에 관한 것으로, 특히, 화면에 디스플레이되는 증강 현실로 인식된 객체의 상태에 따라 해당 객체의 속성 정보를 단계적으로 제공하는 단말 장치 및 방법에 관한 것이다.
The present invention relates to augmented reality, and more particularly, to a terminal device and a method for providing attribute information of a corresponding object step by step according to a state of an object recognized as augmented reality displayed on a screen.
증강현실(Augmented Reality : AR)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 이 같은 증강현실은 가상현실과 일부 유사하나, 가상현실은 사용자에게 가상의 공간과 사물만을 제공하는 반면, 증강현실은 현실세계의 기반 위에 가상의 사물을 합성하여 현실세계만으로는 얻기 어려운 부가적인 정보를 보강하여 제공한다. 완전한 가상세계를 전제로 하는 가상현실과는 달리 증강현실은 현실세계의 환경 위에 가상의 대상을 결합시킴으로써, 사용자에게 보다 나은 현실감을 제공한다. 이 같은 증강현실 서비스는 1990년대 후반부터 미국과 일본을 중심으로 연구 개발이 진행되고 있으며, 최근에는 휴대폰, PDA(Personal digital assistants), UMPC(Ultra mobile personal computer) 등 모바일 기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 다양한 증강현실 서비스가 가능해졌다.Augmented Reality (AR) is one of virtual reality that combines the real world seen by the user and the virtual world with additional information in one image. This kind of augmented reality is similar to virtual reality, but virtual reality provides only virtual space and objects to users, while augmented reality combines virtual objects on the basis of real world, . Unlike virtual reality, which presupposes a complete virtual world, augmented reality provides users with a better sense of reality by combining virtual objects over real world environments. This augmented reality service has been under development in the United States and Japan since the late 1990s, and recently, the computing ability of mobile devices such as mobile phones, PDAs (Personal digital assistants), UMPC (Ultra mobile personal computer), and wireless With the development of network devices, various augmented reality services are possible.
일 예로, 휴대폰의 카메라를 통해 촬영되는 실제환경의 객체와 그 객체와 관련된 속성 정보가 가상으로 생성되어 실제환경의 객체와 융합되어 화면으로 출력된다. 이 같은 종래의 증강현실 서비스는 다수의 객체들이 복합적으로 화면을 통해 디스플레이되는 경우, 각 객체들의 속성 정보를 효과적으로 제공하지 못하고 있다. 즉, 종래의 증강현실 서비스는 휴대폰의 화면에 디스플레이되는 객체가 일정 영역 이상 들어올 경우에만 해당 객체의 속성 정보를 디스플레이하거나 혹은 사용자의 의도와 상관없는 속성 정보가 화면에 디스플레이된다. 이에 따라, 사용자는 증강현실 서비스를 통해 정보를 검색하는데 편의성이 떨어지는 문제가 있다.
For example, the object of the real environment photographed by the camera of the mobile phone and the attribute information related to the object are virtually generated and fused with the object of the real environment to be output to the screen. Such a conventional augmented reality service, when a plurality of objects are displayed in a complex through the screen, it does not effectively provide the attribute information of each object. That is, in the conventional augmented reality service, only when an object displayed on a screen of a mobile phone enters a certain area or more, property information of the object is displayed or property information irrelevant to the intention of the user is displayed on the screen. Accordingly, the user has a problem in that it is inconvenient to search for information through the augmented reality service.
본 발명은 이와 같은 문제점을 해결하고자 하는 것으로, 본 발명을 통해 화면에 디스플레이되는 객체의 상태에 따라 객체의 속성 정보를 단계적으로 제공함을 목적으로 한다.
The present invention aims to solve such a problem, and an object of the present invention is to provide property information of an object step by step according to a state of an object displayed on a screen.
전술한 기술적 과제는 후술하는 본 발명의 특징적인 양상들에 의해 달성된다. 본 발명에 따른 카메라를 통해 입력되는 영상에서 추출된 객체 및 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에 있어서, 다수의 객체들의 이미지와 이들 객체별 속성 정보가 저장되는 객체 서버와 데이터 통신을 수행하는 통신부와, 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 객체 인식부와, 기설정된 가중치 조건에 따라 인식된 객체와 관련되어 화면에 디스플레이되는 속성 정보의 단계를 결정하여 통신부를 통해 객체 서버로부터 결정된 단계의 속성 정보를 수신하여 인식된 객체와 상기 화면에 디스플레이되도록 제어하는 제어부를 포함한다.The above-described technical problem is achieved by the characteristic aspects of the present invention described later. In a terminal device displaying an object extracted from an image input through a camera according to the present invention and property information of an object on a screen, data communication is performed with an object server storing images of a plurality of objects and property information of each object. A communication unit, an object recognition unit that extracts and recognizes an object from an image input through a camera, and an object server through the communication unit by determining a step of attribute information displayed on the screen in relation to the recognized object according to a predetermined weight condition. And a controller configured to receive the attribute information of the step determined from the control unit and display the recognized object on the screen.
본 발명의 추가적인 양상에 따르면, 단말 장치는 다수의 객체들의 속성 정보의 단계를 결정하기 위한 가중치 조건값이 저장되는 가중치 정보 저장부를 더 포함하며, 제어부는 객체의 크기에 관련된 가중치 조건값을 이용하여 단말 장치와 인식된 객체 간의 거리에 따라 화면에 디스플레이되는 인식된 객체의 크기로부터 인식된 객체의 속성 정보의 단계를 결정하는 객체 크기 가중치부를 포함하는 가중치 처리부와, 가중치 처리부에 의해 결정된 속성 정보 단계에 해당하는 속성 정보를 객체 서버로부터 수신하여 인식된 객체와 합성하여 화면에 디스플레이하는 융합부를 포함한다.According to an additional aspect of the present invention, the terminal device further includes a weight information storage unit for storing the weight condition value for determining the step of the attribute information of the plurality of objects, the control unit using the weight condition value related to the size of the object A weight processing unit including an object size weighting unit for determining a step of attribute information of the recognized object from the size of the recognized object displayed on the screen according to the distance between the terminal device and the recognized object, and the attribute information step determined by the weight processing unit. It includes a fusion unit for receiving the corresponding attribute information from the object server synthesized with the recognized object and displayed on the screen.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면에 디스플레이되는 객체의 크기로부터 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
According to this aspect of the invention, the terminal device may determine the step of the attribute information of the object from the size of the object displayed on the screen and provide the attribute information accordingly.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 화면 포커싱과 관련된 가중치 조건값을 이용하여 화면을 통해 인식된 객체의 디스플레이되는 지점과 화면의 중심 지점 간의 거리 차에 따라 인식된 객체의 속성 정보의 단계를 결정하는 포커싱 가중치부를 더 포함한다.According to an additional aspect of the present invention, the weight processing unit performs the step of attribute information of the recognized object according to the distance difference between the displayed point of the object recognized through the screen and the center point of the screen using the weighting condition value related to the screen focusing. The apparatus further includes a focusing weight unit for determining.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면을 통해 디스플레이되는 객체의 위치에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
According to this aspect of the present invention, the terminal device may determine the step of the attribute information of the object according to the position of the object displayed on the screen and provide the attribute information accordingly.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 화면에 디스플레이되는 객체의 수와 관련된 가중치 조건값을 이용하여 화면에 디스플레이되는 인식된 객체의 속성 정보의 단계를 결정하는 객체수 가중치부를 더 포함한다.According to a further aspect of the present invention, the weight processing unit further includes an object number weighting unit for determining a step of attribute information of the recognized object displayed on the screen using a weighting condition value related to the number of objects displayed on the screen.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면을 통해 디스플레이되는 객체의 개수에 따라 해당 객체들의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
According to this aspect of the present invention, the terminal device may determine the step of the attribute information of the corresponding objects according to the number of objects displayed on the screen and provide the attribute information accordingly.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 위치 정보의 변화에 따른 가중치 조건값을 이용하여 화면을 통해 인식된 객체가 디스플레이되는 시점의 위치 정보의 변화가 기설정된 시간 동안 있는지를 체크하여 인식된 객체의 속성 정보의 단계를 결정하는 시간별 가중치부를 더 포함한다.According to an additional aspect of the present invention, the weight processing unit checks whether the change in the position information at the time when the object recognized through the screen is displayed for a predetermined time by using the weight condition value according to the change in the position information is recognized object The apparatus may further include an hourly weighting unit that determines a step of the attribute information of the.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면을 통해 디스플레이되는 객체의 위치 변화에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
According to this aspect of the invention, the terminal device may determine the step of the attribute information of the object in accordance with the change of the position of the object displayed on the screen and provide the attribute information accordingly.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 객체의 변화량에 따른 가중치 조건값을 이용하여 화면에 디스플레이되는 인식된 객체의 크기 변화량 또는 이동 변화량에 따라 인식된 객체의 속성 정보의 단계를 결정하는 변화량 가중치부를 더 포함한다.According to an additional aspect of the present invention, the weight processing unit uses the weighting condition value according to the amount of change of the object to change the weight of determining the step of the attribute information of the recognized object according to the amount of change or the amount of change of the recognized object displayed on the screen Includes more wealth.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면을 통해 디스플레이되는 객체의 크기 또는 이동에 따른 변화량으로부터 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
According to this aspect of the invention, the terminal device can determine the step of the attribute information of the object from the change amount according to the size or movement of the object displayed on the screen and provide the attribute information accordingly.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 사용자의 선호도에 따른 가중치 조건값을 이용하여 인식된 객체의 속성 정보 단계를 결정하는 선호도 가중치부를 더 포함한다.According to an additional aspect of the present invention, the weight processing unit further includes a preference weighting unit for determining the attribute information level of the recognized object using the weighting condition value according to the user's preference.
본 발명의 이 같은 양상에 따라, 단말 장치는 사용자의 선호도에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
According to this aspect of the invention, the terminal device may determine the level of the attribute information of the object according to the preference of the user and provide the attribute information accordingly.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 가중치 처리부에 포함된 각각의 가중치부들의 우선 순위에 따른 가중치 조건값을 이용하여 인식된 객체의 속성 정보 단계를 결정하는 혼합 가중치부를 더 포함한다.According to a further aspect of the present invention, the weight processing unit further includes a blending weighting unit for determining the attribute information step of the recognized object using the weighting condition value according to the priority of each weighting unit included in the weighting processing unit.
본 발명의 이 같은 양상에 따라, 단말 장치는 객체의 속성 정보의 단계를 결정하는 방법들에 대한 우선 순위에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
According to this aspect of the present invention, the terminal device may determine the step of the attribute information of the object according to the priority of the methods for determining the step of the attribute information of the object and provide the attribute information accordingly.
상술한 바와 같이, 본 발명에 따른 객체 정보 제공 단말 장치 및 방법을 통해 단말 장치의 화면에 디스플레이되는 객체의 상태에 따라 해당 객체의 속성 정보를 단계적으로 세분화하여 화면에 디스플레이함으로써, 사용자에게 보다 효과적으로 정보를 제공할 수 있다.
As described above, through the object information providing terminal device and method according to the present invention, the property information of the corresponding object is gradually divided and displayed on the screen according to the state of the object displayed on the screen of the terminal device, thereby providing more effective information to the user. Can be provided.
도 1은 본 발명의 일 실시예에 따른 단계별 객체 정보 제공이 가능한 단말 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 단말 장치에서 객체 크기 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도,
도 3은 본 발명의 일 실시예에 따른 단말 장치에서 포커싱 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도,
도 4는 본 발명의 일 실시예에 따른 단말 장치에서 혼합 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도,
도 5는 본 발명의 일 실시예에 따른 단말 장치에서 객체의 속성 정보를 단계적으로 화면에 디스플레이하는 방법의 흐름도이다.1 is a block diagram of a terminal device capable of providing stepwise object information according to an embodiment of the present invention;
2 is an exemplary diagram of determining and displaying a step of attribute information of an object displayed on a screen through an object size weighting unit in a terminal device according to an embodiment of the present invention;
3 is an exemplary view of determining and displaying a step of attribute information of an object displayed on a screen through a focusing weight unit in a terminal device according to an embodiment of the present invention;
4 is an exemplary diagram of determining and displaying a step of attribute information of an object displayed on a screen through a blend weighting unit in a terminal device according to an embodiment of the present invention;
5 is a flowchart illustrating a method of displaying, on a screen, property information of an object in stages in a terminal device according to an embodiment of the present invention.
전술한, 그리고 추가적인 본 발명의 양상들은 후술하는 실시 예를 통해 더욱 명확해질 것이다. 이하에서는 본 발명의 첨부된 도면을 참조하여 기술되는 바람직한 실시 예들을 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
The foregoing and further aspects of the present invention will become apparent from the following examples. Hereinafter, with reference to the preferred embodiments described with reference to the accompanying drawings of the present invention will be described in detail to enable those skilled in the art to easily understand and reproduce.
도 1은 본 발명의 일 실시예에 따른 단계별 객체 정보 제공이 가능한 단말 장치의 블록도이다.1 is a block diagram of a terminal device capable of providing stepwise object information according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 단계별 객체 정보 제공이 가능한 단말 장치는 통신부(100), 객체 인식부(110), 제어부(120), 가중치 정보 저장부(130), 디스플레이부(140)를 포함한다. 통신부(100)는 객체 서버와 무선의 데이터 통신을 수행하는 것으로, 단말 장치는 통신부(100)를 통해 객체 서버로 디스플레이부(140)를 통해 화면에 디스플레이되는 객체와 해당 객체의 속성 정보의 단계를 포함하는 객체 속성 정보를 전송한다. 이후, 단말 장치는 통신부(100)를 통해 객체 서버로부터 해당 객체의 속성 정보의 단계에 해당하는 속성 정보를 수신한다. 여기서, 객체 서버는 다수의 객체들의 이미지와, 각각의 객체들에 대한 단계별 속성 정보를 저장하고 있다.As shown in FIG. 1, a terminal device capable of providing object information in stages includes a
객체 인식부(110)는 단말 장치에 내장된 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 것으로, 단말 장치는 객체 인식부(110)로부터 인식된 객체와 관련된 단계의 속성 정보를 통신부(10)를 통해 객체 서버로부터 수신하다. 제어부(120)는 기설정된 가중치 조건에 따라 객체 인식부(110)로부터 인식된 객체와 관련된 속성 정보의 단계를 결정하도록 제어한다. 이후, 제어부(120)는 통신부(100)를 통해 객체 서버로부터 결정된 단계의 속성 정보를 수신하여 객체 인식부(110)로부터 인식된 객체와 함께 합성하여 디스플레이부(140)를 통해 화면에 디스플레이되도록 제어한다. 이 같은 제어부(120)는 가중치 처리부(121)와 융합부(129)을 통해 달성할 수 있다.The object recognizer 110 extracts and recognizes an object from an image input through a camera embedded in the terminal device, and the terminal device transmits attribute information of a step related to the object recognized by the
가중치 처리부(121)는 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하는 것으로써, 가중치 정보 저장부(130)는 다수의 객체들의 속성 정보의 단계를 결정하기 위한 가중치 조건값이 저장되어 있다. 따라서, 가중치 처리부(121)는 가중치 정보 저장부(130)에 저장된 가중치 조건값을 이용하여 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정한다. 여기서, 객체의 속성 정보의 단계는 화면에 디스플레이되는 객체의 속성 정보의 노출 범위를 결정하기 위한 정보이다. 이 같은 객체의 속성 정보의 단계가 가중치 처리부(121)로부터 결정되면, 융합부(129)는 가중치 처리부(121)에 의해 결정된 객체의 속성 정보의 단계에 해당하는 속성 정보를 객체 서버로부터 수신하고, 수신된 속성 정보와 해당 객체가 융합되도록 합성하여 디스플레이부(140)를 통해 화면에 디스플레이되도록 처리한다.The
한편, 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하는 가중치 처리부(121)는 본 발명의 추가적인 양상에 따라, 객체 크기 가중치부(122)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 객체 크기 가중치부(122)는 객체의 크기와 관련된 가중치 조건값을 이용하여 단말 장치와 객체 간의 거리에 따라 화면에 디스플레이되는 객체의 크기로부터 해당 객체의 속성 정보의 단계를 결정한다. 즉, 화면에 디스플레이되는 객체의 크기 면적은 해당 객체와 단말 장치 간의 거리에 따라 달라진다. 따라서, 객체 크기 가중치부(122)는 화면에 디스플레이되는 객체의 크기 면적이 작을수록 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정하며, 객체의 크기 면적이 클수록 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 이에 따라, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적에 따라 해당 객체의 속성 정보를 상세하기 혹은 간략하게 제공할 수 있다. 이하에서는 도 2의 실시예를 통해 보다 상세히 설명하기로 한다.
Meanwhile, the
도 2는 본 발명의 일 실시예에 따른 단말 장치에서 객체 크기 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도이다.FIG. 2 is an exemplary diagram of determining and displaying a step of attribute information of an object displayed on a screen through an object size weighting unit in a terminal device according to an embodiment of the present invention.
도시된 바와 같이, 사용자는 자신의 단말 장치의 카메라를 통해 현실의 영상이 촬영된 영역을 지정함에 따라, 해당 카메라는 사용자로부터 지정된 영역을 촬영한다. 이에 따라, 단말 장치는 객체 인식부(110)를 통해 카메라로부터 촬영된 영역의 영상으로부터 건물1,2(210,230) 객체들을 인식한다. 이후, 단말 장치는 객체 크기 가중치부(122)를 통해 객체 인식부(110)로부터 인식된 건물1,2(210,230) 객체들이 화면에 디스플레이되는 크기로부터 건물1,2(210,230) 객체들의 속성 정보의 단계를 결정한다. 즉, 단말 장치는 가중치 정보 저장부(130)에 저장된 객체의 크기와 관련된 가중치 조건값을 이용하여 건물1,2(210,230) 객체들의 크기에 대응하는 속성 정보의 단계를 결정할 수 있다. 보다 구체적으로, 건물2(230) 객체는 건물1(210) 객체에 비해 단말 장치와의 거리가 더 멀기 때문에 화면에 디스플레이되는 건물2(230) 객체의 크기 면적은 건물1(210) 객체의 크기 면적에 비해 작다. 따라서, 단말 장치는 객체 크기 가중치부(122)를 통해 건물2(230) 객체의 기본적인 속성 정보를 제공하는 단계를 결정하고, 결정된 단계에 따라 건물 이름을 포함하는 속성 정보를 객체 서버로부터 수신하여 건물2(230) 객체와 함께 화면에 디스플레이한다. 한편, 화면에 디스플레이되는 건물1(210) 객체는 건물2(230) 객체에 비해 단말 장치와의 거리가 가깝기 때문에 화면에 디스플레이되는 건물1(210) 객체의 크기 면적은 건물2(230) 객체의 크기 면적에 비해 크다. 따라서, 단말 장치는 객체 크기 가중치부(122)를 통해 건물1(210) 객체의 상세한 속성 정보를 제공하는 단계를 결정하고, 결정된 단계에 따라 건물 이름과 그 건물의 세부 정보를 포함하는 속성 정보를 객체 서버로부터 수신하여 건물1(210) 객체와 함께 화면에 디스플레이한다.As shown in the drawing, as the user designates the area where the real image is captured by the camera of his terminal device, the camera captures the area designated by the user. Accordingly, the terminal device recognizes the buildings 1, 2 (210, 230) objects from the image of the area photographed by the camera through the
이와 같이, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적에 따라 해당 객체의 속성 정보의 단계를 설정하여 해당 객체의 속성 정보를 간략하게 혹은 상세하게 제공할 수 있다. In this way, the terminal device can provide the attribute information of the object simply or in detail by setting the step of the attribute information of the object according to the size area of the object displayed on the screen.
본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 포커싱 가중치부(123)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 포커싱 가중치부(123)는 가중치 정보 저장부(130)에 저장된 화면 포커싱과 관련된 가중치 조건값을 이용하여 화면을 통해 해당 객체가 디스플레이되는 지점과 화면의 중심 지점 간의 거리 차에 따라 해당 객체의 속성 정보의 단계를 결정한다. 즉, 포커싱 가중치부(123)는 화면을 통해 객체가 디스플레이되는 지점이 화면의 중심 지점과 근접할수록 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정하며, 객체의 디스플레이되는 지점이 화면의 중심 지점과 멀어질수록 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 이에 따라, 단말 장치는 화면을 통해 객체의 디스플레이되는 지점과 화면 중심 지점 간의 거리 차이에 따라 해당 객체의 속성 정보를 상세히 혹은 간략하게 제공할 수 있다. 이하에서는 도 3의 실시예를 통해 보다 상세히 설명하기로 한다.
According to an additional aspect of the present invention, the
도 3은 본 발명의 일 실시예에 따른 단말 장치에서 포커싱 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도이다.3 is an exemplary diagram of determining and displaying a step of attribute information of an object displayed on a screen through a focusing weight unit in a terminal device according to an embodiment of the present invention.
도시된 바와 같이, 사용자는 자신의 단말 장치의 카메라를 통해 현실 영상이 촬영함에 따라, 단말 장치는 객체 인식부(110)를 통해 카메라로부터 촬영된 영상에서 건물1,2(310),330) 객체들을 추출하여 인식한다. 이후, 단말 장치는 포커싱 가중치부(123)를 통해 객체 인식부(110)로부터 인식된 건물1,2(310,330) 객체들이 화면에 디스플레이되는 지점을 획득한다. 이후, 단말 장치는 포커싱 가중치부(123)를 통해 건물1,2(310,330) 객체들이 화면에 디스플레이되는 지점과 화면 중심 지점 간의 거리 정보를 획득한다. 이후, 포커싱 가중치부(123) 획득한 건물1,2(310,330) 객체들과 화면 중심 지점 간의 거리 정보에 따라, 건물1,2(310,330) 객체들과 관련된 속성 정보의 단계를 결정한다. 즉, 건물1(310) 객체가 건물2(330) 객체보다 화면 중심 지점과 근접하기 때문에 포커싱 가중치부(123)는 건물1(310) 객체의 상세한 속성 정보를 제공하는 단계를 결정하고, 건물2(330) 객체의 간략한 속성 정보를 제공하는 단계를 결정한다. 이 같이, 포커싱 가중치부(123)를 통해 건물1,2(310,330) 객체들의 단계가 결정됨에 따라, 단말 장치는 객체 서버로부터 건물1(310) 객체의 건물 이름과 그 건물의 세부 정보를 포함하는 상세한 속성 정보를 수신하여 화면에 디스플레이한다. 또한, 단말 장치는 객체 서버로부터 건물2(330) 객체의 건물 이름을 포함하는 간략한 속성 정보를 수신하여 화면에 디스플레이한다. 이와 같이, 단말 장치는 화면을 통해 객체의 디스플레이되는 지점과 화면 중심 지점 간의 거리 차에 따라 객체의 속성 정보의 단계를 설정하여 해당 객체의 속성 정보를 간략하게 혹은 상세하게 제공할 수 있다. As shown in the figure, as the user captures the real image through the camera of his terminal device, the terminal device uses the
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 객체수 가중치부(124)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 객체수 가중치부(124)는 화면에 디스플레이되는 객체의 수와 관련된 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 화면을 통해 디스플레이되는 객체의 수에 따라 객체의 속성 정보의 단계를 결정한다. 예를 들어, 객체수 가중치부(124)는 화면을 통해 하나의 객체가 디스플레이되는 것으로 체크되면, 해당 객체의 상세한 속성 정보를 제공하기 위한 단계를 결정하고, 화면을 통해 적어도 3개 이상의 객체들이 디스플레이되는 것으로 체크되면, 해당 객체들의 간략한 속성 정보를 제공하기 위한 단계를 결정한다. 따라서, 단말 장치는 객체수 가중치(124)로부터 결정된 단계에 따른 간략한 속성 정보 혹은 상세한 속성 정보를 객체 서버로부터 수신하여 화면에 디스플레이할 수 있다.Meanwhile, according to an additional aspect of the present disclosure, the
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 시간별 가중치부(125)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 시간별 가중치부(125)는 위치 정보의 변화에 따른 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 기설정된 시간 동안 화면을 통해 객체의 디스플레이되는 시점의 위치 정보의 변화가 있는지를 체크하여 해당 객체의 속성 정보의 단계를 결정한다. 보다 구체적으로, 시간별 가중치부(125)는 화면을 통해 객체의 디스플레이되는 시점의 위치 정보를 획득한다. 이후, 시간별 가중치부(125)는 기설정된 시간 동안 획득한 위치 정보의 변화가 있는지를 체크한다.Meanwhile, according to an additional aspect of the present invention, the
예를 들어, 사용자는 이동하면서 자신의 단말 장치의 카메라를 통해 현실의 영상을 촬영할 수 있다. 이 경우, 시간별 가중치부(125)는 촬영된 현실 영상에서 추출되어 인식된 객체의 디스플레이되는 시점의 위치 정보가 지속적으로 변하는 것으로 판단하여 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 한편, 사용자는 정지된 상태에서 자신의 단말 장치의 카메라를 통해 현실의 영상을 촬영할 수 있다. 이 경우, 시간별 가중치부(125)는 촬영된 현실 영상에서 추출되어 인식된 객체의 디스플레이되는 시점의 위치 정보가 기설정된 시간 동안 변하지 않는 것으로 판단하여 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정할 수 있다. 이와 같이, 단말 장치는 시간별 가중치부(125)를 통해 화면에 디스플레이되는 객체의 위치 정보의 변화에 따라 해당 객체의 속성 정보의 단계를 결정하여 간략하거나 혹은 상세한 속성 정보를 화면에 디스플레이할 수 있다.For example, the user may take a picture of the reality through the camera of his terminal device while moving. In this case, the time-
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 변화량 가중치부(126)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 변화량 가중치부(126)는 객체의 변화량에 따른 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 화면에 디스플레이되는 인식된 객체의 크기 변화량 또는 이동 변화량에 해당 객체의 속성 정보의 단계를 결정할 수 있다. 일 실시예에 따라, 화면의 외곽에 디스플레이되는 객체가 화면의 중심 지점으로 이동할 경우, 변화량 가중치부(126)는 화면의 외곽에 디스플레이되는 지점에서 화면의 중심 지점으로 이동에 따른 변화량이 발생한 것으로 판단하여 화면의 중심으로 이동되는 객체의 상세한 속성 정보가 화면에 디스플레이되도록 그 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 변화량 가중치부(126)로부터 결정된 단계에 따른 상세한 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이한다.Meanwhile, according to an additional aspect of the present invention, the
또다른 실시예에 따라, 사용자는 카메라 줌인(Zoom-in)을 통해 현실 영상을 촬영할 수 있다. 이 경우, 변화량 가중치부(126)는 일반적인 모드 상태에서 촬영된 현실 영상의 객체가 확대되어 화면에 디스플레이되어 화면에 디스플레이되는 객체의 크기의 변화량이 발생한 것으로 판단한다. 이 같이, 화면에 디스플레이되는 객체의 크기의 변화량이 발생한 것으로 판단되면, 변화량 가중치부(126)는 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 그 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 변화량 가중치부(126)로부터 결정된 단계에 해당하는 상세한 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이한다. 이와 같이, 단말 장치는 변화량 가중치부(126)를 통해 화면에 디스플레이되는 객체의 이동 변화량 또는 크기 변화량에 따라 해당 객체의 속성 정보의 단계를 재결정하여 그에 따른 간략한 속성 정보 또는 상세한 속성 정보를 화면에 디스플레이할 수 있다.According to another embodiment, the user may capture the real image through the camera zoom-in. In this case, the change
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 선호도 가중치부(127)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 선호도 가중치부(127)는 사용자의 선호도에 따른 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 인식된 객체의 속성 정보의 단계를 결정한다. 실시예에 따라, 가중치 정보 저장부(130)는 사용자로부터 입력된 엔터테인먼트, 쇼핑 관련 선호도 정보가 저장될 수 있다. 이에 따라, 선호도 가중치부(127)는 화면에 디스플레이되는 객체가 사용자의 선호도에 따라 입력된 선호도 정보와 관련되는지를 체크한다. 체크 결과, 선호도 정보와 관련된 객체이면, 선호도 가중치부(127)는 해당 객체의 속성 정보의 단계를 가장 높게 결정한다. 이에 따라, 단말 장치는 선호도 가중치부(127)로부터 결정된 단계에 해당하는 상세한 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이한다.Meanwhile, according to an additional aspect of the present disclosure, the
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 혼합 가중치부(128)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 혼합 가중치부(128)는 사용자의 요청에 따라 가중치 정보 저장부(130)에 저장되는 각 가중치부들의 가중치 조건값들의 우선 순위가 결정된 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 각각의 가중치부들의 우선 순위로부터 결정된 단계의 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이할 수 있다. 이하에서는 도 4의 실시예를 통해 보다 상세히 설명하기로 한다.
Meanwhile, according to an additional aspect of the present invention, the
도 4는 본 발명의 일 실시예에 따른 단말 장치에서 혼합 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도이다.4 is an exemplary diagram of determining and displaying a step of attribute information of an object displayed on a screen through a blend weighting unit in a terminal device according to an embodiment of the present invention.
예를 들어, 사용자는 각 가중치부들의 가중치 조건값들 중, 화면 포커싱과 관련된 가중치 조건값과 객체 변화량에 따른 가중치 조건값의 우선 순위를 높게 설정할 수 있다. 이 경우, 도 4에 도시된 바와 같이, 건물1,2(410,430) 객체들이 화면에 디스플레이되면, 혼합 가중치부(128)는 가중치 정보 저장부(130)에 저장된 각 가중치부들의 가중치 조건값들의 우선 순위가 결정된 가중치 조건값에 따라 건물1,2(410,430) 객체들의 속성 정보의 단계를 결정한다. 즉, 혼합 가중치부(128)는 화면을 통해 디스플레이되는 건물1(410) 객체가 화면의 중심 지점에 위치하는 것으로 판단하여, 해당 객체의 속성 정보의 단계를 높게 결정한다. 그리고, 혼합 가중치부(128)는 화면을 통해 디스플레이되는 건물2(430) 객체가 화면의 외곽 지점에 위치하는 것으로 판단하여, 해당 객체의 속성 정보의 단계를 낮게 결정한다. 이에 따라, 단말 장치는 객체 서버로부터 건물1(410) 객체의 상세한 속성 정보와 건물2(430) 객체의 간략한 속성 정보를 수신하여 건물1,2(410,430) 객체들과 함께 화면에 디스플레이한다. 한편, 건물1,2(410,430) 객체들이 도시된 바와 같이 이동할 경우, 혼합 가중치부(128)는 건물1,2(410,430) 객체들의 이동에 따른 변화량이 발생한 것으로 판단하여 건물1,2(410,430) 객체들의 속성 정보의 단계를 재결정한다. 즉, 혼합 가중치부(128)는 건물1(410) 객체가 화면의 중심 지점에서 'A'라는 외곽의 지점으로 이동한 것으로 판단하여 건물1(410) 객체의 속성 정보의 단계를 낮게 결정한다. 그리고, 혼합 가중치부(128)는 건물2(430) 객체가 화면의 외곽 지점에서 'B'라는 중심의 지점으로 이동한 것으로 판단하여 건물2(430) 객체의 속성 정보의 단계를 높게 결정한다. 따라서, 단말 장치는 객체 서버로부터 건물1(410) 객체의 간략한 속성 정보와 건물2(430) 객체의 상세한 속성 정보를 수신하여 건물1,2(410,430) 객체들과 함께 화면에 디스플레이한다.For example, the user may set the priority of the weighting condition value related to the screen focusing and the weighting condition value according to the object variation amount among the weighting condition values of each weighting unit. In this case, as shown in FIG. 4, when the buildings 1 and 2 (410, 430) are displayed on the screen, the
지금까지, 단계별 객체 정보 제공이 가능한 단말 장치의 구성들에 대해 상세히 설명하였다. 이하에서는 단말 장치에서 객체의 속성 정보를 단계적으로 화면에 디스플레이하는 방법에 대해 상세히 설명하기로 한다.
Up to now, the configuration of the terminal device capable of providing the object information step by step has been described in detail. Hereinafter, a method of gradually displaying the attribute information of the object on the screen in the terminal device will be described in detail.
도 5는 본 발명의 일 실시예에 따른 단말 장치에서 객체의 속성 정보를 단계적으로 화면에 디스플레이하는 방법의 흐름도이다.5 is a flowchart illustrating a method of displaying, on a screen, property information of an object in stages in a terminal device according to an embodiment of the present invention.
도시된 바와 같이, 먼저, 단말 장치는 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식한다(500). 즉, 사용자는 자신의 단말 장치에 장착된 카메라를 통해 자신이 촬영하고자하는 현실 영상의 영역을 지정한다. 사용자로부터 현실 영상의 영역이 지정됨에 따라, 단말 장치는 사용자로부터 지정된 영역의 현실 영상으로부터 현실 영상에서 객체를 추출하여 인식한다. 객체가 인식되면, 단말 장치는 인식된 객체이 속성 정보의 단계를 결정하기 위한 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 인식된 객체와 관련된 속성 정보의 단계를 결정한다(510).As shown, first, the terminal device extracts and recognizes an object from an image input through a camera (500). That is, the user designates an area of the real image that he / she wants to capture through a camera mounted on his terminal device. As the area of the real image is designated by the user, the terminal device extracts and recognizes an object from the real image from the real image of the area designated by the user. When the object is recognized, the terminal device determines a step of the attribute information related to the recognized object by referring to the weight information storage unit in which the recognized object stores the weight condition value for determining the step of the attribute information (510).
인식된 객체와 관련된 속성 정보의 단계가 결정되면, 단말 장치는 결정된 속성 정보의 단계를 포함하는 속성 정보 요청 메시지를 다수의 객체들의 이미지와, 객체별 속성 정보를 저장 및 관리하는 객체 서버로 전송한다(520). 이후, 단말 장치는 객체 서버로부터 해당 객체와 관련된 속성 정보의 단계에 해당하는 속성 정보를 수신하고, 그 수신된 속성 정보와 객체를 합성하여 화면에 디스플레이한다(530). 한편, 전술한 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하는 단말 장치는 다음과 같은 방법으로 객체의 속성 정보의 단계를 결정할 수 있다.When the stage of the attribute information related to the recognized object is determined, the terminal device transmits an attribute information request message including the determined stage of the attribute information to an object server that stores and manages images of the plurality of objects and attribute information for each object. (520). Thereafter, the terminal device receives attribute information corresponding to the stage of attribute information related to the object from the object server, and displays the synthesized attribute information and the object on the screen (530). Meanwhile, the terminal device for determining the step of the attribute information of the object displayed on the screen described above may determine the step of the attribute information of the object in the following manner.
본 발명의 추가적인 양상에 따라, 단말 장치는 인식된 객체와의 거리에 따라 화면에 디스플레이되는 객체의 크기로부터 해당 객체의 속성 정보의 단계를 결정할 수 있다. 보다 구체적으로, 단말 장치는 화면에 디스플레이되는 영상에서 객체가 추출되어 인식되면 그 인식된 객체로부터 객체의 크기 면적을 구한다. 이후, 단말 장치는 객체의 크기와 관련된 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 그 객체의 크기 면적에 따른 객체의 속성 정보의 단계를 결정한다. 즉, 단말 장치 화면에 디스플레이되는 객체의 크기 면적은 해당 객체와 단말 장치 간의 거리에 따라 달라진다. 따라서, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적이 작을수록 해당 객체와의 거리가 먼 것으로 판단하여 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 한편, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적이 클수록 해당 객체와의 거리가 가까운 것으로 판단하여 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정하다. 이와 같이, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적에 따라 해당 객체의 속성 정보를 상세하기 혹은 간략하게 제공할 수 있다. According to an additional aspect of the present invention, the terminal device may determine the step of the attribute information of the object from the size of the object displayed on the screen according to the distance to the recognized object. More specifically, when the object is extracted and recognized from the image displayed on the screen, the terminal device obtains the size area of the object from the recognized object. Thereafter, the terminal device determines a step of attribute information of the object according to the size area of the object with reference to the weight information storage unit in which the weight condition value related to the size of the object is stored. That is, the size area of the object displayed on the terminal device screen depends on the distance between the object and the terminal device. Accordingly, the terminal device determines that the smaller the size area of the object displayed on the screen is, the farther it is from the object, and determines that the short attribute information of the object is displayed on the screen. Meanwhile, the terminal device determines that the distance to the object is closer as the size area of the object displayed on the screen increases, and determines the step of displaying detailed attribute information of the object on the screen. In this way, the terminal device can provide the property information of the object in detail or simply according to the size area of the object displayed on the screen.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 인식된 객체가 화면에 디스플레이되는 지점에 따라 인식된 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 카메라를 통해 입력되는 영상에서 객체가 추출되어 인식되면, 그 인식된 객체가 화면에 디스플레이되는 지점을 획득한다. 이후, 단말 장치는 화면 포커싱과 관련된 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 인식된 객체의 디스플레이되는 지점과 화면의 중심 지점 간의 거리 차에 따라 해당 객체의 속성 정보의 단계를 결정한다. 즉, 단말 장치는 화면을 통해 객체가 디스플레이되는 지점이 화면의 중심 지점과 근접할수록 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정하며, 객체의 디스플레이되는 지점이 화면의 중심 지점과 멀어질수록 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 이에 따라, 단말 장치는 화면을 통해 객체의 디스플레이되는 지점과 화면 중심 지점 간의 거리 차이에 따라 해당 객체의 속성 정보를 상세히 혹은 간략하게 제공할 수 있다.Meanwhile, according to an additional aspect of the present disclosure, the terminal device may determine the step of the attribute information of the recognized object according to the point where the recognized object is displayed on the screen. That is, when the object is extracted and recognized from the image input through the camera, the terminal device acquires a point where the recognized object is displayed on the screen. Thereafter, the terminal device determines the step of the attribute information of the corresponding object according to the distance difference between the displayed point of the recognized object and the center point of the screen with reference to the weight information storage unit in which the weighting condition value related to the screen focusing is stored. That is, the terminal device determines a step in which detailed property information of the object is displayed on the screen as the point where the object is displayed on the screen is closer to the center point of the screen, and the displayed point of the object is far from the center point of the screen. The step determines that the brief attribute information of the corresponding object is displayed on the screen. Accordingly, the terminal device can provide the attribute information of the corresponding object in detail or simply according to the difference in distance between the displayed point of the object on the screen and the center point of the screen.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 화면에 디스플레이되는 객체의 개수에 따라 해당 객체의 속성 정보의 단계를 결정할 수 있다. 먼저, 단말 장치는 카메라를 통해 입력되는 영상에서 객체가 추출되어 인식되면, 그 인식된 객체의 개수를 체크한다. 이후, 단말 장치는 화면에 디스플레이되는 객체의 개수와 관련된 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 현재 화면을 통해 디스플레이되는 객체의 개수에 따라 객체의 속성 정보의 단계를 결정한다. 예를 들어, 단말 장치는 화면을 통해 디스플레이되는 객체가 1개인 것으로 체크되면, 해당 객체의 상세한 속성 정보를 제공하기 위한 단계를 결정하고, 화면을 통해 디스플레이되는 객체의 수가 적어도 3개 이상인 것으로 체크되면, 해당 객체들의 간략한 속성 정보를 제공하기 위한 단계를 결정한다. 이이 따라, 단말 장치는 화면에 디스플레이되는 객체의 개수에 따라 결정된 해당 객체의 속성 정보의 단계에 따라 간략한 속성 정보 혹은 상세한 속성 정보를 객체 서버로부터 수신하여 화면에 디스플레이할 수 있다.Meanwhile, according to an additional aspect of the present disclosure, the terminal device may determine the step of the attribute information of the corresponding object according to the number of objects displayed on the screen. First, when an object is extracted and recognized from an image input through a camera, the terminal device checks the number of recognized objects. Thereafter, the terminal device determines the step of the attribute information of the object according to the number of objects displayed on the current screen with reference to the weight information storage unit in which the weight condition value associated with the number of objects displayed on the screen is stored. For example, when it is checked that there is only one object displayed on the screen, the terminal device determines a step for providing detailed attribute information of the object, and when it is checked that the number of objects displayed on the screen is at least three or more. Next, determine the steps for providing brief attribute information of the objects. Accordingly, the terminal device may receive the simple attribute information or the detailed attribute information from the object server and display it on the screen according to the stage of the attribute information of the corresponding object determined according to the number of objects displayed on the screen.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 인식된 객체가 화면을 통해 디스플레이되는 시점의 위치 정보의 변화 상태에 따라 해당 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 화면을 통해 디스플레이되는 객체의 위치 정보를 획득한다. 이후, 단말 장치는 위치 정보의 변화에 따른 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 해당 객체가 디스플레이되는 위치 정보의 변화를 체크한다. 예를 들어, 사용자는 이동하면서 자신의 단말 장치의 카메라를 통해 현실의 영상을 촬영할 수 있다. 이 경우, 단말 장치는 촬영된 현실 영상에서 인식된 객체의 디스플레이되는 시점의 위치 정보가 지속적으로 변하는 것으로 판단하여 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 한편, 사용자는 정지된 상태에서 자신의 단말 장치의 카메라를 통해 현실의 영상을 촬영할 수 있다. 이 경우, 단말 장치는 촬영된 현실 영상에서 인식된 객체의 디스플레이되는 시점의 위치 정보가 기설정된 시간 동안 변하지 않는 것으로 판단하여 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정할 수 있다. 이와 같이, 단말 장치는 화면에 디스플레이되는 객체의 위치 정보의 변화에 따라 해당 객체의 속성 정보의 단계를 결정하여 간략하거나 혹은 상세한 속성 정보를 화면에 디스플레이할 수 있다.Meanwhile, according to an additional aspect of the present disclosure, the terminal device may determine the step of the attribute information of the corresponding object according to the change state of the position information at the time when the recognized object is displayed on the screen. That is, the terminal device obtains location information of the object displayed on the screen. Subsequently, the terminal device checks the change of the position information on which the corresponding object is displayed by referring to the weight information storage unit in which the weight condition value according to the change of the position information is stored. For example, the user may take a picture of the reality through the camera of his terminal device while moving. In this case, the terminal device determines that the positional information of the time point at which the object recognized in the captured real image is displayed is constantly changing, and determines the step so that the brief attribute information of the object is displayed on the screen. Meanwhile, the user may take a picture of the reality through the camera of his terminal device in the stationary state. In this case, the terminal device may determine that the position information of the time point at which the object recognized in the captured reality image is displayed does not change for a predetermined time, and may determine the step so that the detailed attribute information of the object is displayed on the screen. In this way, the terminal device may determine the level of the attribute information of the object according to the change of the position information of the object displayed on the screen and display the simple or detailed attribute information on the screen.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 화면에 디스플레이되는 객체의 크기 변화량 또는 이동 변화량에 따라 해당 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 객체의 변화량에 따른 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 화면에 디스플레이되는 인식된 객체의 크기 변화량 또는 이동 변화량에 해당 객체의 속성 정보의 단계를 결정할 수 있다. 일 실시예에 따라, 화면의 중심에서 디스플레이되는 객체가 화면의 외곽으로 이동할 경우, 단말 장치는 화면의 중심에서 디스플레이되는 지점에서 화면의 외곽으로 이동에 따른 변화량이 발생한 것으로 판단하여 화면의 외곽으로 이동되는 객체의 간략한 속성 정보가 화면에 디스플레이되도록 그 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 해당 객체의 간략한 속성 정보를 객체 서버로부터 수신하여 객체와 함께 화면에 디스플레이한다. 또다른 실시예에 따라, 사용자는 카메라 줌아웃(Zoom-out)을 통해 현실 영상을 촬영할 수 있다. 이 경우, 단말 장치는 일반적인 모드 상태에서 촬영된 현실 영상의 객체가 축소되어 화면에 디스플레이되어 화면에 디스플레이되는 객체의 크기의 변화량이 발생한 것으로 판단한다. 이 같이, 화면에 디스플레이되는 객체의 크기의 변화량이 발생한 것으로 판단되면, 단말 장치는 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 그 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 해당 객체의 간략한 속성 정보를 객체 서버로부터 수신하여 객체와 함께 화면에 디스플레이한다. 이와 같이, 단말 장치는 화면에 디스플레이되는 객체의 이동 변화량 또는 크기 변화량에 따라 해당 객체의 속성 정보의 단계를 재결정하여 그에 따른 간략한 속성 정보 또는 상세한 속성 정보를 화면에 디스플레이할 수 있다.Meanwhile, according to an additional aspect of the present disclosure, the terminal device may determine the step of the attribute information of the corresponding object according to the size change amount or the movement change amount of the object displayed on the screen. That is, the terminal device may determine the step of the attribute information of the corresponding object in the size change amount or the movement change amount of the recognized object displayed on the screen with reference to the weight information storage unit in which the weight condition value according to the change amount of the object is stored. According to an embodiment of the present disclosure, when an object displayed at the center of the screen moves to the outside of the screen, the terminal device determines that the amount of change caused by the movement from the point displayed at the center of the screen to the outside of the screen occurs and moves to the outside of the screen. The level of the attribute information is determined so that the brief attribute information of the object to be displayed is displayed on the screen. Accordingly, the terminal device receives brief attribute information of the corresponding object from the object server and displays it on the screen together with the object. According to another embodiment, the user may capture the real image through the camera zoom-out. In this case, the terminal device determines that the amount of change in the size of the object displayed on the screen by reducing the object of the real image photographed in the normal mode is displayed on the screen. As such, when it is determined that the amount of change in the size of the object displayed on the screen has occurred, the terminal device determines the step of the attribute information so that the brief attribute information of the object is displayed on the screen. Accordingly, the terminal device receives brief attribute information of the corresponding object from the object server and displays it on the screen together with the object. In this way, the terminal device may re-determine the step of the attribute information of the object according to the movement change amount or the size change amount of the object displayed on the screen and display the brief attribute information or the detailed attribute information accordingly.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 사용자의 선호도에 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 사용자의 선호도에 따른 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 인식된 객체의 속성 정보의 단계를 결정한다. 실시예에 따라, 단말 장치의 가중치 정보 저장부에는 사용자로부터 입력된 엔터테인먼트, 쇼핑 관련 선호도 정보가 저장될 수 있다. 이에 따라, 단말 장치는 화면에 디스플레이되는 객체가 사용자의 선호도에 따라 입력된 선호도 정보와 관련되는지를 체크한다. 체크 결과, 선호도 정보와 관련된 객체이면, 단말 장치는 해당 객체의 속성 정보의 단계를 가장 높게 결정한다. 이에 따라, 단말 장치는 해당 객체의 상세한 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이한다.On the other hand, according to an additional aspect of the present invention, the terminal device may determine the step of the attribute information of the object displayed on the screen to the user's preference. That is, the terminal device determines the step of the attribute information of the recognized object by referring to the weight information storage unit in which the weight condition value according to the user's preference is stored. According to an embodiment, the weight information storage unit of the terminal device may store entertainment and shopping-related preference information input from a user. Accordingly, the terminal device checks whether the object displayed on the screen is related to the input preference information according to the user's preference. As a result of the check, if the object is related to the preference information, the terminal device determines the highest level of attribute information of the object. Accordingly, the terminal device receives detailed attribute information of the corresponding object from the object server and displays it on the screen together with the corresponding object.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 전술한 객체의 속성 정보의 단계를 결정하는 방법들의 우선 순위에 따라 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 사용자의 요청에 따라 객체의 속성 정보의 단계를 결정하는 방법들과 관련된 가중치 조건값들의 우선 순위가 결정되어 저장된 가중치 정보 저장부를 참조하여 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정한다. 실시예에 따라, 사용자는 각 가중치부들의 가중치 조건값들 중, 화면 포커싱과 관련된 가중치 조건값과 객체 변화량에 따른 가중치 조건값의 우선 순위를 높게 설정할 수 있다. 이 경우, 도 4와 같이 건물1,2(410,430) 객체들이 화면에 디스플레이되면, 단말 장치는 화면을 통해 디스플레이되는 건물1(410) 객체가 화면의 중심 지점에 위치하는 것으로 판단하여 해당 객체의 속성 정보의 단계를 높게 결정한다. 그리고, 단말 장치는 화면을 통해 디스플레이되는 건물2(430) 객체가 화면의 외곽 지점에 위치하는 것으로 판단하여, 해당 객체의 속성 정보의 단계를 낮게 결정한다. 이에 따라, 단말 장치는 객체 서버로부터 건물1(410) 객체의 상세한 속성 정보와 건물2(430) 객체의 간략한 속성 정보를 수신하여 건물1,2(410,430) 객체들과 함께 화면에 디스플레이한다. 한편, 건물1,2(410,430) 객체들이 도시된 바와 같이 이동할 경우, 단말 장치는 건물1,2(410,430) 객체들의 이동에 따른 변화량이 발생한 것으로 판단하여 건물1,2(410,430) 객체들의 속성 정보의 단계를 재결정한다. 즉, 단말 장치는 건물1(410) 객체가 화면의 중심 지점에서 외곽으로 이동한 것으로 판단하여 건물1(410) 객체의 속성 정보의 단계를 낮게 결정한다. 그리고, 단말 장치는 건물2(430) 객체가 화면의 외곽 지점에서 중심 지점으로 이동한 것으로 판단하여 건물2(430) 객체의 속성 정보의 단계를 높게 결정한다. 따라서, 단말 장치는 객체 서버로부터 건물1(410) 객체의 간략한 속성 정보와 건물2(430) 객체의 상세한 속성 정보를 수신하여 건물1,2(410,430) 객체들과 함께 화면에 디스플레이한다. 이와 같이, 단말 장치는 객체의 속성 정보의 단계를 결정하는 방법들의 우선 순위에 따라 결정된 단계의 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이할 수 있다. On the other hand, according to an additional aspect of the present invention, the terminal device may determine the step of the attribute information of the object displayed on the screen according to the priority of the above-described methods of determining the step of the attribute information of the object. That is, the terminal device determines the priority of the weight condition values associated with the methods for determining the step of the property information of the object according to a user's request and refers to the step of the property information of the object displayed on the screen with reference to the stored weight information storage unit. Decide According to an exemplary embodiment, the user may set a higher priority of weighting condition values related to screen focusing and weighting condition values according to object variation among the weighting condition values of each weighting unit. In this case, as shown in FIG. 4, when the buildings 1 and 2 (410 and 430) objects are displayed on the screen, the terminal device determines that the
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. So far I looked at the center of the preferred embodiment for the present invention.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
100 : 통신부 110 : 객체 인식부
120 : 제어부 121 : 가중치 처리부
122 : 객체 크기 가중치부 123 : 포커싱 가중치부
124 : 객체수 가중치부 125 : 시간별 가중치부
126 : 변화량 가중치부 127 : 선호도 가중치부
128 : 혼합 가중치부 129 : 융합부
130 : 가중치 정보 저장부 140 : 디스플레이부100: communication unit 110: object recognition unit
120: control unit 121: weight processing unit
122: object size weighting unit 123: focusing weighting unit
124: number of objects weighting unit 125: weighted part by time
126: change weight portion 127: preference weight portion
128: mixed weight portion 129: fusion portion
130: weight information storage unit 140: display unit
Claims (16)
다수의 객체들의 이미지와 이들 객체별 속성 정보가 저장되는 객체 서버와 데이터 통신을 수행하는 통신부와;
상기 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 객체 인식부와;
기설정된 가중치 조건을 고려하여 상기 인식된 객체에 대해 단계적으로 세분화된 속성 정보들 중 상기 화면에 디스플레이할 속성 정보의 단계를 결정하며, 상기 통신부를 통해 상기 객체 서버로부터 상기 결정된 단계의 속성 정보를 수신하여 상기 인식된 객체와 함께 상기 화면에 디스플레이되도록 제어하는 제어부;
를 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
A terminal device for displaying an object extracted from an image input through a camera and property information of the object on a screen,
A communication unit configured to perform data communication with an object server storing images of a plurality of objects and attribute information of each object;
An object recognition unit extracting and recognizing an object from an image input through the camera;
The step of determining the attribute information to be displayed on the screen among the attribute information subdivided in stages with respect to the recognized object in consideration of a preset weighting condition, and receives the attribute information of the determined step from the object server through the communication unit A control unit for controlling the display to be displayed on the screen together with the recognized object;
Object information providing terminal device comprising a.
다수의 객체들의 속성 정보의 단계를 결정하기 위한 가중치 조건값이 저장되는 가중치 정보 저장부;를 더 포함하며,
상기 제어부는;
객체의 크기에 관련된 가중치 조건값을 이용하여 상기 단말 장치와 상기 인식된 객체 간의 거리에 따라 상기 화면에 디스플레이되는 상기 인식된 객체의 크기로부터 상기 인식된 객체의 속성 정보의 단계를 결정하는 객체 크기 가중치부를 포함하는 가중치 처리부와;
상기 가중치 처리부에 의해 결정된 속성 정보 단계에 해당하는 속성 정보를 상기 객체 서버로부터 수신하여 상기 인식된 객체와 합성하여 상기 화면에 디스플레이하는 융합부;
를 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
The terminal device of claim 1, wherein the terminal device comprises:
And a weight information storage unit configured to store a weight condition value for determining a step of attribute information of the plurality of objects.
Wherein the control unit comprises:
An object size weight that determines a step of attribute information of the recognized object from the size of the recognized object displayed on the screen according to the distance between the terminal device and the recognized object using a weight condition value related to the size of the object A weight processing unit including a unit;
A fusion unit configured to receive attribute information corresponding to the attribute information step determined by the weight processor from the object server, synthesize the object information, and display the synthesized object on the screen;
Object information providing terminal device comprising a.
화면 포커싱과 관련된 가중치 조건값을 이용하여 상기 화면을 통해 상기 인식된 객체의 디스플레이되는 지점과 상기 화면의 중심 지점 간의 거리 차에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 포커싱 가중치부;
를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
The apparatus of claim 2, wherein the weight processing unit:
A focusing weighting unit that determines a step of attribute information of the recognized object according to a distance difference between a displayed point of the recognized object and a center point of the screen through the screen using a weighting condition value related to screen focusing;
The object information providing terminal device further comprises.
상기 화면에 디스플레이되는 객체의 수와 관련된 가중치 조건값을 이용하여 상기 화면에 디스플레이되는 상기 인식된 객체의 속성 정보의 단계를 결정하는 객체수 가중치부;
를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
The apparatus of claim 2, wherein the weight processing unit:
An object number weighting unit that determines a step of attribute information of the recognized object displayed on the screen by using a weighting condition value related to the number of objects displayed on the screen;
The object information providing terminal device further comprises.
위치 정보의 변화에 따른 가중치 조건값을 이용하여 상기 화면을 통해 상기 인식된 객체가 디스플레이되는 시점의 위치 정보의 변화가 기설정된 시간 동안 있는지를 체크하여 상기 인식된 객체의 속성 정보의 단계를 결정하는 시간별 가중치부;
를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
The apparatus of claim 2, wherein the weight processing unit:
Determining whether the attribute information of the recognized object is determined by checking whether a change in the position information at the time when the recognized object is displayed through the screen is performed for a predetermined time using a weight condition value according to the change of the position information. An hourly weighting unit;
The object information providing terminal device further comprises.
객체의 변화량에 따른 가중치 조건값을 이용하여 상기 화면에 디스플레이되는 상기 인식된 객체의 크기 변화량 또는 이동 변화량에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 변화량 가중치부;
를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
The apparatus of claim 2, wherein the weight processing unit:
A change amount weighting unit for determining a step of attribute information of the recognized object according to the change amount or the change amount of the size of the recognized object displayed on the screen by using the weight condition value according to the change amount of the object;
The object information providing terminal device further comprises.
사용자의 선호도에 따른 가중치 조건값을 이용하여 상기 인식된 객체의 속성 정보 단계를 결정하는 선호도 가중치부;
를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
The apparatus of claim 2, wherein the weight processing unit:
A preference weighting unit for determining the attribute information level of the recognized object using a weighting condition value according to a user's preference;
The object information providing terminal device further comprises.
상기 가중치 처리부에 포함된 각각의 가중치부들의 우선 순위에 따른 가중치 조건값을 이용하여 상기 인식된 객체의 속성 정보 단계를 결정하는 혼합 가중치부;
를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
8. The weight processor of claim 2, wherein the weight processor comprises:
A mixed weighting unit that determines attribute information steps of the recognized object by using weighting condition values according to priorities of respective weighting units included in the weighting unit;
The object information providing terminal device further comprises.
상기 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 단계와;
상기 인식된 객체의 속성 정보의 단계를 결정하기 위해 이용되는 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 상기 인식된 객체에 대해 단계적으로 세분화된 속성 정보들 중 상기 화면에 디스플레이할 속성 정보의 단계를 결정하는 단계와;
다수의 객체들의 이미지와 이들 객체별 속성 정보가 저장되는 객체 서버로부터 상기 결정된 단계의 속성 정보를 수신하여 상기 인식된 객체와 함께 상기 화면에 디스플레이하는 단계;
를 포함하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
In the method for displaying the property information of the object step by step in the terminal device for displaying the object extracted from the image input through the camera and the property information of the object on the screen,
Extracting and recognizing an object from an image input through the camera;
A step of the attribute information to be displayed on the screen among the attribute information classified in stages for the recognized object with reference to the weight information storage unit storing the weighting condition value used to determine the stage of the attribute information of the recognized object. Determining;
Receiving the attribute information of the determined step from an object server storing images of a plurality of objects and attribute information of each object and displaying the attribute information on the screen together with the recognized object;
The method of claim 1,
상기 단말 장치와 상기 인식된 객체 간의 거리에 따라 상기 화면에 디스플레이되는 상기 인식된 객체의 크기로부터 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
The method of claim 9, wherein determining the step of attribute information associated with the recognized object comprises:
And determining the attribute information of the recognized object from the size of the recognized object displayed on the screen according to the distance between the terminal device and the recognized object.
상기 인식된 객체가 상기 화면에 디스플레이되는 지점과 상기 화면의 중심 지점 간의 거리 차에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
The method of claim 9, wherein determining the step of attribute information associated with the recognized object comprises:
And determining the attribute information of the recognized object according to the distance difference between the point where the recognized object is displayed on the screen and the center point of the screen.
상기 화면에 디스플레이되는 객체의 개수에 따라 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
The method of claim 9, wherein determining the step of attribute information associated with the recognized object comprises:
Method for providing object information step by step characterized in that the step of determining the attribute information according to the number of objects displayed on the screen.
상기 인식된 객체가 상기 화면을 통해 디스플레이되는 시점의 위치 정보의 변화가 기설정된 시간 동안 있는지를 체크하여 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
The method of claim 9, wherein determining the step of attribute information associated with the recognized object comprises:
And determining a step of attribute information of the recognized object by checking whether the change of position information of the time point at which the recognized object is displayed on the screen is for a predetermined time.
상기 화면에 디스플레이되는 상기 인식된 객체의 크기 변화량 또는 이동 변화량에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
The method of claim 9, wherein determining the step of attribute information associated with the recognized object comprises:
And determining the attribute information of the recognized object according to the size change amount or the movement change amount of the recognized object displayed on the screen.
사용자의 선호도에 따라, 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
The method of claim 9, wherein determining the step of attribute information associated with the recognized object comprises:
And determining the attribute information of the recognized object according to a user's preference.
상기 인식된 객체의 속성 정보 단계를 결정하는 방법들의 우선 순위에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
16. The method of any of claims 10-15, wherein determining the step of attribute information associated with the recognized object comprises:
And determining the attribute information of the recognized object according to the priority of the methods of determining the attribute information stage of the recognized object.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100080781A KR101315399B1 (en) | 2010-08-20 | 2010-08-20 | Terminal device and method for providing object information |
| US13/187,182 US20120047233A1 (en) | 2010-08-20 | 2011-07-20 | Apparatus and method for providing object information |
| EP11174806.7A EP2420978A3 (en) | 2010-08-20 | 2011-07-21 | Apparatus and method for providing object information |
| CN2011102120288A CN102436460A (en) | 2010-08-20 | 2011-07-27 | Apparatus and method for providing object information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100080781A KR101315399B1 (en) | 2010-08-20 | 2010-08-20 | Terminal device and method for providing object information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120017870A KR20120017870A (en) | 2012-02-29 |
| KR101315399B1 true KR101315399B1 (en) | 2013-10-07 |
Family
ID=44860218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100080781A Active KR101315399B1 (en) | 2010-08-20 | 2010-08-20 | Terminal device and method for providing object information |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20120047233A1 (en) |
| EP (1) | EP2420978A3 (en) |
| KR (1) | KR101315399B1 (en) |
| CN (1) | CN102436460A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020032384A1 (en) * | 2018-08-08 | 2020-02-13 | 삼성전자 주식회사 | Electronic device for providing keywords related to product information included in image |
| WO2021177594A1 (en) * | 2020-03-06 | 2021-09-10 | 삼성전자 주식회사 | Method and device for assisting driver in driving using ar hud |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
| JP6056178B2 (en) * | 2012-04-11 | 2017-01-11 | ソニー株式会社 | Information processing apparatus, display control method, and program |
| KR102021050B1 (en) * | 2012-06-06 | 2019-09-11 | 삼성전자주식회사 | Method for providing navigation information, machine-readable storage medium, mobile terminal and server |
| US9846965B2 (en) | 2013-03-15 | 2017-12-19 | Disney Enterprises, Inc. | Augmented reality device with predefined object data |
| US9779517B2 (en) | 2013-03-15 | 2017-10-03 | Upskill, Inc. | Method and system for representing and interacting with augmented reality content |
| KR101362851B1 (en) * | 2013-03-19 | 2014-02-17 | 엘아이지넥스원 주식회사 | Apparatus for updating video database |
| KR101362847B1 (en) * | 2013-03-19 | 2014-02-17 | 엘아이지넥스원 주식회사 | Method for updating video database |
| US20160055675A1 (en) * | 2013-04-04 | 2016-02-25 | Sony Corporation | Information processing device, information processing method, and program |
| KR102098058B1 (en) * | 2013-06-07 | 2020-04-07 | 삼성전자 주식회사 | Method and apparatus for providing information in a view mode |
| CN103383259B (en) * | 2013-07-11 | 2016-05-04 | 北京奇虎科技有限公司 | Realize the method and system of route guiding by streetscape service |
| US10114532B2 (en) * | 2013-12-06 | 2018-10-30 | Google Llc | Editing options for image regions |
| US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
| US10649220B2 (en) * | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
| US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
| US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US20150206173A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| EP3129964A1 (en) | 2014-04-07 | 2017-02-15 | Cubic Corporation | Systems and methods for queue management |
| EP3129932A1 (en) * | 2014-04-07 | 2017-02-15 | Cubic Corporation | Intuitive visual assessment of device operational health |
| DE102014210481A1 (en) * | 2014-06-03 | 2015-12-03 | Siemens Aktiengesellschaft | Information display on moving objects visible through windows |
| US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| KR101684098B1 (en) * | 2015-04-15 | 2016-12-15 | (주)파슨텍 | Monitoring system with 3-dimensional sensor and image analysis integrated |
| EP3104241B1 (en) * | 2015-06-12 | 2020-09-16 | Accenture Global Services Limited | An augmented reality method and system for measuring and/or manufacturing |
| CN108236785B (en) * | 2018-02-08 | 2022-11-11 | 腾讯科技（深圳）有限公司 | Method and device for acquiring object information |
| KR102592463B1 (en) | 2018-08-01 | 2023-10-23 | 삼성전자 주식회사 | Method for saving information based on image acquired from camera module and electronic device using the same |
| US20240086509A1 (en) * | 2021-01-19 | 2024-03-14 | Sony Group Corporation | Information processing device, information processing method, and information processing program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030028570A (en) * | 2001-06-15 | 2003-04-08 | 소니 가부시끼 가이샤 | Image processing apparatus and method, and image pickup apparatus |
| KR20080084859A (en) * | 2006-01-09 | 2008-09-19 | 노키아 코포레이션 | Display network objects on mobile devices based on geographic location |
| JP2009105594A (en) * | 2007-10-23 | 2009-05-14 | Ricoh Co Ltd | Image processing device, and image processing method |
| WO2010032079A2 (en) | 2008-09-17 | 2010-03-25 | Nokia Corp. | User interface for augmented reality |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6765569B2 (en) * | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
| WO2006003692A1 (en) * | 2004-06-30 | 2006-01-12 | Fujitsu Limited | Information search terminal |
| US9648907B2 (en) * | 2005-05-31 | 2017-05-16 | Philip Morris Usa Inc. | Virtual reality smoking system |
| WO2009033502A1 (en) | 2007-09-12 | 2009-03-19 | Taminco | Treatment of pigs for reducing the feed conversion ratio or increasing the growth rate |
-
2010
- 2010-08-20 KR KR1020100080781A patent/KR101315399B1/en active Active
-
2011
- 2011-07-20 US US13/187,182 patent/US20120047233A1/en not_active Abandoned
- 2011-07-21 EP EP11174806.7A patent/EP2420978A3/en not_active Withdrawn
- 2011-07-27 CN CN2011102120288A patent/CN102436460A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030028570A (en) * | 2001-06-15 | 2003-04-08 | 소니 가부시끼 가이샤 | Image processing apparatus and method, and image pickup apparatus |
| KR20080084859A (en) * | 2006-01-09 | 2008-09-19 | 노키아 코포레이션 | Display network objects on mobile devices based on geographic location |
| JP2009105594A (en) * | 2007-10-23 | 2009-05-14 | Ricoh Co Ltd | Image processing device, and image processing method |
| WO2010032079A2 (en) | 2008-09-17 | 2010-03-25 | Nokia Corp. | User interface for augmented reality |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020032384A1 (en) * | 2018-08-08 | 2020-02-13 | 삼성전자 주식회사 | Electronic device for providing keywords related to product information included in image |
| US11636529B2 (en) | 2018-08-08 | 2023-04-25 | Samsung Electronics Co., Ltd. | Method and device for providing keywords related to product information included in image |
| WO2021177594A1 (en) * | 2020-03-06 | 2021-09-10 | 삼성전자 주식회사 | Method and device for assisting driver in driving using ar hud |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120047233A1 (en) | 2012-02-23 |
| EP2420978A2 (en) | 2012-02-22 |
| CN102436460A (en) | 2012-05-02 |
| KR20120017870A (en) | 2012-02-29 |
| EP2420978A3 (en) | 2013-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101315399B1 (en) | Terminal device and method for providing object information | |
| KR101429250B1 (en) | Terminal device and method for providing step object information | |
| CN111034181B (en) | Image capturing apparatus, image display system, and operation method | |
| US9582937B2 (en) | Method, apparatus and computer program product for displaying an indication of an object within a current field of view | |
| KR101983725B1 (en) | Electronic device and method for controlling of the same | |
| EP2398225B1 (en) | Mobile terminal and method of displaying object related information therein | |
| US8761590B2 (en) | Mobile terminal capable of providing multiplayer game and operating method thereof | |
| KR102053361B1 (en) | Method for performing smart rotation an electronic device thereof | |
| US8605006B2 (en) | Method and apparatus for determining information for display | |
| CN105843390B (en) | A kind of method of image scaling and the AR glasses based on this method | |
| CN104054039A (en) | Augmented Reality With Sound And Geometric Analysis | |
| KR20120046991A (en) | Mobile terminal and method for controlling the same | |
| CN108377342A (en) | Double-camera shooting method and device, storage medium and terminal | |
| KR101317401B1 (en) | Terminal device and method for object storing | |
| CN110099213A (en) | A kind of image display control method and terminal | |
| AU2016429066A1 (en) | Supporting an augmented-reality software application | |
| US11756302B1 (en) | Managing presentation of subject-based segmented video feed on a receiving device | |
| CN106375670A (en) | Image processing method and terminal | |
| US8493413B2 (en) | Apparatus and method for controlling terminal through motion recognition | |
| US20190212903A1 (en) | Processing Method and Terminal | |
| CN109040427A (en) | Split-screen processing method, device, storage medium and electronic equipment | |
| US8970483B2 (en) | Method and apparatus for determining input | |
| KR20140112913A (en) | Method for displaying dynamic image and an electronic device thereof | |
| KR20110044012A (en) | Device and method for guiding road using video call terminal | |
| CN115134527A (en) | Processing method, intelligent terminal and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20100820 |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20111128 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20100820 Comment text: Patent Application |
|
| PG1501 | Laying open of application | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20130320 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20130923 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20130930 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20130930 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20160901 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160901 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180227 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180227 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190227 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190227 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190902 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200608 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210607 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220621 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230802 Start annual number: 11 End annual number: 11 |