JP5630208B2 - Shape measuring device, robot system, and shape measuring method - Google Patents
Shape measuring device, robot system, and shape measuring method Download PDFInfo
- Publication number
- JP5630208B2 JP5630208B2 JP2010238308A JP2010238308A JP5630208B2 JP 5630208 B2 JP5630208 B2 JP 5630208B2 JP 2010238308 A JP2010238308 A JP 2010238308A JP 2010238308 A JP2010238308 A JP 2010238308A JP 5630208 B2 JP5630208 B2 JP 5630208B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- scanning
- distance
- unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 17
- 238000005259 measurement Methods 0.000 claims description 54
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Description
この発明は、形状計測装置、ロボットシステムおよび形状計測方法に関し、特に、レーザ光を照射するレーザ照射部を備える形状計測装置、ロボットシステムおよび形状計測方法に関する。 The present invention relates to a shape measuring device, a robot system, and a shape measuring method, and more particularly, to a shape measuring device, a robot system, and a shape measuring method including a laser irradiation unit that emits laser light.
従来、レーザ光を照射するレーザ照射部を備える形状計測装置（３次元姿勢認識手法）が知られている（たとえば、特許文献１参照）。 2. Description of the Related Art Conventionally, a shape measuring device (three-dimensional posture recognition method) including a laser irradiation unit that emits laser light is known (see, for example, Patent Document 1).
上記特許文献１の形状計測装置（３次元姿勢認識手法）には、ラインレーザ（レーザ光）を照射するレーザ装置（レーザ照射部）と、レーザ装置から照射され、部品群（計測対象物）により反射された反射光を受光するＣＣＤカメラとが設けられている。この３次元姿勢認識手法では、レーザ装置が部品群上を所定の開始位置から終了位置まで移動しながらラインレーザを照射するように構成されており、ＣＣＤカメラにより受光された部品群からの反射光に基づいて、部品群の最高点が算出される。そして、部品群のうちの最高点に対応する部品が、ロボットハンドによって取り出される。また、最高点に対応する部品が取り出された後、再びレーザ装置が部品群上を所定の開始位置から終了位置まで移動しながらラインレーザを照射することにより、残った部品群のうちから部品群の最高点が算出され、最高点に対応する部品が、ロボットハンドによって取り出される。 The shape measuring device (three-dimensional posture recognition method) of Patent Document 1 described above includes a laser device (laser irradiation unit) that irradiates a line laser (laser light), and a laser beam that is irradiated from the laser device, and a component group (measurement object). A CCD camera that receives the reflected light is provided. In this three-dimensional posture recognition method, the laser device is configured to irradiate the line laser while moving on a part group from a predetermined start position to an end position, and reflected light from the part group received by the CCD camera. Based on the above, the highest score of the component group is calculated. Then, the part corresponding to the highest point in the part group is taken out by the robot hand. In addition, after the part corresponding to the highest point is taken out, the laser device irradiates the line laser again while moving on the part group from the predetermined start position to the end position, so that the part group out of the remaining part group The highest point is calculated, and the part corresponding to the highest point is taken out by the robot hand.
しかしながら、上記特許文献１に記載の形状計測装置（３次元姿勢認識手法）では、部品群のうちからロボットハンドによって部品が取り出される毎に、レーザ装置が部品群（計測対象物）上を所定の開始位置から終了位置まで移動しながらラインレーザを照射するように構成されているため、ラインレーザによる部品群の走査を繰り返し行う場合には、部品群の走査に要する合計の時間が比較的長くなるという問題点がある。 However, in the shape measuring apparatus (three-dimensional posture recognition method) described in Patent Document 1, each time a part is taken out from the part group by the robot hand, the laser device moves on the part group (measurement target) on the predetermined group. Since it is configured to irradiate the line laser while moving from the start position to the end position, the total time required for scanning the parts group becomes relatively long when the parts group is repeatedly scanned by the line laser. There is a problem.
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、計測対象物の走査に要する合計の時間を短くすることが可能な形状計測装置、ロボットシステムおよび形状計測方法を提供することである。 The present invention has been made to solve the above-described problems, and one object of the present invention is to provide a shape measuring device and a robot that can shorten the total time required for scanning the measurement object. A system and a shape measurement method are provided.
上記目的を達成するために、この発明の第１の局面による形状計測装置は、レーザ光を照射するレーザ照射部と、レーザ照射部から照射されたレーザ光をワークの載置されている領域に走査する走査部と、走査部から照射され、ワークにより反射されたレーザ光の反射光を検出することにより、ワークの載置されている領域を検出するとともに、ワークの３次元計測を行うカメラと、カメラによって検出されたワークの載置されている領域に応じて、かつ、ワークを載置する面の近傍に設けられるとともにワークを載置する面から所定の高さを有し、ワークの載置されている領域を間違って認識するのを抑制する不感帯領域を考慮して、走査部による走査範囲を変更するように制御する制御部とを備える。 In order to achieve the above object, a shape measuring apparatus according to a first aspect of the present invention includes a laser irradiation unit that irradiates a laser beam, and a laser beam irradiated from the laser irradiation unit in a region where a workpiece is placed. a scanning unit for scanning, emitted from the scanning unit, by detecting the reflected light of the reflected laser beam by the workpiece, detects the region that is placed in the work, and a camera that performs three-dimensional measurement of the workpiece , depending on the area being placed in the detected workpiece by the camera, and has a Rutotomoni predetermined from the surface for placing a workpiece height provided in the vicinity of the surface for placing the workpiece, the workpiece A control unit that controls to change the scanning range of the scanning unit in consideration of a dead zone region that suppresses erroneous recognition of the placed region.
この第１の局面による形状計測装置では、上記のように、カメラによって検出された計測対象物の載置されている領域に応じて走査部による走査範囲を変更するように制御する制御部を備えることによって、たとえば計測対象物が広い範囲に複数載置されている初期状態では、走査範囲を大きくする一方、計測対象物が徐々に取り除かれて、計測対象物が小さい範囲に載置されている場合に、計測対象物が載置されている範囲に応じて走査範囲を小さくすることができる。これにより、走査部による走査範囲が小さくなる分、計測対象物の走査に要する合計の時間を短くすることができる。 As described above, the shape measuring apparatus according to the first aspect includes a control unit that performs control so as to change the scanning range of the scanning unit in accordance with the region where the measurement object detected by the camera is placed. Thus, for example, in the initial state where a plurality of measurement objects are placed in a wide range, the scanning range is enlarged, while the measurement objects are gradually removed and the measurement object is placed in a small range. In this case, the scanning range can be reduced according to the range where the measurement object is placed. As a result, the total time required to scan the measurement object can be shortened as the scanning range of the scanning unit becomes smaller.
この発明の第２の局面によるロボットシステムは、ワークを把持する把持部を有するロボットと、レーザ光を照射するレーザ照射部と、レーザ照射部から照射されたレーザ光をワークの載置されている領域に走査する走査部と、走査部から照射され、ワークにより反射されたレーザ光の反射光を検出することにより、ワークの載置されている領域を検出するとともに、ワークの３次元計測を行うカメラと、カメラによって検出されたワークの載置されている領域に応じて、かつ、ワークを載置する面の近傍に設けられるとともにワークを載置する面から所定の高さを有し、ワークの載置されている領域を間違って認識するのを抑制する不感帯領域を考慮して、走査部による走査範囲を変更するように制御する制御部とを含む形状計測装置とを備える。 In a robot system according to a second aspect of the present invention, a robot having a gripping unit for gripping a workpiece , a laser irradiation unit for irradiating a laser beam, and a laser beam irradiated from the laser irradiation unit are placed on the workpiece . a scanning unit for scanning the area, is irradiated from the scanning unit, by detecting the reflected light of the reflected laser beam by the workpiece, it detects the region that is placed in the work, the three-dimensional measurement of the workpiece a camera, in accordance with the area being placed in the detected workpiece by the camera, and has a predetermined from the surface for placing the provided Rutotomoni workpiece in the vicinity of the surface for placing a workpiece height, in view of suppressing the dead zone from being recognized incorrectly region it is placed in the work, and a shape measuring apparatus and a control unit for controlling to change the scan range by the scanning unit Obtain.
この第２の局面によるロボットシステムでは、上記のように、カメラによって検出された計測対象物の載置されている領域に応じて走査部による走査範囲を変更するように制御する制御部を備えることによって、たとえば計測対象物が広い範囲に複数載置されている初期状態では、走査範囲を大きくする一方、計測対象物が徐々に取り除かれて、計測対象物が小さい範囲に載置されている場合に、計測対象物が載置されている範囲に応じて走査範囲を小さくすることができる。これにより、走査部による走査範囲が小さくなる分、計測対象物の走査に要する合計の時間を短くすることができるので、ロボットが計測対象物を把持して移動させる動作に要する合計の時間を短くすることができる。 As described above, the robot system according to the second aspect includes a control unit that controls the scanning range of the scanning unit to be changed according to the area where the measurement target detected by the camera is placed. For example, in the initial state where a plurality of measurement objects are placed in a wide range, the scanning range is enlarged while the measurement object is gradually removed and the measurement object is placed in a small range. In addition, the scanning range can be reduced according to the range in which the measurement object is placed. As a result, the total time required for scanning the measurement object can be shortened as the scanning range by the scanning unit is reduced, so that the total time required for the robot to grip and move the measurement object is shortened. can do.
この発明の第３の局面による形状計測方法は、レーザ光をワークの載置されている領域に走査するステップと、ワークにより反射されたレーザ光の反射光を検出することにより、ワークの載置されている領域を検出するとともに、ワークの３次元計測を行うステップと、検出されたワークの載置されている領域に応じて、かつ、ワークを載置する面の近傍に設けられるとともにワークを載置する面から所定の高さを有し、ワークの載置されている領域を間違って認識するのを抑制する不感帯領域を考慮して、レーザ光の走査範囲を変更するステップとを備える。
Shape measuring method according to a third aspect of the invention includes the steps of scanning the laser beam in the region that is placed in the work by detecting the laser beam of the reflected light reflected by the workpiece, placed in the workpiece It detects the area being, and performing three-dimensional measurement of the workpiece, depending on the area being placed in the detected workpiece and Rutotomoni workpiece disposed in the vicinity of the surface for placing a workpiece And changing the scanning range of the laser light in consideration of a dead zone region that has a predetermined height from the surface on which the workpiece is placed and suppresses erroneous recognition of the region on which the workpiece is placed. .
この第３の局面による形状計測方法では、上記のように、検出された計測対象物の載置されている領域に応じてレーザ光の走査範囲を変更するステップを備えることによって、たとえば計測対象物が広い範囲に複数載置されている初期状態では、走査範囲を大きくする一方、計測対象物が徐々に取り除かれて、計測対象物が小さい範囲に載置されている場合に、計測対象物が載置されている範囲に応じて走査範囲を小さくすることができる。これにより、走査部による走査範囲が小さくなる分、計測対象物の走査に要する合計の時間を短くすることができる形状計測方法を提供することができる。 In the shape measuring method according to the third aspect, as described above, by including the step of changing the scanning range of the laser light in accordance with the area where the detected measurement object is placed, for example, the measurement object In the initial state where a plurality of objects are placed in a wide range, the scanning object is enlarged while the object to be measured is gradually removed and the object to be measured is placed in a small area. The scanning range can be reduced according to the mounted range. As a result, it is possible to provide a shape measurement method that can shorten the total time required for scanning the measurement target object as the scanning range of the scanning unit becomes smaller.
以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
（第１実施形態）
まず、図１を参照して、本発明の第１実施形態によるロボットシステム１００の全体構成について説明する。
(First embodiment)
First, the overall configuration of the
図１に示すように、ロボットシステム１００には、ロボット１と、ストッカ２と、ロボットコントローラ３と、センサユニット（距離画像センサユニット）４と、ユーザコントローラ５と、搬送用パレット６とが設けられている。なお、センサユニット４は、本発明の「形状計測装置」の一例である。
As shown in FIG. 1, the
ストッカ２は、樹脂などにより形成された箱（パレット）からなり、ストッカ２の内部には、たとえばボルトなどの複数のワーク２００が載置されている。ロボット１は、垂直多関節型のロボットであり、ロボット１の先端には、ストッカ２内に載置されたワーク２００を１つずつ把持するためのハンド装置７が設けられている。なお、ハンド装置７は、本発明の「把持部」の一例である。また、ハンド装置７に把持されたワーク２００は、次の工程にワーク２００を搬送するための搬送用パレット６に移動されるように構成されている。ロボット１の各関節部には、図示しないサーボモータが内蔵されており、サーボモータは、予めロボットコントローラ３により教示されている動作命令に従って制御されるように構成されている。
The
次に、図２〜図５を参照して、本発明の第１実施形態によるロボットシステム１００のセンサユニット４の構成について説明する。
Next, the configuration of the
図２に示すように、センサユニット４には、高速カメラ１１と、レーザスキャナ１２とが設けられている。なお、高速カメラ１１は、本発明の「カメラ」の一例である。また、図３に示すように、センサユニット４の内部には、センサコントローラ１３が設けられている。なお、センサコントローラ１３は、本発明の「制御部」の一例である。また、高速カメラ１１には、ＣＭＯＳセンサなどからなる撮像素子１４が設けられている。なお、ＣＭＯＳセンサからなる撮像素子１４では、ＣＭＯＳセンサに含まれる全ての画素から画素データを抽出して、画像を形成するように構成されている。また、高速カメラ１１には、所定の範囲の波長だけを通過させるバンドパスフィルタ１１ａが設けられている。
As shown in FIG. 2, the
図３および図４に示すように、レーザスキャナ１２は、レーザスリット光を発生するレーザ発生器１５と、レーザスリット光を反射するミラー部１６と、ミラー部１６を回転駆動させるモータ１７と、ミラー部１６の回転角度を検出する角度検出器１８と、ミラー部１６を固定する治具１９とを備えている。なお、レーザ発生器１５は、本発明の「レーザ照射部」の一例である。また、ミラー部１６は、本発明の「走査部」の一例である。
As shown in FIGS. 3 and 4, the
図５に示すように、レーザ発生器１５から発生されたレーザスリット光は、ミラー部１６によって反射されて、ワーク２００に照射されるように構成されている。なお、レーザ発生器１５から発生されたレーザスリット光は、ミラー部１６の回転中心に照射されるように構成されている。また、ミラー部１６が回転駆動することにより、ワーク２００が載置される領域全体が、レーザスリット光により走査されるように構成されている。また、ミラー部１６によって照射され、ワーク２００によって反射されたレーザスリット光の反射光は、高速カメラ１１によって撮影されるように構成されている。
As shown in FIG. 5, the laser slit light generated from the
また、モータ１７（ミラー部１６）の回転角度と、受光した光の撮像素子１４の位置と、レーザ発生器１５、ミラー部１６および高速カメラ１１の幾何学的関係とに基づいて、三角測量の原理を用いることによって、高速カメラ１１とワーク２００（ワーク２００が載置される面２０）との間の距離を３次元計測するように構成されている。
Further, based on the rotation angle of the motor 17 (mirror part 16), the position of the
次に、図６を参照して、本発明の第１実施形態によるロボットシステム１００のセンサコントローラ１３の構成について説明する。
Next, the configuration of the
図６に示すように、センサコントローラ１３には、レーザスキャナ１２のモータ１７を制御するモータ制御部３１が設けられている。また、センサコントローラ１３には、ロボットコントローラ３とユーザコントローラ５とに接続される通信部３２が設けられている。
As shown in FIG. 6, the
また、通信部３２には、第１距離設定部３３が接続されるとともに、第１距離設定部３３には、第１距離記憶部３４が接続されている。第１距離設定部３３は、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１（図５参照）を設定する機能を有する。また、第１距離記憶部３４は、第１距離設定部３３により設定される距離Ｌ１を記憶する機能を有する。また、通信部３２には、第２距離設定部３５が接続されるとともに、第２距離設定部３５には、第２距離記憶部３６が接続されている。第２距離設定部３５は、ワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）（図５参照）を設定する機能を有する。また、第２距離記憶部３６は、第２距離設定部３５により設定されるワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）を記憶する機能を有する。なお、ワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）は、たとえばワーク２００のＺ方向の高さｈ（図５参照）の１／２に設定される。
A first
また、第１距離記憶部３４には、走査角度設定部３７が接続されている。走査角度設定部３７は、ミラー部１６が、レーザスリット光の走査を開始する走査開始角度θＬＳ１（図５参照）と走査終了角度θＬＥ１とを設定する機能を有する。なお、レーザスリット光の走査角度は、Ｚ方向に沿った直線を基準（０度）とする。また、ミラー部１６の回転角度θＭと、ミラー部１６に反射したレーザスリット光の走査角度θＬとの関係は、ミラー部１６の法線に対するレーザスリット光の入射角と反射角とが等しいので、下記の式（１）によって表わされる。
In addition, a scanning
θＬ＝２×θＭ ・・・（１）
また、走査開始角度θＬＳ１および走査終了角度θＬＥ１は、高速カメラ１１とワーク２００を載置する面２０との間の距離Ｌ１（図５参照）と、高速カメラ１１の中心からミラー部１６の回転中心までの距離と、高速カメラ１１の視野角度θＣとから幾何学的に求められる。
θ L = 2 × θ M (1)
Further, the scan start angle θ LS1 and the scan end angle θ LE1 are set such that the distance L1 (see FIG. 5) between the high-
また、走査角度設定部３７には、走査角度修正部３８が接続されている。また、走査角度修正部３８には、第１角度記憶部３９と、第２角度記憶部４０とが接続されている。ここで、第１実施形態では、第１角度記憶部３９は、ミラー部１６が走査を開始して、高速カメラ１１からワーク２００までの距離（たとえばＬａ、図９参照）が、最初に、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１からワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以下になった際（Ｌａ≦Ｌ２）のレーザスリット光の走査角度（たとえばθＬＰ１、図９参照）が記憶されるように構成されている。なお、高速カメラ１１からワーク２００までの距離Ｌaは、本発明の「第１の距離」の一例である。また、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１からワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２は、本発明の「第２の距離」の一例である。
In addition, a scanning
また、第１実施形態では、第２角度記憶部４０は、ミラー部１６が走査を終了するまでにおいて、高速カメラ１１からワーク２００までの距離（たとえばＬｎ、図１１参照）が、最後に、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１からワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以下になった際（Ｌｎ≦Ｌ２）のレーザスリット光の走査角度（たとえばθＬＰｎ、図１１参照）が記憶されるように構成されている。また、走査角度修正部３８は、第１角度記憶部３９および第２角度記憶部４０に記憶された角度に基づいて、走査角度設定部３７に設定されるレーザスリット光の走査を開始する走査開始角度θＬＳ１および走査終了角度θＬＥ１を修正する機能を有する。すなわち、第１実施形態では、ワーク２００が載置される領域に応じて、走査開始角度θＬＳ１および走査終了角度θＬＥ１を変更するように構成されている。
In the first embodiment, the second
また、センサコントローラ１３には、高速カメラ１１に接続される画像取得部４１と、画像取得部４１に接続される認識部４２とが設けられている。画像取得部４１は、高速カメラ１１に設けられる撮像素子１４によって撮像された画像を取得する機能を有する。認識部４２は、画像取得部４１によって取得された高速カメラ１１の画像から、複数のワーク２００を個別に認識する機能を有する。
The
次に、図５〜図１３を参照して、第１実施形態のロボットシステム１００によるワーク２００の３次元計測の動作について説明する。なお、第１実施形態では、説明を簡略化するために、ワーク２００はストッカ２の内部ではなく、図５に示す面２０上に直接載置されている場合の動作について説明する。
Next, with reference to FIGS. 5 to 13, the three-dimensional measurement operation of the
図７に示すステップＳ１において、図５に示すように、ミラー部１６から照射され、ワーク２００（ワーク２００を載置する面２０）によって反射された反射光を高速カメラ１１が受光することにより、高速カメラ１１からワーク２００（ワーク２００を載置する面２０）までの距離が計測される。具体的には、モータ１７（ミラー部１６）の回転角度と、受光した光の撮像素子１４の位置と、レーザ発生器１５、ミラー部１６および高速カメラ１１の幾何学的関係とに基づいて、三角測量の原理を用いることによって、高速カメラ１１とワーク２００（ワーク２００が載置される面２０）との間の距離が３次元計測される。その後、ステップＳ２において、計測された高速カメラ１１とワーク２００（ワーク２００が載置される面２０）との間の距離が、センサコントローラ１３の第１距離設定部３３を介して第１距離記憶部３４に記憶される。
In step S1 shown in FIG. 7, as shown in FIG. 5, the high-
次に、ステップＳ３において、ワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）がユーザによりユーザコントローラ５を用いて手動で入力されたか否かが判断される。そして、ステップＳ３において、不感帯領域の高さｄ（距離ｄ）が入力されと判断された場合には、ステップＳ４に進む。なお、ステップＳ３の判断は、不感帯領域の高さｄ（距離ｄ）が入力されるまで、繰り返し行われている。そして、ステップＳ４において、ユーザにより設定された距離ｄが、第２距離設定部３５を介して第２距離記憶部３６に記憶される。なお、ワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）は、たとえばワーク２００のＺ方向の高さｈ（図５参照）の１／２に設定される。
Next, in step S <b> 3, it is determined whether or not the height d (distance d) of the dead zone near the
次に、ステップＳ５において、上記ステップＳ２において記憶された高速カメラ１１とワーク２００（ワーク２００を載置する面２０）との間の距離のうち、高速カメラ１１の光軸方向（Ｚ方向）の最大値が算出されて、高速カメラ１１とワーク２００を載置する面２０との間の距離Ｌ１として設定される。なお、高速カメラ１１とワーク２００を載置する面２０との間の距離Ｌ１は、上記ステップＳ１およびステップＳ２を行わずに、ユーザによりユーザコントローラ５を用いて手動で設定されるようにしてもよい。
Next, in step S5, the optical axis direction (Z direction) of the high-
そして、ステップＳ６において、距離Ｌ１と、高速カメラ１１の中心からミラー部１６の回転中心までの距離と、高速カメラ１１の視野角度θＣとの幾何学的関係から、レーザスリット光の走査開始角度θＬＳ１と走査終了角度θＬＥ１とが算出されて、センサコントローラ１３の走査角度設定部３７に設定される。なお、図５に示すように、Ｚ方向に積み上げられたワーク２００の全てを走査可能なように、走査開始角度θＬＳ１は、照射されるレーザスリット光が、高速カメラ１１が撮像可能な面２０上の領域Ｃを矢印Ｘ１方向に超えるように設定される。一方、走査終了角度θＬＥ１は、照射されるレーザスリット光と、高速カメラ１１が撮像可能な面２０上の領域Ｃの矢印Ｘ２方向の境界とが一致するように設定される。
In step S6, the scanning start angle of the laser slit light is calculated from the geometric relationship between the distance L1, the distance from the center of the
次に、ステップＳ７において、ワーク２００の３次元計測が開始される。具体的には、図８に示すように、上記ステップＳ６において設定された走査開始角度θＬＳ１と走査終了角度θＬＥ１とに基づいて、レーザスリット光が照射（ミラー部１６が回転駆動）される。すなわち、レーザスリット光は、走査角度θＬ１の範囲で走査される。これにより、レーザ発生器１５から発生され、ミラー部１６によって反射されたレーザスリット光がワーク２００（ワーク２００を載置する面２０）に照射された後、ワーク２００（ワーク２００を載置する面２０）により反射される。この反射光が高速カメラ１１に入射されることにより、ワーク２００（ワーク２００を載置する面２０）が撮影される。そして、モータ１７（ミラー部１６）の回転角度と、受光した光の撮像素子１４の位置と、レーザ発生器１５、ミラー部１６および高速カメラ１１の幾何学的関係とに基づいて、三角測量の原理を用いることによって、高速カメラ１１とワーク２００との間の距離Ｌが３次元計測される。
Next, in step S7, three-dimensional measurement of the
なお、ミラー部１６が回転駆動されることにより、高速カメラ１１とワーク２００との間の距離Ｌの３次元計測も連続して行われる。そして、連続して行われる３次元計測の間において、ステップＳ８において、高速カメラ１１からワーク２００までの距離Ｌが、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１からワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以下（Ｌ≦Ｌ１−ｄ）になったか否かが判断される。
Note that the three-dimensional measurement of the distance L between the high-
そして、たとえば図９に示すように、ミラー部１６が走査を開始した後、ワーク２００ａの表面上の点Ｐａにおいて反射された反射光に基づいて、高速カメラ１１とワーク２００ａの点Ｐａとの間の距離Ｌａが計測され、ステップＳ８において、距離Ｌａが、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１からワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以下（Ｌａ≦Ｌ１−ｄ）になった場合に、ステップＳ９に進む。そして、ステップＳ９において、ワーク２００ａの表面上の点Ｐａにおいて反射された際のレーザスリット光の走査角度θＬＰ１が、センサコントローラ１３の第１角度記憶部３９（図６参照）に記憶される。
Then, for example, as shown in FIG. 9, after the
また、ミラー部１６による走査が引き続き行われ、ステップＳ１０において、高速カメラ１１からワーク２００までの距離Ｌが、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１からワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以下か否か（Ｌ≦Ｌ１−ｄ）が判断される。そして、ステップＳ１０において、高速カメラ１１からワーク２００までの距離Ｌが、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１から不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以下と判断されている間は、ステップＳ１０の動作が繰り返して行われる。
Further, the scanning by the
そして、たとえば、後述する図１１に示すように、ワーク２００ｎの表面上の点Ｐｎにおいて反射された反射光に基づいて、高速カメラ１１とワーク２００ｎの点Ｐｎとの間の距離Ｌｎが計測された後、ステップＳ１０において、高速カメラ１１からワーク２００ｎまでの距離Ｌが、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１からワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）より大きくなった（Ｌ＞Ｌ１−ｄ）と判断された場合には、ステップＳ１１に進む。なお、図９に示すように、ワーク２００の載置される位置、姿勢によっては、ステップＳ１０において、高速カメラ１１からワーク２００までの距離Ｌが、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１からワーク２００が載置される面２０近傍の不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以上になると判断されることなく、ミラー部１６の走査が終了する場合もある。
Then, for example, as shown in FIG. 11 described later, a distance Ln between the high-
そして、ステップＳ１２において、レーザスリット光の走査角度が走査終了角度θＬＥ１以上になったか否か（レーザスリット光の走査角度が走査終了角度θＬＥ１に達したか否か）が判断される。ステップＳ１２において、レーザスリット光の走査角度が走査終了角度θＬＥ１に達していないと判断された場合には、ステップＳ８に戻る。ステップＳ１２において、レーザスリット光の走査角度が走査終了角度θＬＥ１より大きくなったと判断された場合には、ステップＳ１３に進む。 In step S12, it is determined whether or not the scanning angle of the laser slit light is equal to or greater than the scanning end angle θ LE1 (whether the scanning angle of the laser slit light has reached the scanning end angle θ LE1 ). If it is determined in step S12 that the scanning angle of the laser slit light has not reached the scanning end angle θLE1 , the process returns to step S8. In step S12, when it is determined that the scanning angle of the laser slit light has become larger than the scanning end angle θLE1 , the process proceeds to step S13.
ステップＳ１３では、３次元計測された計測データが、センサコントローラ１３の認識部４２によって画像認識処理される。そして、予め記憶されているワーク２００のテンプレートと、画像認識処理された計測データとを比較することにより、複数のワーク２００が個々に認識される。なお、個々のワーク２００が認識される際、個々のワーク２００の位置および姿勢（傾き、上下など）も同時に認識される。そして、認識された複数のワーク２００の中から、最もロボット１のハンド装置７（図１参照）が把持しやすいワーク２００（たとえばワーク２００ａ）が、ワーク２００の位置および姿勢に基づいて、判断される。そして、最も把持しやすいワーク２００ａの位置および姿勢が、センサコントローラ１３からロボットコントローラ３に伝達される。これにより、ロボット１のハンド装置７により、ワーク２００ａが把持されるとともに、ワーク２００ａは、次の工程にワーク２００ａを搬送するための搬送用パレット６に移動される。
In step S <b> 13, the three-dimensionally measured measurement data is subjected to image recognition processing by the
次に、ステップＳ１４に進んで、次回の走査の際の走査開始角度がセンサコントローラ１３の走査角度修正部３８および走査角度設定部３７（図６参照）により修正、設定される。具体的には、上記ステップＳ９において、第１角度記憶部３９に記憶されたレーザスリット光の走査角度θＬＰ１から所定の角度（たとえば２度）を加算した角度（θＬＰ１＋２）が、次回の走査の際の走査開始角度θＬＳ２として、センサコントローラ１３の走査角度修正部３８および走査角度設定部３７（図６参照）により修正、設定される。なお、図９に示す状態では、上記ステップＳ１０において、高速カメラ１１からワーク２００までの距離Ｌが、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１から不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以上になると判断されることなく、ミラー部１６の走査が終了しているので、走査終了角度θＬＥ１は、修正されない。
Next, proceeding to step S14, the scan start angle at the next scan is corrected and set by the scan
その後、ステップＳ７に戻って、３次元計測が再び開始される。具体的には、図１０に示すように、上記ステップＳ１４において設定された走査開始角度θＬＳ２と走査終了角度θＬＥ１とに基づいて、ミラー部１６が回転駆動される。すなわち、レーザスリット光は、走査角度θＬ２（＜θＬ１）の範囲で走査される。その後、ステップＳ８〜ステップＳ１４の動作が繰り返し行われる。そして、図１０に示す状態では、ステップＳ８において、高速カメラ１１とワーク２００ｂの点Ｐｂとの間の距離Ｌｂが、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１から不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以下（Ｌｂ≦Ｌ１−ｄ）になったと判断されて、ワーク２００ｂの表面上の点Ｐｂにおいて反射された際のレーザスリット光の走査角度θＬＰ２が、センサコントローラ１３の第１角度記憶部３９（図６参照）に記憶される。そして、ステップＳ１４に進んで、レーザスリット光の走査角度θＬＰ２から所定の角度（たとえば２度）を加算した角度（θＬＰ２＋２）が、次回の走査の際の走査開始角度θＬＳ３として設定される。
Then, it returns to step S7 and 3D measurement is started again. Specifically, as shown in FIG. 10, the
そして、再び、ステップＳ８〜ステップＳ１４の動作が繰り返し行われることにより、ワーク２００の３次元計測と、ロボット１のハンド装置７によるワーク２００の搬送用パレット６への移動とが繰り返し行われ、たとえば図１１に示すように、ワーク２００の数が減少した状態となる。この場合、レーザスリット光は、走査角度θＬ３（＜θＬ２）の範囲で操作されている。そして、ワーク２００ｎの表面上の点Ｐｎにおいて反射されて、高速カメラ１１からワーク２００ｎまでの距離Ｌｎが計測された後、ステップＳ１０において、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１から不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）より大きくなった（Ｌ＞Ｌ１−ｄ）と判断される。その後、ステップＳ１１において、高速カメラ１１からワーク２００ｎまでの距離Ｌ（Ｌｎ）が、最後に、高速カメラ１１とワーク２００が載置される面２０との間の距離Ｌ１から不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以下になった（Ｌ≦Ｌ１−ｄ）際（ワーク２００ｎの表面上の点Ｐｎにおいて反射された際）のレーザスリット光の走査角度θＬＰｎが、センサコントローラ１３の第２角度記憶部４０（図６参照）に記憶される。そして、ステップＳ１３に進んで、ロボット１のハンド装置７により、ワーク２００ｎが把持されるとともに、ワーク２００ｎは、次の工程にワーク２００ｎを搬送するための搬送用パレット６に移動される。その後、ステップＳ１４に進んで、レーザスリット光の走査角度θＬＰｎから所定の角度（たとえば２度）を差分した角度（θＬＰｎ―２）が、次回の走査の際の走査終了角度θＬＥ２として、センサコントローラ１３の走査角度修正部３８および走査角度設定部３７（図６参照）により修正、設定される。
Then, the operations in steps S8 to S14 are repeated, whereby the three-dimensional measurement of the
その後、上記設定された走査終了角度θＬＥ２に基づいて、図１２に示すように、レーザスリット光は、走査角度θＬ４（＜θＬ３）の範囲で照射される。そして、ワーク２００ｏが認識される。その後、ロボット１のハンド装置７により、ワーク２００ｏが把持されるとともに、ワーク２００ｏは、次の工程にワーク２００ｏを搬送するための搬送用パレット６に移動される。そして、図１３に示すように、全てのワーク２００が移動された状態となる。その後、改めて、レーザスリット光が、走査角度θＬ４（図１２参照）の範囲で照射されて、ワーク２００が認識されないことが確認された後、最初に設定された走査開始角度θＬＳ１および走査終了角度θＬＥ１に基づいて、レーザスリット光による走査が行われる。これにより、レーザスリット光の走査範囲を徐々に小さくしながら、ワーク２００の搬送用パレット６への移動が繰り返し行われている最中に、ロボット１のハンド装置７がワーク２００に接触することに起因して、ワーク２００がレーザスリット光の走査範囲から外れた位置に移動した場合でも、走査範囲外のワーク２００を認識することが可能となる。
Thereafter, based on the set scanning end angle θ LE2 , as shown in FIG. 12, the laser slit light is irradiated in the range of the scanning angle θ L4 (<θ L3 ). Then, the workpiece 200o is recognized. Thereafter, the workpiece 200o is gripped by the
第１実施形態では、上記のように、高速カメラ１１によって検出されたワーク２００の載置されている領域に応じてミラー部１６による走査範囲を変更するように制御するセンサコントローラ１３を備えることによって、たとえばワーク２００が広い範囲に複数載置されている初期状態では、走査範囲を大きくする一方、ワーク２００が徐々に取り除かれて、ワーク２００が小さい範囲に載置されている場合に、ワーク２００が載置されている範囲に応じて走査範囲を小さくすることができる。これにより、ミラー部１６によるレーザスリット光の走査範囲が小さくなる分、ワーク２００の走査に要する合計の時間を短くすることができる。その結果、ロボット１がワーク２００を把持して搬送用パレット６に移動させる動作に要する合計の時間を短くすることができる。
In the first embodiment, as described above, by including the
また、第１実施形態では、上記のように、高速カメラ１１によって検出されたワーク２００の載置されている領域に応じて走査開始角度および走査終了角度のうちの少なくとも一方を変更することによって、ミラー部１６による走査範囲を変更する制御を行うようにセンサコントローラ１３を構成する。これにより、走査開始角度および走査終了角度のうちの少なくとも一方を小さくすることにより、ミラー部１６による走査範囲が小さくなるので、ワーク２００の走査に要する合計の時間を短くすることができる。
Further, in the first embodiment, as described above, by changing at least one of the scan start angle and the scan end angle according to the area where the
また、第１実施形態では、上記のように、検出されたワーク２００からの反射光に基づいて、高速カメラ１１とワーク２００との間の距離Ｌを算出するとともに、高速カメラ１１とワーク２００との間の距離Ｌに基づいて、ミラー部１６による走査範囲を変更するようにセンサコントローラ１３を構成する。これにより、ワーク２００が載置されている状態（数）に応じて、容易に、ミラー部１６による走査範囲を変更することができる。
In the first embodiment, as described above, the distance L between the high-
また、第１実施形態では、上記のように、高速カメラ１１とワーク２００との間の距離Ｌが、高速カメラ１１とワーク２００を載置する面２０との間の距離Ｌ１からワーク２００を載置する面の近傍の不感帯領域の高さ（距離ｄ）を差分した距離Ｌ２以下に最初になった際のレーザスリット光の走査角度に基づいて、走査開始角度を変更するようにセンサコントローラ１３を構成する。これにより、不感帯領域の高さｄ（距離ｄ）未満のたとえばワーク２００が載置される面２０上に存在するゴミからの反射光を検出することに起因して、ワーク２００が載置されている領域を間違って認識するのを抑制することができる。
In the first embodiment, as described above, the distance L between the high-
また、第１実施形態では、上記のように、高速カメラ１１とワーク２００との間の距離Ｌが、高速カメラ１１とワーク２００を載置する面２０との間の距離Ｌ１からワーク２００を載置する面２０の近傍の不感帯領域の高さ（距離ｄ）を差分した距離Ｌ２以下に最後になった際のミラー部１６の回転角度に基づいて、走査終了角度を変更するようにセンサコントローラ１３を構成する。これにより、不感帯領域の高さｄ（距離ｄ）未満のたとえばワーク２００が載置される面２０上に存在するゴミからの反射光を検出することに起因して、ワーク２００が載置されている領域を間違って認識するのを抑制することができる。
In the first embodiment, as described above, the distance L between the high-
また、第１実施形態では、上記のように、不感帯領域の高さｄ（距離ｄ）を、ワーク２００の高さｈの１／２になるように構成する。これにより、ワーク２００の高さｈの１／２未満のゴミなどからの反射光を検出することに起因して、ワーク２００が載置されている領域を間違って認識するのを抑制することができる。
Further, in the first embodiment, as described above, the height d (distance d) of the dead zone is configured to be ½ of the height h of the
（第２実施形態）
次に、図１４および図１５を参照して、第２実施形態のロボットシステム１０１について説明する。この第２実施形態では、ワーク２００が面２０上に直接載置されている第１実施形態と異なり、ワーク２００が箱状のパレット１０２の中に載置されている。
(Second Embodiment)
Next, a
図１４および図１５に示すように、第２実施形態のロボットシステム１０１では、複数のワーク２００が箱状のパレット１０２の中に載置されている。なお、第２実施形態のその他の構成は、上記第１実施形態と同様である。
As shown in FIGS. 14 and 15, in the
次に、図１４〜図２０を参照して、第２実施形態によるセンサコントローラ１３の３次元計測の動作について説明する。
Next, with reference to FIGS. 14 to 20, the three-dimensional measurement operation of the
まず、ワーク２００の３次元計測に先立って、図１６および図１７に示すように、ワーク２００がパレット１０２に載置されていない状態で、パレット１０２と、パレット１０２が載置されている面１０３などの３次元計測が行われる。具体的には、高速カメラ１１からパレット１０２の枠１０２ａまでの距離、高速カメラ１１からパレット１０２の内低面１０２ｂまでの距離、パレット１０２からパレット１０２が載置されている面１０３までの距離などが計測される。これにより、図１８に示すように、パレット１０２を矢印Ｚ１方向（図１６および図１７参照）から見た画像がセンサコントローラ１３の認識部４２により認識される。
First, prior to the three-dimensional measurement of the
次に、図１４および図１５に示すように、パレット１０２にワーク２００が載置された状態で、センサユニット４によるパレット１０２とワーク２００との３次元計測が行われる。なお、３次元計測の具体的な動作は、上記第１実施形態と同様である。そして、センサユニット４によるパレット１０２とワーク２００との３次元計測が行われることにより、図１９に示すように、パレット１０２とワーク２００とを矢印Ｚ１方向（図１４および図１５参照）から見た画像がセンサコントローラ１３の認識部４２により認識される。なお、この状態では、高速カメラ１１とワーク２００との間の距離とともに、高速カメラ１１とパレット１０２との間の距離も得られるため、上記した第１実施形態のように、高速カメラ１１とワーク２００との間の距離Ｌに基づいて、レーザスリット光の走査範囲の修正を行うことができない。
Next, as shown in FIGS. 14 and 15, three-dimensional measurement of the
そこで、パレット１０２とワーク２００との３次元計測の結果（距離情報、図１９参照）から、予め計測されたパレット１０２の３次元計測の結果（距離情報、図１８参照）を差分する。これにより、図２０に示すように、ワーク２００の３次元計測の結果（画像）がセンサコントローラ１３の認識部４２により認識される。その結果、上記第１実施形態と同様に、高速カメラ１１とワーク２００との間の距離Ｌに基づいて、レーザスリット光の走査範囲の修正を行うことが可能となる。なお、第２実施形態によるワーク２００の３次元計測のその他の動作は、上記第１実施形態と同様である。
Therefore, the result of the three-dimensional measurement of the pallet 102 (distance information, see FIG. 18) that is measured in advance is subtracted from the result of the three-dimensional measurement of the
第２実施形態では、上記のように、ワーク２００は、パレット１０２の内部に載置されており、高速カメラ１１によって検出されたパレット１０２の内部におけるワーク２００の載置されている領域に応じてミラー部１６による走査範囲を変更するようにセンサコントローラ１３を構成する。これにより、パレット１０２からの反射光を検出することに起因して、ワーク２００が載置されている領域を間違って認識するのを抑制することができる。
In the second embodiment, as described above, the
また、第２実施形態では、上記のように、パレット１０２の内部にワーク２００が載置されている状態の高速カメラ１１による３次元計測の結果から、パレット１０２の内部にワーク２００が載置されていない状態の高速カメラ１１による３次元計測の結果を差分することによって、高速カメラ１１によって検出されたパレット１０２の内部におけるワーク２００の載置されている領域に応じてミラー部１６による走査範囲を変更するようにセンサコントローラ１３を構成する。これにより、パレット１０２からの反射光を検出することに起因して、ワーク２００が載置されている領域を間違って認識するのを容易に抑制することができる。
In the second embodiment, as described above, the
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above description of the embodiments but by the scope of claims for patent, and further includes all modifications within the meaning and scope equivalent to the scope of claims for patent.
たとえば、上記第１および第２実施形態では、高速カメラからワークまでの距離Ｌが、高速カメラとワークが載置される面との間の距離Ｌ１からワークが載置される面近傍の不感帯領域の高さｄ（距離ｄ）を差分した距離Ｌ２（Ｌ１−ｄ）以下（Ｌ≦Ｌ１−ｄ）になった際のレーザスリット光の走査角度に基づいて、走査開始角度および走査終了角度を修正する例を示したが、本発明はこれに限られない。たとえば、高速カメラからワークまでの距離Ｌが、高速カメラとワークが載置される面との間の距離Ｌ１未満（Ｌ＜Ｌ１）になった際のレーザスリット光の走査角度に基づいて、走査開始角度および走査終了角度を修正してもよい。 For example, in the first and second embodiments described above, the distance L from the high-speed camera to the workpiece is a dead zone near the surface on which the workpiece is placed from the distance L1 between the high-speed camera and the surface on which the workpiece is placed. The scanning start angle and the scanning end angle are corrected based on the scanning angle of the laser slit light when the distance d is equal to or less than the distance L2 (L1-d) obtained by subtracting the height d (distance d). However, the present invention is not limited to this. For example, scanning is performed based on the scanning angle of the laser slit light when the distance L from the high-speed camera to the workpiece is less than the distance L1 between the high-speed camera and the surface on which the workpiece is placed (L <L1). The start angle and the scan end angle may be modified.
また、上記第１および第２実施形態では、不感帯領域の高さｄ（距離ｄ）を、ワークの高さｈの１／２に設定する例を示したが、本発明はこれに限られない。本発明では、距離ｄは、ワークの高さｈ以下であればよい。 In the first and second embodiments, the example in which the height d (distance d) of the dead zone is set to ½ of the workpiece height h is shown, but the present invention is not limited to this. . In the present invention, the distance d may be equal to or less than the workpiece height h.
また、上記第１および第２実施形態では、高速カメラとワークとの間の距離Ｌに基づいて、レーザスリット光の走査開始角度および走査終了角度の両方を修正する例を示したが、本発明はこれに限られない。たとえば、レーザスリット光の走査開始角度または走査終了角度の一方のみを修正するようにしてもよい。 In the first and second embodiments, the example in which both the scanning start angle and the scanning end angle of the laser slit light are corrected based on the distance L between the high-speed camera and the workpiece has been described. Is not limited to this. For example, only one of the scan start angle and the scan end angle of the laser slit light may be corrected.
また、上記第１および第２実施形態では、撮像素子のＣＭＯＳセンサに含まれる全ての画素から画素データを抽出して、画像が形成される例を示したが、本発明はこれに限られない。たとえば、レーザスリット光の走査範囲が小さくなるのに対応させて、画素データが抽出されるＣＭＯＳセンサの画素数を少なくするようにしてもよい。これにより、画素データが抽出される画素数が少なくなる分、画素データの抽出を高速に行うことができる。 In the first and second embodiments, the example in which the pixel data is extracted from all the pixels included in the CMOS sensor of the image sensor and the image is formed is shown. However, the present invention is not limited to this. . For example, the number of pixels of a CMOS sensor from which pixel data is extracted may be reduced in correspondence with the reduction of the scanning range of the laser slit light. Thereby, pixel data can be extracted at a high speed because the number of pixels from which pixel data is extracted is reduced.
１ ロボット
４ センサユニット（形状計測装置）
７ ハンド装置（把持部）
１１ 高速カメラ（カメラ）
１３ センサコントローラ（制御部）
１５ レーザ発生器（レーザ照射部）
１６ ミラー部（走査部）
１００、１０１ ロボットシステム
1
7 Hand device (gripping part)
11 High-speed camera (camera)
13 Sensor controller (control unit)
15 Laser generator (laser irradiation part)
16 Mirror part (scanning part)
100, 101 Robot system
Claims (10)
前記レーザ照射部から照射された前記レーザ光をワークの載置されている領域に走査する走査部と、
前記走査部から照射され、前記ワークにより反射された前記レーザ光の反射光を検出することにより、前記ワークの載置されている領域を検出するとともに、前記ワークの３次元計測を行うカメラと、
前記カメラによって検出された前記ワークの載置されている領域に応じて、かつ、前記ワークを載置する面の近傍に設けられるとともに前記ワークを載置する面から所定の高さを有し、前記ワークの載置されている領域を間違って認識するのを抑制する不感帯領域を考慮して、前記走査部による走査範囲を変更するように制御する制御部とを備える、形状計測装置。 A laser irradiation unit for irradiating a laser beam;
A scanning unit that scans the laser beam irradiated from the laser irradiation unit to a region where a workpiece is placed;
Emitted from the scanning unit, the by detecting the reflected light of the laser light reflected by the workpiece, detects a region that is placed in the work, a camera for 3-dimensional measurement of the workpiece,
Depending on the area being placed in said detected workpiece by the camera, and has a Rutotomoni the workpiece from the surface for placing a predetermined height is provided in the vicinity of the surface for placing the workpiece A shape measuring apparatus comprising: a control unit that controls to change a scanning range by the scanning unit in consideration of a dead zone region that suppresses erroneous recognition of the region where the workpiece is placed.
前記制御部は、前記カメラによって検出された前記箱状の容器の内部における前記ワークの載置されている領域に応じて前記走査部による走査範囲を変更するように構成されている、請求項１〜６のいずれか１項に記載の形状計測装置。 The workpiece is placed inside a box-shaped container,
The control unit is configured to change a scanning range of the scanning unit according to a region where the workpiece is placed inside the box-shaped container detected by the camera. The shape measuring device according to any one of -6.
レーザ光を照射するレーザ照射部と、前記レーザ照射部から照射された前記レーザ光を前記ワークの載置されている領域に走査する走査部と、前記走査部から照射され、前記ワークにより反射された前記レーザ光の反射光を検出することにより、前記ワークの載置されている領域を検出するとともに、前記ワークの３次元計測を行うカメラと、前記カメラによって検出された前記ワークの載置されている領域に応じて、かつ、前記ワークを載置する面の近傍に設けられるとともに前記ワークを載置する面から所定の高さを有し、前記ワークの載置されている領域を間違って認識するのを抑制する不感帯領域を考慮して、前記走査部による走査範囲を変更するように制御する制御部とを含む形状計測装置とを備える、ロボットシステム。 A robot having a gripping part for gripping a workpiece ;
A laser irradiation unit that irradiates a laser beam; a scanning unit that scans the laser beam irradiated from the laser irradiation unit to a region where the workpiece is placed; and the irradiation unit that is irradiated from the scanning unit and reflected by the workpiece. In addition, by detecting the reflected light of the laser beam, a region where the workpiece is placed is detected, and a camera that performs three-dimensional measurement of the workpiece , and the workpiece placed by the camera is placed. depending on in which area, and has a Rutotomoni the workpiece from the surface for placing a predetermined height is provided in the vicinity of the surface for placing the work, wrong region is placed in the work And a shape measuring device including a control unit that controls to change a scanning range by the scanning unit in consideration of a dead zone region that suppresses recognition.
前記ワークにより反射された前記レーザ光の反射光を検出することにより、前記ワークの載置されている領域を検出するとともに、前記ワークの３次元計測を行うステップと、
検出された前記ワークの載置されている領域に応じて、かつ、前記ワークを載置する面の近傍に設けられるとともに前記ワークを載置する面から所定の高さを有し、前記ワークの載置されている領域を間違って認識するのを抑制する不感帯領域を考慮して、前記レーザ光の走査範囲を変更するステップとを備える、形状計測方法。 Scanning the laser beam into the area where the workpiece is placed;
Wherein by detecting the reflected light of the laser light reflected by the workpiece, detects a region that is placed in the work, and performing three-dimensional measurement of the workpiece,
In accordance with the detected area it is placed in the work was, and has a Rutotomoni the workpiece from the surface for placing a predetermined height is provided in the vicinity of the surface for placing the workpiece, the workpiece And a step of changing the scanning range of the laser light in consideration of a dead zone region that suppresses erroneous recognition of the region where the laser beam is placed.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010238308A JP5630208B2 (en) | 2010-10-25 | 2010-10-25 | Shape measuring device, robot system, and shape measuring method |
| EP11180428A EP2444210A1 (en) | 2010-10-25 | 2011-09-07 | Shape measuring system and shape measuring method |
| US13/238,482 US20120098961A1 (en) | 2010-10-25 | 2011-09-21 | Shape measuring apparatus, robot system, and shape measuring method |
| CN201110320596.XA CN102528810B (en) | 2010-10-25 | 2011-10-20 | Shape measuring apparatus, robot system, and shape measuring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010238308A JP5630208B2 (en) | 2010-10-25 | 2010-10-25 | Shape measuring device, robot system, and shape measuring method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012093104A JP2012093104A (en) | 2012-05-17 |
| JP5630208B2 true JP5630208B2 (en) | 2014-11-26 |
Family
ID=44674459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010238308A Expired - Fee Related JP5630208B2 (en) | 2010-10-25 | 2010-10-25 | Shape measuring device, robot system, and shape measuring method |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20120098961A1 (en) |
| EP (1) | EP2444210A1 (en) |
| JP (1) | JP5630208B2 (en) |
| CN (1) | CN102528810B (en) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170028557A1 (en) * | 2015-07-28 | 2017-02-02 | Comprehensive Engineering Solutions, Inc. | Robotic navigation system and method |
| JP5716826B2 (en) * | 2011-06-20 | 2015-05-13 | 株式会社安川電機 | Three-dimensional shape measuring apparatus and robot system |
| US9255830B2 (en) * | 2012-05-21 | 2016-02-09 | Common Sensing Inc. | Dose measurement system and method |
| JP6092530B2 (en) | 2012-06-18 | 2017-03-08 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP5642738B2 (en) * | 2012-07-26 | 2014-12-17 | ファナック株式会社 | Apparatus and method for picking up loosely stacked articles by robot |
| ES2696198T3 (en) | 2012-07-30 | 2019-01-14 | Aist | Image processing system and image processing method |
| WO2014102856A1 (en) * | 2012-12-25 | 2014-07-03 | 平田機工株式会社 | Transfer system |
| JP2014159988A (en) * | 2013-02-19 | 2014-09-04 | Yaskawa Electric Corp | Object detector, robot system, and object detection method |
| JP2014159989A (en) * | 2013-02-19 | 2014-09-04 | Yaskawa Electric Corp | Object detector and robot system |
| WO2014132349A1 (en) * | 2013-02-27 | 2014-09-04 | 株式会社日立製作所 | Image analysis device, image analysis system, and image analysis method |
| KR101374802B1 (en) * | 2013-03-29 | 2014-03-13 | 이철희 | Agricultural robot system |
| FR3007126B1 (en) * | 2013-06-14 | 2018-04-20 | European Aeronautic Defence And Space Company Eads France | ROBOTIC CONTROL DEVICE FOR ULTRASOUND-LASER STRUCTURE |
| JP6415026B2 (en) * | 2013-06-28 | 2018-10-31 | キヤノン株式会社 | Interference determination apparatus, interference determination method, and computer program |
| JP5778311B1 (en) * | 2014-05-08 | 2015-09-16 | 東芝機械株式会社 | Picking apparatus and picking method |
| JP2015230229A (en) * | 2014-06-04 | 2015-12-21 | 株式会社リコー | Noncontact laser scanning spectral image acquisition device and spectral image acquisition method |
| CN105486251B (en) * | 2014-10-02 | 2019-12-10 | 株式会社三丰 | Shape measuring device, shape measuring method, and positioning unit of point sensor |
| JP6431333B2 (en) * | 2014-10-15 | 2018-11-28 | キヤノン株式会社 | Processing equipment |
| US9855661B2 (en) * | 2016-03-29 | 2018-01-02 | The Boeing Company | Collision prevention in robotic manufacturing environments |
| MX2017009060A (en) * | 2017-06-23 | 2019-02-08 | Magna Exteriors Inc | 3d inspection system. |
| JP6622772B2 (en) * | 2017-09-26 | 2019-12-18 | ファナック株式会社 | Measuring system |
| JP7172305B2 (en) * | 2018-09-03 | 2022-11-16 | セイコーエプソン株式会社 | Three-dimensional measuring device and robot system |
| JP7308689B2 (en) * | 2019-08-06 | 2023-07-14 | 株式会社キーエンス | 3D shape measuring device |
| JP7434686B2 (en) * | 2019-12-27 | 2024-02-21 | 川崎重工業株式会社 | Sheet layer inspection device and method |
| US12030243B2 (en) * | 2020-03-19 | 2024-07-09 | Ricoh Company, Ltd. | Measuring apparatus, movable apparatus, robot, electronic device, fabricating apparatus, and measuring method |
| JP7674124B2 (en) | 2021-03-23 | 2025-05-09 | 日本電気株式会社 | Robot Hand System |
| JP2022189080A (en) * | 2021-06-10 | 2022-12-22 | ソニーセミコンダクタソリューションズ株式会社 | Distance measuring device and distance measuring method |
| CN116110039A (en) * | 2021-08-09 | 2023-05-12 | 牧今科技 | System and method for object detection |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4300836A (en) * | 1979-10-22 | 1981-11-17 | Oregon Graduate Center For Study And Research | Electro-optical scanning system with self-adaptive scanning capability |
| JPS60200385A (en) * | 1984-03-26 | 1985-10-09 | Hitachi Ltd | Posture decision system |
| JPH01134573A (en) * | 1987-11-19 | 1989-05-26 | Kawasaki Heavy Ind Ltd | Image processing method |
| JPH0821081B2 (en) * | 1987-12-03 | 1996-03-04 | ファナック株式会社 | Window control method |
| JP2809348B2 (en) * | 1989-10-18 | 1998-10-08 | 三菱重工業株式会社 | 3D position measuring device |
| JPH03202290A (en) * | 1989-12-27 | 1991-09-04 | Toyota Motor Corp | Take-up device for articles loaded in bulk |
| JPH04244391A (en) * | 1991-01-30 | 1992-09-01 | Toyota Motor Corp | Step disordering device using robot |
| JPH05288516A (en) * | 1992-04-07 | 1993-11-02 | Honda Motor Co Ltd | Noncontact type position detecting device |
| JPH06229732A (en) * | 1993-01-29 | 1994-08-19 | Fanuc Ltd | Spot light beam scanning three-dimensional visual sensor |
| US6044170A (en) * | 1996-03-21 | 2000-03-28 | Real-Time Geometry Corporation | System and method for rapid shape digitizing and adaptive mesh generation |
| JP3873401B2 (en) * | 1996-11-19 | 2007-01-24 | コニカミノルタセンシング株式会社 | 3D measurement system |
| JPH11291187A (en) * | 1998-04-14 | 1999-10-26 | Kobe Steel Ltd | Load position attitude recognizing device |
| JP3300682B2 (en) * | 1999-04-08 | 2002-07-08 | ファナック株式会社 | Robot device with image processing function |
| JP2001051058A (en) * | 1999-08-11 | 2001-02-23 | Minolta Co Ltd | Apparatus for measuring distance |
| JP2001277167A (en) * | 2000-03-31 | 2001-10-09 | Okayama Pref Gov Shin Gijutsu Shinko Zaidan | Three-dimensional attitude recognizing method |
| JP2001319225A (en) * | 2000-05-12 | 2001-11-16 | Minolta Co Ltd | Three-dimensional input device |
| US7164810B2 (en) * | 2001-11-21 | 2007-01-16 | Metrologic Instruments, Inc. | Planar light illumination and linear imaging (PLILIM) device with image-based velocity detection and aspect ratio compensation |
| WO2003002935A1 (en) * | 2001-06-29 | 2003-01-09 | Square D Company | Overhead dimensioning system and method |
| JP2004012143A (en) * | 2002-06-03 | 2004-01-15 | Techno Soft Systemnics:Kk | Three-dimensional measuring apparatus |
| JP2004160567A (en) * | 2002-11-11 | 2004-06-10 | Fanuc Ltd | Article taking-out device |
| JP3805302B2 (en) * | 2002-12-13 | 2006-08-02 | ファナック株式会社 | Work take-out device |
| JP4548595B2 (en) * | 2004-03-15 | 2010-09-22 | オムロン株式会社 | Sensor device |
| JP4911341B2 (en) * | 2006-03-24 | 2012-04-04 | 株式会社ダイフク | Article transfer device |
| JP4226623B2 (en) * | 2006-09-29 | 2009-02-18 | ファナック株式会社 | Work picking device |
| JP5360369B2 (en) * | 2008-09-11 | 2013-12-04 | 株式会社Ｉｈｉ | Picking apparatus and method |
| JP5201411B2 (en) * | 2008-11-21 | 2013-06-05 | 株式会社Ｉｈｉ | Bulk picking device and control method thereof |
| JP4650565B2 (en) * | 2008-12-15 | 2011-03-16 | パナソニック電工株式会社 | Human body detection sensor |
-
2010
- 2010-10-25 JP JP2010238308A patent/JP5630208B2/en not_active Expired - Fee Related
-
2011
- 2011-09-07 EP EP11180428A patent/EP2444210A1/en not_active Withdrawn
- 2011-09-21 US US13/238,482 patent/US20120098961A1/en not_active Abandoned
- 2011-10-20 CN CN201110320596.XA patent/CN102528810B/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP2444210A1 (en) | 2012-04-25 |
| CN102528810B (en) | 2015-05-27 |
| JP2012093104A (en) | 2012-05-17 |
| CN102528810A (en) | 2012-07-04 |
| US20120098961A1 (en) | 2012-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5630208B2 (en) | Shape measuring device, robot system, and shape measuring method | |
| JP5201411B2 (en) | Bulk picking device and control method thereof | |
| US7966094B2 (en) | Workpiece picking apparatus | |
| JP4821934B1 (en) | Three-dimensional shape measuring apparatus and robot system | |
| JP5382621B2 (en) | Transfer equipment | |
| JP5716826B2 (en) | Three-dimensional shape measuring apparatus and robot system | |
| JP5561260B2 (en) | Robot system and imaging method | |
| JP3930490B2 (en) | Article take-out device | |
| JP4837116B2 (en) | Robot system with visual sensor | |
| US20130094932A1 (en) | Workpiece takeout system, robot apparatus, and method for producing a to-be-processed material | |
| CN107735646B (en) | Shape measuring device and shape measuring method | |
| JP2000288974A (en) | Robot device having image processing function | |
| JP2013078825A (en) | Robot apparatus, robot system, and method for manufacturing workpiece | |
| CN1733579A (en) | Transfer robot system comprising a manipulator and a temporary container depository moving synchronously with the manipulator | |
| CN107803589B (en) | Laser welding system | |
| JP6801566B2 (en) | Mobile robot | |
| JP2018176164A (en) | Laser welding device | |
| JP7481867B2 (en) | Control device and program | |
| JP3082829B2 (en) | Automatic welding line recognition method and device | |
| JP2008260043A (en) | Welding method and step detection device | |
| JP2000326082A (en) | Laser beam machine | |
| WO2023032400A1 (en) | Automatic transport device, and system | |
| JP6907678B2 (en) | Mobile robot | |
| JP2005177777A (en) | Parameter setting method and apparatus | |
| JP2021133458A (en) | Three-dimensional measurement apparatus and three-dimensional measurement system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130401 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140909 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140922 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5630208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |