＜国内事例紹介＞ ・川崎重工業株式会社 ・川田工業株式会社 ・株式会社デンソーウェーブ ・三友工業株式会社 リンクスが提案する高機能な 産業用ロボットビジョン・コンポーネント ― 画像処理ライブラリHALCON・PoEカメラace ― 株式会社リンクス 画像システム事業部／島 輝行 ロボットビジョンの活用範囲は多岐にわたるが、認識性能、運動性能、応答性能の向上という 共通の課題が存在する。われわれリンクスは、ロボット業界をはじめとする様々な業界の課題や ニーズを吸い上げ、ブレイクスルーとなりうる最新技術を提供してきた。画像処理ライブラリ 「HALCON」および、小型PoEカメラ「aceシリーズ」は、ビジョン連携型ロボットシステムの性能 を高め、システムの市場価値を高めることができる有効なコンポーネントである（図1）。 本稿では、コンポーネント活用の具体的な事例を挙げ、ロボットビジョン共通課題の解決手段を 提案する。 1 はじめに ロボットビジョンの活用範囲は多岐にわたるが、 様々なアプリケーションにおいて、以下のような 共通の課題が存在する。 （1）認識性能 画像処理により、ターゲットの状態を精確に解 析する、高い認識性能を実現する必要がある。 （2）運動性能 ロボットの移動の自由度を下げず、ビジョンの 結果に基づきロボットを精確に移動させる、高い 運動性能を実現する必要がある。 図 1 画像処理ライブラリ HALCON、および、 小型 PoE カメラ ace （3）応答性能 次の動作判断に必要な情報をタイムリーに提供 する、高い応答性を実現する必要がある。 2 認識性能 ロボットビジョンで必要とされる画像処理技術 本稿では、われわれリンクスが提案する高機能 として、ターゲットの位置を決めるマッチング機 な産業用ロボットビジョン・コンポーネントであ 能や、ワークの状態を判定する検査機能が挙げら る、画像処理ライブラリHALCON、および、小型 れる。また、特定の 2 次元平面（テーブルやコンベ PoE カメラ ace シリーズの活用による、これらの ア）上における計測機能に加え、3 次元空間上での 課題の解決を提案する。 対象物の位置姿勢計測機能や立体形状検査機能も eizojoho industrial May 2011︱45 ■ 驚きの認識力！ ロボットビジョン 図 2a 形状ベースパターンマッチングの例 （小型部品） 図 2b 局所変形マッチングの例 （袋物） 必要とされる。われわれは、このようなロボット は、ワークの形状や目的に応じて、高速・高精度 ビジョンに必要とされる画像処理機能を、画像処 なマッチング機能を豊富に提供する。 理ライブラリ HALCON にて提供している。 特に、画像上のエッジを利用して位置姿勢を算 HALCON は、ドイツ MVTec 社が開発する世界 出する形状ベースパターンマッチングは、応用範 最先端画像処理ライブラリである。HALCONには 囲が広く、 様々なシーンで活用されている （図2a） 。 ロボットビジョンで必要とされるライブラリが豊 しかし、このような形状ベースパターンマッチ 富に準備されており、ロボットビジョンシステム ングは、計測対象が剛体であることを前提として 開発者は画像処理アルゴリズムの検討と実装、性 おり、袋状のワークといった、変形が発生するワー 能検証を容易に行うことができる。本章では、ロ クは想定していない。 ボットビジョンで用いられる代表的な画像処理機 このようなワークを確実に検出する手法とし 能を紹介する。 て、局所変形マッチングが存在する。これは、モ デル自体を最適な形に変形させながらマッチング 2.1 マッチング技術 を行う処理である（図2b）。 画像からターゲットワークの位置を検出するマッ また、ロボットビジョンでは、細かい局所的な チング技術は、ロボットビジョンで必要とされる 変形を捉えるのではなく、大まかにワークの位置 基本技術である。画像処理ライブラリ HALCON を把握することが目的になる場合も多い。そのよ 46 ︱May 2011 eizojoho industrial 株式会社リンクス 図 2c max_deformation の例 （袋物） HALCONでキャリブレーション済みであれば、画 面上のワークの見え方（マッチング結果）から、ワー クの 3 次元位置姿勢を算出できる（図2d）。 マッチング技術の適用例として、コンベアピッ キングロボットシステムを紹介する。 コンベア上を自由な姿勢で流れてくるワークを 撮像し、マッチング処理で画像上の位置を認識す る。その後、画像上の位置を、コンベア平面座標 系の位置に変換する。本アプリケーションにおい ても、HALCON は確かな実績をもつ。 川崎重工業株式会社の高速ピッキングロボット を紹介する。本ロボットは、食品、薬品、化粧品 図 2d 透視歪マッチングの例（自動車ドア） の製造ラインをはじめ、ソーラーパネル組み立て などにも幅広く使用できる、パラレルリンク方式 うな場合には、局所変形マッチングを使うのでは の高速ピッキングロボットである。同社独自の高 なく、形状ベースマッチングのパラメータとして、 度 な 画 像 処 理 技 術 と、 画 像 処 理 ラ イ ブ ラ リ モデルのエッジ周辺αpixel以内に画像のエッジが HALCONとの組み合わせで、高速で安定したピッ あれば、マッチングできていると判断するような クアンドプレースを可能にしている（図3）。 設定を行うことが考えられる。これにより、袋状 の物体など、局所変形があるワークの位置を、高 2.2 ステレオ計測 速に安定して検出できるようになる （図2c） 。 ロボットビジョンでは、対象物が特定平面上（た さらに、HALCON の特徴的な機能として、1 台 とえば、テーブル平面上、コンベア平面上）に存在 のカメラの画像から、平面部位を持つ対象物の 3 すると仮定して、ワークの 3 次元位置姿勢を検出 次元位置姿勢を算出する透視歪マッチング機能が するシステムに加え、画像から直接ワークの 3 次 ある。これも、形状ベースパターンマッチングの 元的な位置姿勢を検出するシステムも多く存在 一種である。対象物の寸法が既知で、カメラも する。 eizojoho industrial May 2011︱47 ■ 驚きの認識力！ ロボットビジョン 3DCAD データなどが準備されていてワークの レから三角法によりその位置の高さ情報を取得す 形状が既知であれば、前述した透視歪マッチング る手法である。 のように、1 台のカメラの画像からワークの 3 次元 複数台のカメラの見え方のズレを検知するため 位置姿勢を検出することも可能であるが、よく使 には、空間用の同じ位置のものが、画像上のどこ われるのは、複数の視点で撮像した画像を利用す に移っているか、対応付けを行う必要がある。ス る、ステレオビジョンである。ステレオビジョン テレオ処理は、この複数画像の対応付けの方法に は、各画像におけるワークの各部位の見え方のズ よって細分化される。 図 3 高速ピッキングロボットシステム （川崎重工業株式会社） 48 ︱May 2011 eizojoho industrial 株式会社リンクス （1）特徴点ベース 2.3 サーフェスマッチング 画像の局所的な特徴を対応付けに利用する手 前述したステレオ計測や、光切断などによって 法。たとえば、2 次元パターンマッチングなどに 取得した 3 次元計測データ内に、ワークがどのよ より、右目の画像上の特徴箇所の位置と、左目の うな位置姿勢で存在するかを検出する手法とし 画像上の位置が分かれば、三角法によりその特徴 て、HALCONにはサーフェスマッチングという最 点の 3 次元位置を算出できる （図4a） 。 新技術が搭載されている（図6）。 （2）ブロックマッチング サーフェスマッチングは、3DCAD データのよ 2 次元画像からmxn画素のブロックを切り出し、 うな 3 次元モデルと、3 次元計測データのマッチン 他視点における 2 次元画像中に、このブロックに グを行う技術である。通常の 2 次元画像を用いた 類似する箇所を検出する手法。マッチング方法と 処理では、物体のエッジなどを手がかりに、3 次 しては、正規化相関ベースのグレイ値マッチング 元位置姿勢を絞り込むしかなかったが、サーフェ が用いられる （図4b） 。 スマッチングでは、物体表面の立体的な形状を活 用するので、エッジが出にくい滑らかな表面状態 ステレオ計測により取得された 3 次元位置姿勢 の物体でも、安定して高速に検出することが可能 や 3 次元形状に基づいて、ロボットは 3 次元的な となる。画像処理の適用の幅を広げる機能として、 加工を行ったり、3 次元自由姿勢を取るワークの ロボットビジョン業界でも強く注目されている。 ピッキングを行ったりすることができる （図5a） 。 HALCONのサーフェスマッチングに使う 3 次元 また、ステレオ計測は人間の両眼視と類似した モデルは、3DCAD データから生成することもで 原理で実装されており、ヒューマノイドロボット きるが、3DCAD データがないワークに対しては、 の目としても広く活用されている。川田工業株式 実物からモデルを生成することも可能である。 会社のNEXTAGEの頭部には画像認識用のステレ サーフェスマッチングの実行例として、図7a、 オカメラが搭載されており、作業台に対する自己 bに、複雑な形状をしたワークの検出結果を示す。 位置同定が可能なため、ロボットを移動させても作 60,000 点の 3 次元点群に含まれる、自由姿勢を 業をすぐに行うことが可能となっている （図5b） 。 取った 9 つのワークが存在している。サーフェス 図 4a 特徴点の三次元位置計測結果（コネクタ 3 次元 位置検出） 図 4b ブ ロックマッチングによる 3 次元形状復元結 果 （円柱 3 次元形状検出） eizojoho industrial May 2011︱49 ■ 驚きの認識力！ ロボットビジョン マッチングにより、これら 9 つのワークの位置姿 勢が正確に検出されており、その処理時間は、 150msec であった（CPU：Core2Duo、2.4GHz）。 また、サーフェスマッチングにより 3 次元計測 データにおける 3 次元モデルの位置姿勢がわかれ ば、3 次元計測データと 3 次元モデルデータとの比 較によって、変形量を算出することも可能になる。 部品の折れ欠けや、打痕、全体形状変形の検出な どに活用することができる（図8）。 2.4 外観検査 産業用ロボットビジョンというと、位置決め結 果を用いて、ワークに対してロボットが直接アプ ローチするようなシステムがまず想像されるが、 図 5a ステレオ計測を利用したピッキングロボット 図 5b NEXTAGE ヒューマノイドロボットビジョン （川田工業株式会社） 50 ︱May 2011 eizojoho industrial 株式会社リンクス 図 6 サーフェスマッチングの流れ 図 7a サーフェスマッチング結果例（金属部品） 図 7b サーフェスマッチング結果例 （ウサギ 9 個） 図 8 形状変形検出処理の例 eizojoho industrial May 2011︱51 ■ 驚きの認識力！ ロボットビジョン 図 9 外観検査ロボット（デンソーウェーブ株式会社） 実際のシステムとしては、ロボットの可動性を活 ビジョンシステムで必要とされる各種検査内容を かして、ワークの外観検査やデータコード読み取 高 い レ ベ ル で 実 現 す る 機 能 を 提 供 し て お り、 りなどを行うシステムも多く存在する。 HALCONを活用することで、一連の画像処理機能 たとえば、複雑な形状の対象物の複数個所を検 をもつロボットビジョンを成立させることができ 査するとき、多軸ロボットの手先にカメラを取り る（図10a、 b）。 付けることで、複雑な形状のワークでも、最適な 方向から検査することが可能になる。 デンソーウェーブ株式会社では、外観検査ロボッ 3 運動性能 トの画像処理エンジンの 1 つとして、HALCONを ロボットビジョンシステムでは、画像処理によ 活用している。外観検査ロボットは、3 次元、多 る認識結果に基づき、ロボットを精確に、かつ、 点の外観検査を、人の能力を超えて高速かつ正確 広範囲に移動させる必要がある。 に行うことができる。ノンストップで移動しなが 本章では、認識結果に基づきロボットが精確に ら計測箇所を確実に通過する同社の軌道制御技術 動作するための枠組みとして、HALCONのキャリ と、HALCONの高速な画像処理により、検査にか ブレーション機能を紹介する。また、ロボットの かる時間は極限まで短縮されている （図9） 。 活動を阻害しない、ロボットビジョン向けの産業用 検査内容は、ワーク表面状態の検査や、ワーク カメラとして、GigEカメラaceシリーズを紹介する。 に刻印されたデータコードやシリアルナンバーを 読み取ってワークを識別するなど、ワーク、アプ 3.1 認識結果を世界に反映する リケーションによって多岐にわたる。HALCON 前章では、画像処理による対象物の位置姿勢認 は、位置決めだけでなく、上述のようなロボット 識の方法について説明した。 52 ︱May 2011 eizojoho industrial 株式会社リンクス 図 10a データコード読み取りの例 図 10b OCR の例 これに加えて、画像処理による認識結果を実際 のキャリブレーションプレートを撮影することで、 の世界に反映して初めて、処理が完結したといえ カメラとロボットの位置関係を算出する方法があ る。すなわち、得られた対象物の認識結果 （たとえ る。この手法は、ハンドアイキャリブレーション ば 3 次元位置姿勢） を用いて、周辺機器が何らかの 機能と呼ばれている。 アクションを起さなければならない。 各姿勢で、カメラから見たプレートの位置姿勢 1 例として、ピッキングロボットシステムを挙 を画像処理によって算出していくことで、以下の げる （図11） 。ピッキングの処理の流れは以下の データを蓄積していく。 ようになる。 （1）認 識したい対象物の 3 次元形状データを読み • ロボットの手先位置姿勢 • カメラから見たプレートの位置姿勢 込む。 （2）特 定の位置に手先をもっていき、対象物の 3 複数姿勢で得られたこれらのデータを用いて、 次元形状データを用いた 3 次元認識処理を行 収束演算により、カメラとロボットの位置関係を い、対象物の 3 次元位置姿勢を計測する。 算出する。 （3）上 記の 3 次元位置姿勢は、カメラから見た 3 次 HALCON では、このハンドアイキャリブレー 元位置姿勢なので、これを、ロボット座標系 ション用の専用関数が準備されており、上記の における 3 次元位置姿勢に変換する。 データ（各画像におけるロボットの手先位置姿勢 （4）ロ ボットは、上記データに基づき、手先を対 象物に近づけ、把持、搬送する。 と、カメラから見たプレートの位置姿勢）を渡すこ とで、自動的にカメラとロボットの位置関係を算 出する。オペレータは、必要に応じて（たとえば、 ここで、上記（3）の処理を実現するには、カメ 生産ラインの定期メンテナンス時期など）、キャリ ラとロボットの位置関係が明確でなければならな ブレーションプレートを配置して実行ボタンを押 い。これがわかっていれば、カメラから見た物体 すだけで、半自動的にキャリブレーションを完了 の位置を、ロボットから見た物体の位置に変換す させることができる。 ることができる （図12） 。 カメラとロボットの位置関係を明確にするため 3.2 PoEタイプGigEカメラ：aceシリーズ に、ロボットが様々な姿勢を取りながら形状既知 ロボットビジョンで用いられるカメラは、ロボッ eizojoho industrial May 2011︱53 ■ 驚きの認識力！ ロボットビジョン トの運動を阻害しないために、小型で、取り回し がよいことが求められる。その要件を満たすカメ ラとして、PoE カメラを紹介する（図13）。 PoEカメラとは、Power over Ethernet、すなわ ち LAN ケーブル経由で画像を取り込むことがで き、かつ、電力もLANケーブルで供給できるカメ ラである。PoE カメラの特徴として、以下が挙げ られる。 • ケーブル長が最大 100m まで利用できる。 • HUBや複数のLANポートを準備することで、 1 台の PC で非常に多くのカメラを制御でき る。 • 専用画像取り込みボードや専用ケーブルが必 要なく、安価にシステムを構築できる。 • 画像パケットロスの検出と再送への対応など、 産業用途システム向けに規格化されたプロト コルである。 BASLER 社製 GigE カメラ ace シリーズは、29 × 29 × 42mm という小型産業用 PoE カメラであ る。非常に安価（640 × 480pixel、100frame/secで 図 11 ピッキングの様子 ￥49,000）でありながら、ロボットビジョンで必 図 12 ロボット・カメラ・対象物の位置関係 54 ︱May 2011 eizojoho industrial 株式会社リンクス 図 13 PoE カメラ複数台接続イメージ 表 1 ace シリーズスペック 要とされる様々な要求仕様をクリアしている。た れてくるフロント・リアガラスの境界部の接着剤 とえば、耐振動性、EMC試験など多くの耐環境試 の状態を、ロボットにて塗布しながら、先端に取 験をクリアし、UL、CE、FCC、RoHS といった り付けたカメラにより撮影・検査することで、生 安全規格を取得している （表1） 。 産しながら検査を並行して実施するシステムであ ace シリーズは、ロボットビジョンに最適な産 る（図14）。同社では、この装置にBASLER社ace 業用カメラとして推奨できるカメラであり、すで カメラを採用した。ace カメラは非常に小型であ にロボット業界において多くの導入実績をもつ。 り、本案件のように設置スペースが制限される場 例として、三友工業株式会社の車ガラス接着剤 合に非常に有効である。さらに、ケーブルを長く 検査装置を紹介する。自動車生産ラインを搬送さ でき、かつ安価であることも利点である。 eizojoho industrial May 2011︱55 ■ 驚きの認識力！ ロボットビジョン 図 14 接着剤塗布検査装置 （三友工業株式会社） 4 応答性能 （3）自 動並列化処理 （HALCON-AOP） による高速化 （4）G PUでの処理 （HALCON-GPU） による高速化 ロボットビジョンでは、認識結果に基づき、次 の動作判断に必要な情報をタイムリーに決定す 洗練された設計コンセプトが HALCON の高速 る、高い応答性を実現する必要がある。本章では、 化におけるイノベーションを打ち出す原動力と 高い応答性能を実現するための画像処理の高速 なっている。1 つ 1 つのオペレータを最適化するこ 化、および、ロボットビジョンデバイス間の精密 とにより、シングルコアCPUでの最速処理を実現 同期について述べる。 し、さらなる高速化を実現するために、マルチコ ア CPU を活用した処理効率化を追及している。 4.1 高速画像処理 加えて、HALCONの最新バージョンHALCON10 得られた画像に対する認識処理が遅いと、その では、次世代の高速処理を実現するためのアプ 分ロボットの次の動作判断までの時間が長くな ローチとして、CPU と GPU（Graphic Processing り、全体的にロボットの作業効率が落ちてしまう。 Unit）を利用するハイブリッド処理を実現してい 画像処理の高速化は、ロボットビジョンにおいて る。図16 では、プロセス A、B、C から成る処理 必ず求められる機能である。 を、マルチコア CPU および GPU を用いて並列処 HALCON の開発元である MVTec 社は、常に高 理する様子を示している。プロセスA、B、Cを並 速化に取り組んでおり、HALCONユーザは、世界 列処理し、さらに、プロセス内部の処理も並列化 最高レベルの高速画像処理を利用できる。たとえ することで、劇的な高速化を実現できる。 ば以下のようなマッチング処理であれば、平均処 これらの取り組みの成果は一朝一夕で得られるも 理時間は 5msec を下回る （図15） 。 のではない。HALCON の開発元である MVTec 社 HALCONの高速画像処理は、4 つの観点から成 は、高速化の重要性を理解し、よりよいマシンビ り立っている。 ジョンソフトウェアを提供し続けるために、継続 （1）洗 練された設計 的な投資を行っている。 （2）各 オペレータの最適化による高速化 56 ︱May 2011 eizojoho industrial 株式会社リンクス 図 15 形状ベースマッチング （CPU：[email protected]、OS：Windows XP （32bit）、GPU なし） 図 16 処理の並列化 4.2 画像とロボットの精密同期 クに高精度な時刻情報を精確に転送できるよう規 どれだけ高速に画像処理が行えたとしても、画 定している。IEEE1588 に対応したデバイスは、 像を撮像した瞬間と、その解析結果に基づきロ 特定の時刻に動作をする、といった命令が容易に ボットが動作を開始するまでには必ずタイムラグ 実行できるようになる（図18）。たとえば、ネッ がある。このタイムラグを吸収するために、撮像 トワークにロボットコントローラ、カメラ、照明 が完了したタイミングと、ロボットに指示を出す が接続されているとき、ロボットがある姿勢にな タイミングの間で、環境がどれだけ変わったかを る瞬間に、照明を発光して撮像を行う、といった 予測し、その予測を反映してロボットに指示を出 動作が可能になる。 すようなシステムが考えられる。たとえば、ピッ BASLER社は現在、このIEEE1588 を組み込ん キングロボットでは、撮像から実際のピッキング だファームウェアの開発を進めている。これによ までにはタイムラグがあるが、撮像時のワークの り、複数台のカメラ同士や、IEEE1588 に対応し 位置と、コンベアの移動速度から、ワークが存在 た搬送系機器やロボットとのμsecレベルでの同期 する位置を算出してロボットに動作指示を与える が可能になる。 ことになる （図17） 。 ハードウェアトリガなしにカメラの精密な同期 一方、タイムラグを厳密に考慮してロボットに が取れるということは、システムの柔軟性を増す 精確な動作指示を出すようなシステム （ビジュアル ことができ、ロボットビジョンシステムの市場価 サーボシステムなど） では、カメラとロボットコン 値を高めることに繋がる。このような将来性の高 トローラを含む各デバイスの精確な同期が必要不 い最新機能をいち早く搭載できる点は、産業用カ 可欠である。デバイス間のより精確な同期を実現 メラの規格策定においてリーダシップを取ってい するプロトコルとして、IEEE1588 というプロト る BASLER の強みである。BASLER 社の取り組 コルがある。 みに今後もご注目いただければ幸いである。 IEEE1588 は、非同期のパケットネットワーク を経由して、マスタークロックからスレーブクロッ eizojoho industrial May 2011︱57 ■ 驚きの認識力！ ロボットビジョン 図 17 計測と搬送のタイムラグ 5 おわりに 図 18 IEEE1588 マスター・スレーブ間同期 イメージ図 り回しが重要なロボットビジョンに最適なデバイ スとして、小型、安価な PoE カメラ ace シリーズ われわれは、ロボット業界をはじめとする様々 を提供し、ロボットビジョンシステム構成に革新 な業界の課題やニーズを吸い上げ、ブレイクスルー をもたらした。 となりうる最新技術を提供してきた。画像処理ラ また、ロボットシステムデバイス間の精密同期 イブラリ HALCON、および、小型 PoE カメラ ace のための最新プロトコルIEEE1588 への対応など、 シリーズは、ビジョン連携型ロボットシステムの 新たな革新的機能への取り組みも進んでいる。リ 認識性能、運動性能、応答性能を高め、システム ンクスはこれからも、ロボットビジョンの「これ の市場価値を高めることができる有効なコンポー から」を提供していく。 ネントである。 たとえば、これまで認識、形状判定が難しかっ た曲面形状ワークの位置決めのために、画像処理 ライブラリHALCONの新機能として、3 次元デー ☆株式会社リンクス タと 3 次元モデルのマッチングを行う「サーフェ TEL.045-979-0731 FAX.045-979-0732 スマッチング」を提供した。また、ケーブルの取 http://www.linx.jp/ 58 ︱May 2011 eizojoho industrial
© Copyright 2024 Paperzz
