䣔䣕䣌䢴䢲䢳䢳䣃䣅䢵䣋䢴䢯䢵ステレオカメラを用いた自律走行 ○岡雄平(東工大) 岩田啓明(東工大) 西久保直輝(東工大) 実吉敬二(東工大) 1. はじめに自律走行を実現するために GPS・オドメトリ・カメラ・レーザー等の様々なセンサを利用することができる．各センサには長所短所があり，短所を補うために複数のセンサを組み合わせて用いることが主流である．しかし多くのセンサを用いることはシステムの肥大化に繋がり，コスト面でのデメリットが大きくなる．また各センサの結果が異なる場合にどのセンサが正しい結果を出力しているかの判断を誤ると却って結果が悪くなってしまう．そこで我々はシンプルなシステムを目指し，ステレオカメラのみをセンサとして用いて自律走行を行うことを考えている．ステレオカメラにはパッシブセンサであり互いのセンサが干渉しないこと，横方向に高い分解能があり物体の幅が正確にわかることなどの利点がある[1]．本研究では走行すべき経路・環境は既知であるとし，予め作成されたマップデータを利用する．ただし実環境を走行するものとし，マーカーを設置するなど自律走行のために環境を改変してはならないものとする．図1 ステレオカメラと FPGA 基板 2. ステレオカメラステレオカメラは左右に並べた２台のカメラで同一の対象を観測し，それぞれの画像上の位置のずれ(視差)から対象の三次元座標を得るものである．使用するステレオカメラは本研究用に開発したものであり，解像度 2048x2048，フレームレート 8.3fps，基線長 50mm，焦点距離 6mm である(図 1)．結果として得られる三次元情報（距離画像）は赤色ほど近くに，青色ほど遠くに物体が存在することを表している(図 2)．ステレオカメラ処理は計算量が多く CPU ではリアルタイム処理が難しいため，並列処理・パイプラン処理による高速処理が可能な FPGA (Field Programmable Gate Array：論理回路を書き換え可能な集積回路)を用いて処理をしている．遠近図2 元画像(上)と距離画像(下) 3. 車体自律走行に用いる車はラジコンを改造した前輪操舵後輪駆動のものであり，全長 70cm 程度の大きさである(図 3)．周囲環境認識装置としてステレオカメラ，処理装置として FPGA(Stratix III)を搭載している．センサとしてステレオカメラのみ使用して自律 ➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛図3 車体外観䣔䣕䣌䢴䢲䢳䢳䣃䣅䢵䣋䢴䢯䢵自己位置頻度路面立体物立体物なし予測位置マップデータフレーム間マッチング路面位置立体物あり操舵マップマッチング立体物位置路面検出左カメラ立体物検出右カメラ三次元情報閾値立体物位置近図4 視差遠処理の流れ図5 走行を行い，加速度センサ・オドメトリ・GPS・測域センサなど他のセンサ類は搭載していない． FPGA はステレオカメラ処理との共用である．軽量化・低消費電力化のため PC は搭載しておらず，すべての処理は FPGA 上で行う．立体物検出の高さでも区切ることで任意の高さの立体物のみを検出することができる．本研究では高さ 0～0.5m，1～1.5m，2～2.5m の 3 種類の立体物を検出している．特に 2～2.5m の立体物情報は通行人が映らないため，人垣の中でも後述のマップマッチングが行いやすい利点がある． 4. 自律走行処理の流れと詳細 4.3 自己位置算出自律走行のための処理の流れは以下の通りであ 4.3.1 フレーム間マッチングとマップマッチングる(図 4)．(1)路面検出により路面位置を求める．(2) 自己位置算出は立体物の位置から現在いる位置立体物検出で路面からの高さ別に立体物の位置をと向いている方向を算出する．この処理はフレーム求める．(3)現在見えている立体物の位置と予め作間マッチングとマップマッチングに分けられる．成しておいたマップデータの立体物の位置を比較フレーム間マッチングでは 1 フレーム前の立体物し，現在いる位置と方向を求める．(4)目標座標にの位置と現在のフレームの立体物の位置を比較し，向かうように操舵を行う． 1 フレームでの移動量を求める． 4.1 路面検出マップマッチングでは現フレームの立体物位置後述する立体物検出のために路面の位置や傾きとマップデータの立体物位置を比較し，マップ上でを求める必要がある．ここでは路面を平面と仮定し，の自己位置を求める．ここで，マップデータは事前 (X,Y,Z)空間での平面の方程式にコースを走行し，保存した画像から得られた立体物位置の座標のテーブルである．マップマッチング Y = αX + β Z + y 0 はフレーム間マッチングと共通の処理回路を使用のパラメータ(α,β,y0)を求め，路面の方程式とすることでリソースを削減している．する．マップマッチングではフレーム間マッチングか本研究では路面の方程式を求めるために，3 次元ら求めた移動量を推定値として重み付けする．こうハフ変換を用いる．路面付近の画素のデータを実座することでフレーム間マッチングは精度が良いも標(X,Y,Z)に変換し，(α,β)を変えながら対応するのの累積誤差がたまる，マップマッチングは累積誤 y0 を求めハフ空間(α,β,y0)に投票する．投票数が差がたまらない代わりに精度が悪く間違った自己最大となった(α,β,y0)を路面の方程式として採用位置を算出しやすいという短所を克服している．する． 4.3.2 処理の詳細 4.2 立体物検出立体物位置の比較は以下の手順で行う(図 6)．ま立体物検出は画像を縦に区切って考える．画像をず現フレームの立体物位置を画像横座標 i と視差 d 縦にみると，立体物がない領域は視差(距離)が連続で表される(i,d)座標から実座標に変換する．次に的に変化しており，立体物がある領域は一定の視差並進回転を加え，(i,d)座標に再度変換する．これが得られている(図 5)．この特性を利用し，縦に区と前フレーム/マップデータの立体物位置を比較し，切った領域ごとに視差の分布を求め，頻度が閾値を一致度を求める．ここで一致度として視差に応じた越えた視差の位置に立体物があると判断する．誤差の範囲内で座標が一致しているデータの総数さらに，画像を縦に区切るだけでなく，路面からを用いる． ➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛䣔䣕䣌䢴䢲䢳䢳䣃䣅䢵䣋䢴䢯䢵並進回転を変えながら一致度を最大化自己位置算出図8 並進 (i,d)座標一致度並進 (i,d)座標一致度並進 (i,d)座標一致度並進 (i,d)座標一致度最大化回転実座標に変換現在見えている立体物ルックアップテーブル誤差の付与セレクタ図7 一致度計算図6 マップデータの立体物誤差の付与セレクタマップデータの立体物 1フレーム前の立体物 (i,d)座標に変換並進回転実座標に変換現在見えている立体物 1フレーム前の立体物テストコースでの走行開けた場所に移動した結果，近くに立体物が見えなくなってしまったためと考えられる．実験の結果，近く(～10m)に立体物が存在する環境では安定して自律走行を行うことができた．しかし，近くに立体物が存在しない環境では自己位置算出が正常に動作しなかった．これは遠くのものほどステレオカメラの距離精度が悪くなることが原因と考えられる．並列化された自己位置算出 6. まとめと今後加える並進回転の量を変えながら一致度が最大となる並進回転を求める．この並進回転がフレーム間マッチングでは１フレームの移動量に，マップマッチングではマップ上での自己位置に対応する． 4.3.2 FPGA で処理する際の最適化一致度の計算は前フレーム/マップデータの立体物が誤差の範囲内にある('1')かない('0')かを記述したルックアップテーブルを予め作成しておき，それを参照することで高速化を行った．また，処理を 4 並列で動かすことで高速化を図っている(図 7)．この際，計算コストの高い回転を加える処理までを共通部分とし，並進を加える処理以降を並列化することでリソースを削減している． 4.4 操舵マップデータに走行させたい経路に沿った目標座標点を列挙しておく．各目標点を順番に巡ることで自律走行を行う．目標点への操舵は自己位置・向きと目標座標を用いて目標点へ向かうための角度を算出し，それに従い操舵を行っている． 5. 結果緑色の線のように走行するよう設定し，実験走行を行った(図 8)．緑色実線部は想定通りの経路を自律走行したが，その後緑色の点線のように進むべきところを赤色の線のように進んでしまった．これは ➨䢴䢻ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢳ᖺ䢻᭶䢹᪥ࠥ䢻᪥凛 10m 以内に立体物が存在する環境下でステレオカメラのみをセンサとして自律走行を行えるようになった．今後は近くに立体物が存在しない環境でも動作するよう，精度を良くしていくことを目指す．また，通行人などの障害物が多い環境での動作のために頑強性を上げていく．参考文献 [1] 実吉敬二: “ステレオ法による立体画像認識の基礎と車載カメラへの応用”, 株式会社トリケップス, 2007. [2] 岩田啓明,実吉敬二: “ステレオカメラによるビジュアルドトリおび自己位置認識”, 第 11 回計測自動制御学会システムインテグレーション部門講演会, 2010.