資料PDF - 東京大学

災害対応ロボットを操作しやすく
するためのインターフェース
会津大学
深谷友祐
1
動機
 災害対応ロボットを開発 (福島県内の企業+会津大学)
• アイザック (会津若松市)
• 栄製作所 (南相馬市)
• TH放電 (喜多方市)
• 会津大学 ← インターフェース開発を担当
• 写真のようなロボットを遠隔で操作する際、周囲の
状況やロボットそのものの状況を知る必要がある。
2
関連研究
東京大学 山下・淺間らによる
全方位俯瞰画像の提示システム
「全方位画像」を用いて上方からの俯
瞰画像を提示する
京都大学 松野らによる
過去画像システム
「過去画像」の整合及びロボットの位
置推定を行い、ロボット本体をCGとし
て画像中に提示する
3
目的
• ロボットが進む方向は主に前方
画像ははっきりとした奥行情報
を持っていない。
ロボット前方のカメラで撮影し
た画像から三次元空間にポリ
ゴンを生成し、その面に元画
像をテクスチャとして貼ること
により、奥行を提示したい。
4
Free view‐point TVについて
会津大学 岡、矢口らによるFree view‐point TVシステム
• 2DCDPによる画像間のマッチング
• 因子分解法による形状復元
ポリゴンの生成
生成されたオブジェクトは
視点移動可能
ポリゴンに元画像をテクス
チャとして貼り付ける
5
2DCDP
 2DCDP
• 会津大学 岡、矢口らによる
• 2次元画像間の全ピクセルについて最適対応がとれる
• SIFT等の従来手法より対応点が多くとれる
6
因子分解法
 因子分解法(正射影モデルの場合)
• 対象物に対して相対運動するカメラで撮影した 枚の時系列画像を考え、1
枚目から特徴点を 点抽出し、その動きを追跡する。
,
で定義する。
行列 を、特徴点 の 枚目の画像上での位置
• また、 の各行の平均を求め の各要素から引いた計測行列 を作る。
,
,

,
•
•
•
⋯
⋯
⋯
⋯
⋯
⋯
⋯
⋯
̅
⋮
̅
⋯
1 ⋯ 1
は2
3の行列 と3
の行列 を用いて
のように分解でき
る。Free view‐point TVシステムでは固有値分解に特異値分解の手法を用
いている。
はカメラの運動情報のみ、 は物体の形状情報のみが含まれる。
と を一意に求める為には画像が3枚以上必要 → カメラが3台ある
7
魚眼カメラの使用
災害対応ロボットには8台の魚眼カメラが搭載されている。
• NM33‐Nを使用
• カメラ内部で魚眼画像→透視投影画像への展開可
仮想的なパン、チルト、ズームが可
能であるカメラとみなすことができる。
実際に可動部があるわけではない
ので、故障が少ないと考えられる。
範囲を決めて透視投影
画像に展開
魚眼画像
8
Free view‐point TVによる三次元復元
<データセットA>
<データセットB>
仮想的に光軸を平行にし、
画像の重複領域を多くした
左
中央
右
光軸はもとのカメラ方向のまま
で、重複領域は左に比べ少ない
左
中央
右
ロボットを5cm前進させる毎に、
撮影を繰り替えし20回(1m前
進分)画像を取得した。
9
異なる撮像領域のデータセットの復元
の比較
<データセットA>
画像間で重複する領域が多く、ポリゴン生
成はより密であると感じた。
<データセットB>
画像間での重複は左に比べれば少なく、画
像外側部分がフラットであると感じた。
• 画像間の重複領域を多くした場合とそうしない場合
で復元を行い比較をしたが、周囲の障害物配置の
認知はほぼ同程度であった。
10
まとめと今後
• ロボットの前方のカメラによって取得された画像から奥行情報
を提示する為に、Free view‐point TVと呼ばれる手法を適用した。
• 三次元復元結果の提示が出来た。
• ズームによって着目したい物体を撮像領域に大きく映るように
することにより画像間での対応点が増え、より密なポリゴン生
成ができると考える。今後その条件で復元を行い、周囲の障害
物配置の認知の評価を行いたい。
11