一般調理道具を扱う等身大ヒューマノイドの認識行動システム統合 とサラダ調理の実現 System Integration of a Lifesized Humanoid Robot and its Application to Make a Salad with Handling General Cooking Tools 渡辺 義明 長濱 虎太郎 ○正 山崎 公俊 岡田 慧 正 稲葉 雅幸（東京大学） Yoshiaki WATANABE Kotaro NAGAHAMA, *Kimitoshi YAMAZAKI, Kei OKADA and Masayuki INABA (The Univ. of Tokyo) [email protected] This paper discribes an integrated system of a lifesized robot which has abilities to do cooking with handling general tools. Basic visual functions based on images are connected and used to recognize general objects as vegetables, a knife, and a cutting board existing in a kitchen. Finally, we report an application of our system, the robot made a salad by cutting a vegetable, moving the vegetable from cutting board to a bowl. Key words: lifesized robot, system integration, cooking 1 はじめに 生活支援を行うロボットに望まれる機能の一つとして， 人が使うことを想定して作られた様々な道具を扱い，人 間に有益な仕事をしてくれることがある．本論文では一 般的な家事支援作業の例として調理行動を取り上げ，食 材の加工を可能にする認識行動システムについて述べる． また，その適用例としてサラダ調理を実現したことにつ いて報告する． キッチンの前に立ち，そこには食材と調理道具が置い てあるとする．例えばそこで野菜サラダを作ろうと考え た時，行うべき動作として以下のものが考えられる． • 野菜をまな板の上へ移動する • 包丁を使って野菜を切断する • 切断後の野菜をまな板から容器へ移す • 容器へ移した野菜にドレッシングをかける 本研究の目的は，上記のような比較的複雑な行動を一 台の機能統合型ロボットで実現することである．ステレ オカメラや力センサといった生活支援ロボットに一般的 なセンサ構成を想定し，単純なセンサ情報処理を複数内 包した認識行動システムを構築する．そして，これらの 処理関数を組み合わせた認識機能をロボットの調理行動 の中に組み入れることで，野菜の種類や色，大きさなど に適応した調理を行わせる． 生活支援ロボットの研究は近年盛んであり，日常環境 での道具操作が実現されている [1][6] [7]．これらの研究 では，一度に扱う対象物は一つであったり，操作対象の 形状等が既知とされていることが多かった．一方で，本 研究で対象とする「調理」は，非定型物体である野菜を 加工対象とし，包丁やまな板などの複数の道具を同時に 扱う課題である．これを実現するための認識行動システ ムを構築する．このシステムは，野菜が切断しきれない などといった失敗の検知とその回復へも応用する． Fig. 1: A lifesized robot for making salad 2 調理行動を可能にする認識行動システム 2.1 等身大ロボット (図 1) 本研究では，上半身に２本の腕と頭部を持ち，人間に 準ずる自由度を持った等身大ロボットを利用する．頭部 にステレオカメラ１台と高解像度カメラ２台が，手首部 に力センサが搭載されている．腕はそれぞれ７自由度で， グリッパ型のエンドエフェクタが取り付けられている． 図 1 下には，ロボットがドレッシングをかけている様 子と，ロボットから見た完成したサラダを表している．以 降では，本研究でサラダ調理を行った際のアプローチと 手法について述べる． ておき，それらを適所で組み合わせて利用する方針の元 で，野菜の移動や加工に必要な認識器を構成する． 3.1 視覚認識のアプローチ キッチン環境は，加工がしやすいよう平板で構成され ることが一般的であり，幾何的な事前知識を与えること が比較的行いやすい．一方で，天板がステンレス製で反 射が起きやすいなど，視覚認識を行う際に対処すべき問 題がある．そして，まな板やボールなどの調理道具は，あ まり模様を持たない物体である．また，野菜は，同種類 であっても形状が同じとは限らず，決まった模様を持つ とは限らない．すなわち，画像特徴点のような従来の物 体認識でよく用いられる方式では，認識が行いづらい対 象である． 本研究では，エッジや色といった単純な画像特徴を組 み合わせ，対象の発見や状態認識を行う．具体的には，以 下の処理関数を揃え，組み合わせる． Fig. 2: A software system integrating recognition with be- • エッジ抽出 havior • 色や濃淡値に基づく領域分割 • 特定領域内での色の比較 2.2 アプローチ 調理の最中は，単一の道具に注目するだけでなく，1. 調理対象，2. それに所望の変化を与える道具，3. 調理対 象を支える道具，などを全て把握する必要がある． 1. は，サラダ調理においては野菜などの加工対象を指 す．これらは種類によって様々な形をしており，同種で あっても形状が一定ではない．そのため，正確な幾何モ デルを事前に与えることが困難である．そこで本研究で は，野菜の種類等の基本的な知識のみを予め与え，見た 目や形状等の加工に必要な情報は調理中に獲得するアプ ローチを取る． 2. は，包丁などの片手持ちの道具を意味する．これら の正確なモデルは事前に与えることも可能であるが，ロ ボットの把持状態までを考慮すると，それらの情報のみ で全ての動作を保証することは難しい．そこで本研究で は，道具の種類とその特性（包丁であれば，刃面の向き や持ち手の位置等）を事前知識として与え，その長さや 幅については，ロボットがそれを把持した後に，視覚と 力覚によって確認するアプローチを取る． キッチンやまな板などは 3. に分類でき，調理目的によっ て変更されることは少ないと考えられるため，本研究に おいては，これらの幾何形状は既知とする． 2.3 認識行動システム 図 2 に，本研究で構成した認識行動システムを示す．視 覚・力覚に基づく認識系，道具操作を司る動作系があり， 認識系は，野菜や道具の状態を把握するための機能であ る．本研究では，基本的な処理の組み合わせでこれらを 構成する．動作系は，作業目的を達成するためにロボット の操作姿勢を生成する機能と，なじみ動作などのために センサ情報から関節の動きをリアルタイムで制御する機 能がある．前者には手先姿勢を入力とした逆キネマティ クスによる姿勢計算法を，後者には位置制御ベースのイ ンピーダンス制御を，それぞれ採用した． 3 視覚による道具・野菜の発見と状態認識 調理は複雑な行動であり，そこでは様々な認識が必要 となる．本研究では，シンプルな視覚関数を複数実装し • 特定領域内での背景差分 • 特定幾何形状の検出 • エッジ同士の位置あわせ これらは，実装の手間がそれほど掛からないものばかり である． 組み合わせの方針は，認識対象に関する事前知識をな るべく少なくすることとした．具体的には，道具の正確 な三次元形状モデルは与えず，野菜の色情報等もなるべ く調理中に獲得する． 以下では，本研究で構成したいくつかの視覚関数につ いて述べる． 3.2 まな板の発見 まな板は長方形で形作られるという仮定の元，撮影画 像から抽出した直線分の組み合わせでまな板領域を発見 する．この領域は，例えば，切断後の野菜がまな板のど こに存在しているかを識別するための背景領域として用 いられる．図 3 上段の右上は，ロボットが片手でまな板 を持っている状況で，視野画像から得られた３本の直線 エッジからまな板領域を特定した際の結果である． 3.3 包丁操作における野菜状態認識 包丁を用いた切断行為により，野菜は分割される．こ の後，野菜片を別の容器に移すことを考えると，まな板 上のどの部分にそれらの野菜片が存在しているかを把握 しておくことが必要である．図 3 中段は，にんじんを対 象とした場合の野菜片認識結果を示している．ここでは， 野菜片がまな板上に存在しているという仮定の元，まず まな板を発見し，あらかじめ記録しておいたまな板の色 情報を元に，まな板領域中でまな板以外の領域が野菜領 域であるとして，野菜片を検出している． 3.4 皮むき行動における野菜状態認識 ピーラーを用いた皮むきは，片手で野菜をまな板に押 しつけ，別の手に持ったピーラーをその野菜表面になぞ らせることで行う．ここで視覚に求められる機能として， 皮のむけ具合を検出することがある．本研究では，まず Fig. 4: Bowl detection based on circle extraction Fig. 3: Recognition based on elemental visual functions Fig. 5: Knife trajectory definition in the case of dual arm manipulation 皮むき前後の画像から，皮と中身のそれぞれの色情報を 取得する．そして，皮をむく前後の野菜領域で色差分を 取り，皮むきが行われた部分を抽出する (図 3 下段)．た だし，皮むき動作時に野菜が動くことも考えられるため， 色差分をとる前に，野菜の輪郭情報を用いて位置あわせ を行う．なお，サラダ調理でこの行動は含まれないため， 皮むきの実現については文献 [2] を参照されたい． 3.5 円形食器・調理道具の発見 キッチンの天板は水平であり，ボールなどの容器や皿 などは円形で構成されるという仮定のもと，首の現在角 度情報を用いて画像を透視変換し，撮影視点を仮想的に 真上に移す．その後に，ハフ変換を用いて円形領域を抽 出する． この方式は，取得画像を加工し幾何変換を行う点で，単 純な処理を可能にする．ただし，3.1 節で述べたように， キッチン環境では反射等の影響でノイズが発生しやすく， 実在する円形を見つけるには工夫が必要である．そこで， 閾値を低めに設定したハフ変換で候補を出した後 (図 4(4) 赤円)，抽出された各円の中心について画像を極座標変換 し（図 4(3)），その極画像から直線を見つけることで，比 較的ロバストな円形検出を実現した．図 4(4) に示したピ ンクの円が，検出されたボウルを示している． 4 力覚による状態認識と道具操作 双腕により調理を行いながら，道具や野菜の状態を把 握することは重要である．頭部のカメラによってこれら を行えば良いが，自分自身のアームや手に持った道具な どによりオクルージョンが起きるため，視覚で全てを補 うことは困難である．また，野菜の硬さなど，視覚以外 のセンサを用いたほうが検出しやすい情報もある．そこ で，手首に搭載された力覚センサを用いる． 力覚の利用方針は二通りある．一つは，視覚の補助で あり，視覚で測定しづらいような道具や野菜等の部分形 状を，押し付け力によって判断する．もう一つは，セン シングの結果を入力としたアームのインピーダンス制御 [5] により対象へのなじみ動作を行う方法である． 以下では，本研究で構成したいくつかの力覚関数につ いて述べる． 4.1 ピーラーを用いた皮むき操作 野菜表面は微妙な凹凸があり，皮むきを行うためには 表面に馴染むように道具を動かす必要がある．本研究で は，このため位置指令型のインピーダンス制御を採用し た．この詳細は文献 [2] を参照されたい． 4.2 調理道具や野菜の形状認識 野菜は表面にテクスチャが少ないため，ステレオカメ ラを利用したとしても，その詳細な三次元形状を獲得す ることが困難である．例えば，切断行動においては，野 菜の切り出し位置をどこにすべきかを視覚のみで正確に 判定することは難しい．そこで，視覚にて大まかに判断 した野菜の存在領域へ向けて調理道具を近づけいていき， 力覚により野菜の端点を見つける． 5 調理のための動作記述 調理行動では，複数の物体を同時に扱う必要がある．サ ラダ調理においても，まな板，ボール，包丁，野菜をそ れぞれの役割に沿うように操作する必要がある．以下で は，ロボットの動作生成方針について説明する． Fig. 6: Salad making sequence 5.1 双腕マニピュレーションの設計方法 本研究で用いているロボットは人間に類似した関節構 成であるため，その動作を生成する上では，普段の人間 の動きが参考になる．これは調理行動にも言える事であ り，例えば，まな板上の野菜を切る場合，ロボットをキッ チンに対して正面に向かせるよりも，包丁を持っている 方の腕を少し後ろに引き，斜めを向いた状態にしたほう が，包丁の可動範囲を広く保つことがわかった．そこで [8] 等を参考にして，ロボットの作業姿勢の設計を行った． なお，二本の腕を使ってマニピュレーションを行う利点 の一つは，ある道具を持つ片腕の動きが可動範囲限界に 近づいたとしても，別の道具を持つもう一方の腕の動き を変更することで，操作性が調節できることである．図 5 はまな板上の野菜片をボールに移し変える動作の例で あり，包丁を利用し，キッチン上に置かれたボールの中 に野菜を落としている．このとき，包丁を持つ方の腕の みを動作対象にすると可動範囲が足りずに野菜を落とし きることは難しい．そこで，まな板を持つ方の腕を包丁 に対して後ろに引く動作を加えれば，まな板全体の野菜 片を集めることができる． 5.2 手先目標姿勢の設定 双腕動作は，時刻付き手先座標列を入力とする．これ を，前節で述べた移し変え動作を例に説明する． 図 5 の赤線，緑線に示すような基本軌道を決定した後， それをいくつかの経由姿勢に分割し，手先もしくは道具 の作用点がその経由姿勢を通るように逆キネマティクス を解く．このとき，左右のアームの動きが同調するよう に，経由姿勢間の動作時間も設定する． 6 サラダ調理実験 本システムでは，3 章，4 章で述べたように，視覚と力 覚に関する複数の機能を備えるように設計し，それらの 組み合わせで認識機能を構築した．これにより，個々の 関数は再利用が容易になり，調理行動の各所に入れるこ とができる．図 6 にサラダ調理の一連の流れを示す． この調理シーケンスの中で，例えばまな板上へ野菜を 移動するときにその掴みあげができなかった場合，それ を検知し掴み直しを行うようにした．この他にも，セン サによる切断状況確認と再切断動作などを実装し，既存 の認識・動作関数の再利用によって失敗認識・回復が可 能であることを確認した． 7 おわりに 本論文では，一般的な家事支援作業の例として調理行 動を取り上げ，食材の加工を可能にする認識行動システ ムについて述べた．生活支援ロボットに一般的なセンサ 構成の元で，単純なセンサ情報処理を複数内包した認識 行動システムを構築し，サラダ調理を実現することで，そ の有効性を示した． 今後の課題は，自らの置かれた状態と目標を比較し，自 律的に状態を修正することができるシステムの構築であ る．本研究では調理シーケンスを人手で設定していたが 調理を行う上では様々な失敗が考えられる．それらの回 復策を全て定義しておくことは困難であるため，想定し た状況とセンシングの結果を照合し，不具合があればそ れを修正する機能の自律化を目指す． 参考文献 [1] 渡辺，森，得津，岡田，稲葉： 「ヒューマノイドによ る包丁操作における認識行動システムの実現」第 9 回 SICE システムインテグレーション部門講演会講 演概要集, 739–740, 2008. [2] 渡辺，長濱，山崎，岡田，稲葉：「表皮視覚認識と 凹凸形状へのなじみ動作に基づく野菜皮むき行動の ヒューマノイドによる実現」第 22 回ロボティクス・ メカトロニクス講演会予稿集，2010. [3] 辻調理師専門学校 編集：「料理をおいしくする包丁 の使い方,」ナツメ社, 2007. [4] 小倉，岡田，稲葉「視覚と力覚を利用したヒューマ ノイドによる野菜切断作業の実現」第 24 回ロボット 学会学術講演会予稿集, 1H25, 2006. [5] 小菅： 「力制御法の分類と制御システムの設計法」日 本ロボット学会誌，vol.9, no.6, pp.751–759, 1991. [6] 山崎 他：「日用品データベースを利用する家事支援 ロボットによる思い出し・片付け支援」第 27 回ロ ボット学会学術講演会予稿集，2E2-04，2009. [7] 菅野，菅岩，岩田：「人間共存ロボットにおける生 活支援のためのビジョン技術」日本ロボット学会誌, vol.27, pp.596–599, 2009. [8] 田中恒雄： 「包丁入門」柴田書店 1992.
© Copyright 2024 Paperzz
