プレスリリース 2012 年 5 月 23 日報道関係者各位慶應義塾大学顔の向き・表情をリアルタイムで操作可能なアバターシステム～一般的な PC ユーザ向けモーション生成ソフトウェア開発を目指す～慶應義塾大学理工学部システムデザイン工学科の満倉靖恵准教授らの研究グループは、一般的な PC と USB カメラ 1 台だけを用いて人間の顔の向きや表情の変化を高速・高精度に計測する手法の開発に成功しました。これまで映画やゲームなどの CG アニメーション製作におけるキャラクターのモーション生成には、特殊な機材が必要とされてきましたが、今回の手法では、特殊な機材を必要としないばかりか、時系列的信号処理手法を用いることで、誰でも簡単にリアルタイムに画面上のキャラクターを操作することができます。このアバターシステムを応用し、今後は、一般的な PC ユーザ向けのモーション生成ソフトウェアの開発を目指すほか、さまざまな分野への応用や実装を進めていく予定です。 1．背景と意義映画やゲームなどの映像作品によく見られる CG アニメーション製作には，モーションキャプチャと呼ばれる人体の動きを計測する特殊な機器が必要なほか、キャラクターのモーション生成には骨の折れる手作業を要するのが現状です。中でも、顔のモーションは細かな表情や顔の向きを表現することが難しいと言われています。一方、近年の動画投稿サイトの普及により、商用だけでなく趣味や娯楽を目的とした CG アニメーション製作への注目が高まっており、一般的な PC ユーザの間で、簡単にキャラクターを操作できるシステムの開発が強く望まれています。 2．内容と成果今回開発したアバターシステムのセールスポイントは、市販の PC と安価な USB カメラのみを使用し、ユーザの顔を一度登録するだけで、カメラから計測された人物の顔の動きを CG キャラクターに簡単にオンラインで反映できる点です。顔の検出・追跡には、時系列信号処理の手法を応用し、目や鼻、口などに配置された特徴点を高速・高精度に追跡しています。図 1 はカメラから取得した画像と顔の検出結果を示しています。白い点は顔の追跡に利用した特徴点、黒い線は顔の向きを表わしており、顔の向きや口の動きに合わせて適切に顔を検出していることが分かります。さらに、表情の変形の仕方を統計・解析することで、顔の向きだけでなく、眉や口の動き、笑い、怒り、驚きなどの表情を遅れなしで表現することもできます。図 2 はアバターシステムの動作結果の例を示しています。それぞれの結果は図 1 の顔と対応しています。CG キャラクターは、インターネット上で公開されている任意の画像にも利用できます。これまでの手法では、顔にマーカーをつけたりするモーションキャプチャシステムが必要でしたが、このシステムはカメラ 1 台で利用できますので、安価で簡易なシステムを実現しています。このシステムはＰＣ画面上に操作者が近寄ると、キスをしてくれたり、作り笑いをするだけで満面の笑顔を振りまいてくれるため、心癒されるシステムにもなっています。 1/2 図 1 カメラから取得した画像と顔の検出結果図 2 アバターシステムの動作結果（モデル：天羽ソラⒸISAO） 3．今後の展開今後は、一般的な PC ユーザによるモーション生成ソフトウェアの実現を目指すほか、ゲーム製作やウェブ対話システム、販促イベント、生放送などの様々な場面への応用を考えています。また、スマートフォンなどのモバイル機器への実装も予定しています。 ※ご取材の際には、事前に下記までご一報くださいますようお願い申し上げます。 ※本リリースは文部科学省記者会、科学記者会、各社科学部、社会部に送信させていただいております。本研究に関するお問い合わせ慶應義塾大学理工学部システムデザイン工学科准教授満倉靖恵（みつくらやすえ） TEL：045-566-1718 Email：[email protected] http://www.mitsu.sd.keio.ac.jp/ 本資料に関するお問い合わせ慶應義塾広報室久保 TEL：03-5427-1541 FAX：03-5441-7640 Email：[email protected] 本資料の pdf ファイル(カラー版)を以下に掲載しています。 http://www.keio.ac.jp/ja/press_release/ 2/2