ジェスチャーインターフェースが 実現するモバイル新時代

NTT COMWARE
Corporate Magazine
Vol.
01
59
とは
『 TERA(てら)』には 2 つの意味があります。1 つは、数
量単位で「兆=10の12 乗」。これはギガビットの次の
大容量伝送処理能力のことです。もう1 つは、
「地球
・大地」
(ラテン語)。環境にやさしい企業活動を続
けたい、という意味を込めています。
明日につながる基礎知識
M2M
02
07
特集
ジェスチャーインターフェースが実現するモバイル新時代
社長対談[8 ]
会社本位ではなく
「お客さま本位 」
で
安心・安全を世界のお客さまへ
東京海上日動火災保険株式会社 取締役社長
NTTコムウェア 代表取締役社長 海野 忍
11
COMWARE'S EYE
15
未来技術予報 vol.1
17
特集
ジェスチャーインターフェースが
実現するモバイル新時代
永野 毅 氏
人材派遣管理業務にまつわる課題を
解決するクラウド型サービス「My Staffia®」
SDN (Software Defined Networking)
ユーザーの体感品質に基づいてネットワークを最適化する
ニッポン・ロングセラー考
ビゲン しっかりキレイに白髪を染める、信頼のヘアカラーブランド
明日につながる基 礎 知 識
詳しくは…
コムジン
検索
http://www.nttcom.co.jp/comzine/
M2M
M2Mとは
「Machine to Machine
(マシン・ツー・マシン)
」
の略で、通信ネットワークにつながった機器同士が、
人間を介さず互いに情報をやりとりすることを意味する。M2M 機器には、通信装置以外にセンサーなど
が組み込まれ、自動的にデータ収集や遠隔監視・制御などが行えるようになっている。
身近な例が次世代自動販売機だ。前に立つと、搭載された属性判別センサーが利用者の顔の画像を分析
し、年代・性別を判定する。サーバーのデータベースとマッチングして、その人に合ったおススメ商品を
ディスプレーに表示するのだ。利用者属性と、どの商品をいつ買ったかといった販売情報はサーバーに送
られ、データベースに蓄積される。M2M では、機器から直接データを取得して、現場の傾向や変化をリ
アルタイムで把握できるので、マーケティングデータとしての活用も可能だ。この次世代自販機は、従来
機の約1.5倍の販売力があるといわれ、新製品開発やヒット商品の誕生にも一役買っているという。
1
コンピューターでもテレビでも、スマートフォンでも、機器を操作するときには、マウスやリモコン、タッチパネルな
どに 触れる 作業が必要になる。この接触をなくして、身ぶりや手ぶりで機器を操作できるようにする技術が「ジェ
スチャーインターフェース」だ。ジェスチャーインターフェースは、距離画像センサーと呼ぶ距離を測れるセンサー
を使って実現する。これからのモバイル時代には、ジェスチャーインターフェースが重要で、多くの米 IT 大手企業
で開発競争が繰り広げられている。
2
特集 ジェスチャーインターフェースが実現するモバイル新時代
「ジェスチャーインターフェースが実現するモバイル新時代」
小型低価格化
距離画像センサーで
空間を立体的にとらえる
距離画像センサーの2つの方式
光源
Light Coding 方式
TOF方式
距離の違いを反射の時間差で測定
反射したパターン
センサー
スマートデバイス・デジタルサイネージなど
ウエアラブル端末など
パターン[D]
パターン[B]
比較
立体物あり
対象物の形状に沿った
ゆがみから距離を測定
パターン[ A ]
パターン[C]
コンピューターと人間との間で情報
ある。そして手や指、体の動きを認識
現する上で、最も重要な技術が対象の
パターンはゆがむことなく反射され
手前側(後方)にセンサーを向けるケ
に含まれるソリューションである。
を受け渡す際には、何らかの媒介手段
して操作につなげるのが「ジェスチャ
動きを認識するモーションセンサーで
る。一方、立体物が途中にあれば、反
ースが考えられる。
空間を3D でとらえることで用途は
が必要になる。これがユーザーインタ
ーインターフェース」というわけだ。
ある。一般的に、モーションセンサー
射されるパターンが立体物の形状に応
UI の利用ケースとして理解しやす
格段に広がる。例えば3D センサーを
ーフェース(UI)である。
「ジェスチャ
ジェスチャーを機器の操作に利用す
には、
赤外線やレーザーを利用した
「距
じてゆがむ。このゆがみから距離を測
いのが、前方にある機器の手前側に向
自律型走行システムの目として使うこ
ーインターフェース」は、人間からコ
るというと、任天堂のゲーム機「Wii」
離画像センサー」が用いられる。距離
定するわけだ。もう1つの TOF は、そ
けてセンサーが付いている場合だ [A]。
とも考えられている。3D の空間情報
ンピューターへの情報の伝達を、手や
を思い起こすかもしれない。Wii で
画像センサーとは、デジタルカメラの
の名称の通り、光が対象物との間で往
手で直接届かない巨大なデジタルサイ
を読み取りながら行動できるようにな
指の動きで行うユーザーインターフェ
は、
「Wii リモコン」と呼ぶコントロー
ように2次元の画像を記録するだけで
復するのにかかった時間を測定して、
ネージなども、ジェスチャー操作によ
れば、自律型走行の精度は高まる。複
ースのことだ。
ラーを動かして、人間の動きをゲーム
なく、対象との距離を同時に測定する
距離を算出する。
り使用可能となる。
雑な形の美術品などあまり触れられな
まず、ユーザーインターフェースに
機本体に無線通信で伝えている。ジェ
センサーである。
Light Coding は精度を高めるのが
ウエアラブル機器の前方にセンサー
いものでも、画像を撮影して(すなわ
ついて少し整理しておこう。ユーザー
スチャーインターフェースでは、これ
距離画像センサーを用いると、画像
難しい半面、コストを下げられるため
が取り付けられている場合は、自分の
ち3D モデリングをする)
、格納場所や
インターフェースには、古くからさま
をさらに進めて、コントローラーを使
の中のある部分の物体が、センサーか
普及が早かった。Kinect も、初期バ
手の動きをとらえて端末の操作が可能
搬入ルートのシミュレーションに活用
ざまな方式が生み出され、使われてき
わずに人間の身ぶり手ぶりをセンサ
らどのぐらいの距離にあるかが分かる。
ージョンは Light Coding を採用して
になる [B]。ウエアラブル機器の後方
することも考えられる。
た。古典的なものが「キャラクターユ
ーが読み取り、機器の操作を実現す
すなわち、静止画であればその中に写
いた。一方の TOF は、精度は高いも
にセンサーが取り付けられているケー
距離が分かるセンサーがスマートフ
ーザーインターフェース」
(CUI)で、
る。ジェスチャーインターフェース
った複数の対象物間の距離を測れるた
のの、これまで価格がネックになっ
スでは、背後の人間の動きを察知する
ォンやデジタルサイネージ、さらには
コンピューターの画面に表示される文
を利用した代表例は、Microsoft がゲ
め、各対象物の位置関係も判明する。
ていた。最近では TOF の低価格化が
といった安全面のソリューションが考
テレビや身の回りの多くの機器に搭載
字を見ながら、キーボードによるコマ
ーム機の「Xbox シリーズ」で採用して
また動画であれば、センサーがとらえ
進み、Kinect も最新バージョンでは
えられる [C]。
されるようになると、リモコンなどを
ンドを入力する形態である。次に現
いる「Kinect(キネクト)
」だろう。コ
た人物の行動や手指の動きを知ること
TOF を採用しているように、主流が
前方にある機器の、さらに前方にセ
使わずにジェスチャーで遠隔操作が可
在も一般的に使われているのが「グラ
ントローラーを使わずに、体の動きや
ができる。対象物までの距離が測れる
高精度の TOF にシフトしてきている。
ンサーがある場合は、少し用途が異な
能になる。さらにセンサーが見た「世
フィカルユーザーインターフェース」
音声によってゲームなどを楽しめる。
ため、遠くの通行人の行動に影響を受
る [D]。スマートフォンのカメラと同
界」が3D データとして立体的にとら
(GUI)で、アイコンやボタンなど画
Kinect の登場で、ジェスチャーイン
けず、目前にいる人の動作だけをコマ
様、利用者が見ている光景の中で距離
えられるようになると、考えもつかな
像を使った表示に対して、マウスでポ
ターフェースは SF の世界から一気に
ンドとして受け取ることも可能だ。
を測定することになる。スマートフォ
かった新しい情報の活用法が生まれる
インターを操作して指示を出す。
現実の UI へと急接近してきた。さら
距離画像センサーには、大きく2つ
距離画像センサーを使った UI には、
ンに3D スキャナーが搭載されている
かもしれない。道路を走りながら距離
近年になって、もっと人間にとって
に、
センサーの低廉化や小型化が進み、
の方式がある。
「Light Coding」
(パ
操作する人間と距離画像センサーとの
と考えると分かりやすいだろう。
画像センサーで街並みの様子を3D の
自然で直感的な操作ができる UI とし
スマートフォンやウエアラブル端末に
ターン照射方式とも呼ぶ)と、
「TOF」
相対的な位置関係により4つのパター
距離画像センサーを使ったソリュー
空間情報を含めて記録すれば、現在の
て登場してきたのが、
「ナチュラルユ
ジェスチャーインターフェースの応用
(Time of Flight)である。いずれも赤
ンが考えられる。まず、距離画像セン
ションが生み出される中で、Google
2D である地図のストリートビューが、
ーザーインターフェース」
(NUI)であ
が広がる可能性が見えてきた。
外線やレーザーを照射して、その反射
サーが人間の前方にある機器に付いて
が2014年2月、スマートフォンに距離
3D 空間へと拡張できるようになる。
を読み取って距離を測定する。
いる場合がある。もう1つがメガネ型
画像センサーを組み込む新しいプロジ
仮想空間と現実空間の距離が一層近づ
Light Coding では、発射する光に
の端末などウエアラブル端末に付いて
ェクトを公開した。スマートフォンが
くわけだ。ジェスチャーインターフェ
ドットなどで模様(パターン)を持た
いる場合だ。それぞれ、人間の正面か
距離を含めて空間を3D として認識で
ースとその技術の応用が、私たちを新
せておく。
対象物が平たんな壁ならば、
ら前方にセンサーを向けるケースと、
きるようになる。前述のパターン [D]
しい世界へと導いてくれる日は近い。
る。NUI を実現する方式には、スマー
トフォンやタブレットで採用されてい
る、指によるタッチパネル操作や、音
声を認識して操作する音声入力などが
3
センサー
反射したパターン
立体物なし
画像情報に加えて距離も測定
位置関係や動きを認識する
ジェスチャーインターフェースを実
何の動きを読み取るか
そこから何ができるか
4
特集 ジェスチャーインターフェースが実現するモバイル新時代
Interview
モバイル機器へのセンサー搭載で変わる用途
「ジェスチャー言語」の共通化など課題も浮上
技
も有望です。通常の可視光線のカメラでは暗いところが
見えませんし、ステレオカメラを使っても対象物との距離
を正確に測ることができません。距離画像センサーをロボ
ットの目にすることで、暗所の作業や正確な距離を必要と
術としては、すでに実用化段階にあるジェスチャ
のステップへと画面をスクロールさせられる。非接触で
する作業が、容易にできるようになります。Google はロ
ーインターフェースだが、実際のアプリケーショ
機器を操作できることは、ジェスチャーインターフェー
ボット関連の会社を買収しているため、距離画像センサ
スにどのような付加価値をもたらすのだろう。
ーのロボットへの応用も進むでしょう。
触れないシチュエーションでも
自由に操作できることの意味
ジェスチャー言語の共通化や
ウエアラブルとの連携が課題を解決
う Natural Software の中村薫氏に、トレンドを尋ねた。
中村 例えば、ユーザーとのインタラクティブ性を持た
ジェスチャーインターフェースは、まだ実用化が始ま
せたデジタルサイネージを考えてみましょう。タッチパ
ったばかりの新しい技術だ。それだけに、広く普及させ
中村 ジェスチャーインターフェースを実現するハード
ネルで操作するとしたら、そのサイネージはせいぜい40
て活用するには課題もある。
ウエア技術は、実はそれ自体が新しいものではありませ
∼60インチ程度でしょう。画面が大きくなると手が届か
ん。赤外線やレーザーを使った距離画像センサーや、そ
ない領域ができてしまいますから、100∼200インチとい
れを利用したソリューションはこれまでも存在しました。
った大型のサイネージを操作するには、Kinect などのジ
「共通言語がない」ということです。今は、さまざまな機
ところが、2013年から14年にかけて、センサーの小型化
ェスチャーインターフェースが適しています。大画面の
器に対してそれぞれのジェスチャー言語が乱立している
が進み、スマートデバイス向け OS にデバイスドライバ
サイネージは没入感が大きくコンテンツに入り込みやす
段階です。
ーが対応するなど、環境が変化しつつあります。スマー
いですし、大きなものを動かす心地よさも感じてもらえ
画面を開く、閉じるなどの操作をするときに、共通の
トフォンやタブレットといったモバイル端末でも、距離
ます。ジェスチャーインターフェースを使うことで、こ
ジェスチャー言語があれば、複数の機器を使うときに混
画像センサーを備えればジェスチャーインターフェース
うした新しい使い方や体験の提供ができるのです。
乱することがなくなるでしょう。ある行動を示す動作と
のインターフェースとして補完し合う関係にあるといえま
による入力や、3D スキャナーによる空間情報の取り込み
非接触の UI であるジェスチャーインターフェースと相
して「人間が楽に指示できる動作」という条件もあると思
す。スマートデバイスが普及し、ウエアラブルの可能性
ができるようになってきました。
性が良さそうなものとしては、仮想の試着システムなど
います。現在は、ジェスチャーインターフェースに関連
が高まってきた今、ジェスチャーインターフェースは新し
小型化と、端末への内蔵化の動きは、IT 企業における
もあります。ディスプレーの前に立った自分の空間情報
するコミュニティーで、ジェスチャー言語の共通化につ
い利用シーンへとこぎだすことができるのではないでしょ
開発競争の新潮流となっています。Xbox の Kinect など、
を読み取り、好みの服やアクセサリーなどを3D で「着せ
いて議論を進めているところです。
うか。
これまでの距離画像センサーのソリューションでは、パソ
替え」してディスプレーに表示させます。現在も2D のも
距離画像センサーを使って、ジェスチャーを認識する
もう1つの課題は、触覚です。ジェスチャーインターフ
コンにセンサーをケーブルで接続し、電源を用意する必要
のならありますが、3D 空間情報を読み取れる距離画像
現在の方式に依存する課題もあります。距離画像センサ
ェースには触覚がありません。スマートフォンなどでは
がありました。Intel は2014年中に距離画像センサーをモ
センサーにより、体の正確な位置関係が読み取れること
ーはカメラが発する光で認識するため、カメラから見え
タッチパネルに触れると振動するような仕組みを用いて、
バイルパソコンに搭載する計画ですし、Apple や Google
で実現します。医療系においても、手術中など手で触る
ないところの情報が得られません。手が体の陰になって
利用者に触覚を提供することがあります。
もスマートフォンへの搭載を考えています。これは、単に
ことができないときでも操作が可能なため、問題解決に
いたらジェスチャーを認識できませんし、利用者はカメ
ジェスチャーインターフェースでも、触覚を提供する
ンへの適用はこれからが本番だ。今後の広がりを占う上
で、どのような点をチェックしておいたらいいのか。ジ
ェスチャーインターフェースの1つである Kinect などセン
サーアプリケーションの開発やコンサルティングなどを行
5
一方、
距離画像センサーの用途としては、
ロボットの
「目」
中村 ジェスチャーインターフェースの最大の課題は、
中村 薫(なかむら・かおる)氏
Natural Software・プログラマー
Kinect をはじめとするセンサーアプリケーション開発や
技術情報の執筆、トレーニングや講演などを行う。主に
Depth センサーを扱い、目的に合ったセンサー利用につい
て紹介する。著書に「KINECT for Windows SDK プログラミング
C++/C# 編」( 共著 ) など
小型化したということだけではなく、距離画像センサー
つながります。
ラの場所を意識していないといけないという問題もあり
研究は進められています。空間の特定の位置を、ジェス
を利用したアプリケーションが、ケーブルから解放され
また、ヘッドマウントディスプレーとの組み合わせで
ます。私は、ジェスチャーインターフェースの課題を解
チャーインターフェースで操作するボタンに見立て、超
ることを意味します。これからは、今まで想像もつかな
新しい可能性もあります。ヘッドマウントディスプレー
決する方法の1つとして、ウエアラブル端末との連携が
音波集音装置で超音波を発信するといった仕組みです。
かった用途が生まれてくる可能性があります。
を装着した複数の人の間で、視界を交換するような新し
あると考えています。
視覚的には何もない空間ですが、ジェスチャーインター
い体験です。企業の新人教育で、熟練した作業員が新人
例えば、指輪の形状のウエアラブル端末に、加速度や
フェースのボタンとして「触れる」ときには超音波がつく
ゲーム分野から普及が始まったジェスチャーインター
の視界を見ながら技術を伝えるといった用途の検討も進
筋電センサーを備えることができれば、手の動きや微細
る振動で指や手に触感が得られるのです。超音波以外に
フェースだが、すでにさまざまな用途での活用が期待さ
んでいます。見ている場所を判別する視線検出機能と、
な指の動きをとらえることができます。何も持つ必要は
も、空気の波動を送ることで、空間に触感をつくり出す
れている。触れずに操作するメリットで分かりやすいの
ジェスチャーインターフェースを組み合わせることで、
ないけれど、カメラから見えないと使えないジェスチャ
技術も研究されています。こうした課題解決や研究の推
は、料理をしながらスマートフォンでレシピ情報を閲覧
機器に触れずに人間の意思を読み取るインターフェース
ーインターフェースと、カメラを意識することなく使える
進によって、ジェスチャーインターフェースは今後、さま
するシーンだ。ぬれたり汚れたりした手でも、調理の次
がより完成に近づくと考えられます。
代わりに身に着ける必要があるウエアラブルは、非接触
ざまな用途で使われるようになっていくと考えています。
6