３次元座標取得によるユーザインタフェイスに関する研究～Kinect によるバーチャルキーボード～摂南大学 103021 尾上弘樹理工学部電気電子工学科電子光機器研究室 Studies on user interface by three-dimensional coordinate acquisition ‐Attempt of virtual keyboard implementation by using Kinect – Hiroki Ogami Electronic and Optical Systems Lab., Dept. of Electrical and Electronic Engineering, Setsunan Univ. １．概要また、図 2 は先ほど記述した 2×2 の 4 つの領域でテスト現在、顔やバーコードなどをカメラによって認識、処理を行なったときのデモンストレーション写真である。図 2 することが当たり前となっている。しかし、よく見かけるの補足として指を下ろす時に指先だけ指の付け根に比べてのはカメラによってキャプチャされた動画や画像といった少し下がるために Kinect と指が平行でなくなるため、精度２次元のデータを処理していることが多い。今回は kinect が落ちる結果として、第一関節あたりに指先の判定が表示を使用し、深度センサを使って動画、画像に加えて奥行きされてしまう。を含めた３次元のデータを扱い処理する。実際に処理を行なうにあたって、キャプチャされた動画に映る指先の座標とカメラと指先までの距離データを使用し、バーチャルキーボード向けのプログラムを実装し，その動作を実験検証する。２．研究状況スケッチプログラミング環境は processing、カメラは Kinect for キャプチャデータ Windows ライブラリは SimpleOpenNi、FingerTracker(4)を使用している。現在は動画内に 2×2 の 4 つの大きな領域を実行出力表示させ、例えば右上の領域内で指を下せば「Right Up」と表示させるところまで成功している。３．説明図図2 Kinect の深度センサが使用可能な範囲は 800mm~4000mm であるので机から 800mm 以上高い位置に Kinect を設置しなくてはならない。図 1 は設置場所と手を置く机との距離を深度センサによって測定するプログラムの動作画面である。 4 つの領域でのデモンストレーション写真４．今後の課題現在のところ，最大の課題は指先検出の精度である。 Finger Tracker は深度センサーによって手の凹凸から指先検出を行なっているので手がカメラに平行でなくなったりするとうまく認識しなくなる。そしてこの対策としては深度情報ではなく色相によって指先を検出できるようにプログラムを改善している。文 (1)工学ナビ Kinectと机との距離献 (2013 年 12 月) http://kougaku-navi.net/index.html (2)Processing 1.0 _ALPHA_ » Reference (2013 年 12 月) http://tetraleaf.com/p5_reference_alpha/index.html 測定点 (3)Processing で学ぶプログラミング入門(2013 年 12 月) http://mmil.cse.kyoto-su.ac.jp/learningProgramming/ (4)FingerTracker(2013 年 1 月) 図 1 距離測定プログラム http://makematics.com/code/FingerTracker/