レーザーポインターを用いたプレゼンテーションシステムの提案高見澤大輔† 現在プロジェクターの小型化が進み，安価に手に入るようになったことからプロジェクターを用いたプレゼンテーションが頻繁に行われるようになっている．しかしながら，スライドの説明はスクリーン上で行われるのに対しその操作は PC 上で行われているため説明が途切れがちになってしまう．これを解決するために本稿ではレーザーポインターを用いたプレゼンテーションシステムを提案する． 1. はじめに 1.1 背 Screen 景 Camera 近年プロジェクターの小型が進み，さらに高解像度 PC なプロジェクターが安価に手に入るようになっている．この事から大学等での大教室における授業や企業の発表会等で，分野を問わず PC を用いたプレゼンテーションが頻繁に行われている．しかしながらプレゼンテーションに適したインターフェースが存在しているとは言い難く，プレゼンテー Laser Pointer Projector ターはスライドに集中しなければならないにも関わらずスライドの操作を PC 上で行うことが多く途切れが図 1 システムの概要ちになってしまう．そこでプレゼンテーションに特化したインターフェースが求められている． 1.2 目的プロジェクターを用いたスクリーン上にスライドを 2. システムの概要本システムではレーザーポインターの軌跡に着目投影するような大画面で行うプレゼンテーションでは，し，これがある動きをしたときに適当なスライド操作その説明にレーザーポインターが良く使用される．そを行う．こで，レーザーポインターを用いたインタラクティブ 1),3),7) なシステムが提案されている．レーザーポイン本システムでは PC に接続されたカメラとプロジェクター，レーザーポインターで構成される（図 1）．ターはスクリーン上でスライドの注目して欲しい点やレーザーポインターは波長が 532nm の緑色光（コク重要な点などを強調するような動作を繰り返す操作がヨサシ-81N）のものを，スポットの検出には USB 多く，スライド中の一点をポインティングし続けるこ R 接続のカメラ（LogicoolWebcam Pro 9000）を用 2) とはあまりなくまた，困難である．そこで本研究でいた．以下に本システムの簡単な処理の流れを示す．はレーザーポインターを動かす動作に着目し，ある動 (1) きをした場合に特定の操作を行うプレゼンテーションシステムを提案する．スクリーン上のレーザーポインターの点（スポット）を検出し，その座標を求める． (2) 直前の座標との差分からスポットの移動量を計算する． † 明治大学計算理論研究室 Meiji University Theory of Computing Lab (3) 移動方向の組み合わせ（ジェスチャー）から入力しようとしている操作を判定する．レーザーポインターを用いたプレゼンテーションシステムの提案 Spot 図2 (4) 図 3 減光された画像スクリーン上でのポインティングの様子結果から適当な操作を発行しスライドを操作する． 2.1 スポットの検出スポットの検出ではまずカメラからスクリーンの画像を取得し，その画像中から適当な領域をスポットとして検出する．検出の方法をいくつか列挙する． (1) 画像中の各画素の画素値を調べスポットの色に合致する領域をスポットとして抽出する． (2) 画像をグレースケールに変換し画素値が最も高いものをスポットとして抽出する． (3) 画像を 2 値化し，最大の領域をスポットとして抽出する．図 4 グレースケール画像 1 の方法はカメラからの画像をそのまま使うことが出来るものの，スポットの色が既知であることとスライ標を画像中の画素値が最も高い画素として検出するこド中に似た色が存在しないことやカメラの性能といっとができる（図 4）．た制約が存在する．2 の方法では画像を一度グレース 2.1.2 方ケールに変換する必要があり画素値が高い画素が複数この方法は文献 4) を参考にしている．ある場合正しく抽出することが難しい．3 の方法では適切な閾値を設定する必要がある．本システムでは 2 と 3 の方法を実装し，以下にその詳しい実装を述べる． 2.1.1 方法 2 法 3 この方法では適切な閾値を設定することでスポットのみが抽出し，その領域の中心をスポットの座標とする．閾値の設定については後述のキャリブレーションの間にスライドをスポットのないスクリーン上に投影し，その画像からもっとも高い画素値を閾値として設この方法は文献 3)，7) を参考に実装を行った．定する．こうすることでプロジェクターによって投影前提としてスライドはプロジェクターによってスクされるスライドの光の強さを求められる，この値を使リーン上に投影されているためスライド全体が光ってうことで２値化した画像からスポットを抽出することいるため図 2 のようにそのままカメラから取得した画が出来る（図 5）．像ではスポットを抽出することが難しい．そこでレーザーポインターの特性によりスポットの光が強いことを利用する．カメラに減光のためのフィルターを装着することでカメラへの入力光が抑えられ，スライド自体の反射光や照明などの自然光を取り除くことが可能となる（図 3）．これによってカメラから得られた画像をグレースケールに変換することで，スポットの座 2.2 ジェスチャー次に検出されたスポットの座標からジェスチャーを判定する方法について述べる． 2.2.1 スポットの移動方向の取り扱い本システムでは移動の方向として 8 方向を採用し，まずこれの取り扱いについて記述する．各移動方向に対して図 6 のように数字を割り当てる．レーザーポインターを用いたプレゼンテーションシステムの提案 Spot 図 5 ２値化した画像 7 8 9 4 5 6 1 2 3 図6 6,7,9,6 移動方向（左），ジェスチャーの様子（右）スポットの移動方向を記憶する際にこれらの数字を覚みジェスチャーから，シンボル出力確率は経験則からえることで，スポットの座標をその都度記憶する必要事前に定める．実際に Viterbi アルゴリズムを適用すがなくなりスポットの移動の扱いが容易になる．本シる際には，今入力されたジェスチャーから状態遷移確ステムではこの移動方向の組み合わせをジェスチャー立にバイアスをかけ登録されている各ジェスチャーのと呼び，このジェスチャーに特定のショートカットキー尤度を求め最大となったジェスチャーを入力に対するを割り当てることでスクリーン上でスライドの操作をもっとも適当なジェスチャーとする．また極端にジェス行う．移動方向の入力について，斜め方向の入力は水チャーの長さが異なる場合や入力されたジェスチャー平方向と鉛直方向の座標の変位の比が 0.27 から 3.73 の長さが 1 以下の時には尤度の計算を行わない．の間つまり 15 度から 75 度の間にある場合とし，そうでない時に水平方向と鉛直方向で変位の大きい方を入入力されたジェスチャーを G，状態集合を S ，状態遷移確率を A，シンボル出力確率を B とすると，力された方向として判断する．また同方向への連続し G = {gt |t 番目の移動方向， 1 ≤ gt ≤ 9} (1) た入力は無視する．これは同じ方向の連続した入力は， S = {si |1 ≤ i ≤ 9，各移動方向 } (2) その切れ目が操作者からは分かりづらく為である． A = {aij |si から sj へ遷移する確率 } (3) B = {bij (gi )|gi を出力する確率 } (4) 次にジェスチャーの判定方法について述べる． 2.2.2 ジェスチャーの判定と定義される．出力確率 B は経験則からその値を設ジェスチャーは上記の方法で移動方向の組み合わせ定し，j = gt の場合もっとも高い値として j + ±45◦ として表すことが出来る（図 6）．しかしながらプレゼの方向が続き，それ以外では前述の 3 方向よりも小さンテーターが意図した通りのジェスチャーとして PC い値を，5 は移動しなかったことを意味するので 0 を側に判断させることは難しい．例えば右，左上，右設定した．遷移確率 A は入力されたジェスチャー G といったジェスチャーを考えたときに，実際にジェスからその値を計算する．G を先頭から調べることで出チャーとしては図 6 右のように判断されることがあ力確率 B を用いて値を加算していき最終的に求まっる．このため入力されたジェスチャーと登録されていた値を遷移確率 A とする．各状態の初期確率は登録るジェスチャーの完全一致では意図通りの操作を行うされている各ジェスチャーの先頭の出現頻度と入力さことが難しい．れたジェスチャー G から求める．以上の遷移確率 A そこで本システムでは入力されたジェスチャーからと出力確率 B ，初期確率を用いて Viterbi アルゴリズ登録されている各ジェスチャーの尤度を計算することムを適用することで登録されている各ジェスチャーので，入力されたジェスチャーの判定を行っている．ジェ尤度を求め最大なものを入力されたジェスチャーとしスチャーは連続した移動方向の組み合わせであり，各々て出力する．の移動方向は次の移動法に影響を与えないのでジェスまたジェスチャー 1 つ 1 つの区切りとして一定時間チャーを隠れマルコフモデルとして扱い Viterbi アルスポットが検出されなかった時に，入力が終わったと判ゴリズムによって各登録済みジェスチャーの尤度を求定する．これはコマ落ちなどにより，実際にはスポッめる．トがスクリーン上にあるにもかかわらず PC 側では各移動方向を状態として，状態遷移確立を登録済スポットを検出することができず，プレゼンテーターレーザーポインターを用いたプレゼンテーションシステムの提案の意図通りの操作をすることができなくなってしまうのを防ぐためである．加えて続けて長時間スポットが検出され続けたときにはジェスチャーの判定を行わない，これはプレゼンテーターがジェスチャーをする際に途中でそれをやめたい場合にポインティングすることでキャンセルすることが出来るようにするためである，またこれにより本来の用途としてスライドをポインティングしているときにはその都度ジェスチャーの判定をせずに済ますことができる．以上によりプレゼンテーターの意図したジェスチャーを判断し，適当な操作を返す． 2.3 キャリブレーション図7 スクリーンに角度が着いている場合本システムではカメラから得られた画像からスポットの座標を検出し，その移動量を計算することで移動方向を蓄積しジェスチャーの判定を行う．そのためプレゼンテーターの意図する通り正しく移動量を計算すポットの移動量を計算することが可能になる． 3. まとめと今後の課題るにはスクリーンとカメラが平行に配置されている必本研究ではレーザーポインターのストロークに着目要がある，もし極度に角度のついた場合やスクリーンしたプレゼンテーションシステムの提案とその実装をとカメラの距離が極端に離れている場合には適切に移行った．動量を計算することができない（図 7）．しかし厳密本システムでは USB 接続されたカメラからスクリーにスクリーンとカメラを平行に配置することは難しい．ン上のスポットを検出し，そのストロークからジェスこの問題を解決するためにキャリブレーションを行い，チャーを判定してスライドの操作を行う．これにより画像平面とスクリーン間での座標変換行列を求める．プレゼンテーターは意識をスクリーンへ向けたまま 3),5),7) を参考にし，スクリーン上に投影さスライドの操作を行うことが可能となり，従来の PC れたスライドの４隅と画像上の 4 隅を一致させることでスライドの操作を行っていた場合と比べ途切れるにより変換行列を求める．ことなくプレゼンテーションを行うことができる．ま先行研究具体的には以下の式をそれぞれの座標について解くた，ジェスチャーによってスライドを操作するのでスことで 3 × 3 変換行列を求める．この変換行列は自由クリーン上の任意の場所でスポットを動かすことでス度が 8 なので，残りの１要素は行列の大きさが 1 になライドの操作ができ，柔軟な操作性を有している．るように決定する．   ωxi   p1     ωyi  =  p4 ω p7 一定時間スポットが検出されないことと長時間スポッ  トが検出され続けることのみであるためジェスチャー p2 p3 p5 p6   Yi  (5) p9 1 p8  Xi キャリブレーションの手順を以下に示す． (1) (2) (3) しかしながら，ジェスチャーとポインティングの差は  とポインティングを明確に分けることが難しくジェスチャーが意図した通りに認識されない問題がある．さらにスライドの送りや戻りといった簡単な動作であるスクリーンに投影されているディスプレイのサならばこのジェスチャーによる操作のみで十分であるイズを取得する．ものの，メモなどのよりインタラクティブな操作に対カメラからスライドの投影されたスクリーンのしては十分な操作性を有しているとは言い難くまた，画像を取得し，その画像をクリックすることでプレゼンテーション以外の操作への拡張を考えた場合画像平面上の座標を取得．にも不十分である．取得したそれぞれの座標から変換行列を求める．スポットの検出に関してはカメラの性能への依存がこれにより画像平面とスライド間の変換行列を求め高く性能が低いカメラでは正しい検出は精度が下がり，ることができ，移動量を計算する際にカメラからの画またカメラの既存の設定では検出が難しくコントラス像から得たスポットの座標をこの変換行列によってストや露出を上げてやる必要があるものの本システムかライド上の座標へと変換することでスクリーンとカメらではそういった調整が行えないため直接カメラのパラ間に角度のある場合や距離のある場合でも正しくスラメーターを調節する必要がある．レーザーポインターを用いたプレゼンテーションシステムの提案最後に本システムでは現段階ではまだ，操作性や使用感などの評価実験を行っていないので早急にこれを行い本システムの優位性を示す結果を得る必要がある．参考文献 1) Afterglow http://www.afterglow.biz/ 2) Brad A. Myers, Rishi Bhatnagar, Jeﬀrey Nichols, Choon Hong Peck, Dave Kong, Robert Miller and A. Chris Long. Interacting at a distance: measuring the performance of laser pointers and other devices. In Proceedings of ACM CHI Conference on Human Factors in Computing Systems, pp. 33-40. Apr. 2002. 3) 福地健太郎レーザーポインタの軌跡を用いた映像パフォーマンスの試みインタラクション 2005 論文集 (情報処理学会シンポジウムシリーズ Vol. 2005, No. 4) pp.63-64 4) Lapointe J.-F, Godin G. On-Screen Laser Spot Detection for Large Display Interaction. Proceedings of the IEEE International Workshop on Haptic Audio Environments and their Applications (HAVE’2005) 5) R. Sukthankar, R. Stockton, M. Mullin. Smarter Presentations: Exploiting Homography in Camera-Projector Systems. Proceedings of International Conference on Computer Vision, 2001. 6) Rzeznik, J., Barnes S.E., Breckon, T.P. Gesture Recognition using a Laser Pointer In Proc. 5th European Conference on Visual Media Production November 26th - November 27th, 2008. London, UK. pp SP-01 7) 張進，田中二郎レーザポインタを用いたストロークによる大画面向けインタラクション手法筑波大学大学院博士課程システム情報工学研究科修士論文