日本バーチャルリアリティ学会第 11 回大会論文集 (2006 年 9 月)
AR Guitar: 拡張現実感を用いたギターの演奏支援システム
AR Guitar: Support System for Guitar Playing using Augmented Reality Display
元川洋一，斎藤英雄
Yoichi MOTOKAWA and Hideo SAITO
慶應義塾大学大学院 理工学研究科
（〒 223-8522 横浜市港北区日吉 3-14-1, {motokawa,saito}@ozawa.ics.keio.ac.jp）
Abstract : We propose a system that supports players to play guitar using Augmented Reality.
This system displays visual aid information onto real guitar for supporting playing guitar so that
a player can play the guitar intuitively. The important issue to construct this system is accurate
registration between visual aid information and the guitar. We propose a method for tracking the
guitar with both a vision marker and natural features of the guitar. Applying our method, this
system can display visual aid information at the proper position constantly, so that a player can
use the system in natural manner.
Key Words: Augmented Reality, support system for guitar playing, accurate registration
1.
たものがあるが [3]，ピアノの場合は楽器が常に静止してい
はじめに
ギターは非常に人気のある楽器であり，多くの人々が趣
るため，位置合わせ問題は極めて単純なものになる．しか
味などでギター演奏を楽しんでいる．しかし，ギターは初心
し，ギターを演奏するときには楽器の移動が起こるため，ギ
者にとって非常に演奏が難しい楽器であるため，初心者がギ
ターの動きを追跡する，といった特別な処理が必要になる．
ター演奏を気軽に楽しむことは困難である．そこで，ギター
従来研究において，ギターの動きと同時に演奏者の手の位
演奏に対する障壁を取り除き，初心者でも気軽に楽器演奏
置をマーカによって追跡し，ギターの演奏動作をキャプチャ
を楽しめるようにするためのシステムが求められる．すで
しようという試みがあるが [4]，この研究ではギターや手の
に市販されているギター演奏を支援する楽器として，左手
追跡をマーカのみの追跡に頼っているので，マーカのオク
で押さえるべき位置を曲にあわせて光らせるギター [1] があ
ルージョンや誤検出等による追跡失敗が大きな問題となり
るが，この楽器は本来のギターとは大きく構造が異なって
得る．
いる (弦の部分がスイッチになっている) ことや，演奏支援
本稿ではまず，ギターに取り付けられたマーカとギター
情報の表示方法が単にスイッチを光らせるだけと単純なも
の自然特徴の両方を利用してギターを追跡することで実現
のに限られている，といった問題点がある．
したギター演奏支援システムについて記述する．本手法で
は 2 つの情報を併用しているために，マーカのオクルージョ
本研究では，拡張現実感の技術を利用することで，ギター
の演奏支援システムを構築することを目的とする [2]．本シ
ンや誤検出があっても安定な追跡が実現できる．
ステムでは，演奏支援情報をギター上に重ね合わせること
さらに，ギターにマーカを取り付ける本システムにおい
で初心者のギター演奏を支援する．拡張現実感の技術を利
てはマーカが演奏の妨げになる，といった問題点を解決す
用する利点としては，ディスプレイを通して本物のギター
るために，マーカを用いずにギターを追跡するための手法
上に仮想物体の重畳表示を行うため，本来のギターの構造
を提案し，その基礎実験結果について記述する．
を変更する必要がなく，ギターを弾いているという現実感
を損なわないという点が挙げられる．さらに，表示する仮
2.
想物体には制限がないために，多様な演奏支援情報を表示
2.1
提案手法
システムの概要
ここでは，本システムの概要を説明する．図 1 にシステ
することができる．
本システムを実現する上で最も重要な課題は，演奏支援
ムの概略図を示す．本システムは PC に接続されたディス
情報をギター上に正確に位置合わせをして投影することで
プレイと Web カメラから構成されている．また，ギターは
ある．本研究と類似の研究で，ピアノの鍵盤の上に手本と
AR Toolkit マーカ [5] を取り付けたものを用意する．
なる映像を投射することでピアノの学習を支援する，といっ
演奏者はマーカ付きのギターを持ち，ディスプレイの前
73
まず，P i−1 を利用して画像上にエッジのモデルを投影し，
投影されたモデルのエッジ上に一定間隔でサンプル点を設
ける．そして，各サンプル点から，モデルのエッジと直交す
る方向に沿って明度変化を調べることで対応点を探索する．
モデルのエッジ Ei と画像上の点 ei,j とが対応付けられ
たら，式 (1) によって投影誤差 E を算出する．
E=
図 1: システムの概要
1 XX
∆(Ei , ei,j )
N
i
Ã
に置かれた Web カメラの前に座る．するとディスプレイに
(1)
j
!
N
:
対応点対の数
∆(ei , pi,j )
:
Ei と ei,j 間の距離
は，ちょうど鏡を見ているかのように，ギターを持った自
式 (1) を評価関数として，最急降下法による射影行列の
分の姿が映し出される．そして，ディスプレイ中のギター
最適化を行う．
には，模範的な弦の押さえ方を示す手のモデルや，押さえ
る弦の位置を示す赤い線が演奏支援情報として表示されて
本手法において最適化させる要素は，射影行列 P の 12
いく．演奏者は，ディスプレイに映った自分の手と，演奏支
成分であるが，これらの要素には定数倍の不定性があるた
援情報が重ね合わせて表示されたギターとを照らし合わせ
め，12 番目の要素を 1 として正規化を行い，実際には 11 個
ることで，直感的にギターを演奏することができる．
の要素について最適化を行う．最急降下法によって 11 個の
2.2
要素を変化させていき，投影誤差が最小になるときの射影
手法の概要
行列を最適な射影行列として算出する．
本システムを実現するためには，入力画像列においてギ
ターを追跡することで，ギターと入力画像間の射影行列を
精度よく推定する必要がある．本手法の流れについて以下
に記述する．
まず，Web カメラで撮影された入力画像から，ギターに
取り付けられたマーカを AR Toolkit によって検出すること
で，射影行列 P を算出する．マーカ検出が失敗した場合に
は，前フレームで算出された射影行列を最適化することで
図 2: 射影行列の最適化
現フレームでの射影行列を算出する．求まった射影行列を，
仮想物体の 3 次元座標と掛け合わせることで画像座標を算
出してギター上に重畳表示する．
2.3
AR Toolkit によるマーカ検出
3.
オンライン処理では，毎フレームで AR Toolkit によっ
て自動的に入力画像中のマーカ検出が行われる．もしマー
ためには，ギターの移動に合わせて，仮想物体が常に安定
カ検出が成功すれば，マーカ座標系と画像平面間の射影行
して正確な位置に投影されなければならない．そこで本実
列を即座に得ることができる．仮想物体を投影するために
験ではギターを大きく移動させてみて，仮想物体の投影状
必要な情報は 3 次元座標と射影行列のみであるため，マー
況を調べた．ギターを大きく動かした場合の結果画像列を
カ検出が成功した場合には仮想物体の投影を行うことがで
図 3 に示す．
きる．しかし，マーカの一部が隠れた場合や，マーカを誤
図 3 に示されるように，ギターが大きく移動しても，そ
検出した場合には射影行列を算出することができない．そ
れに合わせて手のモデルが正確な位置に投影されているこ
こで，マーカの追跡が失敗した場合には，以降に記述する
とがわかる．さらに，本手法ではマーカ情報とエッジ情報
処理によって射影行列を算出する．
2.4
位置合わせ実験
ユーザが本システムを違和感なく使用できるようにする
を併用しているため，図 4(a) のように，マーカ情報のみを
マーカ検出失敗時の処理
用いたときには追跡に失敗してしまうような場合でも，本
ここではマーカ検出失敗時に使用する，ギターモデルの
手法であれば安定的にギターを追跡し続けることができる．
投影とエッジ検出を利用した射影行列算出手法について記
しかし一方で，エッジの追跡のみを利用してギターの追
述する．前フレームの射影行列 P i−1 が求まっていれば，現
跡を行った場合，エッジの誤対応などの原因によって誤差
実世界に存在する自然特徴を追跡することで，マーカを利
が累積し，短時間で追跡が失敗してしまう．よって，自然特
用することなく射影行列を求め続けることができる．本手
徴としてギターのネック部の外枠のみを利用した場合，シ
法では，自然特徴の一つである物体のエッジを追跡する手
法 [6, 7] によって P i−1 を最適化して，現フレームでの P
ステムを安定にするためにはマーカの使用が必須であると
を求めることで，マーカ検出の失敗時に対応する (図 2)．
言える．
74
確な位置に安定して表示することが可能となっているため，
ユーザは常に正しい演奏支援情報を得ることができる．よっ
て，ユーザはただ表示されていく演奏支援情報の通りに手
を動かしてギターを弾くだけで，
「大きな古時計」を間違え
ることなく，直感的に演奏することが可能となるのである．
しかしここで，マーカを利用した本システムにおいては
1 つの問題点が存在する．それは，マーカの存在が物理的に
演奏者の邪魔になるという点である．よって，マーカを用
いずに本システムを実現することが理想的であると言える．
しかし，位置合わせ実験の章で記述したように，ギターの
ネック部のエッジのみを利用した場合では精度が不安定で
あるため，マーカの使用は必須であった．よって，マーカを
用いずに本システムを実現するためには，ギターのネック
部のエッジに加えて，より多くの自然特徴を利用する必要
があると考えられる．
図 3: ギターを大きく動かした場合の投影結果
(a) マーカ情報のみを用いた場合
図 5: システムの使用例
(b) 本手法
5.
図 4: マーカ情報のみを用いた場合との比較
マーカレスで本システムを実現するために
前章で述べたように，マーカを用いずにギターを安定し
て追跡するためには，ギターのネック部のエッジ以外の特徴
4.
システムの使用例と課題
を利用する必要があると考えられる．そこで，ギターに存
ここでは実際に提案システムの使用例を挙げながら，そ
在する自然特徴の 1 つとして，一般的なギターのネック部
の詳細について記述する．本システムを利用すると，あら
についている，フレットの位置を知るための目印 (図 6) に
かじめ曲の楽譜の情報を入力しておくことで，その楽譜情
注目する．ギターのエッジに加えてこの特徴点を入力画像
報に合わせた演奏支援情報をギター上に表示させることが
中から検出することで，ギターをより安定に追跡すること
できる．また，楽譜情報と合わせて曲の midi ファイルも用
ができると考えられる．
意しておくことにより，流れてくるメロディに合わせてコー
ド進行の部分の演奏支援情報が表示され，コード進行のみ
を自分で演奏する，といった使い方もできる．実際にギター
演奏の初心者が本システムを利用して「大きな古時計」を
演奏している様子を撮影したものを図 5 に示す．あらかじ
め登録された曲「大きな古時計」の情報をシステムが参照
し，曲の流れに合わせて，ギターのどの場所を押さえて演
図 6: ギターの特徴点
奏すればよいかという情報が次々と切り替わって表示され
ていく．ここで，提案手法により仮想物体がギター上の正
75
5.1
特徴点検出手法
特徴点検出手法の概要図を図 7(a)∼(f) に示す．まず，入
力画像に Canny のエッジ検出を行い，Hough 変換によって
画像中からネック部の外枠の上下のエッジを検出する．こ
の処理により，特徴点の存在範囲を 2 直線の間の領域に限
定することができる．次に，入力画像を一定のしきい値に
よって 2 値化を行い，細め・太め処理によって弦やフレット
を消去する．さらに，先ほどの Hough 変換によって得られ
た 2 直線間以外の領域を除去し，残った領域においてラベ
リング処理を行う．そしてラベルの面積やラベル同士の位
置関係の情報を利用することで，検出したい特徴点のラベ
ルを特定する．
5.2
検出結果
図 8: 特徴点の検出結果
以上の処理によって得られた結果画像が図 8 である．そ
れぞれの特徴点を正しく検出することができ，特徴点のギ
ター追跡への利用が期待できる結果が得られた．
さらに，入力画像からギターのネック部上の特徴点を自
動で検出する手法を提案した．今後，本手法を発展させる
ことで，マーカを用いることなく本システムを実現したい．
参考文献
[1] http://www.yamaha.co.jp/
(a) 入力画像
[2] 元川洋一，斎藤英雄: 拡張現実表示技術を用いたギター
(b) Hough 変換
の演奏支援システム，インタラクション 2006 論文集，
pp.177–178 (2006)．
[3] 樋川直人, 大島千佳, 西本一志, 苗村昌秀: The PHANTOM of the PIANO：自学自習を妨げないピアノ学習
支援システムの提案，インタラクション 2006 論文集，
pp.69–70 (2006)．
[4] Ozan Cakmakci and Francois Berard: An Augmented
(c) 2 値化
(d) 細め・太め
Reality Based Learning Assistant for Electric Bass
Guitar, In Proc. 10th International Conference on
Human - Computer Interaction (2003).
[5] 加藤博一, Mark Billinghurst, 浅野浩一 , 橘啓八郎: マー
カ追跡に基づく拡張現実感システムとそのキャリブレー
ション, 日本バーチャルリアリティ学会論文誌, Vol.4,
No.4, pp.607–616 (1999)．
(e) 領域の限定
(f) 特徴点の特定
[6] Luca Vacchetti, Vincent Lepetit, Pascal Fua: Combining Edge and Texture Information for Real-Time
図 7: 特徴点検出手法
Accurate 3D Camera Tracking, In Proc. of the Third
IEEE and ACM International Symposium on Mixed
6.
and Augmented Reality (ISMAR 2004), pp.48–57
おわりに
(2004)．
本研究では，拡張現実感の技術を利用してギター演奏の
[7] Georg Klein and Tom Drummond: Sensor Fusion and
方法を PC のディスプレイを通してユーザに提示するギター
Occlusion Refinement for Tablet-based AR, In Proc.
の演奏支援システムを構築した．
of the Third IEEE and ACM International Sym-
また本システムを実現するために，AR Toolkit による
posium on Mixed and Augmented Reality (ISMAR
マーカ認識と，エッジ情報を利用した最適化処理を使い分
2004), pp.38-47 (2004)．
けることによる，リアルタイムで動く安定した位置合わせ
手法を提案した．また，実験により本手法の正確性や安定
性について検証した．
76
© Copyright 2024 Paperzz
