データベース共有型ウェアラブル拡張現実感を用いた ウェアラブルユーザへの注釈付け 穴吹 篤志 天目 隆平 神原 誠之 横矢 直和 奈良先端科学技術大学院大学 情報科学研究科 あらまし 近年，無線ネットワークを介して共有されたデータベース内の注釈情報を現実環境に重畳表示する拡 張現実感システムが注目を集めている．しかし，従来のシステムは注釈付けの対象として位置の変化の無い建物 等を想定しており，移動物体への注釈付けはできなかった．本稿では，環境中の自己位置の計測が可能な複数の ウェアラブルコンピュータを装着したユーザの位置情報をサーバ上の共有データベースで管理することで，静的 な物体だけでなくウェアラブルユーザへの注釈付けが可能な注釈提示システムを提案する．また，プロトタイプ システムを用いて，環境中の複数のウェアラブルユーザに対する注釈付け実験を行い，提案手法の有用性を示す． Annotation of Personal Information on Wearable Users Using a Networked Wearable Augmented Reality System Atsushi ANABUKI, Ryuhei TENMOKU, Masayuki KANBARA, and Naokazu YOKOYA Graduate School of Information Science, Nara Institute of Science and Technology Abstract: Recently, wearable augmented reality (AR) systems that provide users with annotations by overlaying them on a real scene have received a great deal of attention. With the growth of wireless network, wearable AR systems that use a shared database server via a wireless network have been investigated. However, conventional systems can annotate only static objects such as buildings. This paper proposes a wearable annotation overlay system which can annotate not only static objects but also dynamic users of wearable systems. In order to realize such a system, the proposed system manages the positions and annotations of wearable computer users with networked shared database. In experiments, the prototype system has been proven to correctly provide each user with annotations on multiple users of wearable systems. 1 はじめに ワーク上の共有データベースで保持することで，リ 近年，計算機の小型化・高性能化により，装着が可 アルタイムに最新の注釈情報をユーザに提供可能な 能なウェアラブルコンピュータの実現が可能になっ ネットワーク共有型注釈データベースの開発を行っ た [1]．また，実世界に仮想物体をシームレスに重ね合 た [17]．牧田らの提案により，ウェブブラウザを用い わせる技術である拡張現実感の研究もさかんに行われ た注釈情報の更新インタフェースの共通化やセキュ ている [2–4]．拡張現実感をウェアラブルコンピュー リティ問題の解決等，ウェアラブル注釈提示システ タ上で実現すれば，ユーザは任意の場所において，ユー ムの環境は様々な側面で研究されるようになってき ザの位置に応じた情報をより直感的に獲得することが た [18]． しかし，従来のシステムでは，建物等の静的なオブ できる．その応用例として，環境内への注釈付け，道 ジェクトの注釈付けを想定しており，移動するオブ 案内や博物館のガイドなどが挙げられる [5–16]． 天目らは拡張現実感技術を利用して屋内外でユーザ ジェクトに対する注釈付けは実現されていない．そこ の位置および姿勢に応じて環境中の建物等のオブジェ で本稿では，環境中の複数のウェアラブルコンピュー クトに対し注釈情報を重畳表示する，図 1 に示すよ タのユーザ（以下，ウェアラブルユーザ）間の協調を うなウェアラブル注釈提示システムを提案した [16]． 支援するために，環境中の自己位置が計測可能なウェ さらに牧田らは，ユーザに提示する注釈情報をネット アラブルユーザの位置情報をネットワーク上のデータ 1 図 1 ウェアラブル注釈提示システムの例 ベースで管理することで，動的なオブジェクトである ウェアラブルユーザに対して注釈付けを行うシステム 図 2 共有データベースを用いたウェアラブ ルコンピュータユーザへの注釈付けシステム を提案する．提案システムは，注釈情報および注釈付 けの対象であるウェアラブルユーザの位置情報を管理 するネットワーク上のサーバと，サーバからの情報を 位置の計測が可能であるとする．その際，各ウェアラ 無線ネットワークを利用して獲得するクライアントシ ブルユーザは計測精度，時間分解能および空間分解能 ステムから構成される．クライアントシステムには， の異なるさまざまな手法で自己位置の計測を行うもの 環境中の様子を定地点から撮影する定点カメラシステ とする． ムや環境内を移動するウェアラブル拡張現実感システ ムを想定している．クライアントシステムは，それぞ 2.2 システムの概要 れサーバから取得した情報と自己位置および姿勢情報 共有データベースを用いてウェアラブルコンピュー を利用して，カメラから得られるシーンの映像に対し タユーザへの注釈付けを行うウェアラブル拡張現実感 て注釈付けを行い，ユーザに提示する． システムの概要を図 2 に示す．提案システムは，共有 以下，2 章では拡張現実感を利用した環境中のウェ データベースを用いて情報を管理するサーバと，セン アラブルユーザに対する注釈付加手法について，3 章 サおよびサーバから取得した情報を元に注釈付加を行 ではプロトタイプシステムを用いた注釈付け実験につ う定点カメラシステム，ウェアラブルシステムの 2 種 いて説明する．最後に 4 章では本稿のまとめと今後の 類のクライアントから構成される．以下に，それぞれ 課題について述べる． のシステムに関して述べる． 2 ウェアラブルユーザへの注釈付加 2.2.1 サーバ サーバは，表 1，表 2，表 3 に示すユーザ情報テー 2.1 システムの設計方針 ブル，位置情報テーブル，注釈情報テーブルから構成 提案システムは，ウェアラブルコンピュータを装着 される共有データベースの管理を行う．ユーザ情報 したユーザの位置情報およびそのユーザに関連する注 テーブルは，認証時に使用する ID，パスワード，注 釈情報を扱う．これらの情報は個人的な情報であるた 釈情報の送信時に参照する所属グループ，各ユーザと め，共有データベースはセキュリティやプライバシー 情報を送受信する時に参照するマシン情報から構成 に十分に配慮して設計する必要がある．提案システム され，ユーザの認証およびセキュリティに用いる．位 では，これらの問題を考慮した牧田らの注釈情報デー 置情報テーブルおよび注釈情報テーブルは，環境中の タベース [17] の基本設計を位置情報管理データベー すべてのウェアラブルユーザの位置情報・注釈の内容 スに適用する．また，提案システムは無線ネットワー を管理するために用いる．サーバは，環境中のすべて クが利用可能な環境を想定しており，注釈付けの対象 のクライアントと情報の送受信を行うため，高速な有 となるウェアラブルユーザは，センサ等を用いて自己 2 2.3 処理の流れ 図 3 に提案システムの処理の流れを示す．処理は， クライアントシステムの認証，注釈情報の取得，位 置情報更新，位置情報取得の 4 種類のプロセスから 構成される．以下で，それぞれのプロセスについて述 べる． • クライアントシステムの認証 環境内に出現したウェアラブルユーザは，まず サーバに対して認証要求を出す．この要求に対 して，サーバは，クライアントから送信された ID・パスワードと表 1 の ID・パスワードを照 図3 サーバ・クライアント間の処理の流れ 合し，一致すればそのユーザに対して共有デー タベースへの位置情報の登録・取得および注釈 線 LAN でネットワークに接続されており，セキュリ 情報の取得を許可する．この認証処理によっ ティ等への対処を容易にするためにサーバですべての て，環境内の各クライアントを正しく識別し， ユーザ情報，位置情報，注釈情報を管理する． サーバは各クライアントに閲覧許可のある位置 2.2.2 クライアント 情報・注釈情報のみを送信する． • 注釈情報の取得 クライアントとして，本研究では定点カメラシステ ムとウェアラブルシステムを想定している．定点カメ クライアントは，初期フレームおよび環境内の ラシステムは，広角撮影可能なビデオカメラとネット 注釈付けの対象となる新しいウェアラブルユー ワークに接続可能な PC から構成される．定点カメラ ザの出現などにより表 3 に示す注釈情報テー の位置および姿勢は既知であり固定されているものと ブルの内容や注釈情報の内容が更新された際 する．ウェアラブルシステムは，ユーザの位置・姿勢 に，自動的にサーバから注釈情報の内容を取得 する． の計測が可能なセンサ類および無線ネットワークに接 • 位置情報の更新 続可能なノート PC から構成される． 環境内のウェアラブルユーザの位置は，各ユー 表 1 ユーザ情報テーブル ID USER A USER B USER C パスワード 所属グループ マシン情報 ***** ****** ***** GROUP A Wearable PC X Wearable PC Y Wearable PC Z 表2 ID USER A USER B USER C X 1000 2000 4000 表3 ID USER A USER B USER C GROUP F ザが装着するセンサなどによって断続的に計 測される．計測された各ユーザの位置情報は， ユーザ ID，データの計測時刻と共にサーバに 送信され，サーバは表 2 に示す位置情報テーブ ルを更新する．無線ネットワーク環境では，受 位置情報テーブル Y 1500 1500 1500 Z -1000 930 600 更新時刻 信状態の悪化によりサーバとの接続にセンサか 13:00:00:349 13:00:00:338 13:00:00:351 らの位置情報取得間隔より長い時間がかかる場 合があるため，位置データの登録は他の処理と 非同期で行う．これにより，無線ネットワーク 注釈情報テーブル 注釈 ID 閲覧可能者 ANO101 ANO202 ANO211 USER C GROUP B EVERYONE による遅延が他の処理に与える影響を最小限に 抑える． • 位置情報の取得 環境中のウェアラブルシステムおよび，定点カ メラシステムは共有データベース内の表 2 で 示す位置情報テーブルから環境中のユーザの位 置情報を取得する．このとき，サーバはユーザ 3 図5 位置情報の登録および取得に関する遅延 トワーク接続可能 図4 ウェアラブル注釈提示システムの機器構成 – ビデオカメラ：DSR-PD150 (SONY)，有効 ID，ユーザ情報テーブルの所属グループ，注釈 画素数 720 × 480，ワイドコンバージョン 情報テーブルの閲覧可能者を参照し，閲覧可能 レンズ VCL-HG0758 (SONY) 装着 な注釈情報のみをクライアントに送信する．こ プロトタイプシステムでは，サーバとクライアント れにより，注釈付けの対象となるユーザが注釈 間は IEEE802.11b の無線 LAN で通信可能である．ク 情報の登録および更新時に許可したユーザのみ ライアントシステムは天目らの手法 [16] を用いて，カ に注釈情報を提供することができる． メラから得られる映像に環境内のウェアラブルユーザ に関する注釈情報を重畳表示してユーザに提示する． 3 プロトタイプシステムを用いた注 釈提示実験 その際，定点カメラシステムではあらかじめ与えてお いたカメラ位置・姿勢，ウェアラブルシステムではセ 提案手法を用いてプロトタイプシステムを構築し， ンサを用いて計測したユーザ位置・姿勢に基づいてそ 本学屋内での注釈付け実験を行った．以下，3.1 節で れぞれ注釈情報をビデオ合成する． は，プロトタイプシステムの機器構成について，3.2 3.2 位置情報登録・取得に関する予備実験 節では，位置情報登録・取得にかかる時間遅延とその 無線 LAN を利用したサーバへの位置情報の登録お 影響に関する予備実験について述べる．最後に，3.3 よびサーバからの取得にかかる時間遅延が注釈提示に 節では，定点カメラおよびウェアラブルユーザの視点 与える影響を調べるための予備実験を行った．本実験 カメラからの映像に環境内のウェアラブルユーザに対 では，環境内の 8 人のウェアラブルユーザが位置情 する注釈情報を重畳表示する実験について述べる． 報をサーバに登録し，各ウェアラブルシステムは環境 3.1 プロトタイプシステムの機器構成 中の全てのユーザの位置を取得した。このとき，各ク プロトタイプシステムは，データベースを格納する ライアントが位置情報をセンサで計測してから，サー サーバおよび定点カメラシステム，ウェアラブルシ バを介して計測された自己位置を取得するまでの時間 ステムの 2 種類のクライアントから構成される．図 4 を位置情報登録および取得に関する時間遅延と定義し に，本実験で使用したウェアラブル型注釈提示システ 計測を行った．図 5 にその一例を示す．本実験の結果 ムの機器構成の概要を示す．また，以下にサーバと定 より，一時的な無線 LAN の受信状態の悪化による遅 点カメラシステムの機器構成について述べる． 延の増大が見られるものの，遅延は平均 900ms 程度 である．この間にユーザは 1m 程度の歩行が可能であ • サーバ ることから，位置情報の登録および取得にかかる時間 – PC：CPU Pentium 4 2.0GHz, メ モ リ 遅延による注釈情報の位置ずれは最大で 1m 程度とな 512MB，有線ネットワーク接続可能 る．これは本研究で想定する環境での注釈付加には大 • 定点カメラシステム きな影響を与えるものではないと考えられる． – ノート PC：Inspiron 9200 (DELL)，CPU Pentium M 2.1GHz，メモリ 2GB，無線ネッ 4 したものである．図 8 より，環境中をユーザが移動す るときにサーバ上の位置情報が正しく更新されること を確認した．図 9，10 に，図 7 の状態 1，2 で定点カ メラおよび，ユーザ B，ユーザ C に提示した注釈付加 画像を示す．図 9(a) の例ではカメラから取得した映 像と注釈の位置ずれが生じているが，環境中に存在す るユーザ A，B，C の位置関係を直感的に把握できる ことがわかる．また，図 9(b) では，環境中のユーザ A，C に，図 9(c) では，環境中のユーザ B に対して 正しく注釈付けされており，環境中を移動するウェア 図 6 実験環境 ラブルコンピュータのユーザに対しても直感的に他の ユーザの位置を示すことができることを確認した．さ らに，図 10 においても同様に視野内に存在するウェ アラブルコンピュータユーザに対して正しく注釈付け されており，環境中を移動するユーザに対して定点カ メラ，ウェアラブルユーザのどちらにも注釈付加画像 を提示できることを確認した． まとめ 4 本稿では，ネットワーク共有型データベースを利用 図 7 環境中のユーザの位置と姿勢 したウェアラブル拡張現実感システムにおいて，環境 中のウェアラブルユーザの位置を管理することで，環 境中を移動するユーザへの注釈付けを行う手法を提案 した．また，無線ネットワークが利用可能な環境にお いて，ウェアラブルコンピュータを装着したユーザに 対して大きな位置ずれなく注釈付加画像を提示できる ことを確認した．今後の課題としては，複数の位置検 図 8 環境中のウェアラブルユーザの位置 出手法を用いたウェアラブルユーザが混在する環境 での実験，および，ユーザが多数環境内に存在する状 3.3 クライアントシステムへの注釈提示実 験 況下でのスケーラビリティに関する実験等が挙げら れる． 謝辞 次に，無線 LAN 通信可能な本学屋内環境で定点カ 本研究の一部は，科学技術振興機構 (JST) の戦 メラシステムおよびウェアラブルシステムを用いた注 略的創造研究推進事業 (CREST)「高度メディア社会の 釈提示実験を行った．図 6 に実験環境の様子を示す． 生活情報技術」プログラムの支援によるものである． 実験では，A，B，C の各ウェアラブルユーザは図 6 中 参考文献 の矢印に沿って移動した．また，環境中のウェアラブ [1] S. Mann：“Wearable Computers: A First Step Toward Personal Imaging”, IEEE Computer, Vol.30, No.2, pp. 25-32, 1997. [2] R. Azuma：“A Survey of Augmented Reality”, Presence, Vol.6, No.4, pp. 355-385, 1997. [3] M. Kanbara, T. Okuma, H. Takemura, and N. Yokoya：“A Stereoscopic Video See-through Augmented Reality System Based on Real-time Vision-based Registration“, Proc. IEEE Virtual Reality 2000, pp. 255-262, March 2000. [4] S. Julier, M. Lanzagorta, Y. Baillot, L. Rosenblum, S. ルユーザと定点カメラの位置関係およびユーザの視点 カメラの向きが図 7(a)，(b) の状態のときをそれぞれ 状態 1，状態 2 とする．本実験では，各ユーザは環境 内を歩行し，図 6，図 7 のユーザ A に「天目」，ユー ザ B に「穴吹」，ユーザ C に「伊東」という注釈を付 加した． 図 8 は，図 7 の状態 1，状態 2 でのサーバ内のウェ アラブルユーザの位置を実験環境の地図上にプロット 5 (a) 定点カメラシステムの合成画像 (b) ユーザ B への提示画像 (c) ユーザ C への提示画像 図 9 状態 1 での注釈付加画像 (a) 定点カメラシステムの合成画像 (b) ユーザ B への提示画像 (c) ユーザ C への提示画像 図 10 状態 2 での注釈付加画像 た屋外型観光案内システム”, 情報科学技術フォーラム (FIT) 一般講演論文集, Vol.3, No.K-097, 2003. Feiner, T. Höllerer, S. Sestito：“Information Filtering for Mobile Augmented Reality”, Proc. IEEE/ACM 1st Int. Symp. on Augmented Reality, pp. 3-11, 2000. [5] K. Satoh, K. Hara, M. Anabuki, H.Yamamoto, and H.Tamura：“TOWNWEAR: An Outdoor Wearable MR System with High-Precision Registration“, Proc. Int. Symp. on Mixed Reality, pp. 210-211, 2001. [6] J. Loomis, R. Golledge, R. Klatzky, J. Speigle, and J. Tietz：“Personal Guidance System for the Visually Impaired”, Proc. 1st Conf. on Assistive technologies, pp. 8590, 1994. [7] M. Kourogi, T. Kurata, and K. Sakaue：“A Panoramabased Method of Personal Positioning and Orientation and Its Real-time Applications for Wearable Computers”, Proc. 5th Int. Symp. on Wearable Computers, pp. 107114, 2001. [8] M. Billinghurst, S. Weghorst, and T. Furness：“Wearable Computers for Three Dimensional CSCW”, Proc. 1st Int. Symp. on Wearable Computers, pp. 39-46, 1997. [9] T. Kurata, T. Okuma, M. Kourogi, T. Kato, and K. Sakaue：“VizWear: Toward Human-Centered Interaction through Wearable Vision and Visualization”, Proc. 2nd IEEE Pacific-Rim Conf. on Multimedia, pp. 40-47, 2001. [10] T. Gleue, P. Dähne：“Design and Implementation of a Mobile Device for Outdoor Augmented Reality in the ARCHEOGUIDE Project”, Proc. 2001 Conf. on Virtual Reality, Archeology, and Cultural Heritage, pp. 28-30, 2001. [11] 天目, 神原, 横矢：“ウェアラブル拡張現実感を利用し [12] A. State, G. Hirota, D. Chen, W. Garrett, and M. Livingston：“Superior Augmented Reality Registration by Integrating Landmark Tracking and Magnetic Tracking”, Proc. SIGGRAPH’96, pp. 429-438, 1996. [13] H. Petrie, V. Johnson, T. Strothotte, A. Raab, S. Fritz, and R. Michel：“MoBIC: Designing a Travel Aid for Blind and Elderly People”, Jour. of Navigation, Vol.49, No.1, pp. 45-52, 1996. [14] S. Feiner, B. MacIntyre, T. Höllerer, and A. Webster： “A Touring Machine: Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban Environment”, Proc. 1st Int. Symp. on Wearable Computers, pp. 74-81, 1997. [15] T. Höllerer, J. Pavlik：“Situated Documentaries: Embedding Multimedia Presentations in the Real World”, Proc. 3rd Int. Symp. on Wearable Computers, pp. 79-86, 1999. [16] R. Tenmoku, M. Kanbara, and N. Yokoya：“A Wearable Augmented Reality System Using Positioning Infrastructures and a Pedometer”，Proc. IEEE Int. Symp. on Wearable Computers，pp．110-117，2003． [17] K. Makita, M. Kanbara, and N. Yokoya：“Shared Database of Annotation Information for Wearable Augmented Reality System”，Proc. SPIE，Vol．5291，pp. 464471，2004． [18] 高田, 町田, 清川, 竹村：“ネットワーク共有型ウェアラ ブル拡張現実感システム開発用ライブラリ”, 電子情報 通信学会 総合大会講演論文集, pp. 345, 2004. 6
© Copyright 2024 Paperzz
