一般社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 IEICE Technical Report KINECT のリハビリテーション用アプリケーションの実用化 狐崎 直文† 安達 栄治郎‡ 増田 卓‡ 水澤 純一* †青山学院大学理工学部 〒252-5258 神奈川県相模原市中央区淵野辺 5-10-1 ‡北里大学 〒252-0374 神奈川県相模原市南区北里 1-15-1 *有）テレビジネス〒252-0229 神奈川県相模原市中央区弥栄 2-12-24 E-mail:†[email protected],‡joankita,@kitasato-u.ac.jp, [email protected], * [email protected] あらまし 青山学院大学と北里大学が共同で SCOPE に応募し、KINECT をリハビリテーションに適用する実験 を繰り返し実施した。リハビリテーションにおいて歩行能力測定のために実施されている「Timed Up & Go」 「10 メ ートル快適歩行」 「関節可動域」に KINECT を適用した実験レポートおよび最終的にリハビリテーションで有効と 考えられる「関節可動範囲のリアルタイム計測」を開発した経緯と期待される効果を紹介する。 キーワード キネクト，リハビリテーション，関節可動域，ROM, 歩行能力測定 KINECT applications for the physical rehabilitation Naofumi KITSUNEZAKI† Eijiro ADACHI‡ Takashi MASUDA‡ and Jun-ichi MIZUSAWA* †Aoyama Gakuin University 5-10-1 Fuchinobe, Chuo-ku, Sagamihara-shi, 252-5258 Japan ‡Kitasato University 1-15-1 Kitasato, Minami-ku Sagamihara-shi, 252-0374 Japan ‡TeleBusiness Inc. 2-12-24 Yaei, Chuo-ku Sagamihara-shi, 252-0229 Japan E-mail:†[email protected], ‡joankita,@kitasato-u.ac.jp, [email protected], * [email protected] Abstract KINECT applications implemented for the physical rehabilitation effect measurements are reported. The project is supported by SCOPE and is the collaboration work both Aoyama Gakuin University and Kitasato University. The implemented applications are “Timed Up & Go”, ”10m comfort walking”, ”Arthrosis Range of Motion”. Test reports of them are mentioned together with the proposed “Real Time Measurement for Arthrosis Range of Motion” and its advantages. Keyword Kinect，Physical Rehabilitation，Arthrosis Range of Motion 1. は じ め に 度 （ SCOPE） に 採 択 さ れ た 課 題 に 基 づ い て 、 KINECT KINECT[5]は マ イ ク ロ ソ フ ト が ゲ ー ム マ シ ン XBOX をリハビリテーションに適用するプロジェクトを 向けに開発したカメラと奥行きセンサーを組み合わせ 2011,2012 年 度 に 進 め て い る 。青 山 学 院 大 学 が ア プ リ ケ た 装 置 で あ る 。USB イ ン タ フ ェ ー ス で XBOX に 接 続 す ー シ ョ ン 開 発 を 担 当 し 、北 里 大 学 が 実 際 に リ ハ ビ リ テ る 構 成 で あ る た め 、USB イ ン タ フ ェ ー ス を パ ソ コ ン に ーションを実施している現場で適用しているリハビ 接続してインタフェースを解読しネット上に公開され リ効果測定方法の情報を提供している。開発したアプ る よ う に な っ た 。 マ イ ク ロ ソ フ ト は 昨 年 か ら KINECT リケーションは被験者を北里大学の学生にお願いし、 を利用するサードパーティ開発 アプリケーションの商 実際にその有用性を繰り返し評価した。今回のプロジ 用 販 売 を 認 め る KINECT for Windows（ SDK）の 出 荷 を ェクトで対象としたリハビリ効果測定項目は歩行速度 始 め た 。価 格 は 一 台 2 万 円 ほ ど で XBOX 向 け に 比 較 し と関節可動域である。医療現場で実際に実施されてい て 2 倍 と 高 い 。 KINECT３ 次 元 座 標 （ X,Y,Z） の 測 定 可 る３項目を対象にアプリを開発し実験した結果を報告 能空間は奥行き方向に４メートルほど、左右の角度は す る 。 KINECT の 機 能 的 な 制 約 か ら 現 行 測 定 を そ の ま 片 側 ３ ０ 度 程 度 と 狭 い 。 撮 影 画 像 は VGA 動 画 で 画 角 ま 適 用 す る こ と は 困 難 で あ っ た 。そ こ で KINECT の 特 内に人物を検出すると骨格情報を提供することが特徴 徴を活かした「関節可動範囲のリアルタイム計測」を である。モーションセンサーとして簡易版であるもの 開発した。以上の経緯を説明する。 の安価なため広範囲にアプリケーションが開発される ものと期待できる。 我 々 は 平 成 23 年 度 戦 略 的 情 報 通 信 研 究 開 発 推 進 制 This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere. Copyright ©20●● by IEICE 2. Timed Up & Go 時間計測が可能であることが分かった。表１に評価の 2.1. 測 定 内 容 一 例 を 示 す 。 ス ト ッ プ ウ オ ッ チ に よ る 人 手 計 測 (検 者 ) 被験者は最初に椅子に座り、その前方３メートルに と開発アプリ計測結果を比較すると平均で０．３秒程 設置された標識（コーン）の周囲を回って元の椅子に 度の差があった。著者の内のリハビリ専門家によると 座 る ま で の 時 間 を 計 測 す る [1]。計 測 し た 時 間 で 歩 行 の ０．５秒程度の誤差は許容出来るので、作成した計測 困 難 度 を ク ラ ス 分 け し 、ま た リ ハ ビ リ テ ー シ ョ ン に よ ソフトと介護者による測定値の差 は、許容出来る誤差 る改善が認められるかどうかを評価する。介助者（検 範囲である。 者）はストップウオッチを手に被験者の動きに合わせ 介護者の付添いがある場合、即ち画角内に人物が二 て歩き、一緒にコーンの周囲を周り、 所要時間を計測 人 存 在 す る 場 合 に は 、 KINECT 直 前 に 設 置 さ れ た コ ー する。介護者は被験者が転倒するなど危ない 状態を予 ンの周囲を回り U ターンするときに問題が発生した。 知して未然に防ぐために付き添 いながら歩く。 KINECT は 画 面 内 に 人 物 の 全 身 が 写 っ て い る と き に は 同一人物を追跡することができるが、人物が画面から 2.2. 計 測 ソフトの作 成 被験者が着座した時にコーン位置の延長線の卓上 に KINECT を 設 置 し た 。 KINECT は VGA 画 像 の 各 画 素単位に奥行き（Z 軸）情報をパソコンに報告する。 はみ出す構成になると同一人物の判定に困難を伴う。 つまり追跡対象の人物を追えなくなり誤判定する。 こ のため最初に椅子に座っていた被験者を着座するまで 追跡することで所要時間の計測することは難しかった。 測 定 可 能 な Z 軸 の 範 囲 は お よ そ 0.5 か ら 4 メ ー ト ル で あ る 。 本 計 測 で は KINECT が 報 告 す る 3 次 元 （ X,Y,Z） 3. 10 メ ー ト ル 快 適 歩 行 座標情報と骨格情報から、椅子からの離席 、椅子への 3.1. 測 定 内 容 着 座 を 判 定 し た 。当 初 は KINECT が 報 告 す る 骨 格 情 報 廊下にスタートラインとゴールラインを設けて直 の内、頭の位置情報の高低差を利用して椅子と被験者 線で１０メートルの歩行区間を作り、その前後に２メ の体勢との関係を調べた。最終的には椅子周囲の空間 ートルの助走区間を置き、被験者がスタートラインを を立方体で指定し、その空間内に位置する被験者の骨 通過してからゴールラインを超えるまでの時間を計測 格情報から離席、着座の動きを判定した。 す る [2]。所 要 時 間 で リ ハ ビ リ 患 者 の 歩 行 能 力 を 評 価 す る目安とする。介助者は被験者に無理ない速度で歩行 するように指示する。この測定においても介助 者（検 者）はストップウオッチを持って被験者に付きそう形 2.3. 成 果 と課 題 健常者に被験者を演じてもらい介護者の付添いが 無 い 状 態 で は KINECT１ 台 で Timed Up & Go テ ス ト の で歩行し、被験者転倒など介助体勢で臨む。 3.2. 計 測 ソフトの作 成 １ ０ メ ー ト ル の 距 離 を カ バ ー す る た め に KINECT２ 台を採用し、スタートライン監視、ゴー ルライン監視 被験者に介助者が同行する本来の測定を実施する を行い、各々にパソコンを設置し２台のパソコンをイ と 課 題 が 発 生 し た 。 KINECT 画 角 の 範 囲 内 に ２ 名 存 在 ーサネット接続した。スタートライン真横に設置した するので被験者と介助者の識別を行わなければならな KINECT で 被 験 者 を 撮 影 し ス タ ー ト ラ イ ン を 通 過 す る い。そこで、スタートラインとゴールラインを通過す 時刻を判定する。画面上でスタートライン判定のため る と き に 、 KINECT に 近 い 側 約 １ メ ー ト ル の 距 離 を 被 の位置情報を予め開発したアプリソフトに登録する。 験者、遠い側を介助者に歩いてもらうことでこの課題 同様にゴールラインについても 予め登録する。ゴール を 解 決 し た 。別 課 題 と し て 二 組 の KINECT お よ び パ ソ 側 で KINECT が 撮 影 し た 画 像 は イ ー サ ケ ー ブ ル を 使 っ コンをネットで接続し操作することの作業性の悪さが てスタート側に伝送し、スタートライン側に設置され 指 摘 さ れ た 。無 線 LAN で 相 互 に 接 続 す る ア イ デ ィ ア も たパソコン画面には２つの画面を表示する。パソコン 議論されたが、操作性の面から開発したアプリの実用 は各ラインを通過した時に検出音を発して介助者に知 性は低いと判断した。 らせた。 3.3. 成 果 と課 題 4. 関 節 可 動 域 測 定 ２ 組 の KINECT と パ ソ コ ン セ ッ ト を 設 置 し て イ ー サ ケ 4.1. 測 定 内 容 ーブルで接続することで、学生による被験者一人の確 関 節 可 動 域 測 定（ ROM）[2]は 人 体 の 関 節 に つ い て 介 認実験では１０メートル快適歩行の所要時間測定がで 助者（検者）が付添って動かせる角度範囲を測定する き る こ と が 確 認 で き た 。表 ２ は 評 価 測 定 の 一 例 で あ る 。 [3]。北 里 大 学 か ら 示 さ れ た 測 定 項 目 数 は 表 ３ に 示 す ２ この場合にもストップウオッチによる人手計測と ８であった。リハビリ KINECT ア プ リ に よ る 計 測 で の 差 は 平 均 で ０ ． ２ 秒 程 中の被験者に必要な測 度であった。１０メートル快適歩行ではストップウオ 定項目を選んで実施す ッチによるマニュアル測定で歩行 能力を評価するため、 る。可動範囲が広がる 開 発 し た KINECT ア プ リ は 介 助 者 に よ る 測 定 に 代 わ る ことでリハビリ訓練の ことができ実用性が見込める。 効果があがったと判断 する。被験者は椅子に 座って測定、ないしマ ットに寝て測定する。 介助者（検者）は大き な分度器を測定対象の 関節近くに押し当てて 可動範囲を測定する。 図１は肩関節、腰関節 の可動域を測定する方 法 を 示 し て い る [4]。必 要に応じて介助者が被 験者の手足を抑え、無 理のない範囲で動かす。 4.2. 計 測 ソ フ ト の 作 成 関節可動範囲の測定 では以下の情報に基づ き計算する。 ①測定対象の関節 ②その関節につなが っている２本の骨の先 にある関節 ③関節角度を測定す るための基準となる平 面を指定するための体 の 向 き （ KINECT の 認 識 す る 両 肩 と ヘ ソ に 相 当 す る 位 の動かし方をガイドして測定対象とする角度方向を示 置を利用して体の前額面に相当する平面を 算出） し、角度測定に適した構成になった時の角度数値をパ KINECT は 画 角 内 に 入 っ た 人 物 の 動 き を 検 出 す る と ソコンが表示および記録することを目的とした。しか 関節位置の情報をパソコンに提供する。対象とする関 し 、被 験 者 と 介 助 者 が KINECT 画 角 内 で 重 な る 部 分 が 節は人体の大きな動きを支援している関節に限定され あり、二人の骨格情報が乱れて不安定になる。 関節可 る 。 開 発 し た ア プ リ ケ ー シ ョ ン で は 、 最 初 に KINECT 動域測定マニュアルでは被験者一人で測定することは が提供する関節情報をパソコン画面に表示し、測定対 想定していない。このため、腰および下肢について関 象となる被験者の関節を選択する。画面上には介助者 節可動域を開発アプリケーションで測定するのは困難 の関節も同時に表示される。アプリは被験者が手足な であった。 どを動かしたときの関節角度を画面上に表示する。同 関節可動域測定で実験を繰返し、リハビリ専門家か 時に介助者（検者）が分度器で測定した関節角度を補 ら 足 指 お よ び 踵 関 節 に つ い て KINECT で 測 定 し た い と 助者に伝え記録する。リハビリ業務に従事している介 声 が 上 が っ た 。現 状 の KINECT で は で き な い が 今 後 の 助者の測定値と開発アプリが測定した値を比較しその 改良が待たれる。同様に生後間もない幼児の関節情報 妥当性を評価した。 を KINECT が 表 示 す る か ど う か 試 し た 。結 果 は 表 示 さ れなかった。幼児の関節表示が実用化されれば、幼児 のベッドでの動きを観察して突然死など幼児特有のト ラブルに有効な対策になると提案 があった。 5. リ ア ル タ イ ム 関 節 可 動 域 測 定 の 提 案 5.1. 考 察 KINECT を 利 用 し て リ ハ ビ リ 医 療 に 役 立 つ ア プ リ ケ ーションを開発しようと様々な実験を繰返した結果を まとめる。 ① KINECT は 被 験 者 一 人 が 立 位 で 被 験 者 の 前 方 に 配 置され、水平に人物を撮影する場合に比較的安定した 骨格情報と画素毎の３次元情報を報告する。 ② KINECT は 同 じ 画 面 内 に 複 数 の 人 物 を 検 出 し た 場 合それぞれの骨格情報を提供するが、人物が接触 した 4.3. 成 果 と課 題 一般には両者の誤差が５度から１０度程度であれ り一部でも重なりあうと安定した骨格情報を作ること ができない。 ば開発アプリがリハビリ現場で利用できる可能性があ ③ KINECT が 提 供 す る 画 素 単 位 の ３ 次 元 位 置 情 報 るとされた。表４に示される関節可動域の測定結果か （ X,Y,Z）は 0.5cm か ら 1.0cm 内 外 の 誤 差 を 含 ん で い る 。 ら、上肢では妥当な数値が測定されたが下肢では測定 ④ KINECT は 赤 外 線 で 奥 行 き 情 報 （ Z 軸 ） を 計 算 し できないと判断した。肩、肘など上肢の動きの大きな ているので室内で利用できるが屋外は対象外である。 関節においては開発アプリが利用できることが分かっ ま た 測 定 可 能 な Z 軸 距 離 は お よ そ 0.5 メ ー ト ル か ら ４ た。同時に多くの課題も明確になった 。 メートルである。 関節可動域の印刷されたマニュアルに従って被験 者に姿勢をとってもらう場合、腰や足関節の可動域の 測 定 で は 仰 向 け に 寝 て 実 施 す る 。こ の 場 合 KINECT を 通常の設定、つまり机の高さから水平に被験者を観察 ⑤人物の検出は動きを利用しており、風に揺れるカ ーテンなどを人物として誤認識することがある。 上 記 の よ う に 現 在 販 売 さ れ て い る KINECT は 制 約 が 多 い が 、 KINECT 技 術 は 以 下 の 点 で 将 来 性 が あ る 。 する配置では骨格情報がかなり乱れる。対策として ⑥機械学習により画角内の人物検出アルゴリズム KINECT を 上 方 に 設 置 し て 被 験 者 が マ ッ ト に 仰 向 け に を実現したと報告されているが、今後検出対象を人物 なっている形状全体を画面に収める配置を試したが不 以外にも適用することで様々なアプリケーションに適 安 定 で あ っ た 。こ の 問 題 を 解 決 す る に は リ ハ ビ リ テ ー 用できる。 シ ョ ン 効 果 判 定 に 適 し た KINECT 相 当 の 技 術 開 発 が 必要と判断した。 ⑦ VGA 画 質 で あ る が 奥 行 き 情 報 を 各 画 素 に 対 応 し て KINECT が 提 供 す る の で 、そ の 情 報 か ら 立 体 画 像 を 関節可動域の測定では被験者の手足などの関節角 構 成 す る こ と が 可 能 で あ る 。 実 際 CG 画 像 を 作 成 し デ 度を介助者が測定する。介助者が被験者に対して手足 ィスプレイ上でその画像を回転させて視点を動かすア プリも開発した。 ①開発アプリを起動すると初期画面が表示される。 ⑧ 人 物 の 骨 格 情 報 を KINECT が 提 供 す る の で 医 療 分 初期画面では３個のウインドウを開く。中央のウイン 野 特 に リ ハ ビ リ に お い て 有 用 で あ る 。 現 状 の KINECT ドウは開発者紹介画面を表示し１秒で消える。左側ウ は西欧人体型の機械学習で作成した骨格情報と思われ イ ン ド ウ に KINECT で 検 出 し た 骨 格 情 報 、右 側 に 計 算 るが、我々日本人についての骨格情報を提供する した可動域角度をリアルタイムで表示する２画面構成 KINECT を 商 用 化 す る こ と が 望 ま れ る 。 とした。 ② KINECT の 前 方 に 被 験 者 が 立 ち 若 干 動 く こ と で KINECT 骨 格 情 報 を デ ィ ス プ レ イ に 表 示 す る 。 表 示 す る 骨 格 情 報 は KINECT オ リ ジ ナ ル 形 式 と 北 里 大 学 で 教 育用に採用している表示形式の２種類から選択できる。 ③測定対象となりうる関節は大きめの円と中心に ドットが表示されている。マウスを関節に重ねるとそ の関節で計測する項目が１から３個表示される。希望 する計測項目をクリックし計測開始となる。 ④計測開始すると左側ウインドウでは計測中の関 節を赤丸印で分かりやすく表示し、関節角度をピンク 色の扇型形状で表示する。右側の画面には大きな数値 でリアルタイムに表示する。被験者は両方の画面を見 ながら自身の関節と手足を動かす。 ⑤右側のウインドウでは測定中関節角度の最大値 と最小値を表示する機能、マニュアルで指定したタイ ミングの 前 述 の よ う に 現 状 の KINECT 制 約 条 件 の 範 囲 内 で リ 角度を表 ハビリ効果測定に利用できるシステムを検討し人体の 示する機 関節角度をリアルタイムにディスプレイ上に表示する 能を備え アプリケーションを開発した。アプリケーションで実 ている。 現した測定手順の概要は以下の通りである。なお ⑥ 被 KINECT SDK を 利 用 し て Windows マ シ ン 環 境 で 開 発 し 験者がリ た。 アルタイ ム関節可 動域の使い方に習熟したら左側ウインドウの釦をマウ スでクリックすることで１秒間被験者の動きを画像と 角度数値とともに記録する。記録枚数は１０から３０ 測定に際しては被験者が一人で立位をとる。介助者 が同一画角内に入っていても問題ないが被験者と画面 上重ならないことが条件となる。 枚程度である。 frail elderly persons, J Am Geriatr Soc. 39(2), pp.142-150, Feb 1991 5.2. 計 測 ソフトの作 成 本アプリケーションの開発にはマイクロソフトが [2] Oberg T. Karsznia A. and Oberg K., Basic gait KINECT for Windows 向 け に 販 売 し て い る SDK を 利 用 parameters: reference data for normal subjects, し 、 Visual Studio C++環 境 を 使 っ た 。 リ ア ル タ イ ム 関 10-79 years of age, 節可動域測定アプリで測定対象とした関節部位と計算 Research and Development. Vol.30(2), pp.210-233, 可動域は以下のとおり。 1993 首関節・・・前屈後屈 左側屈右側屈 肩関節・・・屈曲伸展 外転内転 [3] 日 本 リ ハ ビ リ テ ー シ ョ ン 医 学 会 , 関 節 可 動 域 表 示 外旋内旋 な ら び に 測 定 法 ,リ ハ ビ リ テ ー シ ョ ン 医 学 , VOL.32, NO.4,pp.207-217,1995 年 4 月 肘関節・・・屈曲伸展 腰関節・・・屈曲伸展 Journal of Rehabilitation 外転内転 外旋内旋 [4] 中 村 隆 一 ,基 礎 運 動 学 第 6 版 ,医 歯 薬 出 版 株 式 会 社 , pp.512-521． 2005 膝関節・・・屈曲伸展 [5] KINECT for Windows 公 式 サ イ ト 5.3. 成 果 と課 題 KINECT と 画 面 の 比 較 的 大 き な ノ ー ト パ ソ コ ン を 組 み合わせることで関節可動域を測定できることが実験 により確認された。本システムは被験者がＫＩＮＥＣ Ｔに相対する立位をとり画面を見ながら自らのポーズ で関節角度を知ることができる。介助者は関節の選択 や記録、被験者の介助の支援活動を行う。本アプリの 実用性を高めるには、被験者の個人情報の記録、過去 の測定数値の管理とグラフ化などが今後求められよう。 本 プ ロ ジ ェ ク ト に よ り KINECT を 医 療 分 野 と り わ け リハビリで活用できる可能性が実験により確認できた。 現 在 の KINECT は 、測 定 で き る 空 間 が 制 限 さ れ る 、画 素 対 応 の ３ 次 元 X,Y,Z デ ー タ の 誤 差 が １ セ ン チ 内 外 と 比 較 的 大 き い 、 画 面 が VGA と 小 さ い 、 骨 格 情 報 が 不 安定になるケースが多いなど欠点がある。しかしなが ら 、 KINECT 技 術 を 発 展 さ せ る こ と で 、 簡 便 か つ 経 済 的にモーションキャプチャーを実現できることから、 今 後 KINECT 技 術 が 広 範 囲 に 利 用 さ れ る と 期 待 し て い る。 6. ま と め ３次元画像処理技術のツールとしてマイクロソフト の KINECT を 採 用 し て リ ハ ビ リ 効 果 を 測 定 す る た め の アプリケーションを複数作成しその実用性を実験によ り 検 証 し た 。 KINECT に 制 約 条 件 は 多 い も の の 、 リ ア ルタイム関節可動域の測定アプリを提案し、実用性が 高 い こ と も 確 認 し た 。今 後 KINECT 技 術 が 広 範 囲 に 医 療他の分野で利用されると期待している。 謝 辞 本 研 究 は 平 成 23 年 度 戦 略 的 情 報 通 信 研 究 開 発 推 進 制 度 （ SCOPE） の 支 援 を 元 に 実 施 し ま し た 。 文 献 [1] Podsiadlo D. and Richardson S., The timed "Up & Go": a test of basic functional mobility for http://www.microsoft.com/en -us/kinectforwindo ws/
© Copyright 2024 Paperzz
