ARとKinectを用いた 教育支援ソフトの開発 情報理工学部 情報システム工学科 4年 ラシキア研究室 H109055 鈴木翔一朗 H109102 間瀬良輔 目次 ● 研究背景 ● 研究目的 ● 研究内容 ● まとめ・今後 研究背景 小学生高学年の習熟度別の苦手科目、得意科目 苦手科目 得意科目 39.4% 算数 7.3% 28.1% 算数 20.8% 8.2% 33.3% 下位 下位 中位 4.6% 体育 6.7% 中位 3.7% 上位 理科 上位 7.0% 17.0% 12.2% 9.3% 嫌いなし 22.0% 12.5% 体育 19.0% 24.5% 0.0% 10.0% 20.0% 2010年9月 30.0% 16.3% 40.0% 0.0% 5.0% 10.0% 15.0% 学研小学生白書web版より 20.0% 25.0% 30.0% 35.0% 研究背景 ● 中学受験を目指す小学生の苦手科目 研究背景 ● ● ● 高学年、低習熟の生徒になると算数や国語が 苦手の生徒の割合が増える ・・・なぜか？ 低学年のときの苦手な部分を残したまま進級 してしまったため 研究目的 ● ● ● 幼児、低学年向けに教育支援ソフトを開発し、 苦手意識をなくす 低習熟の生徒も楽しんでできる ARとKinectで直感的に楽しく勉強できるソフト を開発 作業分担 ● ● ● ● AR・画像処理 ・・・鈴木 Kinect関連の処理・画像処理 ・・・間瀬 機能 ● ARとKinectを用いた計算 ● ARを用いた飛び出す絵本 ARとKinectを用いた計算 ● 足し算の問題を画面に出力 ● ARで数式の答えを画面に表示 ● Kinectで手の座標を取得し、手の座標と答えの 座標を合わせて問題を解く 算数ソフト カメラ画像の取得 人物の骨格情報の取得 MQOファイルの読み込み 流れ 問題の作成 計算 画像に文字の書き込み 表示の準備 Kinectの初期化 取得した骨格座標を 利用しプレイ 画面の表示 ARを用いた飛び出す絵本 ● ● マーカ上に絵本をつくり、その上部に読み込んだ 画像やオブジェクトを表示する マーカを利用し、いろいろな角度からオブジェク トを見たり、オブジェクトの説明文を表示し読み 進めていく 絵本 流れ ファイルの読み込み(mqo,画像、文章) 画面表示処理 画像・座標 操作処理 Kinectを用いた アクション 表示 座標操作 画像処理 マーカ認識 環境 ● 統合開発環境 – ● ● Visual C++ 2010 Express 画像処理用ライブラリ – ARToolKit 2.72.1 – opencv 2.4.1 – OpenGL CG作成ソフトウェア – Metasequoia LE R3.0 環境 ● カメラ兼ジェスチャ検出用デバイス – ● Kinect用の開発キット – ● Kinect for Xbox360 Kinect SDK 1.5 PC – Windows7 Home Premium デモ まとめ・今後 ● ● ● ● 小学生が楽しく分かりやすいと思うUIを 考える 絵本の中身を増やす – 絵本というより簡単な図鑑のよう – なもの 本当に学習支援になるのか、実際に子供 に体験してもらう 二つの機能を統合 ご清聴ありがとうございました
© Copyright 2024 Paperzz
