大学院教育改革支援プログラム ―創造力と国際競争力を育む情報科学教育コアー プロジェクト型研究事業報告書 ２００７年度版 奈良先端科学技術大学院大学 情報科学研究科 Creative and International Competitiveness Project 2007 March 31, 2008 巻頭言 大学院教育改革支援プログラム 取組実施代表者 横矢直和 情報科学研究科は、情報処理学・情報システム学・情報生命科学の 3 専攻で取り組む教育プログラム 「創造力と国際競争力を育む情報科学教育コア」が、この度、平成 19 年度の文部科学省「大学院教育改 革支援プログラム」において、理工農系分野の優れた教育プログラムの一つとして採択されました。本支 援プログラムは、平成 17 年度に開始された競争的資金による教育支援プログラム『魅力ある大学院教育』 イニシアティブの後継プログラムで、優れた組織的・体系的な教育取組に対して重点的な支援を行うこと により、大学院教育の実質化を推進することを目的としています。 情報科学研究科の教育プログラムは、従来からの基本的な教育方針を堅持しつつ、『魅力ある大学院 教育』イニシアティブ・プログラムの事後評価において極めて高い評価を得た教育取組のさらなる充実・ 発展を図るものです。具体的には、以下の 3 つの柱と 6 つの方策から成っています。 1. コアカリキュラムの充実 ① 授業アーカイブを利用した多様な形態のカリキュラム学習 2. アドバンストプロジェクト ② 学生の自主性に基づくプロジェクト型教育 ③ 国際化教育 ④ 長期派遣型連携教育 ⑤ アカデミックボランティア教育 3. しなやかな教育基盤 6 授業ＦＤから研究指導ＦＤへ ○ 本プログラムは、情報科学の基礎研究を推進する能力をもつ研究者と最先端技術開発のための応用 力をもつ技術者を養成するという本研究科の教育方針のもと、国際競争力をもった人材を組織的に養成 する情報科学分野での卓越した大学院教育の拠点となることを目指しています。 本プログラムの柱であるアドバンストプロジェクトにおいて学生の自主性・主体性に重点を置く『学生の 自主性に基づくプロジェクト型教育』の中核事業の 1 つとして位置づけているのが提案公募型プロジェクト CICP（Creative and International Competitiveness Project）です。CICP プロジェクトは、自主性・主体性の 涵養とともに、研究計画立案・遂行能力の開発とグループ研究を通したコミュニケーション能力の向上を 目指しています。本冊子は、平成 19 年度における学生諸君のプロジェクト活動の概要をまとめたもので す。本年度の実質的な活動期間は半年足らずですが、このプロジェクト活動を通した学生諸君の大いな る飛躍を期待して、巻頭の言葉といたします。 平成１９年度プロジェクト型研究事業概要 １．大学院教育改革支援プログラム －創造力と国際競争力を育む情報科学教育コア－ における プロジェクト型研究の位置づけ 文部科学省「大学院教育改革支援プログラム」に採択された、本研究科の教育プログラム「創造力と国 際競争力を育む情報科学教育コア」の一環として行う教育事業の１つとして、「プロジェクト型研究」を設け ました。研究成果を出すこと自体ではなく、学生の研究プロジェクト企画・推進力やコミュニケーション力を 育むことを第１の目的としています。日々の研究とは別に、学生が自ら挑戦したいテーマを募集し、その 中から、独創性や将来性のある提案を２０件程度選抜し、１件あたり 150 万円を上限として経費を支給して います。大胆なテーマに挑戦し、様々な失敗を将来の糧とできる、またとないチャンスとして、大いに活用 されることを期待しています。 ２．年間スケジュール概略 １９年度は大学院教育改革支援プログラムの初年度にあたり、実施期間は１０月～３月の６ヶ月でした。 ９/２５ ＷＥＢ掲示および学内メーリングリストによりプロジェクト公募を開始 １０/３ 応募説明会を開催 １０/１１ 電子メイルによる応募の締め切り １０/１８ 選抜会議 １０/１９ 選抜結果公表と同時にプロジェクト開始 １０/２４ 交付決定金額および予算執行に関する説明会を開催 １０/３０ 交付申請書提出締め切り ２/１６ 第１回スプリングセミナーおよびオープンキャンパスにてポスターセッション（自由参加） ３/６ 第２回スプリングセミナー合同懇親会にてポスター予告（全員参加） ３/７ 第２回スプリングセミナーにてポスターセッション、来場者による人気投票と表彰（全員参加） ３/１４ 各プロジェクト報告書提出締め切り ３．応募状況 １０/１１の応募締め切り時点で、４８件の応募（他１件は締め切り時刻超過のため受理せず）がありまし た。大部分の応募が締め切り５分前以降に集中しており、提出直前まで計画を練り上げていたと推測して います。 ４．選抜方法 ５名の審査委員が以下の項目に基づいて各々独立に４８件を書類審査しました。 A. 独創性に関する項目 A1: メンバの選定に特色があるか（１～５） A2: チャレンジングな目標か（１～５） Ｂ. 実現性に関する項目 B1: 期間内に達成可能な計画か（１～５） B2: 裏付ける実績があるか（１～５） C. おもしろさに関する項目 C1: スプリングセミナー等デモに馴染むか（１～５） C2: おもしろさや楽しさがあるか（１～５） D. 計画性に関する項目 D1: 公募条件を満たしているか、様式の大幅な逸脱がないか（１～５） D2: 予算目標と執行時期は適切か（１～５） まず、８項目の単純合計による順位付けを行いました。40 点満点に対し、得点分布は２２点から３３．６ 点までほぼ一様となりました。また、「C.おもしろさ」のみによる順位付けも行いました。同様に、10 点満点 に対し、得点分布は４点から１０点までほぼ一様となりました。選抜会議では、単純合計が上位であったプ ロジェクトに、おもしろさが特に優れていると判定した若干数のプロジェクトを加えて、最終的に２２件を採 択しました。なお、本事業報告書に収録している各プロジェクトの報告書は応募先着順となっています。 選抜時には一切考慮しませんでしたが、プロジェクトリーダーの内訳は、博士後期課程が１０名（1 年：７ 名、２年：２名、３年：１名）、博士前期課程が１２名（１年：８名、２年：４名）となっており、結果的に、各課程 の１年生を中心に、様々な学年の学生がリーダーに選抜されました。また、メンバも加えた参加人数は、 のべ７９名に達し、多くの学生がプロジェクト型研究に参加することとなりました。 同様に、選抜したプロジェクト研究の分野は広範囲に及び、バイオ３件、音楽３件、映像３件、ロボティク ス２件、制御２件、音響２件、ネットワーク２件、ヒューマンインタフェース２件、言語処理２件、ＬＳＩ１件となり ました。 経費に関しては、上位５プロジェクトには申請額の満額、次の５プロジェクトには９０％、残り１２プロジェ クトには８５％を交付決定金額とし、応募時点で優秀であったプロジェクトに対して傾斜配分を行いました。 交付金額の平均は￥１３０万となっています。 ５．実施状況 選抜結果と同時に交付決定金額を通知し、プロジェクトリーダーに対して、改めて交付申請書の提出 を求めました。これは、減額に対する対応や、制度上支出不可能な予算執行計画の見直しを求めるだけ でなく、他プロジェクトの採否結果を元に、プロジェクトリーダーがメンバを再構成して、ベストメンバで望め るようにするための措置です。また、減額されたことを理由にプロジェクトを辞退できることを伝えましたが、 辞退者はありませんでした。各プロジェクトリーダーの下、学生が自主的に行った学外活動の範囲は以下 の通りです。アメリカ合衆国（6 日間×1 名、7 日間×5 名、8 日間×2 名）、インド（7 日間×2 名）、スペイ ン（7 日間×1 名）、ドイツ（22 日間×1 名）、オーストラリア（15 日間×1 名）、国内のべ 39 名（東京、京都、 大阪、福岡、広島、長崎、兵庫、愛知、奈良、福井、静岡） 各プロジェクトの詳細な活動計画、実施内容、および、自己評価については、目次に続く本編をご覧く ださい。 ３月７日には、最終報告会として、スプリングセミナーの参加者（他大学の学部生）約５０名を対象とした、 ポスターセッションを開催しました。各プロジェクトとも、趣向を凝らした成果発表を行い、参加者による人 気投票の結果をもとに、最優秀プロジェクトと優秀プロジェクトを各１件選定しました。表彰式は、スプリン グセミナーの修了式と同じ場において行い、表彰された各 CICP リーダーから、スプリングセミナーの参加 者に対して、自主的にプロジェクトを推進する面白さを一言ずつ伝えてもらいました。参加者には将来の 励みになったのではないかと考えています。なお、投票結果は末尾の付録に掲載しています。 ６．学生による自己評価 プロジェクトの計画・管理や研究費の申請・執行などの経験、また、スプリングセミナーにおける 学外の学生との交流や議論が大いに有益であった旨の自己評価が数多く見られました。プロジェク ト推進の難しさを実感した評価も多く見られましたが、短期間での目標到達を急いだあまり、メンバ ーの研究活動との両立に苦慮した結果、各メンバの負荷を把握することの重要性に気付いたとの分析や、 単なるシステム開発だけではなく多くの人や部署と連携してプロジェクトを遂行したことが非常に有益であ ったとの分析から、多くのリーダーが大学院における通常の研究活動では得られない貴重な経験を積む ことができたのでないかと考えています。 ７．本事業の自己評価 19 年度のプロジェクト型研究は実施期間が非常に短く、学生がプロジェクトを運営できた期間は実質 的に 11 月から 2 月末までの 4 ヶ月間でした。このため、教育的見地からプロジェクト運営を活性化する方 策を随時割り込ませることは、敢えて控え、自由なプロジェクト運営に集中できるよう配慮することとなりま した。研究開始時点で制約条件だけを伝え、あとはプロジェクトリーダーの自主性に任せることで、限られ た時間を有効に使ったプロジェクト運営ができたのではないかと考えています。 ８．本事業の今後の課題 20 年度以降については、年度始めにプロジェクト募集を行うことができるため、余裕を持って各種のプ ログラムを組み込むことを検討中です。具体的には、専門家によるプロジェクト運営にフォーカスした講演 会や、模擬国際会議の運営・参加など、より多様かつ実践的な場を提供することにより、国際的に活躍で きるプロジェクトリーダーの育成を図りたいと考えています。 (教務部会 CICP2007 推進委員会) 目次 巻頭言 xx 平成１９年度プロジェクト型研究事業概要 xx Fawnizu Azmadi Hussin：RedSOCs-3D: Thermal-safe Test Scheduling for 3D-Stacked SoC ……………………………………………………………………………………… xx 黒澤慎也：ぷちぷち ～筋電情報を用いた新しい触感の生成～ ……………………………………………………………………………………… xx 小町守：大規模データによる未知語処理を統合した頑健な統計的仮名漢字変換 ……………………………………………………………………………………… xx 丁明：着れる外筋肉型パワーアシストウェアの開発 ……………………………………………………………………………………… xx 井原瑞希：今，どんな曲が聞きたい？ ～ユーザコンテキストと音色情報を考慮した楽曲推薦システム～ ……………………………………………………………………………………… xx 柴田章博：創作楽器ウダー楽団 ……………………………………………………………………………………… xx Reyn Nakamoto：Visual-Kinesthetic Approach To Computer Interaction Using Intuitive Hand Gestures ……………………………………………………………………………………… xx 西田孝三：地理情報システムを利用したバイオ情報の可視化 ……………………………………………………………………………………… xx 野村烈：水中計測システム基盤の構築 ……………………………………………………………………………………… xx 高井宗：自律型二足ロボット「NAIST WALKER(仮)」の開発 ……………………………………………………………………………………… xx 寺村佳子：統計を使った音楽の創造 ―人間よりも art な計算機モデルの作成をめざして ……………………………………………………………………………………… xx 近藤祐和：確率システム論・制御理論を用いた株取引自動化システム構築プロジェクト ……………………………………………………………………………………… xx 堀磨伊也：立体映像を用いた高臨場感バーチャルジェットコースターシステムの開発 ……………………………………………………………………………………… xx 益井賢次：Grasp the Internet! 見える・動く・インターネット ……………………………………………………………………………………… xx 河合紀彦：全方位パノラマ映像における欠損領域の修復による 360 度全天球全方位映像生成プロジェクト ……………………………………………………………………………………… xx 木村聡：遅延検出型キャンセラによる音声信号の既知騒音制御 ……………………………………………………………………………………… xx 大山浩美：ユビキタス社会にむけた日本語学習者のための学習支援プロジェクト ……………………………………………………………………………………… xx 伏田享平：展示会における来場者のナビゲーションシステム開発 ……………………………………………………………………………………… xx 中村圭吾：円滑な社会還元を目指した障害者支援研究の方法論に関する考察 ……………………………………………………………………………………… xx 杉山貴信：Underwater Network ～水中音響通信技術を利用した水中ネットワーク構築の基礎調査～ ……………………………………………………………………………………… xx 山添秀樹：細胞大図鑑 ～3D Flight Adventure～ ……………………………………………………………………………………… xx 水野貴志：大道芸ロボット「染之介・染太郎」プロジェクト ……………………………………………………………………………………… xx 付録１．公募内容および応募様式 付録２．交付申請書様式 付録３．ポスターセッション案内パネル 付録４．ポスターセッション投票パネルと投票結果 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 RedSOCs-3D: Thermal-safe Test Scheduling for 3D-Stacked SoC. ２．プロジェクトリーダー 所属講座 Computer Design & 学年 D3 学生番号 0561211 Test Lab. e-mail アドレス 氏名 Fawnizu Azmadi [email protected] Hussin ３．分担者 所属講座 Computer Design & 学年 D2 学生番号 0661211 Test Lab. e-mail アドレス 氏名 Thomas Edison [email protected] Chua Yu ４．チューター 所属講座 職名 氏名 Computer Design & Assistant Tomokazu Yoneda Test Lab. Professor ５．必要経費 金額(千円) 設備備品費 250,000 支出予定月 Early Nov. 品名・型名・数量／行先・目的・日数等 Workstation (w/o Monitor) CPU: Quad-Core 2.4+ GHz HD: 320 GB x 2 Memory: 2 GB x 4 Graphics: OpenGL support, 512 MB Windows XP Pro x64 消耗品費 700,000 Early Nov. FLOTHERM Version 7.1 75,000 Nov. - Dec. Office supplies 150,000 Nov. - Dec. Computer Supplies (OS, Office Applications, etc.) 旅費（調査目的も可） 100,000 合計 1,275,000 November Design Gaia 2007 ６．プロジェクトの背景と目的 LSI manufacturing technology has greatly improved to answer the need for smaller, cheaper, cooler and more reliable chips. One of the latest revolutionary designs is called System-in-a-package, or SiP. SiP design allows multiple independently designed and fabricated dies to be integrated inside a single package. Each die can be a complete System-on-a-Chip (SoC), consisting of multiple embedded functional IP cores. The most common arrangement is stacking the dies one on top of another to from a three-dimensional stacked chip. While this design minimizes space and packaging costs, it also brings about problems on cooling and packaging, especially during the testing phase. During testing, the power and heat dissipation is much greater than during normal operation and can lead to physical damage, soft errors, and finally, yield reduction. Up to now, simply limiting test power dissipation was the accepted approach to preventing overheating, but recent findings have shown this to be insufficient, especially for state-of-the-art chips. This is because besides power, factors such as package, cooling method, and circuit layout must be taken into consideration. In this project, we will investigate the effect of the 3D-stacking of dies on the core temperature. Then, we aim to develop a simplified model for the heating phenomena and use this to develop a test scheduling methodology for 3D-stacked SoCs that minimizes the test application time while preventing overheating and hotspots. ７．目的到達までの研究計画 Note: Name(s) in [ ] indicates the responsible team member(s). Oct. 19 – Nov./30: [Fawnizu+Edison] Survey of literature on 3D-stacked chip architecture. [Fawnizu] Analysis of thermal phenomena in stacked chips. - Nov. (not yet set): Conduct preliminary experiments. [Fawnizu+Edison] Go to a LSI manufacturing plant to learn more about how chips are tested and cooled, as well as get feedback from the industry. Dec. 1 – Dec. 31: Develop the thermal cost model for 3D-stacked chip architecture. This step requires the following tasks to be completed: (a) [Fawnizu] Familiarize with the 3D thermal simulator. (b) [Edison] Investigate and identify suitable benchmarks circuits for the 3D-stacked SoC architectures. (We might need to develop own benchmarks) (c) [Fawnizu] Simulate the benchmark circuits using the 3D thermal simulator. (d) [Fawnizu+Edison] Develop a complete set of models for the thermal characteristics of various SoC layouts and configurations. The models need to be verified for correctness. Note that these steps require the 3D thermal simulator. CONTINGENCY: In case the simulator is not available, we will have to develop the thermal models by utilizing a 2D thermal simulator (free licenses). We have to develop a way to estimate the thermal effect in 3D-stacked SoCs by adapting the 2D thermal simulator for 3D SoC circuits, and the cost functions that are highly correlated to the thermal phenomena of the 3D-stacked SoC. Jan. 1 – Jan. 31: [Fawnizu+Edison] Propose a scheduling algorithm by utilizing the thermal cost model to ensure thermally-safe test application. Feb. 1 – Feb. 28: Develop a set of benchmark circuits for experimentation. Conduct experiments (a) [Edison] Write programs for test scheduling algorithm. Conduct experiments for various benchmark circuits and thermal constraint. (b) [Fawnizu] Simulate to verify that the test schedules do not violate the thermal constraints for single layer and 3D-stacked chips. To optimize the algorithm, steps (a) and (b) need to go through several iterations. March: [Edison] Make poster for poster presentation. [Fawnizu] Write the progress report. [Edison+Fawnizu] If needed, develop a demo or simple exercise for Spring Seminar ８．決算の要約 金額(千円) 設備備品費 消耗品費 支出予定月 品名・型名・数量／行先・目的・日数等 658,350 28 Nov. Flotherm v7.2 150,068 21 Feb. Mac Book 197,925 10 Dec. Computer parts (CPU, RAM, HDD, etc.) 10 Mar. Computer 132,975 旅費（調査目的も可） accessories (HDD, mouse, printer, etc.) 46,680 20 Nov. Design Gaia in Kokura (Fawnizu) 74,620 10 Jan. FTC workshop in Nagasaki (Edison) 1,260,618 合計 ９．プロジェクトの状況および自己評価の要約 The objectives of this project can be described as a set of smaller objectives that build on each other to achieve the final target—an integrated test scheduling methodology for 3D-stacked SiPs. The objectives can be broken down as follows: 1) Understand the thermal characteristics of intra-layer and inter-layer interactions of the core-under-tests (CUT) 2) Evaluate the effectiveness of power-constrained test schemes 3) Develop a model of the thermal phenomena during testing of an SiP 4) Develop a thermal-safe test scheme for each chip (i.e. die layer) independently. 5) Devise an efficient method for 3D-stacked testing using the thermal-safe test scheme devised in step 3. 6) Integrate the inter-layer interactions and thermal model into the test scheduling scheme to form an integrated test scheduling scheme. As of now, we have completed steps (1)-(5). Some selected experimental results are shown. We are satisfied with the results obtained so far, for example the peak temperature reduction from the test schedule in step (2) to step (4) is about 40%. The work that has been completed will help in moving forward with step (5) to develop the integrated test scheduling scheme. The preliminary results also indicates the potential of the work to substantially reduce overheating during tests and reduce the overall cooling costs that would be required for the testing of these state-of-the art chip designs. Judging from the response we got during the Spring Seminar exhibition, a lot of students showed great surprise at the temperature simulation results as well as the way we were trying to solve the problem. It surprised them that our approach required minimal hardware knowledge but instead is closer to solving puzzles as in most common programming and math problems. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 Project Title: RedSOCs-3D: Thermal-safe Test Scheduling for 3D-Stacked SoC Project Leader: Fawnizu Azmadi Hussin Co-Researcher: Thomas Edison Chua Yu temperatures using a thermal simulation tool, １．概要（背景と狙い） VLSI manufacturing and packaging Flotherm. The tool allows us to determine an technologies have greatly improved to answer accurate temperature profile of a VLSI chip the need for smaller, cheaper, cooler and more under a given test schedule. Then, we develop reliable chips. One of the latest revolutionary a simplified model for the heating phenomena design called and use this to develop a temperature-aware System-in-a-package, or SiP. SiP design allows test scheduling methodology for 3D-stacked multiple SoCs that minimizes the test application time techniques is independently designed and fabricated dies to be integrated inside a single package. Each die can be a while preventing overheating and hotspots. complete It has been shown that a power-aware test system-on-a-chip (SoC), consisting of multiple schedules cannot guarantee thermal-safety embedded functional cores. The most common during the test phase even for a single die arrangement is in the form of dies stacked on scenario; there is no direct correlation between top of each other (3D stacking) to minimize the the test power and the core temperature [4]. form factor. This design technique brings The thermal problem is compounded when about problems on cooling and packaging, multiple dies are stacked on top of each other. especially during the testing phase. While In this work, we utilize a test scheduling testing, power and heat dissipation is much methodology that takes into consideration the greater than during normal operation and can thermal behavior of the 3D-stacked chip lead to physical damage, soft errors, and architecture. Results show that large peak finally, yield reduction. temperature reductions are achieved without Up to now, simply limiting test power sacrificing the test application time. dissipation has been the accepted approach to preventing overheating [1, 2, 3] but recent ２．プロジェクトの進捗 findings have shown this to be insufficient, Figure 1 illustrates a model of the especially for state-of-the-art chips [4, 5]. This 3D-stacked SiP consisting of two identical is because besides power, factors such as dies/chips, which is initially considered for this package, cooling method, and circuit layout project. Each chip is made up of a 10-core must be taken into consideration. Therefore, design based on the ITC’02 benchmark circuit, we a d695 [6]. The layer 1 die is attached to a heat temperature-aware test scheduling for the spreader, which in turn is attached to a heat three-dimensional stacked die chips. sink. In the stacked SiP architecture, the also explore the utilization of In this project, we investigate the effects of the 3D-stacking of dies on the core second layer die is attached to the top of layer 1; there is no direct contact between the layer 2 die and the heat sink. cores is important for reducing the test application time, we analyze the temperatures of adjacent and non-adjacent cores. For a 3D-stacked chip, we also need to consider lateral adjacency and vertical adjacency. The following simplified model in Figure 3 is used for the heat transfer analysis. Each chip consists of three identical square cores labeled c1.n, c2.n, and c3.n, where n {1, 2} is the chip layer identifier. The dimensions of Figure 1: Simulation model with two stacked each core are 1mm 1mm 0.1mm. In the dies. six-core example, only one core c1.1 is active The floor-plan of the 8-mm2 chip is given in and generating heat; core c1.1 power is set to Figure 2. Core c1, for example, occupies a 1-Watt. During the transient simulation, we 1-mm2 silicon area at the bottom right corner observe the temperature profiles of all cores in of the design. The power dissipation of each the circuit. The temperature plot is shown in intellectual property (IP) core used in this Figure 4. project is based on the number of logic signal c1.2 toggling in the flip-flops [3]. In the example used in this project, the following design dimensions are used: c1.1 c2.2 c2.1 c3.2 c3.1 Figure 3: Simplified model of stacked chips Chip thickness = 0.5 mm Heat spreader thickness = 1 mm higher than other cores; core c1.2 temperature Heat spreader size = 30 mm 30 mm rises to about 88% of core c1.1’s temperature Heat sink thickness = 6.9 mm from the ambient temperature of 35C. The Heat sink size = 60 mm 60 mm surface contact area between c1.1 and c1.2 is Ambient temperature = 35 C 1mm2. The adjacent core c2.1, whose surface The temperature of core c1.1 is always contact area to the active core c1.1 is only 2mm c2 c7 c4 0.1mm2, has a temperature increase of about c3 c10 c6 c8 c5 c1 c9 4mm Figure 2: Floor-plan of d695 SoC. 33% relative to core c1.1. This observation shows that the temperature effect on the adjacent layer is greater than its effect on the adjacent core in the same layer. This is due primarily to the size of the surface contact area. The first step is to investigate the heat In the test scheduling schemes proposed up transfer characteristics on neighboring cores. to now, only the effect on the adjacent cores are Since simultaneous test application of multiple considered [5, 7, 8]. No other work has been proposed for a multilayer chip. Therefore, we core-under-test (CUT). are proposing some novel test schemes to this Applying the same test schedule for both new problem. In the next section, we look at chip layers simultaneously results in the some of the proposed test schemes and show temperature profile of core 5—the hottest core the corresponding experimental results to in the design—in Figure 6. The maximum verify temperature the effectiveness of the proposed approximately 116C. In addition, all the layer 2 cores are about 5-8 C scheme. hotter than those in layer 1, which is attached 41 directly to the heat-dissipating heat spreader 40 Temperature (degC) is Heat Spreader c1.1 c2.1 c3.1 c1.2 c2.2 c3.2 39 38 37 and heat sink. This happens because the heat generated by the cores in layer 2 cannot escape as easily as those in layer 1, through the heat spreader and heat sink. This observation is useful when trying to optimize the test 36 schedule for temperature minimization. 35 0.00 0.01 0.02 0.03 0.04 Time (sec) 0.05 0.06 0.07 125 Figure 4: Intra- an inter-layer heat transfer 115 Heat Spreader characteristics. ３．成果 The thermal simulation was performed Temperature (degC) 105 c5.1 c5.2 95 85 75 65 55 using Flotherm Version 7.2 software on a 45 Windows XP running on a Core2Quad Q6600 35 0.00 0.10 0.20 processor with 4GB RAM. The computation 6: 0.30 0.40 Time (sec) Temperature 0.50 time for the results in Figure 6 and Figure 8 is Figure profiles between 10 and 12 hours. power-constrained test schedule. 0.60 of a c1 TAM width c10 c4 c7 c3 c2 following points are taken into consideration c8 c5 In the temperature-aware scheduling, the c9 in the test scheduling algorithm. c6 Test application time Figure 5: Power-constrained test schedule. Figure 5 shows a power-constrained test schedule. Horizontal axis indicates the test time while vertical axis indicates the amount of test resources allocated to each of the The hot cores are not tested concurrently if possible to prevent hot spots. The hot cores are tested at the beginning to take advantage of the lower ambient temperature. Adjacent cores are not tested simultaneously whenever possible. More test resources are given to the upper layer (i.e. layer 2) in order to increase the and c10—utilizing the temperature-aware test scheduling flexibility, which would result schedule. Layer 1 is allocated 25% less test in a more thermal-efficient test schedule. resources (the test access mechanism, TAM) This is based on our earlier observation on compared to layer 2. Compared to Figure 5, the the difference in the temperature profiles of heat-dissipating capacity of the different chip layers. Figures 7(a) identical cores in the different layers in Figure and the 6 is much less. This is due to the additional temperature-aware test schedules used in the test resources allocated for layer 2 during the thermal simulation in Flotherm. The main test scheduling. Overall, the peak temperature difference is reduced by 46 C to about 70C, which is from 7(b) the show power-constrained schedule in Figure 5 is that the hottest cores about 40% reduction. are not scheduled concurrently. In addition, 75 the 70 core adjacency is also taken into consideration during the test scheduling. In c5, c6, and c10 are tested simultaneously. c3 TAM width c4 c1 c8 Temperature (degC) Figure 5, several adjacent cores such as c3, c4, Heat Spreader c5.1 c5.2 65 c10.1 c10.2 60 55 50 45 40 c5 c7 c2 c10 c9 35 0.00 0.10 0.20 c6 Figure 8: 0.30 0.40 Time (sec) Temperature 0.50 0.60 profiles of a temperature-aware test schedule. Test application time (a) Test schedule for Layer 1 These observations clearly show the benefits of the thermal aware test scheduling. c3 TAM width c1 c8 c4 scheduling scheme currently implemented c2 c10 c5 However, we would like to point out that the adjacency. The test schedule for 3D-stacked c7 c6 does not take into consideration the inter layer c9 SiP could be further improved if this new inter layer constraint is added. Test application time (b) Test schedule for Layer 2 ４．今後の展開 Figure 7: Temperature-aware test schedule for Due to time constraint, in the current layer 1 and layer 2 chips. Different test scheduling scheme, we have not considered the schedules are used because of the reduced inter-layer effect during the test scheduling heat-dissipating capacity of layer 2 chip. process. Therefore, the immediate plan is to Figure 8 illustrates the temperature implement an integrated test scheduling characteristics for the two hottest cores—c5 scheme for multilayer SiP chips. The current scheduling scheme can be used as a starting point. Further reduction in the [1] V. Iyengar, K. Chakrabarty and E. J. Marinissen, “Test core Access Mechanism Optimization, Test Scheduling, and temperature is expected when the inter-layer Tester Data Volume Reduction for System-on-Chip,” effects, as shown in Figure 4, are taken into IEEE Trans. On Computers, vol. 52, no. 12, pp. consideration. 1619-1632, December 2003. We also would like to consider extending [2] Y. Huang et al., “Optimal Core Wrapper Width Selection the open source HotSpot simulator to support and SOC Test Scheduling Based on 3-D Bin Packing the Algorithm,” Proc. of IEEE International Test Conference 3D-stacked SiPs. In the current implementation, the simulator handles only a single layer design. (ITC), pp. 74-82, 2002. [3] S. Samii, E. Larsson, K. Chakrabarty and Z. Peng, “CycleAccurate Test Power Modeling and its Application to SoC Test Scheduling,” Proc. of IEEE International Test ５．自己評価 The results obtained thus far seem very promising. The 40% reduction in the peak Conference (ITC), pp. 1-10, 2006. [4] K. Skadron et al., “Temperature-aware temperature is very good. It is even more Microarchitecture,” Proc. of the 30th Annual Int’l encouraging considering that the current test Symposium on Computer Architecture (ISCA’03), pp. scheduling scheme implemented does not yet 2-13, 2003. take into consideration the inter layer [5] T. Yu, T. Yoneda, K. Chakrabarty and H. Fujiwara, adjacency. We expect that further reduction is “Thermal-Safe Test Access Mechanism and Wrapper possible with such an integrated test scheme, Co- optimization for System-on-Chip,” Proc. of the which specifically targets 3D-stacked designs. 16th IEEE Asian Test Symposium (ATS’07), pp. Our immediate plan is to continue working 187-192, Oct. 2007. on this project and submit the finding as a [6] E. J. Marinissen, V. Iyengar and K. Chakrabarty, “A Set conference paper. We are confident that the of Benchmarks for Modular Testing of SoCs,” Proc. of findings will be of interest to other researchers IEEE International Test Conference (ITC), pp. 519-528, since the SiP technology is becoming popular. 2002. Furthermore, this project targets just one [7] P. Rosinger, B. Al-Hashimi and K. Chakrabarty, “Rapid type of SiP design—the 3D stacking of dies, Generation of Thermal-safe Test Schedules,” Proc. where inter-layer interfaces are through the Design, Automation and Test in Europe (DATE) Conf., I/O pads and the external wire bondings. pp. 840-845, 2005. Various other types of SiP technologies can be [8] C. Liu, K. Veeraraghavan and V. Iyengar, explored. We are now creating the foundation “Thermal-Aware to enable further exploration of the SiP Temperature Minimization for Core-Based Systems,” testing. Proc. of the 20th IEEE International Symposium on Test Scheduling and Hot Spot Defect and Fault-Tolerance in VLSI Systems (DFT'05), References: pp. 552-560, 2005. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 「ぷちぷち」 ～筋電情報を用いた新しい触感の生成～ ２．プロジェクトリーダー 所属講座 学年 学生番号 氏名 e-mail アドレス 生命機能計測学 M1 0751047 黒澤慎也 [email protected] 所属講座 学年 学生番号 氏名 e-mail アドレス 生命機能計測学 D2 0661020 服部託夢 [email protected] ３．分担者 ４．チューター 所属講座 職名 氏名 生命機能計測学 助教 中尾 恵 ５．必要経費（※応募時点での見積書添付は不要） 設備備品費 金額(千円) 支出予定月 293 07/10 品名・型名・数量／行先・目的・日数等 筋電図測定システム A/D 変換器：NI USB-6221 測定・開発ソフト：NI Developer Suite 消耗品費 旅費（調査目的も可） 350 07/11 測定・開発 PC 10 07/10 エアークッション各種 50 07/12 ネットワーク接続ストレージ 47 07/12 電子部品費（電極，アナログアンプ作成用） 300 07/12 MMVR16 公聴 （’08 年 1 月 in Long Beach, USA） 300 08/02 IEEE VR，Haptics Symposium 公聴 （’08 年 3 月 in Reno, USA） 合計 1350 ６．プロジェクトの背景と目的 近年，臨場感豊かなコミュニケーション実現のために視覚・聴覚に続く新たな感覚情報と して触覚が注目されている．従来の視覚・触覚では伝えにくい情報を触感は直感的に伝える ことができ，インタラクティブな意思伝達が可能となる．その応用として，手術手技のシミ ュレーションといった訓練システムや，新商品の触覚をマルチキャストで共有といった様々 な研究開発がなされている．それらは触覚フィードバックデバイスの操作量（位置）に基づ いたポジションベース・フィードバックで実現されている．しかしながら，既存のデバイス を用いたポジションベースの手法では，デバイスの制御特性の限界により剛体などの鋭い応 答を表現するのが難しい．そのため，予め実測した触覚データをオブジェクトとの接触時に 読み出し，マッチングするイベントベース・フィードバックの手法が提案されているが，リ アルタイムでの再現ができないことが問題となる．この問題を解決するためには，オブジェ クトとの接触を予測するシステムが必要と考えられる．そこで本プロジェクトでは筋電情報 ベース・フィードバックによるリアリティの向上を目的とする．筋電情報は，人が動作を行 うよりも早く取得が可能であり，その放電量は把持力に比例すると言われている．そのため 筋電情報を予測制御に用いることで，リアルタイムのイベントベース・フィードバックが実 現可能になり，触覚のリアリティの向上に繋がると考えられる． 新手法の触感リアリティを評価するためには，実現象との比較を要する．触感には，柔ら かい/堅い，つるつる/ざらざらなどがあるが，本プロジェクトでは，提案手法による心地良 い触感の生成を試み，評価対象とする．心地良い感触は，例えばエアークッション，いわゆ る「ぷちぷち」を潰す行為で得ることができる．「ぷちぷち」を潰すなどの破裂現象は従来 の手法では再現が困難であり，提案手法の有用性を確認する上で適当と考えられる．また， 心地良い触感とはどういったものかは明らかにされておらず， 本プロジェクトを通じて人 が心地良いと感じるのはどういったものなのかを，筋電と触覚の関係の調査を行う． 筋電情報を用いた触覚フィードバックシステムは触覚のリアリティを向上させ，新しい効 果的なリハビリ治療や，エンターテイメント機器への幅広い応用が期待できる． ７．目的到達までの研究計画 目的到達時のシステム概略を Fig.1 に示 ① す．操作者は Display 上の仮想「ぷちぷち」 される筋電信号に基づき Haptic を予測制御 ③ し，操作者に反力を提示する．仮想「ぷち ぷち」に加わる力（＝操作者に提示する反 力）が閾値を超えると， 「ぷちぷち」が破裂 し潰れる．潰れたことを画像，音，触覚で ② 物理モデルの 測定・解析 に Haptic Device を通じて自由に触れるこ とができる．デバイスの操作量と常時測定 生体反応の 構築 筋電ベース・フィードバック システム構築 ④ 心地良さの評価と解析 提示する．本プロジェクトの流れを Fig.2 に 示す．以下それぞれについて説明する． Fig.2 プロジェクトの流れ ①生体反応の測定・解析 「ぷちぷち」破裂時に加えられた力と筋電図との関連を調べるため，実際の「ぷちぷち」 をハプティックデバイスを通して被験者に潰してもらい，発生する筋電と加えられた力を計 測する．デバイスにはフィードバックは加えずにフリーな状態で測定を行う．その際に問題 となるのが，表面筋電位は腕を動かすと正しく計測が得られない．そのため動きに制約をつ ける必要がある． ②破裂現象の物理モデル構築 「ぷちぷち」のような泡形状のモデルについて，内圧と表面材質より破裂が起こる外圧の 閾値および瞬間的に発生する力の定式化を行う． ③筋電ベース・フィードバックシステム構築 ②で構築した物理モデルを基に，①で計測された力と筋電情報を加えた筋電ベース・フィ ードバックシステムを構築する．本システムが被験者に依らず，実際に計測された「ぷちぷ ち」に加えられた力と筋電の関連と同等の動作を示すことを検証する． ④心地良さの評価と解析 実際に「ぷちぷち」を潰してもらった場合，従来のポジションベース手法の場合，提案手 法の場合のそれぞれについて，筋電と指先にかかる力の計測を行う．実際に「ぷちぷち」を 潰してもらったときの筋電と主観的評価を基準とし，各手法との比較検証から心地良さの評 価を行う．また，心地良くない場合を想定したモデルを用意し，同様の検証を行う．それぞ れの筋電・加えられた力の関係から，心地良い触感とはどういったものかを明らかにする． Puchi Puchi Haptic Device !! Measurement & EMG Haptic Control Electrode Puchi Puchi Force Signal Operator EMG Signal aptic Device Fig.1 筋電ベース・フィードバックシステム概略 ８．決算の要約 設備備品費 金額(千円) 支出予定月 292.95 07/10 品名・型名・数量／行先・目的・日数等 筋電図測定システム A/D 変換器：NI USB-6221 測定・開発ソフト：NI Developer Suite 消耗品費 旅費（調査目的も可） 306.6 07/11 HP TabletPC tc4400（開発用） 420.675 07/12 DELL Precition M90（デモ用） 34.965 08/01 A/D 変換器：NI USB-6009 54.828 08/02 ポータブル HDD 119.96 08/01 MMVR 交通費（Long Beach,CA,USA） 66.7 08/01 〃 宿泊費（5 泊） 48.837 08/01 〃 参加費 ※調査 合計 ９．プロジェクトの状況および自己評価の要約 本プロジェクトは，従来のポジションベースの手法では提示が困難であった破裂現象といった触感を，筋電を パラメタに加えることで提示することを目標とし，その足がかりとなる筋電測定システムの作成，および解析を 行った．その結果，提案システムは予測制御が可能であり，リアルタイムでの反力提示を実現できる可能性を見 出すことが出来た．スプリングセミナーではその結果を基に，予測制御のデモンストレーションとして体験者が デバイスの把持部を掴もうとするとその動きを先読みし，手からすり抜ける展示を行ったが，体験者によって筋 電の測定が上手くいかず，デモとしては大変課題を残すこととなった．今後の展望として，安定した測定が可能 な装着型の電極を作成し，具体的に提示すべき反力の理解を高めるために「ぷちぷち」の力学モデルを作成する ことで， 「ぷちぷち」の反力提示が可能なシステムの構築を目指す． 今回のプロジェクトを通じて，プランニングの難しさ，および資金の使い方を学べたのは大きな経験となった． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 『ぷちぷち』～筋電情報を用いた新しい触感の生成～ プロジェクトリーダー： 黒澤慎也 １．概要（背景と狙い） 触力覚伝達技術は，手術手技のシミュレーションと いった効果的な訓練システム[1]や，商品の触覚を メンバ： 服部託夢 ２．プロジェクトの進捗 ２．１ 筋電位とは 図２に筋電位発生のメカニズムおよび筋電図 マルチキャストで共有[2]といった幅広い応用が利き， （ElectroMyoGram, EMG）と発揮張力の関係を示す． 様々な研究開発が盛んに行われている．それらは この図で示されるように，EMG と発揮張力との間に 多くの場合，提示反力の計算が単純な触覚フィード は縦棒実線で示したような時間遅れが生じる．この バックデバイスの操作量（位置）に基づいたポジショ 遅れは一般に 20ms～100ms であることが知られてい ンベース・フィードバックで実現されている．しかし， る[4]． この手法はユーザのデバイスの操作に対する受動 図３に筋出力（発揮張力）と筋活動量の関係を示 的なパラメタを元にするため，周波数応答が悪い， す．この図で示されるように，筋出力に対して筋活動 時間遅れが生じる，静止状態で反力を変化させるこ 量はほぼ線形であることが知られている[4]． とに対応が困難，といった問題がある．周波数応答 の改善策として，予め実測した触覚データをオブジ ェクトとの接触時に読み出し，マッチングするイベント ベース・フィードバックの手法が提案されている[3]が， この手法もポジションをパラメタにする手法なため， 静止状態での反力変化に対応が難しく，またリアル タイムでの再現ができないことが問題となる．そこで 本プロジェクトでは，新たにパラメタに生体信号の 1 つである筋電を用いることで，これらの問題を解決す ることを目的とする．本プロジェクトで提案するシステ ムを図 1 に示す． 図２ 筋電位発生のメカニズムおよび筋電図 （EMG）と発揮張力の関係 目的到達までの研究項目として，以下を挙げる． 1. 生体反応の測定・解析 2. 破裂現象の物理モデル構築 3. 筋電ベース・フィードバックシステム構築 4. 心地良さの評価と解析 本報告書では項目１の生体反応の測定・解析につ いての報告する． 図３ 筋出力と筋活動量の関係（一般概念図）[4] MVC： Maximum Voluntary Constraction RMS： Root Mean Square 図１ 筋電ベース・フィードバックシステム S/N 比の良い出力が得られること ２．２ 筋電位測定システム 筋電位の測定・解析を行うにあたり，４チャネルの 同時計測が可能なシステムを作成した．このシステ 発火の始まるタイミングが早いこと 動きにより外れたりせず，測定しやすいこと ムの仕様を表１に示す．電極はノイズに強い能動電 極をパッケージ化した（図４）． 測定結果を図６に，各筋に対する主観評価を表２に 示す．その結果，赤の破線で示す破裂時よりも前に 第一背側骨間筋にて筋電の発火が著しく確認でき 表１ 測定システム仕様 High Pass Filter（HPF） 5Hz た（図 6 中角丸で示す）．これより，「ぷちぷち」を潰 Low Pass Filter（LPF） 500Hz す操作においては第一背側骨間筋が最も用いられ 増幅率 60dB る筋であると考えられる．そこで今後の検証は第一 サンプリング周期 5kHz 背側骨間筋の筋電位を元に進める． 分解能 16bit チャンネル数 4ch 電極材質 Ag/AgCl 電極間距離 20mm 短母指外転筋 浅指屈筋 電極間距離 総指伸筋 第1背側骨間筋 図５ 測定対象 図４ 能動電極（単チャネル） 破裂前 ２．２．１ 測定対象の絞り込み 指を動かす行為は様々な筋が複雑に連動して成り 立っている．「ぷちぷち」を潰すようなあまり指先の変 化が少ない動作も例外ではない．しかし，本プロジェ クトで重要なことは「動作よりも早く得られること」「力 の入れ具合が推定できること」である．したがって，シ ステム利用においてユーザに対する負担（煩雑さ） を軽減するために，要求を満たす筋を１点に絞り込 むことにした． 測定対象を図５に示す．「ぷちぷち」を潰した際の 各筋の EMG を測定し，以下の項目について評価し た． 図６ 測定結果 ２．３ EMD の測定 表 2 主観評価 短 一 浅 総 EMG の特徴として，発揮張力よりも早く測定できる S/N ○ ○ △ △ ことは上述したが，実際に測定と動作の時間差 速度 ◎ ○ △ △ （Electro Mechanical Delay, EMD）はどれほどかを 測定 × ◎ △ △ 測定する．この値は反力提示の実時間性の指標と なる． ２．２．２ フィルタ処理 力推定の解析には，特徴量として整流平滑化と， 一定時間の積分の２つのフィルタ処理を施した EMG が用いられるのが一般的である[4]．そこでこのような フィルタ処理を用いたときの，本システムにおける推 定精度，および時間遅れの検証を行った．また， EMG の発火ピークを抽出する包絡線検波フィルタも 作成し，同様に検証した． 検証結果を図７に示す．力推定の比較のために 三軸力センサで合わせて測定した力の出力を載せ ている．この結果から，整流平滑化＋積分では力の 推定はかなりできるが，時間遅れが 30ms～80ms 発 生することが確認された．それに対し，包絡線検波 は力推定としては曖昧なものの，時間遅れは数 ms 以内であることが確認できた． 測定の煩雑さを軽減するために図 8 のようなリスト バンドを改造した手袋を作成した．EMD の測定には， 図 9 に示すように右手親指に三軸力センサを取り付 け，EMG と力センサの出力の測定を行った． 図 10 に測定結果を示す．EMD の算出にはそれ ぞれのピーク値のタイミングを用いた．その結果，本 測定における EMD の平均値は 116.8ms であった． この値は一般に知られている EMD の値[4]よりも長い． この結果の原因としては以下のことが考えられる． 力センサに使用されている LPF による遅れ ピークの取り方による誤差 今後これらの遅れは検証する必要があるが，次の節 で検証する反力提示の実時間性も同様の方法で計 算するため，今回はこの得られた値を実時間性の指 標とした． そこで EMG の特徴を活かすため，本システムで はフィルタ処理に時間遅れの少ない包絡線検波を 採用することにした． 図８ 能動電極内蔵測定用手袋 力センサ 図７ 各フィルタの時間遅れ検証 図９ 指先に力センサを取り付けた様子 図 10 EMD 測定結果 図 12 反力提示の実時間性の測定結果 ２．４ 反力提示の実時間性の検証 力覚提示デバイス PHANToM の提示力が，PC か らの制御信号（Calculate.F）に対してどの程度遅れ ２．５ 国際会議 MMVR16 参加報告 触覚提示に関する最先端の応用技術の情報収集 るかを検証する．PHANToM に送信する制御信号は のため，1/29～2/1 にアメリカ・カリフォルニア州のロ EMG を元にした．検証方法は，図 11 に示すように ン グ ビ ー チ で 開 か れ た MMVR16 （ The 16th PHANToM の指サック部分に EMD の測定と同じ力 Medicine Meets Virtual Reality）に参加した．図 13 センサを取り付け，提示力を測定した に学会の様子を示す．約 180 件の口頭・ポスター発 （Measured.F）． 表がなされていたが，Haptic（触覚）をキーワードに 図 12 に測定結果を示す．力センサにより測定され した発表がうち 18 件と，実にホットなテーマだと再認 た提示力（Measured.F）はＥＭＧに対して平均 識した．学会が学会だけに，提示手法に関する発表 81.3ms の遅れであった．この値は前節で検証した は無かったが，触覚提示技術がどのように用いられ EMD の値よりも短かった．この結果より，EMG を用い るのか，またどのようなことが望まれているのかを知る た本手法は，指の動作よりも先に PHANToM の提示 有用な機会であった．また今回の学会参加が海外 力を制御することが可能であると考えられる． に渡った初の機会となり，日本とは違う土地柄に触 れることが出来たことは大きな収穫であった． 提示力 ３．成果 2 章で述べた EMG の解析を元に，スプリングセミ ナーでは，垂れ下げられた力覚提示デバイスのステ イラスを掴もうとすると，その動きを EMG が検出して ステイラスが上方に逃げる動作の先読みデモンスト レーションを行った（図 14）．しかし，当日体験してい ただいた方によっては EMG の測定がほとんど上手く いかず，安定した動作の先読みデモを披露すること 力センサ ができなかった．手の小さい方に対し，リストバンドを 改造した手製の専用手袋が電極をしっかりと押しつ 図 11 PHANToM の先端に力センサを取り付けた様子 けられなかったことによるモーションアーチファクトの 発生が最たる原因であった．結果として，見学者に 実際に体験していただくデモンストレーションには多 くの課題を残したが，EMG の持つ特徴を活かした独 ーでの教訓を活かし，測定装置の見直しを行った後， 特な動作を見せるだけでも面白さを伝えることが出 力提示のモデル構築をし，その触感を評価していく． 来る可能性を見出せたのは収穫であった． また，筋電を用いることによる BMI（Brain Machine Interface）としての使い道を模索していく． ５．自己評価 本プロジェクトでは目標の達成のために 4 項目を 挙げた．しかし，1 項目目の生体信号の測定・解析 中に，様々な検討課題が発生し，その検証に多大 な時間を要してしまい，プランニングの甘さを痛感す る結果となった． 本プロジェクトを通じて，予算を扱う難しさ，および プランニングの重要さを認識できたことは大きな経験 となった．今後の研究生活にこの経験を活かしてい きたい． 参考文献 [1] M. Nakao, T. Kuroda, M. Komori, H. 図 13 MMVR16 の様子 Oyama, K. Minato and T. Takahashi. Transferring Bioelasticity Knowledge through Haptic Interaction. IEEE Multimedia, Vol. 13, No. 3, pp.50-60, Jul. 2006. [2] 宮田敏之, 藤田欣也. 反力と画像の伝送によ る弾性物体把持感覚の受動的遠隔共有に関する 実験的検討. 日本バーチャルリアリティ学会論 文誌, Vol.8, No.1, pp3-10, 2003. [3] K.J. Kuchenbecker, J.Fiene, G.Niemeyer . 図 14 先読みデモンストレーション Improving Contact Realism through Event-Based Haptic Feedback. IEEE ４．今後の展開 本プロジェクトは従来手法では困難な触感の提示 Trans. on Visualization and Computer Graphics, Vol. 12, No. 2, pp. 219-230, 2006. を目指し，その対象として「ぷちぷち」を例にシステ [4] 木塚朝博, 木竜徹, 増田正, 佐渡山亜兵. 表 ムの構築を行った．その足がかりとして「ぷちぷち」を 面筋電図. バイオメカニズムライブラリ, バイオメ 潰す際の生体信号の測定・解析を行ったが，時間の カニズム学会, 2006. 制約もあり，力提示のモデル構築，および目標とし た筋電ベースの新しい触感を生成するに至ることが できなかった．今後の展開として，スプリングセミナ 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 大規模データによる未知語処理を統合した頑健な統計的仮名漢字変換 ２．プロジェクトリーダー 所属講座 自然言語処理学 学年 D1 学生番号 0761015 e-mail アドレス 氏名 小町守 [email protected] ３．分担者 所属講座 学年 学生番号 氏名 e-mail アドレス ４．チューター 所属講座 自然言語処理学 職名 助教 氏名 浅原正幸 ５．必要経費（※ここまで、交付申請の内容をそのまま記入すること。１ページに収めること） 金額(千円) 設備備品費 支出予定月 1,000 10 月末 品名・型名・数量／行先・目的・日数等 ワークステーション Mac Pro 1 台 (CPU: Two 3.0GHz Quad-Core Intel Xeon, メモリ: 16GB, HDD: 750GB SATA) 消耗品費 旅費（調査目的も可） 120 10 月末 12 10 月末 ソフトウェア ATOK2007 for Mac+Windows 15 10 月末 ソフトウェア Parallels Desktop for Mac 30 11 月 IPA 辞書ミーティング(東京・調査・1 日) 30 12 月 IBIS(東京・調査・3 日) 10 1 月 IME ミーティング(京都・調査・1 日) 200 1 月 合計 HDD 1TB SATA x3 IJCNLP(インド・発表・5 日) 30 1 月 自然言語処理研究会(東京・調査・2 日) 30 3 月 言語処理学会(東京・発表・5 日) 1,477 ６．プロジェクトの背景と目的 近年Web を中心としてユーザが入力する文書が爆発的に増大している。ユーザがストレスな く日本語を入力するためには、入力誤りに対して頑健な仮名漢字変換が不可欠である。Web テキストでは次から次に新しい用語が生まれるため、新語を辞書に登録する方法は現実的で はない。また、高い精度で解析するための辞書作成には高度な言語学的知識が必要であり、 多大なコストがかかる一方、辞書にない未知の単語が含まれると単語分割に失敗し変換結果 が乱れるという問題点がある。そこで、本プロジェクトでは森ら[1]の提案する統計的仮名 漢字変換手法に基づき、大規模なWeb データを用いた仮名漢字変換モデルを提案する。本モ デルのポイントは、大規模データの処理に適した線形のアルゴリズム[2]を用いることによ り高速化を図り、単語の品詞情報を用いる代わりに大規模テキストから推定した文字の連接 情報を用いて単語分割を行うこと、そして自動クラスタリングで割り当てた単語クラスを品 詞情報の代わりに用いることである。大量のデータを用いれば品詞情報を補うことができる と考えられ、品詞情報に頼らないことで辞書のメンテナンスコストの問題を克服する。大量 の将来的にはユーザが自由に辞書を登録することができ、辞書を共有することで成長してい く仮名漢字変換アプリケーションを目指す。 [1] 森信介, 土屋雅稔, 山地治, 長尾真. 確率的モデルによる仮名漢字変換. 情報処理学 会論文誌. Vol. 40, No. 7, pp.2946-2953. 1999. [2] 岡野原大輔, 辻井潤一. 大規模なコーパスを用いた高速な形態素解析. NLP 若手の会第 2 回シンポジウム. 2007. ７．目的到達までの研究計画 TB クラスの大規模データを処理するに当たり、大容量の記憶媒体を備えた計算機が必要 である。また、Web から取得したデータを全てメモリ上に乗せ解析が線形時間のアルゴリズ ムを用いることで計算を実時間内に終了させることができるようになる。ただし、実際に実 験環境を整えるまではどの規模のデータまで計算に用いることができるかは不明である。従 って、日本語で書かれたブログデータは全て用いる予定だが、計算が数日で終了しない場合 は用いるブログの期間を短くすることや、サイトを制限することで対処する予定である。 具体的には10 月末に備品として購入した機材（Mac Pro, 合計3TB の HDD）を設定し、 大規模データ取得のためのWeb クロールを始める。予備実験にはWikipedia のデータを用 い、順次データを追加していく。11 月上旬に単語分割を行うプログラムを完成させ、11 月 末までに順次量を増やしたWeb データを用いて実験を行う。11 月には2 回東京に行き、そ れぞれ辞書フォーマットに関する意見交換と大規模データの取り扱いの調査をする。 12 月は仮名漢字変換プログラムを(他の仮名漢字変換プログラムをベースとして)作成し、 未知語同定プログラムと統合する。年末にフリーの仮名漢字変換システムの開発者のミーテ ィングを開き、各システム間での知識共有を図る。また、仮名漢字変換評価用のテストデー タを作成する。Parallels Desktop を用いることでMS-IME および ATOK 2007 との比較 実験を行う予定である。また年度内に実際のユーザによる新手法の評価実験をしたい。 1 月は国際会議に投稿するための論文作成に取りかかる。1 月の研究会もしくは 3 月の全 国大会にて発表し、スプリングセミナーにてデモを行う。また 1 月は本研究と直接は関係し ないが、大規模な検索ログを用いた知識獲得に関する研究について、国際会議で発表する。 ８．決算の要約（※２末に確定。３月上旬に決算書を受け取り、記入すること） 金額(千円) 設備備品費 支出予定月 378 11 月 品名・型名・数量／行先・目的・日数等 ワークステーション Mac Pro 1 台 (CPU: Two 3.0GHz Quad-Core Intel Xeon, メモリ: 1GB, HDD: 750GB SATA) 334 11 月 ノートパソコン VAIO 1 台 (type T VGN-TZ91NS) 消耗品費 旅費（調査目的も可） 92 11 月 HDD 750GB SATA x4 79 11 月 メモリ 4GB 667MHz DDR2 ECC x2 13 12 月 CPU 切り替え器 34 1 月 キーボード(HHKB2)・マウス 26 11 月 IBIS(東京・調査・3 日) 27 12 月 GCOE 成果報告会(東京・調査・1 日) 201 1 月 合計 IJCNLP(インド・発表・5 日) 27 1 月 自然言語処理研究会(東京・調査・2 日) 33 3 月 言語処理学会(東京・発表・5 日) 1,249 ９．プロジェクトの状況および自己評価の要約 2007 年内は研究計画に沿って購入した機材の設定を行った。当初は Wikipedia のデータを 用いて研究を行う予定であったが、研究計画提出後に Google 日本語 N グラムデータがリリー スされたので、リソースとしてこれを用いることにした。年内は Google 日本語 N グラムを注 文したにも関わらず到着が遅れたため、環境整備に終始してプログラムを書き始めなかったのが 反省点であるが、大規模データについて 2 回の調査を行い、年末にはフリーの仮名漢字変換ソフ トの開発者のミーティングで発表してコメントをもらうなど、下準備を行った。 年明けには仮名漢字変換プログラムの実装を開始したが、学外の共同研究者（森信介氏）と打 ち合わせの結果、既存の仮名漢字変換プログラムをベースにするのではなく、一から書き直すこ とに変更したため、未知語処理部分の実装を後回しにして単語分割および仮名漢字変換部分の実 装を行った。また、当初予定していたスタンドアロンのソフトウェアではなく、サーバ=クライ アント方式での利用を念頭に置いて開発することになった。評価用のテストデータは Microsoft Research IME コーパスが使用できることが分かったため、新たな作成は不要になった。現在 は巨大な Google 日本語 N グラムを用いることで未知語の問題にある程度対処した仮名漢字変換 システムを作成し、http://cl.naist.jp/~mamoru-k/chaime/にて公開している。スプリングセミナ ーでは常に見学者が訪れデモとポスターの説明を行うなど、盛況であった。 現段階では既存のソフトウェアと比べて精度は遜色ないが、変換に時間がかかるため実用的で はなく、 今後高速化のための工夫をして実用的な IME にしていきたい。 また、 研究面では Google 日本語 N グラムを用いたところのみが新規性のある部分なので、スマートな未知語処理部分を 実装することが課題であり、未知語モデルでの新規性を軸に外部発表を行いたい。 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 大規模データによる未知語処理を統合した頑健な統計的仮名漢字変換 プロジェクトリーダー 小町守 を確率P(x|y)の降順に提示する。 1. はじめに i j P(x i | y) P(x j | y) 近年 Web を中心としてユーザが入力する文 書が爆発的に増大している。ユーザがストレス この確率値が最大のものがもっとも尤もら なく日本語を入力するためには、入力誤りに対 しい変換候補となり、尤もらしさ順に確率値 して頑健な仮名漢字変換が不可欠である。Web が並んでいることが統計的仮名漢字変換の テキストでは次から次に新しい用語が生まれ 基本原理である。P(x|y)を直接推定する方法 るため、新語を辞書に登録する方法は現実的で があればそのまま仮名漢字変換に用いるこ はない。また、高い精度で解析するための辞書 とができるが、一般にこの確率値を直接推定 作成には高度な言語学的知識が必要であり、多 することは難しいため、この確率値は統計的 大なコストがかかる一方、辞書にない未知の単 機械翻訳や音声認識と同様、ベイズの定理を 語が含まれると単語分割に失敗し変換を誤る 用いることによって以下のように推定する という問題点がある。 ことができる。 そこで、本プロジェクトでは統計的仮名漢 P(xi | y) P(xj | y) 字変換手法[森99]に基づき、大規模なWeb デー タを用いた仮名漢字変換モデルを提案する。 本モデルのポイントは、単語の品詞情報を用 P(y | xi )P(xi ) P(y | xj )P(xj ) P(y) P(y) P(y | xi )P(xi ) P(y | xj )P(xj ) いる代わりに大規模テキストから推定した 文字の連接情報を用いて単語分割を行うこ この式において、仮名漢字交じり文xの生起 とである。大量のデータを用いれば品詞情報 確率P(x)は確率的言語 モデルと呼ばれ、 を補うことができると考えられ、品詞情報に P(y|x)は確率的仮名漢字変換モデルと呼ば 頼らないことで辞書のメンテナンスコスト れる。以下でそれぞれについて述べる。 の問題を克服する。また、Webデータを処理 まず確率的言語モデルについて述べる。確 した大規模コーパス中に出現する単語を用 率的言語モデルは、与えられた文字列がある いることで、特別な未知語処理を組み込まな 言語の文である尤度を数値化したものであ い場合でも適切な確率推定が行えるように り、統計的機械翻訳や音声認識でも用いられ なる。そして、統計的な手法を用いることで ている。最も一般的な確率的言語モデルは単 任意のコーパスから単語の生起確率や変換 語n-gramモデルであり、このモデルは文を単 確率を推定することができるため、新語や分 語列 w1h w1w2 L wh からなるものと見なし、 野適応にも適した変換枠組みとなっている。 文頭から順に単語を予測する。 2. 統計的仮名漢字変換 M w, n (w) 統計的仮名漢字変換では、与えられた仮名 文字列の入力yに対して変換候補 (x1, x 2 ,L ) h1 P(w i 1 | wiin1 ) i 1 ここで wi (i 0), wh 1 はそれぞれ文頭と文末を 表す記号である。 [森 99] 森信介, 土屋雅稔, 山地治, 長尾真. 確率 情報処理学会 的モデルによる仮名漢字変換. 論文誌. Vol. 40, No. 7, pp. 2946-2953. 1999. 一般的に仮名漢字変換で単語分割されな いまま仮名文字列が入力されるため、単語分 割が最初に大きな問題となる。この問題を解 度である。 決するために、単語n-gramモデルに基づく自 動単語分割器が提案されている [永田99] 。 ムは、入力記号列yを受け取りあらゆる部分 文字列から変換可能な単語列wを出力するモ wˆ argmax M w,n (w) w x デルであり、以下のようになる。 本研究でも同様に文字列xとして与えられる 以上で述べた単語候補を枚挙するシステ 文の確率が最大となるような単語分割を自 h P(y | x)P(x) P(y i | w i )P(w i ) i1 動分割結果として用いる。 先行研究では、辞書のカバー率を補うため i1 P(y i | w i )P(w i ) P(w i | w in 1 )P(y i | w i ) に未知語を予測し、さらにその未知語の表記 しかしながら、単純に単語候補を列挙する を文字n-gramで予測する手法が提案されて と、計算量が O(N h ) (ただしNは状態数)かか いる[森07]が、本研究では大規模なコーパスを り、長い文字列を変換する際非常に非効率で 用いることで未知語モデルを使用せず表記 ある。そこで、前向き探索として動的計画法 のみで変換する。大規模コーパスには可能な (Viterbi探索)を用いることで効率的に最尤 単語や連接が網羅されているため、素朴な未 候補(1-best解)を出力することが可能であ 知語モデルで十分であると考えられる。 る。すなわち、文頭からi番目までの単語列 次に確率的仮名漢字変換モデルについて 述べる。確率的仮名漢字変換モデルとは、仮 の同時確率P(w1…wi)の最大値をφ(wi)とす ると、以下の関係が成立する。 名漢字交じり文xが与えられたときのキーボ (wi ) max (wi1 )P(wi | wi1) wi 1 ードからの入力記号列yの確率を表す。単語 列wが与えられたときの確率的仮名漢字変換 この関係を用いて文頭から順次φ(wi)を求 モデルによる確率は以下の式で表す。 めれば、文頭から文末までの同時確率の最大 h M kk (y | w) P(y i | w i ) i1 値φ(wn)を計算量 O(hN) で効率的に求める ことができる。 ここで入力記号部分列yiは単語wiに対応する また、N-best解の出力は後ろ向きA*探索を 入力記号列であり、 y y1 y 2 L y h を満たす。 用いることで計算量と記憶量を抑えつつ効 確率P(y|w)の値は単語分割および読みの付 率的に列挙することができる。 与がなされたコーパスから最尤推定によっ 3. 統計的仮名漢字変換器の実装 て計算する。 P(y i | wi ) 本研究ではプログラミング言語Python1を f (y i ,wi ) f (wi ) ただしf(e)はコーパス中における事象eの頻 用いて上記の統計的仮名漢字変換器を実装 した。確率的言語モデルにはGoogle日本語N グラム[工藤07]を用いた。Google日本語Nグラム は200億文のWebコーパスから単語Nグラム(1 永田昌明. 統計的言語モデルと N-best 探索を用いた日本語形態素解析法. 情報処理 学会論文誌. Vol. 40, No. 9, pp. 3420-3431. 1999. [森 07] 森信介. 無限語彙の仮名漢字変換. 情報 処理学会論文誌. Vol.48, No.11, pp.3532-3540. 2007. [永田 99] ≦ N ≦ 7) を 抽 出 し た も の で 、 今 回 は 単 語 1-gramおよび2-gramを用いた。単語1グラム http://www.python.org/ 工藤拓,賀沢秀人. Web 日本語 N グラム 第 1 版. 言語資源協会発行. 2007. 1 [工藤 07] は250万タイプ、単語2グラムは8,000万タイ ムとの連携が困難である、といった点である。 2 プからなり、既存の辞書NAIST-jdic は約40 万語からなる辞書であるため、約6倍程度と かなり大きな規模の辞書と見ることができ る。大量のキーから値(頻度)を引くためのデ ータベースマネージャとしては、一般的に用 いられているGDBMやBDBといった実装では 100万を超える巨大なキー集合を扱うことが できないため、TokyoCabinet3を用いた4。確 率的仮名漢字変換モデルの学習には、形態素 解析器MeCab 5 を用いて解析した毎日新聞13 4. 考察 年分のデータを使用した。 変換のサンプルを以下に示す。変換には 仮名漢字変換システムは以下に示すよう http://www.justsystems.com/jp/products/ato にAjaxを用いてブラウザ経由でアクセスし、 k/に掲載されている例文を使用し、最尤候補 サーバ=クライアント方式で変換することに (1-best解)を掲げる。 した。こうした理由の一つとしては、Google (1) ChaIME(提案手法):請求書の支払日時/近 日本語Nグラムは商用利用不可・研究目的限 く市場調査を行う。/その後サイト内で/ 定で使用許諾されたデータなので、サーバ側 去年に比べ高い水準だ。/昼１迄に書類作 にのみデータを保持する形でないと公開が っといて。/そんな話信じっこないよね。 できないことがある。また、このようにする /初めっからもってけばいいのに。/熱々 利点としては、仮名漢字変換のログをサーバ の肉まん２ぱくついた。 側に蓄積し、将来変換ログを用いた予測入力 (2) ATOK 2007:請求書の市は来日時/知覚し や変換候補のリランキングを導入すること 冗長さを行う。/その五歳都内で/去年に ができる点のほか、海外のインターネットカ 比べた海水順だ。/昼一までに書類津くっ フェで仮名漢字変換環境がインストールさ といて。/そんな話心十個内よね。/恥メ れていなくてもフォントさえあれば利用で ッカら持って毛羽いいのに。/熱々の肉ま きるという点がある。逆にブラウザ経由にす ん二泊着いた。 る欠点は、オフラインで使えない、ブラウザ (3) Anthy 9100d6:請求書の支払い日時/近く 以外の入力に使うためには変換結果をコピ 市場調査を行う。/その後サイト内で/去 ー&ペーストせねばならない、外部プログラ 年に比べたかい水準だ。/昼一までに書類 作っといて。/そんなはな視診時っこない http://sourceforge.jp/projects/naist-jdic/ http://tokyocabinet.sourceforge.net/ 4 データ容量の圧縮という観点からは Succinct Data Structure を用いた Tx (http://www-tsujii.is.s.u-tokyo.ac.jp/~hillbig/ tx.htm)のほうが検索速度と使用記憶容量の観 点から望ましいが、ここでは次に述べるように 巨大なディスクを設置できるサーバ側にリソ ースを置けばよいため、検索速度を優先した。 5 http://mecab.sourceforge.net/ よね。/恥メッカらもって毛羽いいのに。 2 3 /あつあつの肉まん２泊付いた。 (4) AjaxIME 7 : 請求書の支払いに知事/近く 市場調査を行う。/その後再都内で/去年 に比べ高い水準だ。/肥留市までに書類作 6 7 http://anthy.sourceforge.jp/ http://ajaxime.chasen.org/ っといて。/そんな話神事っ子ないよね。 語の連接しか考慮しないため、「記者/が/記 /始っから持ってけば良いのに。/熱熱の 者/で」という日本語としてはありそうにな 肉まんにぱくついた。 い単語の並びを棄却することができなかっ このように提案手法は新聞記事のようなテ たが、これも言語モデルのウィンドウ数を増 キストデータや「サイト」などの新語に対し やすことによって対処可能である。最後の事 て強いという特徴を持つ。これは確率的言語 例は「オバマ/氏」という未知語が含まれる モデルにGoogle日本語Nグラムを用いている ため解析に失敗している例であるが、最新の ことと、確率的仮名漢字変換モデルの学習に ニュース記事に対して自動解析をかけたコ 新聞記事を用いているため、例文のような文 ーパスを追加することで、 「オバマ/氏」も正 の変換に適しているためだと考えられる。 しく変換できるようになると考えられる。 しかしながら、提案手法は一文変換するの 5. 関連ソフトウェア に平均10-20秒かかるため、実用的なシステ フリーの仮名漢字変換ソフトとしては広 ムとは言い難く、変換の高速化が必要である。 くCanna8やWnn9が用いられてきたが、これら 現在分かっている高速化手法としては、確率 のソフトウェアは人手による単語コスト(頻 の整数化による高速化、辞書をオートマトン 度)の推定と、単語同士の連接コストの推定 にしてある点で終わる単語を列挙する、とい が必要であり、これらで用いられている単語 った方法が考えられる。最も時間がかかって コスト・連接コストは理論的背景に基づいた いる部位は前向き動的計画法により可能な ものではなく、数十個に渡るパラメータをヒ 候補を列挙している部分であり、Google日本 ューリスティックに設定するものであるの 語Nグラムデータの辞書引きに時間がかかっ で、調整が難しい。そして、これらで用いら ているため、言語モデルによる枝刈りや、分 れているcannadic 10 やpubdic+ 11 といった辞 割 Suffix Array を用いて辞書引きが高速 書は、品詞の数が数百あるなど、日本語とシ 化されるかどうか検討する予定である。 ステムの双方に詳しい開発者でないと適切 一方、提案手法が変換に失敗する文として な品詞を付与することができないといった 以下のものがある(単語境界に/を付した)。 問題点がある。また、これらのソフトウェア (1)入れ/たて/の/お茶 で用いられている変換アルゴリズムはN文節 (2)貴社/の/記者/が/記者/で/帰社/し/た/。 最長一致法や後ろ向きN文節評価最大法とい (3)ここ/で/は/着物/を/切る うヒューリスティックに基づくものであり、 (4)民主/ワイオミング/州/は/小浜/市/大正 理論的な背景に乏しい。 (正しくは「オバマ氏大勝」) ここ数年のうちに急速に主要Linuxディス 最初の事例は「お茶を淹れる」という関係を トリビューションにて採用が広がった仮名 システムが解析しないために、頻度の高い 漢字変換ソフトとしてAnthyがある。Anthy 「入れる」という単語を選択した事例である は辞書としては前述のcannadicを用いてい が、これは現在用いているデータが2-gram るため、基本的にcannadicの問題点を受け継 までであるため、3-gram/4-gramとより周辺 ぐほか、付属語を用いた変換を行うため、変 の文脈を見る言語モデルを用いれば、適切な ランキングができると考えられる。2,3番目 の事例も同様で、2-gramモデルは隣り合う単 http://canna.sourceforge.jp/ http://freewnn.sourceforge.jp/ 10 http://cannadic.oucrc.org/ 11 http://www.remus.dti.ne.jp/~endo-h/wnn/ 8 9 換には付属語辞書のカバー率が重要となる。 の設定を行った。当初は Wikipedia15のデータ 変換モデルとして現在は最大エントロピー を用いて研究を行う予定であったが、研究計画 法に基づいた機械学習による識別モデルを 提出後に Google 日本語 N グラムデータがリリ 用いた変換を行っているが、学習に用いたデ ースされたので、そちらを用いることにした。 ータが少量であるため十分なモデルを学習 年内は Google 日本語 N グラムを注文したにも することができず、人手によるパラメータの 関わらず到着が遅れたため、環境整備に終始し 調整が依然必要である。 てプログラムを書き始めなかったのが反省点 ブラウザ経由で仮名漢字変換を提供する 12 であるが、大規模データについて 2 回の調査を システムとしてはSumibi およびAjaxIMEが 行い、年末にはフリーの仮名漢字変換ソフトの ある。前者は生コーパスを用いて単語 開発者のミーティングで発表してコメントを 1-gram/2-gram/スキップ2-gramを計算する もらうなど、下準備を行った。 もので、ユーザが任意の生コーパスを追加す 年明けには仮名漢字変換のプログラムを書 ることができる点で提案手法と共通してい き出したが、共同研究者と打ち合わせの結果、 るが、入力時ユーザは単語分かち書きをしな 研究計画に書いたように既存の仮名漢字変換 いといけないという制約がある。また、 プログラムをベースにするのではなく、一から Sumibiは辞書に載っていない単語の頻度を 書き直すことに変更したため、未知語処理部分 計算することができないため、生コーパスの の実装を後回しにして単語分割および仮名漢 処理に用いた形態素解析器と同じ単位で分 字変換部分の実装を行った。また、Google 日 かち書きをしなければならず、たとえば辞書 本語 N グラムは研究用途にのみ用いること にない複合名詞の場合は単漢字変換を繰り ができるため、当初予定したインストールでき 返す必要があり、入力の手間がかかる。後者 るソフトウェアではなく、サーバ=クライアン のAjaxIMEは形態素解析器MeCabとIPADic13を ト方式での利用を念頭に置いて開発すること 用い、言語モデルをIPAコーパスから条件付 になったため、評価プラットホームを選ばなく き確率場(CRF)によって推定したものであり、 な っ た が 、 評 価 用 の テ ス ト 16 デ ー タ は 変換エンジンはmecab-skkserv 14 と同一であ Microsoft Research IME コーパスが使用でき る。これは確率的な推定を行っているという ることが分かったため、作成しなかった。 理論的な裏付けもあるが、仮名漢字変換モデ 7. プロジェクトの成果 ルは統計的モデルを使用していない。また用 確率モデルに基づく統計的仮名漢字変換 いたコーパスが4万文と小さく、Google日本 システムを実装した。今回実装した統計的仮 語Nグラムの1/500,000であり、データの過疎 名漢字変換システムは所属研究室のページ17 性の問題がある。 にて公開している。スプリングセミナーでは 6. プロジェクトの進捗 常に見学者が訪れデモとポスターの説明を行 2007 年内は研究計画に沿って購入した機材 うなど、盛況であった。 15 12 13 http://www.sumibi.org/ http://sourceforge.jp/projects/ipadic/ 14 http://chasen.org/~taku/software/mecab-skk serv http://ja.wikipedia.org/ 16 http://research.microsoft.com/research/down loads/Details/af99e662-b77b-4622-adaa-7ab 9f2842b20/Details.aspx 17 http://cl.naist.jp/~mamoru-k/chaime/ 8. 今後の予定 現段階ではGoogle日本語Nグラムを用いた なることができたのは幸いであった。研究面で は提案していた手法の新規性が ところのみが新規性のある部分なので、研究と (1) 大規模データの使用 しては今一歩であり、当初の予定にあった通り (2) 未知語処理の統合 未知語処理部分を実装することが課題であり、 とすると、今回は前者のみ達成できたことにな 提案手法と既存手法の比較実験をして外部発 り、後者について提案手法の実装ができなかっ 表を行いたい。 たことは反省点である。 外部への公開を考えると変換速度が最大の 今回プロジェクトを一人で申請したのは、過 問題となっており、分割Suffix Arrayを用いる 去未踏ソフトウェア創造事業(未踏ユース)に ほか、確率値の整数化や辞書のオートマトン化 おいて総勢 9 名からなるプロジェクトにメン によって辞書引き速度を改善する予定である。。 バーとして参加し、十分に意思疎通を図ること 本手法では言語モデルの学習に複数のコー ができなかったからであるが、その反省を踏ま パスを用いることで、入力している文章の分野 えて一人で開発する方針にしたのは正解であ に適応した仮名漢字変換を行うことができる り、適宜学外共同研究者と意見交換を行いなが 枠組みとなっている。たとえばブログを書いて ら開発を進めることができた。開発状況は自ら いるときにはWebからクロールしたブログデ の Web 日記で公開しており、Web 日記を購読 ータから作成した言語モデルを使用し、論文を している他の研究者・開発者からもコメントを 書いているときには手元にある日本語論文 いただけたのは望外の喜びであり、実装上も非 誌・研究会報告データから作成した言語モデル 常に参考になった。アプリケーションの実装能 を用いることで、高精度な変換が可能になる。 力の向上という点では個人的に多大な収穫の 過去に入力した単語の履歴からこれらのトピ あったプロジェクトであった。今後も開発とメ ックを判定し、言語モデルの切り替えを行いつ ンテナンスを続けるに当たって、1 年目として つ変換を行う手法の実装は今後の課題である。 は不十分ながらまずまずのスタートを切るこ また、サーバ=クライアント型の仮名漢字変 とができたと考えている。 換システムから取得した変換履歴を用いた予 他のプロジェクトとの関係においては、所属 測入力や文や適応も今後実装していきたいと 研究室からも自分を含めて 3 件のプロジェク 考えている。 トが進行していたが、他のプロジェクトへの協 9. 自己評価 力ができなかった点が心残りである。来期はプ 4 ヶ月という短期間の制約の中ではあるが、 ロジェクトリーダーの経験者として、他研究室 データ作成から既存手法の実装、そして提案手 の後輩のプロジェクトのメンバー(メンター) 法の実装まで到達できなかったのは、本人のス として関わっていきたいと考えている。 ケジュール管理ミスであった。2 週間-1 ヶ月に 10. 謝辞 1 回程度の進捗報告を行い、着実に実装してい チューターを引き受けて下さった浅原正幸 れば、既存の仮名漢字変換システムのソースコ 助教、学外で共同研究してくださっている京大 ードを流用しないで一から実装するという方 森信介氏、適宜アドバイスをくださる Google 針変更による工数の増加にも対応できたと考 工藤拓氏、NTT 永田昌明氏、そして仮名漢字 えている。ただ、時間がかかった代償として、 変換の世界に導いてくれた Google 田畑悠介氏 仮名漢字変換のアルゴリズムについて詳しく と Yahoo! Japan 徳永拓之氏に感謝する。 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 着れる外筋肉型パワーアシストウェアの開発 ２．プロジェクトリーダー 所属講座 ロボティクス講座 学年 D1 学生番号 0761033 氏名 丁 明 e-mail アドレス [email protected] ３．分担者 所属講座 学年 学生番号 氏名 e-mail アドレス ロボティクス講座 M2 0651078 中村 大介 [email protected] ロボティクス講座 M2 0651016 植良 諭 [email protected] ロボティクス講座 M1 0751046 栗山 真司 [email protected] ４．チューター 所属講座 ロボティクス講座 職名 氏名 助教 栗田 雄一 ５．必要経費 金額(千円) 設備備品費 消耗品費 支出予定月 100 11 月 小型コンプレッサ×1 個／人工筋制御のため 300 10 月 制御用パソコン×１個／人工筋制御のため 200 10 月 電磁弁×１個／人工筋制御のため 150 10 月 DA ボード×１個／人工筋制御のため 150 10 月 AD ボード×1 個／人工筋制御のため 150 10 月 空気圧ゴム人工筋×10 個／アシストウェア作成のため 50 10 月 旅費（調査目的も可） 品名・型名・数量／行先・目的・日数等 400 12 月 工具×１式／アシストウェア作成のため パワーアシスト研究に関する調査×４人／ 計測自動制御学会ＳＩ部門講演会（１２月広島，３日間） 合計(上限 1,500 千円) 1500 ６．プロジェクトの背景と目的 近年高齢化問題は世界で注目されており高齢者や障害者を支援するためパワーアシスト技 術の研究が盛んに行われている。またリハビリテーションやスポーツトレーニングの分野で もパワーアシスト技術の応用が期待されている。パワーアシスト技術はアクチュエータの補 助動力を用いて作業・動作時における操作者の負荷軽減及び能力増大を行う技術である。こ れまでも様々なパワーアシスト装具が開発されているが，従来研究ではモーターなどのアク チュエータを利用し、固定された関節軸と硬い補助カバーによって人間の動作をサポートす る「外骨格」型タイプが多い。これらは設定された関節自由度方向の動作制御や関節角度の 計測がしやすい反面、人間の運動も拘束されてしまう。また硬いカバーや軸を利用するため、 装具の着脱が難しくなり、結果装着するのに他人の協力が必要となるため自立的な日常生活 では利用するのが困難である。さらに、剛体構造である装具はいったん製作されるとサイズ の調整ができないため、個々の身体的特徴の個人差への対応も難しい。これは従来のパワー アシスト装具が「身に付けた機械装置で力を付与する」という考えに基づいているためであ るが、本プロジェクトでは、このような古くからある概念から脱却し、新たな「外筋肉」型 のパワーアシスト装具を提案する。 「外筋肉」は McKibben 型の空気圧ゴム人工筋を利用す る。相互連結構造により服の中に人工筋を内蔵することにより、やわらかく容易に着脱可能 な「パワーアシストウェア」を開発することを目的とする。 ７．目的到達までの研究計画 従来のパワーアシスト装具は関節軸が固定されていたため、人間の運動が拘束されて装具と 同じ自由度の運動しかできない。また、外骨格型装具は装着するのが非常に難しい。図１は 肘関節を例とした電気モーターと人工筋を利用した固定回転軸のパワーアシスト装具の構 造を表している。 (a) 電気モーター 図１ (b) 空気圧ゴム人工筋 固定回転軸のパワーアシスト装具の機構 ここで固定軸構造を回避するため、図 2 のように空気圧ゴム人工筋を利用した無回転軸 のパワーアシスト装具が開発されている。この構造により、人間の関節を拘束することなく 補助することが可能となっている。しかし、その構造によりカバーが完全に体に固定されて いないと、人工筋の伸縮（赤い矢印）により、カバーが体軸方向のズレ（青い矢印）が発生 し、計算通りの回転制御が不可能となる。 図２ 固定軸のないパワーアシスト装具と駆動によりズレの発生 ズレの発生を回避するため、硬いカバーを利用しないパワーアシスト装具を考案する。 本研究は空気圧ゴム人工筋のみ利用する「外筋肉」型パワーアシスト装具である。図３は例 として肘部の曲げる動作を制御する構造を示している。人工筋と人工筋とを連結し、各人工 筋の長さの調整により人間の関節運動を補助する。その構造によりズレがなくなり、個人対 応も簡単にできると期待される。 （Illustrations courtesy of Active Link Inc.） 図３ 「外筋肉」型パワーアシスト機構 図４ 将来のパワーアシストウェアの イメージ さらに、肘が伸びる動作やその他の複雑な関節運動に対しても、人工筋の連結構造を工夫す ることで対処が可能であると考える。このような「外筋肉」型構造を服の中に入れ込んでし まうことで、柔軟で容易に着脱可能なパワーアシストウェアが開発できる。将来的には、図 ４のような全身運動への展開も考えている。 ８．決算の要約 金額(千円) 設備備品費 消耗品費 支出予定月 106.785 11 月 スロットユニット・PCI-PCI04・１台 183.750 12 月 ノートパソコン・ThinkPad T61・１台 103.425 12 月 直流電源・PLM-36・１台 430.000 12 月 圧縮機・SRL-0.75DS/6・１台 94.680 11 月 ユニットコム PC・１台 72.020 11 月 DA ボード 12 ビット・PCI-3346A・１枚 2.573 12 月 旅費（調査目的も可） 品名・型名・数量／行先・目的・日数等 50 ピンフラットケーブル 62.401 11 月 AD ボード 16 ビット・PCI-3165・１枚 49.462 12 月 工具（ステンレスノギス等）・１式 54.300 11 月 液晶モニタ・SyncMaster245B・１台 60.900 12 月 直流電源・PK-80・１台 12.750 12 月 スチール台車・１台 131.470 11 月 ロボット，パワーアシスト研究に関する調査×４人／ 東京ロボット展（１１月東京，１日間） 134.880 12 月 パワーアシスト研究に関する調査×４人／ 計測自動制御学会ＳＩ部門講演会（１２月広島，３日間） 合計 1499.396 ９．プロジェクトの状況および自己評価の要約 本プロジェクトでは， 従来の硬くて重い外骨格型パワーアシスト装具が装着しにくい問題に対し て，外筋肉型パワーアシストウェアを開発し，その有効性を証明した．本研究で開発されたアシ ストウェアは肘屈伸運動の補助を目的とし，空気圧で長さを制御できる人工筋の利用により，装 具を体にフィッティングすることができる．補助力の作用位置も人工筋により調整可能で，固着 位置のズレを減少した．試着者の主観評価，及び筋電図（EMG）信号の計測により，開発され たアシストウェアの有効性を検証した．今後人工筋の数とセンサーの取り付けによりさらに装着 と操作が簡単なアシストウェアを開発する． 今回のプロジェクト研究は，計画通りに進行し，当初の目標を大半達成した．デモンストレーシ ョンで，多くの人にアシストウェアを体験していただいて，アシストにの有効性について良い評 価を得られた．しかし，時間と設備の制約もあり，肘関節以外の補助まで設計ができず，その他 にも納得できないところも多々あった．本プロジェクトを通して予算の使用方法や進度の計画方 法などを学ぶことができ，とてもよい経験となった． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 着れる外筋肉型パワーアシストウェアの開発 プロジェクトリーダー メンバ 丁 明 植良諭，中村大介，栗山真司 チューター 栗田雄一 １．概要 能となっている．アクティブリンク株式会社は空気圧 １．１．研究背景と従来研究 ゴム人工筋を利用したウェアラブル倍力装置を開発 近年，ロボット技術の重要な応用分野として，パワー している[3]．脳卒中などで運動能力をほとんど失っ アシスト技術の研究が盛んに行われている．パワー た腕のリハビリを目指し，健康な片腕の動きや外部 アシストとはアクチュエータの補助動力を用いて作 信号で装具を強制的に動かすことが可能である． 業・動作時の操作者の負荷軽減及び能力増大を行 う技術である．最近，高齢者や障害者の運動支援を １．２．従来研究の問題点 目的に，身体に装着可能なパワーアシスト装具を開 従来研究では，パワーアシスト装具が発生する駆動 発し，装着者の運動を補助する研究が注目されてい 力により，人間の動作や力を制御することができるが， る．さらに，装着者に対して熟練者の動きを教示して 力と位置を制御するため，硬いフレームやカバーを 運動機能の習得を図るなど，スポーツトレーニング 使用する外骨格型（Exoskeleton Type）構造が多い． の分野への応用も期待されている． しかしながら，それらの硬い装具はサイズが一定で 現在，様々なパワーアシスト装具が開発されている． 特定の人にしか対応できない．また，装具自身も重 Kazerooni ら が 開 発 し た 装 着 可 能 な BLEEX くて，簡単に装着することが不可能である． (Berkeley Lower Extremity Exoskeleton) は歩行補 一方，アシスト装具やアクチュエータを体に固定する 助分野では現在最も先端の技術を持つ[1]．BLEEX ため様々なアタッチメントと固着方法が利用されてい は内燃機関を利用して，油圧ポンプで駆動する．大 る（例えば，マジックテープや空気圧ベルトなどがよ 量のセンサを用いることで，人間と装具間の力を検 く利用されている）が，それらの固着方法では制御 出し，各アクチュエータを知能的に制御する．人間 する際に装具と体の間に滑りが発生し，設計通りの の負荷を最低限にすることで，超常的な歩行・運搬 力が発生できなくなる場合がある． 能力を発揮することができる．彼らは油圧アクチュエ ータを利用して上腕のマニピュレーションパワーアシ １．３．研究目的 スト装置も開発した．装具は 6 自由度で，人間とマ 本研究は従来パワーアシスト装具の上述の問題点 シン/マシンと負荷の間で力を検出し，人間の力を を改善した上半身の外筋肉型パワーアシストウェア 任意の拡大率で増大し操作することが可能である． （Exo-musculor Power-assisting Wear）の開発を目 山海らが開発したパワーアシストスーツ HAL は，近 的とする．この装具は，肘屈伸運動の補助が可能で， 年全世界で最も注目されている[2]．装具は電池を 簡単に脱着できる．空気圧ゴム人工筋のみを利用 利用して，電機モータで駆動する．従来の一般的な する．また，空気圧で人工筋の長さを調整することに 手法である力センサを用いるのではなく，筋電位計 より，装具を体にフィッティングし固定する．補助力 測による動作制御を行っている．人間とスーツ系の の作用位置も人工筋の調整により，固着位置ズレを モデリングにより，安定した歩行動作を実現した．最 減少する． 新の HAL-5 は全身型となって，全身のサポートが可 図 1 空気圧ゴム人工筋の空気圧－長さ特製． ２． プロジェクトの進捗 図 4 右腕の人工筋配置．赤い丸で表示するところは アシスト箇所であり，人工筋⑮の空気圧制御により前後 ２．２．外筋肉構造の設計 移動が可能である． 前節で紹介した空気圧ゴム人工筋を相互連結し， 硬いフレームを利用していないパワーアシストウェア （以下では“アシストウェア”と呼ぶ）を設計した．各人 工筋の位置は人間の主要筋肉の分布を参考にした 図 3 外筋肉構造（左：正面，右：背後）：①～⑮は 人工筋で，⑯はマジックテープ付きベルトである． [7]．その位置を図３に示す．本アシストウェアは空気 図 2 空気圧ゴム人工筋の力－長さ特製． ２．１．アクチュエータ 圧ゴム人工筋を15本とマジックテープ付きベルトで 構成されている．人工筋と人工筋の間を紐で繋ぐ． 従来研究では，電気モーターや空・油圧アクチュエ 各人工筋を制御することで，体とのフィッティングと ータなど，様々なアクチュエータがパワーアシスト装 肘屈伸運動のアシストを実現する． 具に利用されていたが，本研究では人間の筋肉の 特性を持つ空気圧ゴム人工筋を利用する．空気圧 A．体とのフィッティング ゴム人工筋は他のアクチュエータと比べ，より軽量・ 人の体格には，かなりの個人差が存在している．本 安全であるという特性を持っている．パワーアシスト 研究では成年男性の体サイズに基づいて，長さが 装具以外は建築機器やロボットの駆動にも広く利用 異なる空気圧ゴム人工筋を利用し，ほぼ誰でも着れ されている． るアシストウェアを作成した．装着する際に，まずマ 空気圧ゴム人工筋は，ゴムのチューブとそれを覆う ジックテープ付きベルト（⑯）によりアシストウェアを腰 合成繊維コードを網状に編んだスリーブで構成され に固定する．そして，人工筋①～③の長さを調整す ている．空気圧の供給によりゴムチューブ内の圧力 ることにより肩の位置をフィッティングする．最後に人 が高まると，ゴムチューブおよびスリーブは径方向に 工筋④～⑦の長さを調整し装具を体に固定する． 膨張することにより軸方向に収縮し，力が発生する． 本研究で利用する空気圧ゴム人工筋は，収縮率が B．前腕屈伸運動のアシスト およそ１５％程度であり，人間の筋肉より若干小さい 肘関節の屈伸運動のアシストは，右腕が人工筋⑫と が，パワーアシストに必要な補助力を発生することが ⑬，左腕が人工筋⑧と⑨の制御により実現する．図 できる．実験により，得られた人工筋の“圧力―長さ” ４に示しているようにアシスト箇所（Assist Point）は人 特性と“力―長さ”特性を図１と図２に示す．これらの 工筋⑮により前後移動ができ，ユーザの最適なサポ 特性により，空気圧の制御を行い，人工筋の出力と ート位置まで調整することができる．さらに人工筋⑭ 長さを制御することが可能となる． を利用することで，人工筋⑫と⑬が上腕の両側に配 置しやすくなる． C．衣服との一体化 人工筋で構成された外筋肉構造を脱着しやすくす 図 6 制御システムの構成図．点線‘‐‐’はパソコ ンからの制御用電気信号を表している．実線‘―’は空 るため，二層の衣服の間に設置した．人工筋を制御 気の流れを表示している． しない状態では，普通の衣服とほぼ同じ様に装着で きる． 図 5 作成されたパワーアシストウェアの人工筋配 置（左）と衣服との一体化（右） ．空気圧ゴム人工筋を 互い連結し，内層シャツの上に設置する．人工筋の外に さらにコートでカバーする．二層の衣服の間にマジック テープで固定することにより人工筋装具と衣服を一体 化にする． 表 1 コンプレッサー 図５に，作成したアシストウェアを示す．左側は外側 日立産機システム株式会社 のジャケットが被されていない様子で，右側はジャケ 製造元 ットが被されたアシストウェアの様子である．実際ア 型番 SRL-0.75DS5/6 シストウェアを装着して，制御のない場合には普通 運転方式 無給油式 の衣服とほぼ同じ柔軟性を持ち，自由に運動ができ 最高圧力 0.8[MPa] る． 出力 0.75[kW] 消費電力 190[W]/200[W] 外形寸法 490×595×833[mm] ２．３．制御システムの構成 各人工筋の空気圧を制御するため，１６チャンネル の電空レギュレータ（電磁弁）（SMC 株式会社）を利 用した．この電空レギュレータの制御電圧はパソコン に装置している DA ボード（Interface 株式会社）によ り制御する．高圧空気はコンプレッサー（日立産機シ 表 2 電空レギュレータ（電磁弁） 製造元 SMC 株式会社 型番 MEVT500-OC6-T11R-8-B-3 最低供給圧力 制御圧力+ 最高制御圧力× 0.1 [MPa] ステム株式会社）から発生する．制御システムの構 成を図６に，主要な設備の仕様を表１～表３に示 最高供給圧力 0.7 [MPa] す． 制御圧力範囲 0～0.5 [MPa] 入力信号 0～10 [V] ２．４．制御用ユーザインターフェース 各人工筋の空気圧を制御するため，2 種類の制御 ユーザインターフェースを作成した．まず，各人工筋 の空気圧を直接，且つ詳細に設定するため，パソコ ン画面上でマウスにより調整可能なユーザインター フェースを開発した．図８に作成されたユーザインタ ーフェースの制御用ウェインドを示す． 表 3 制御パソコン OS Linux CentOS CPU Intel® Core™2 Duo 3.00GHz メモリ 2.0 G Kernel 2．6.18 ただいた． さらに， ユーザ自らアシスト力をコントロールするた 図 8 制御インターフェース．パソコン内の DA ボー 図 9 実験結果：アシストにより筋電図データの変化．筋電図データは直流線分を ドから発生する電圧信号を制御することにより， 電空レ め，Wii リモコンを使って Bluetooth 通信により，遠隔 除き，整流し，平滑化した．白い部分（1～2 秒，3.5～5 秒）はアシストのない状態 ギュレータにより空気圧を制御する．全て 16 チャンネ ２．６．筋電データによるアシスト評価実験 操作ユーザインターフェースも開発した．リモコン上 の筋電図データで，青い部分（2～3.5 秒）はアシスト状態の筋電図データである． ルである． アシスト中に筋電データを計測し，計測結果により作 のボタンにより，肘屈伸運動の補助制御が可能であ 成したアシストウェアの有効性を検証した． る． A．実験条件 実験はまず被験者にアシストウェアを装着させ，空 気圧の制御によりアシストウェアを被験者の体にフィ ッティングし，アシスト箇所を調整する．そして，手先 に重りを渡せ，空気圧の制御により肘関節をアシスト する．約 3 秒後に，同じ姿勢を保持しながら，空気圧 を減少し肘関節をアシストせず，被験者自身の力に より重りを持ち上げる．これらの二つの状態を２，３回 図 7 制御用コンプレッサー（左），電空レギュレー タ（右上）と空気タンク（右下） ． ２．５．デモンストレーション 本研究で開発されたアシストウェアのデモを，本学ス プリングセミナーにおけるポスター・デモセッション （2008 年 3 月 7 日）にて行った。セッション中に来場 者にシステムの構成と原理について説明し，アシスト ウェアを体験していただいた．自ら Wii リモコンにより 装具を制御した．興味を持つ多くの方々からコメント をいただいた． 本パワーアシストウェアの脱着は非常に軽くて装着 しやすく，人工筋の制御によりアシスト効果が発生し たという評価を多くいただいた．肘屈伸運動の補助 に有効であるものとして評価されていた．しかし，ア シスト箇所から，人工筋両端の硬いスリーブにより発 生された圧迫感があり，試着者によっては少し痛み を感じる場合もあった．また，人体信号などにより装 具を直感的に操作できるようにする要求もたくさんい 繰り返す． 本実験では肘屈伸運動に関係があり，且つ表面筋 電が比較的に取得しやすい両腕の上腕二頭筋，腕 橈骨筋，計４箇所の筋肉に筋電計を取り付け，肘関 節をアシストする状態とアシストしない状態の筋電図 データを計測した． B．実験結果と考察 図９には，整流化した筋電図データの一部分（５秒 間）を表示している．最初の 2 秒間はアシストを行わ ず，2 秒後から 3.5 秒までは人工筋の空気圧の制御 により肘関節をアシストした．3.5 秒からは空気圧を 減少し，アシストのない状態である． 計測結果から，アシストウェアの制御により，アシスト 状態で計測された筋電図データがアシストのない状 態より減少したことが確認できた．例として，左腕の 上腕二頭筋はアシストのない状態で筋電が約 ４．今後の展開 0.05[V]であったが，アシストにより筋電は 0.035[V]ま 今回開発したパワーアシストウェアは電空レギュレー で減少した．他の筋肉も同じ様に，各筋肉で平均 タで制御できるチャンネル数の制限により，全部で 25％の変化が発生した．実験結果により，制作した 15 本の空気圧ゴム人工筋しか利用できず，左右両 アシストウェアは肘関節の補助に有効であることを確 腕の肘関節の屈伸運動のみアシストした．今後さら 認した． に人間の筋肉構造を参考にし，制御可能な人工筋 一方，空気圧ゴム人工筋の空気圧制御は遅延が存 肉数を増やすことにより，全身が覆えるアシストウェ 在しているため，アシストの効果も遅延が存在してい アを開発する． る．図９に示したように，3.5 秒から 4 秒まで，アシスト 装着実験により，手先にものを持って作業する際に 状態からアシストのない状態に遷移するため，ほぼ 肘関節以外に，肩関節のアシストも重要であることが 0.5 秒の遅延が発生する．現段階では，本アシストウ わかった．今後，肩関節や手首関節も制御可能な ェアは反応速度に要求がないアシストのみ対応でき 外筋肉構造と人工筋の配置位置について設計を行 ることも確認できた． う． 今回の研究により，外筋肉構造と衣服の一体化によ ３．成果 り装着が便利になることが証明された．今後空気を 本研究プロジェクタで外筋肉型パワーアシストウェア 供給するパイプ位置も考慮し，衣服との一体性の向 の開発を通して，以下の成果が得られた． 上により，脱着の利便性の向上を目指す． 空気圧ゴム人工筋のみ利用した外筋肉型パワ 本アシストウェアは，現在ユーザの手操作によりコン ーアシストウェアを開発した．このアシストウェア トロールしているが，直感的に制御するため，センサ は従来の外骨格型パワーアシスト装具より軽量・ ーの取り付けが必要である．装具と人体の間の力や， 安全である特徴を持っている．衣服との一体化 人体の筋電信号を計測することによりアシストウェア によりアシストウェアの装着が簡単で，上肢に障 を制御する方法を検討する． 害を持つ方のリハビリテーションや恢復鍛練に 最後に，実際に障害者での臨床実験により，本アシ 有効であると考えられる． ストウェアの有効性を検証することも考えている． 従来の外骨格型アシスト装具は硬いフレームを 利用し，サイズの変更が難しいので，複数人に ５．自己評価 対応するのは困難である．本プロジェクトで開発 今回のプロジェクト研究では，目標とする外筋肉型 したアシストウェアは空気圧ゴム人工筋の調整に のパワーアシストウェアの開発を達成することができ より，サイズが異なる人物にも簡単にフィッティン た．デモンストレーションで，多くの人にアシストウェ グすることが可能である． アを装着し，体験していただいて，アシストにの有効 本アシストウェアは人工筋の長さの調整によりア 性について良い評価が得た．しかし，時間と設備の シスト箇所の位置調整が可能で，装具制御によ 制約もあり，肘関節以外の補助まで設計ができず， り発生する位置ズレを回避し，より有効なアシスト その他にも改良する必要があるところも多々残って を実現した． いる．本プロジェクトを通して予算の使用方法や進 実際アシストウェアを装着した方々の評価とアシ スト時の筋電図データ計測結果により，装具の 度の計画方法など を学ぶことができ ，とてもよい 経験となった． 有効性を証明した． 参考文献 [1] H. Kazerooni. Extender: A case study for control of a soft actuated exoskeleton for use in human-robot, interaction via transfer of power and physiotherapy and training. Autonomous Robots, Vol. 15, information signals. Proc. IEEE Int. Workshop on Robot pp. 21–33, 2003. and Human Communication, pp. 10–20, 1993. [6] 佐々木 大輔, 則次 俊郎, 山本 裕司, 高岩 昌弘. [2] S. Lee and Y.Sankai. Power assist control for walking 空気圧ゴム人工筋を用いたパワーアシストグローブの開 aid with hal-3 based on emg and impedance adjustment 発. ロボット学会誌, Vol. 24, No. 5, pp. 78–84,2004. around knee joint. Proc. IEEE/RSJ Int. Conf. Intelligent [7] ジョン H. ウォーフィル. 図説筋の機能解剖. 医学書 Robots and Systems, pp. 1499–1504, 2002. 院, 1968. [3] 毎日新聞. 「ちょっとだけ未来人」, 2007 年 1 月 10 日. [4] 石井 峰雄, 山本 圭次郎, 兵頭 和人. 完全独立 型パワーアシストスーツの開発.日本機械学会論文集(C 集), Vol. 72, No. 715, pp. 377–390, 2004. [5] Tsagarakis N.G. and Caldwell D.G. Development and 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 今，どんな曲が聞きたい？ ～ユーザコンテキストと音色情報を考慮した楽曲推薦システム ２．プロジェクトリーダー 所属講座 学年 論理生命学講座 D1 学生番号 0761004 氏名 井原 瑞希 e-mail アドレス [email protected] ３．分担者 所属講座 学年 データベース学講座 D2 学生番号 0661004 氏名 奥 健太 e-mail アドレス [email protected] ４．チューター 所属講座 職名 論理生命学講座 助教 氏名 前田 新一 ５．必要経費（※ここまで、交付申請の内容をそのまま記入すること。１ページに収めること） 金額(千 支出予定月 品名・型名・数量／行先・目的・日数等 円) 設備備品費 消耗品費 50 11 月 RWC 研究用音楽データベース 25 11 月 MathType for windows 320 11 月 旅費（調査目的も可） 汎用データ解析システム S-PLUS 30 11 月 多旋律楽器 CD 33 11 月 東京工業大学，AI-challenge で発表，1 泊 2 日（往復交通費・前泊） 400 1 月(IUI 2008) Spain, IUI 2008 に参加（往復交通費・宿泊・ 参加費） 200 3 月(2008) Australia, Machine Learning Summer School に参加，約 2 週間 合計 ６．プロジェクトの背景と目的 近年，携帯電話やポータブル MP3 プレーヤーなど，いつでもどこでも音楽が聞けるシステ ムが開発され，普及してきている．それにともない，音響・音声圧縮技術や楽曲検索・推薦 技術に対する需要も高まっている．現在の楽曲検索の方式の一つとして協調フィルタリング を用いた方法がある．これは，嗜好が類似する人の情報を使用して推薦楽曲を推定するもの である．しかし，楽曲の特徴およびユーザの状況や心境（ユーザコンテキスト）の両方を考 慮した検索方式は見当たらない．そこで，本プロジェクトでは，音色情報を楽曲の特徴と仮 定し，ユーザコンテキストに合った楽曲を推薦するシステムを提案する．最終的には器楽・ 歌謡曲などすべてのジャンルを対象にした楽曲推薦システムを設計したいが，現状では難し いため，問題を簡単にしてこのプロジェクトでは器楽曲のみに対象を絞る．論理生命学講座 の井原は，楽曲の音色特徴抽出について研究しており，データベース学講座の奥の研究では， ユーザコンテキストを考慮した情報推薦システムに関する研究を行っている．お互いの知識 を交換して融合研究を進めることで新しいシステムの構築が可能である． ７．目的到達までの研究計画 ユーザコンテキストと音色情報を考慮した楽曲推薦システムを構築することは，それほど 難しくないと考えられる．しかし，コンテキストを考慮したデータの構築において，どのよ うな情報をコンテキストとして選ぶべきか，構築した楽曲推薦システムの評価をどう行うか などの問題がある．この対策として，実験フェーズを２段階に設定する．第 1 段階では，ユ ーザコンテキストは考慮せず，多旋律楽曲における音色だけに基づいた楽曲推薦を行う．第 2 段階では，ユーザコンテキストを考慮して楽曲推薦を行う．具体的には，以下の内容でプロ ジェクトを進める． 月 内容 10 プロジェクト内容・分担・スケジュールの詳細確認，実験用データの注文 11 多旋律楽曲からの音色情報抽出法の考案・実装（井原） 12 (1)ユーザコンテキストを考慮しない多旋律楽曲における音色を類似度の尺度とした 楽曲推薦の実験，(2)ユーザコンテキストを考慮した音楽類似度の学習データ構築 1 多旋律楽曲で学習したモデルに基づく楽曲推薦の実験 2 ポスター・報告書完成 3 スプリングセミナーにてポスターセッション，報告書提出 また，2 週に 1 度，お互いのこれまでの研究紹介，それぞれの分野に関連する論文紹介（井 原：楽曲の特徴抽出，奥：コンテキストを考慮した分類や推薦），プロジェクトに関する進捗 状況の報告を行う．最終的には，MIREX (Music Information Retrieval Evaluation eXchange) の Polyphonic Music Instrument Identification コンテストに出展のほか，お互いが器楽曲推薦システ ムに関連した特徴抽出・楽曲推薦の内容で国際学会投稿を目指す． ８．決算の要約（※２末に確定。３月上旬に決算書を受け取り、記入すること） 金額(千 支出予定月 品名・型名・数量／行先・目的・日数等 円) 設備備品費 147.8 1 月 Macbook 13 インチ 消耗品費 50.05 11 月 RWC 研究用音楽データベース 52.29 3 月 EndNote 27.63 3 月 MathType for windows 32.8 3 月 66.28 3 月 Office 2007 ポータブル HDD 5.68 3 月 SD 2.16 3 月 SD リーダー 9.32 3 月 メモリ 5.812 3 月 （消費税） 29.635 3 月 旅費（調査目的も可） 35 11 月 井原：東京工業大学，AI-challenge で発表 予定，1 泊 2 日（往復交通費・前泊） 322.443 1 月(IUI 奥：Spain, IUI 2008 に参加，もしくは， 2008)，3 月 Brazil, ACM SAC 2008 に参加（往復交通費・ (SAC 2008) 宿泊・参加費） 246.1 3 月(2008) 井原：Australia, Machine Learning Summer School に参加，約 2 週間 合計 1,033 ９．プロジェクトの状況および自己評価の要約 このプロジェクトでは，楽器の音色を楽曲の特徴とし，その楽曲特徴とユーザの状況や心境（コ ンテキスト）に合わせて楽曲を推薦するといったシステムの提案を予定していた．このプロジェ クトでは，楽曲特徴は機械学習による特徴抽出手法を用い，楽曲推薦には Context-Aware SVM を 使用する．当初の計画では，対象を器楽曲のみに絞る予定であったが，より実用的なシステムを 構築したいと考え，歌謡曲も対象に入れた．現段階では，システムの構築やデモをするまでには 至っておらず，楽曲の特徴抽出について実験を行っているところである．スプリングセミナーま でにデモをしたいと考えていたため，計画通りに実験が進められずに残念な結果になったが，ス プリングセミナーの参加者からは実用化してほしいという意見を複数いただき，研究案としては ニーズに沿っていると考えられる． これからの展開としては，実際にシステム構築をして実験を行い，どれくらいユーザの満足度 が得られるかどうかについてはかるだけでなく，実際にこの楽曲特徴抽出方法やユーザの嗜好モ デルの構築方法，ユーザコンテキスト情報の取得方法が有効であるかについての検討を行ってい く必要があると考えられる． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名：今、どんな曲が聞きたい？ ～ユーザコンテキストと音色情報を考慮した楽曲推薦システム プロジェクトリーダ：井原 瑞希 １．概要（背景と狙い） 数(MFCC)が頻繁に使われている．今回は，単旋律 近年，携帯電話やポータブル MP3 プレーヤーや の音色推定において MFCC より高い精度であった ネットワークを介した音楽配信など，いつでもど 機械学習手法，主成分分析（PCA)と局所フィッシャ こでも音楽が聞けるシステムが開発され，普及し ー判別分析（LFDA）の組み合わせによるスペクトル てきている．それにともない，音響・音声圧縮技 次元圧縮を使用する [2]．この手法は単旋律楽曲に 術や楽曲検索・推薦技術に対する需要が高まって おいて楽器特徴を抽出可能であることが示されてい おり，それぞれ研究が進められている．その中で るが，多旋律楽曲に関してはまだ研究が進んでいな も，本プロジェクトは楽曲推薦を扱っている． い． 現在の楽曲推薦の方式の一つとして協調フィ 一方，ユーザコンテキストを考慮した推薦に関して ルタリングを用いた方法がある．これは，あらか は，コンテキストを考慮した SVM による情報推薦方 じめユーザから収集した好き嫌いなどの嗜好情 法[3]を採用する．この手法は飲食店推薦において 報から一定のパターンを抽出し，嗜好パターンが 有効性が実証されているが，他の種類のデータに応 類似する他のユーザの情報を使用して自動的に 用できるかについてはまだ調べられていない． 推薦アイテムを推定するものである．この手法は， これらをふまえて，井原の研究分野である ユーザの情報が限られていてその嗜好情報だけ PCA-LFDA による楽曲特徴抽出と奥の研究分野で ではユーザが好むアイテムを予測しにくい場合 あるユーザコンテキストを考慮した推薦システムの汎 でもアイテム推定が可能であるという利点があ 用性を示すと共に，両方の研究を組み合わせたコン り，オンラインショッピング，映画推薦やニュー テキストを考慮した楽曲推薦システムを構築すること ス記事の推薦など幅広い分野に使用されている が本プロジェクトの目的である． 手法である． 協調フィルタリングは Ringo[1]など楽曲プレ ２．プロジェクトの進捗 イリスト生成システムにも応用されており，ユー [2]の特徴抽出方法は単旋律楽曲の短時間のス ザの嗜好を考慮されているが，嗜好情報は状況に ペクトルから楽器を推定する方法であり，多旋律楽 よって大きく変化するものであり，これを適切に 曲や歌謡曲での楽器推定や歌手推定においてはま 学習し，ユーザプロファイルとして表現すること だ有効性が実証されていないため，プロジェクトを提 は容易でない． 案した当初は，器楽曲のみで実験を行う予定であっ そこで，本プロジェクトでは， 音色情報が楽曲特徴を表現すると仮定し，楽曲特 た．しかし，器楽曲のみで実験を行った場合，問題 徴とユーザコンテキストから楽曲推薦に必要で が簡単であるという利点があるが，需要は低いと考え ある特徴を選択し，場所・時・気分など人の選択 られた．そのため，発案当初に予定していた器楽曲 に影響を与える情報を利用した楽曲を推薦する のみではなく，歌謡曲も分類できるようにプロジェクト システムを提案する． で使用するデータを変更した．実験では，2004 年の 楽曲の特徴は，従来研究でもしばしば楽曲の音 MIREX (Musical Information Retrieval Evaluation 色特徴が表現されていると考えられるスペクトル情 eXchange)のジャンル分類タスクで使用され，ウェブ 報から抜き出されており，メル周波数ケプストラム係 上に公開されている 6 種類のジャンルの楽曲セット を使用した． 本プロジェクトは三段階のフェーズに分けられる． を使用することにした．この実験では，LFDA で次元 圧縮する際に楽器をクラスラベルとして用いている 一つ目は使用するコンテキストの決定，二つ目は楽 曲特徴の抽出，そして三つ目は前の二つを統合し た楽曲推薦である． 一つ目の，楽曲推薦に使用するコンテキストパラ メータについては，気象情報，季節・時間帯・イベン トなどの時間情報，どこで聞いているかなどの場所 情報， 元々どんなジャンルの音楽が好きか，そのと きの気分や感情を含むユーザ情報や誰といるかな どのユーザ環境に関する情報をコンテキストパラメー 図 2: PCA-LFDA による圧縮結果 タとして設定した． 二つめの楽曲特徴の抽出に関しては，様々な方 が，今回の実験では，楽曲推薦をする場合に重要 法が提案されているが，スペクトル情報を用いている であると考えられるジャンル情報をクラスラベルとし 研究が多く見られる．本プロジェクトでは，まず PCA て用いた． で全体のデータの分散を最大化するような次元に射 三つ目の楽曲推薦方法に関しては，どのコンテキ 影して次元圧縮をすることでデータの冗長性を減ら ストパラメータが重要であるかを選ぶことの出来る， した後，LFDA によってラベル情報を考慮したパラメ Context-Aware SVM（図 3）を使用する．従来のコン ータに次元圧縮する PCA-LFDA パラメータを特徴と して採用する．単旋律楽曲において従来研究でし ば し ば 使 わ れ て い る MFCC と 提 案 手 法 で あ る PCA-LFDA，それぞれを使用してスペクトル情報を 3 次元の空間に圧縮した結果，図 1（MFCC），図 2 （PCA-LFDA）のような結果になった．色の違いは楽 図 3: Context-Aware SVM テキスト依存型情報推薦においては，コンテキストご とに十分な学習データを用意するとなると膨大な量 のデータが必要となる．しかし Context-Aware SVM で は，コンテキストの重みを楽曲特徴と並列して学習すること 図 1: MFCC によるスペクトル情報の圧縮結果 により，未学習のコンテキストに対しての汎化能力があるだ けでなく，あらゆるコンテキストに基づく嗜好を一度の学習 器の違いに相当する．MFCC に比べて PCA-LFDA で識別することが出来る． は楽器ごとにクラスタを成して射影されていることか 現状としては，実験に使用するデータの変換など ら, MFCC よりも PCA-LFDA が楽器特徴を少ない次 の前処理を終え，二つめの特徴抽出の段階まで進 元で表現できる可能性が高いことが示唆され，これ んでいるが，PCA の主成分をどれだけ使用するか， LFDA で何次元まで圧縮するかに関する検証を行っ 法・SVM などの学習手法，それぞれについての質 ている段階である． 問があり，このプロジェクトがデータベースや音 ３．成果 楽情報学といった特定の分野に偏らず，両方の研 現段階では，システム構築まで至っていないため に明らかな成果はでていない． 究を組み合わせることで成立しているプロジェ クトであることが伺える．また，ポスターのみで デモが無く，他のプロジェクトに比べて比較的地 ４．今後の展開 味であったにもかかわらず，非常に多くの参加者 まず，楽曲特徴からジャンル推定が行えるかどうか からコメントを受け， 「iPod などに実装して欲し を試し，①PCA-LFDA による特徴抽出がスペクトル い」， 「商品化されれば使用してみたい」などとい 情報とジャンルに基づいた楽曲の特徴抽出に使用 った前向きな感想を聞くことが出来た．これは， できることを示す．推定精度によってはこのシステム 「音楽を聞きたい」という日常生活に関わる分野 の一部を MIREX のジャンル推定コンテストに使う．ま を対象としているため，学部の 3 回生にとっては た，それらの楽曲特徴と，２で述べたコンテキストパ 関心のあるテーマであったことが理由ではない ラメータを Context-Aware SVM によって学習するこ かと考えられる．これらのことから，プロジェク とで，②コンテキストを考慮した楽曲推薦システムを トテーマの設定は良く，問題点としては研究計画 構築し，実験によってシステムの良さを検証する． に沿って実験が進められず，実装まで至れなかっ 同時に，③Context-Aware SVM が，飲食店推薦の た点が挙げられる． みならず楽曲推薦にも応用できることを示す． また，プロジェクトの進め方に関してうまくい 上記の 3 つが課題となっている．それに加えて， かなかった点もあるが，融合分野の研究を行うこ ④このシステムの良さを比較する方法についての検 とで，特徴抽出方法や分類方法についての知識交 討も必要であると考えられる．ユーザが満足のいく結 換が出来，それぞれの研究にも良い影響を与えた 果が得られれば，実際の音楽配信などに組み込む のではないかと考えられる． ことも考える． [1] Shardanand, U. and Maes, P. “Social ５．自己評価 当初考えていた計画と比較して，使用するデー Information Filtering: Algorithm for Automating Word of Mouth.” Proc. of CHI. タの変更やデータ変換の問題などがあったため， pp.210-217 (1995). スプリングセミナーまでに実装してデモをする [2] 井原，前田，石井．“機械学習を用いた楽器 段階までたどり着けなかったことが残念であっ 音の音源同定”第 26 回 た．しかし，まだユーザ情報を考えた音楽推薦の レンジ研究会(SIG-challenge)，2007 年 11 月． 分野に関する研究は確立されておらず，このよう [3] 奥，中島，宮崎，植村．“状況依存型ユーザ な研究をすすめていく価値は十分あると考えら 嗜好モデリングに基づく Context-Aware 情報推 れる． 薦システム”情報処理学会論文誌：データベース， スプリングセミナーにおいては，情報検索，言 語処理，視覚情報の研究に対して興味を持ってい る参加者から，プロジェクトの進歩状況で述べた， このプロジェクトの三つの特色である楽曲の特 徴抽出方法・ユーザコンテキスト情報の取得方 人工知能学会 AI チャ Vol.48, No. SIG11(TOD34), pp.162-176, 2007 年 6 月． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 創作楽器ウダー楽団 ２．プロジェクトリーダー 所属講座 学年 コンピューティング・アーキ M2 学生番号 0751057 e-mail アドレス 氏名 柴田 章博 [email protected] テクチャ講座 ３．分担者 所属講座 学年 コンピューティング・アーキ M2 学生番号 e-mail アドレス 氏名 0651049 須賀 圭一 [email protected] テクチャ講座 同上 M2 0651109 本間 知教 [email protected] 同上 M1 0751100 平田 雄一 [email protected] 同上 M1 0751106 洪 [email protected] 勇基 ４．チューター 所属講座 職名 コンピューティング・アーキテクチャ講座 助教授 氏名 中田 尚 ５．必要経費 金額(千円) 設備備品費 支出予定月 300000 未定 ウダー×5 150000 未定 SD-20（音源）×5 50000 未定 旅費（調査目的も可） 合計 品名・型名・数量／行先・目的・日数等 スピーカー（アンプ付）×5 演奏会場までの交通費 500000 ６．プロジェクトの背景と目的 今日、音楽はポータブル音楽プレイヤー、携帯電話の着うた、音楽のインターネット配信など、 ハードとソフト両面からの進化によって、これまでより気軽に扱えるようになった。今や音楽は、 私たちの生活の中に浸透し、生活の一部と化している。 音楽を演奏するための楽器は、有史以前から作られてきた。日本でも数多くの楽器が作られ、 近年では電子部品を用いた電子楽器が作られている。電子楽器の一つとしてウダーと呼ばれる楽 器が存在する。ウダーとは宇田道信氏が電気通信大学在学中に作成した自作楽器である。ウダー の仕組みについて説明する。図１にウダーの概略図を示す。ウダーの開発目的は、搬送性に富み、 コンパクトかつ演奏し易い電子楽器を提供するとともに、場所を問わずに練習可能な練習具も提 供することである。ウダーの構造は次の通りである。電子楽器本体と音源装置とから構成され、 電子楽器本体は、支柱と、支柱が回転自在となるように支柱に掴持部とローラ部とを有し、支柱 に音階が異なる多数の鍵盤を有する鍵盤部が対称配置されており、鍵盤部は支柱の外周の軸方向 にオクターブはなれた同一音が配列されるよう螺旋状に配置されてなる電子楽器である。 図１ ウダーの概略図. また、ウダーの作成者の宇田氏は、ウダーおよび、その周辺発明によって社会から高く評価さ れている。第一に、宇田氏は電気通信大学の特色ある大学教育支援プログラム「楽力」に選ばれ た[1]。第二に、神奈川県川崎市で行われた「全国手づくり楽器アイデアコンテスト」で大賞を受 賞した[2]。第三に、2005 年度に「音楽を視覚的に認識する方法及びウダーの習得を支援するソ フトウェアの開発」として、未踏ソフトウェア創造事業（未踏ユース）に採択された[3]。第四に、 第１回キャンパスベンチャーグランプリＴＯＫＹＯ（CVGT）」 （ＣＶＧＴ実行委員会・りそな銀 行・日刊工業新聞社共催）優秀賞受賞した（２００５）[4]。第五にプログラミング・シンポジウ ムにおいて、山内奨励賞受賞をした（２００７）[5]。しかし、ウダーは宇田氏が手作業で作成し ているため世に出回っている数がほとんど無い。そのため、現在、確認されているウダーの演奏 者は宇田氏一人のみである。故に、複数の演奏者によってウダーが演奏されたことは無い。そこ で、我々はウダーの演奏チームを結成し、ウダーの演奏をすることを考えた。ウダーの演奏会を 行うことで、”能動的に楽しむことの精神”を観客に伝えることができると考えられる。我々は、 NAIST のスプリングセミナーや、小・中学校、高等学校等でウダーの演奏会を行うことによっ て、将来の日本を背負うであろう若い世代に、能動的な活動をすることの喜びを伝えることがで きると考えている。 参考文献 [1] http://www.gp.uec.ac.jp/ [2] http://www.ongakunomachi.jp/contents/report.asp [3] http://www.ipa.go.jp/jinzai/esp/2005youth/gaiyou/2-51.html [4] http://www.cvg-nikkan.jp/area_tokyo/winner_list.html [5] http://ltm.cs.uec.ac.jp/prize.html ７．目的到達までの研究計画 目的 ：スプリングセミナーおよび、さまざまな会場での演奏会の実施 10/19 11 月 12 月 1月 2月 3月 ウダー購入, 個人での 演奏練習 発表曲の選出, メンバー全員で発表曲の練習 演奏会を行う会場、日程の検討 ● 2 月下旬 高山サイエンスプラザ、 各学校で演奏会実施 演奏会場のアポイントの取得 ● 3/14 スプリング セミナー 各地で演奏会を行う ・スプリングセミナーでは、各地で行った演奏会の報告と生演奏を行う 目的を達成するために必要となることは、参加メンバーのウダーの演奏技術の習得があげられ る。ウダーはその演奏方法が他の楽器と大きく異なるため、過去に習得した楽器の演奏技術が使 用できない。すべて白紙の状態から始めないといけないので、熟練までには困難が予想される。 しかし、ウダーの開発コンセプトにある通り、搬送性に富み、コンパクトである特徴を生かして、 個人の空いた時間に場所を問わず練習ができる。また、ウダーの練習ソフトが宇田氏によって開 発されているため、ソフトを活用することによってウダーの演奏技術は効率的に得ることができ る。これらのことより、短期間での技術の習得は十分に可能であると考えられる。 ８．決算の要約 金額(千円) 設備備品費 消耗品費 支出予定月 300,000 支払済 94,290 支払済 品名・型名・数量／行先・目的・日数等 ウダー3.3 3 台 JUNO-D, 1 台 6,048 支払済 ヘッドフォン,3 台 8,400 支払済 USB-MIDI 変換ケーブル,3 台 10,076 支払済 5,103 支払済 譜面台,3 台 書籍,2 冊 旅費（調査目的も可） 合計 423,917 ９．プロジェクトの状況および自己評価の要約 日本テレビの番組“日テレＧ＋おとな館「面白楽器にチャレンジ！」”（初回放送日２００８年２月９日、夜１０ 時）に出演した。また、本プロジェクトの目的の一つとして、 ”能動的に楽しむことの精神”を観客に伝える ことがある。番組出演によって、その目的が達成できたのではないかと考えられる。さらに、本学の名前とＣ ＩＣP 活動の知名度向上に、微々たるであるが貢献できたのではないかと考えられる。 ２００８年２月１６日に本学で行われたオープンキャンパスに参加した。そのオープンキャンパスでは、我々 の活動を示したポスターを展示した。また、日本テレビで放映された番組のビデオをパソコンのモニタで映し た。さらに、ウダーを三台を展示し、ウダーを触れ合う機会を設け、ウダーの知名度を向上させることに努力し た。 ウダーの独特な入力インターフェースを利用することで、楽器としてのウダーではなく、入力デバイスとして のウダーの可能性を考えた。そして、ウダーを入力デバイスとして使う対象に我々はゲームを選び、開発を行 った。しかし、ゲームの開発は完了できなかった。できなかった要因は、ウダーをコントローラとして用いるため のドライバ開発が困難を極めたためである。ウダーから出力される MIDI データをパソコンに取り込み、それを 数値データとして変換する、という挙動を実現するためには、スキルと時間が不足していたと考える。ウダーを パソコンが認識する、という所までは作成することができたが、MIDI データを数値データに変換するまでには 至らなかった。反省すべきは、ドライバ作成のための見積もりが甘かった点である。ゲーム本体の開発とその 周辺の準備に追われ、最も難解な箇所の認識を誤った。 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 創作楽器ウダー楽団 プロジェクトリーダ 柴田 章博 １． 概要（背景と狙い） 今日、音楽は携帯音楽プレイヤ、携帯電話の着うた、 音楽のインターネット配信など、ハードとソフト両面か らの進化によって、これまでより気軽に扱えるように なった。いまや音楽は、私達の生活の一部と化して いる。図１-A、B に人々の音楽の楽しみ方について のアンケート結果を示す。また、図１．２に演奏できる 楽器の有無についてのアンケート結果を示す。 図１．２ 演奏できる楽器の有無[1]. の一つとして”ウダー”と呼ばれる楽器が存在する。 図１．３にウダー本体の写真を示す。また、図１．４に ウダーの構造図を示す。ウダーはロープと呼ばれる 機構を持ち、一本の長いロープが本体の左右に一 本ずつ左右対称の螺旋状に巻かれている。このロ 図 1－A 音楽の楽しみ方[1]. ープを押すことで音が鳴り、ロープの押す位置や圧 力によって、音程や音圧を変えることができる。音程 の配置は、左右共にロープの内側の端が一番低音、 外側の端が一番高音である。音程は一周で１オクタ ーブの比率で連続に並んでいる。３０度で半音、６０ 度で全音、１５度で半音の半音の音程が変化する。 このシンプルな音程の配置がウダーの特徴である。 しかし、ウダーは世に出回っている数がほとんどない。 そのため、複数の演奏者によってウダーが演奏され 図１－B 音楽の楽しみ方：能動的楽しみ方と受動 たことはない。そこで、我々はウダーの演奏チームを 的楽しみ方[1]. 結成し、ウダーの演奏をすることを考えた。ウダーの 演奏会を行うことで、”音楽を能動的に楽しむ精神” 図１-A、Ｂより、私たちが音楽に触れる機会の増加 を観客に伝えることができると考えられるからである。 に伴い、音楽を聴く人の割合は多く、一方で楽器の 我々は NAIST のスプリングセミナー等でウダーの演 演奏ができる人の割合は少ないことがわかる。 奏会を行うことによって、将来の日本を背負うであろ 音楽を演奏する楽器は、有史以前から作られてき う若い世代に、能動的な活動をすることの喜びを伝 た。日本でも多くの楽器がつくられ、近年では電子 えることができると考えている。それと同時に、我々 部品を用いた電子楽器が作られている。電子楽器 はウダーの独特な入力インターフェースを利用する ことで、楽器としてのウダーではなく、入力デバイスと してのウダーの可能性も追求していく。 ２． プロジェクトの進捗 詳しくは第３節で説明することにし、ここでは簡単 ウダーを入力デバイスとして使う対象に我々はゲ に説明する。プロジェクトの進捗としては、ウダー楽 ームを選んだ。なぜなら、ゲームがこの世に登場して 団の演奏活動が”日テレ G+ おとな館”というテレビ 約３０年経つが、その入力インターフェースは大きく 番組で取り上げられた。また、肩もみゲームのプログ 変わっていない。多くのゲームコントローラーは十字 ラムは完成したが、ウダーからの信号を PC の取り込 キーとボタンの組み合わせで構成されている。図１． み認識させるドライバの部分の開発が遅れており、 ５に代表的なＴＶゲームのコントローラを示す。 未完成である。そのため、作成した肩もみゲームは ウダーでの操作ではなく、PC のキーボード等で操作 するようになっている。 ３．成果 ３．1 日本テレビへの出演 日本テレビからウダー開発者の宇田道信氏に取 材の要請があった。宇田氏は、日本テレビの番組担 当者に我々の活動について話したところ、我々もそ の番組“日テレＧ＋おとな館「面白楽器にチャレン ジ！」”（初回放送日２００８年２月９日、夜１０時）に出 図１．３ ウダー本体. 演することになった。図３．１に番組のタイトルのキャ プチャー画像、図３．２、３．３に我々が映った場面の キャプチャー画像を示す。 番組では、本プロジェクトメンバーの柴田 章博と 平田 雄一が出演し、童謡「ふるさと」を演奏した。こ れによって、本学の名前とＣＩＣP 活動の知名度向上 に、微々たるであるが貢献できたのではないかと考 えられる。 図１．４ ロープと音程の関係. 図３．１ 日テレ G+おとな館 タイトル画面. 図１．５ ゲームの入力デバイス. 図３．２ 柴田 章博、平田 雄一 ＴＶ出演画像 1. 図３．３ 柴田 章博、平田 雄一 ＴＶ出演画像 2. ３．２ オープンキャンパスへの参加 図３．４ オープンキャンパス展示ポスター. 雄一の二人で考えた。ゲームの実行環境はＰＣ上と ３．１項で述べた通り、日本テレビでウダーについ し、ウダーとＰＣはＭＩＤＩ－ＵＳＢ変換ケーブルを用 て紹介されたが、ウダーや我々のＣＩＣＰ活動につい いて接続した。図３．５にウダーとＰＣとの接続につい ての知名度は非常に低いと考えられる。そこで、そ ての図を示す。 の知名度の向上のために、２００８年２月１６日に本 学で行われたオープンキャンパスに参加した。その オープンキャンパスでは、我々の活動を示したポス ターを展示した。図３．４にそのポスター画像を示す。 また、日本テレビで放映された番組のビデオをパソ コンのモニタで映した。さらに、ウダーを三台を展示 し、ウダーを触れ合う機会を設け、ウダーの知名度を 向上させることに努力した。 オープンキャンパスでは、来場者や本学の学生、 そして教員から好意的な意見を多く頂くことができ、 図３．５ ウダーとＰＣとの接続図. 今後の活動へのモチベーションが高まった。 このゲームの概要は次の通りである。まず、ウダー ３．３ ウダーを応用した「肩もみゲーム」の開発 肩もみゲームのコンセプトは、本間 知教と平田 を入力インターフェースとしてみなし、ウダーからの 入力情報を MIDI-USB 変換ケーブルを用いて、ＰＣ に取り込む。次に、その取り込まれた情報を二桁の 値に変換する。そして、その値の大きさによって、キ ャラクターの表情が変化する。 このゲームの開発は二つのチームに分かれて開 発することにした。片方のチームは、ウダーからの入 力情報をＰＣに取り込むためのドライバ開発を行うこ とにした。このチームの担当者は須賀 圭一で、開 発言語はＣ言語を用いることにした。もう一方のチー ムは、ウダーからＰＣに入力情報を取り込まれた後の 処理の開発を行うことにした。このチームの担当は、 柴田 章博、洪 勇基、平田 雄一の三人で、開発 図３．７ キャラクターＡ 初期状態. 言語は Ruby を用いることにした。また、ゲームで用 いるイラストは、洪 勇基の友人であるアニメーション 会社の方に無償で描いて頂いた。ゲーム中のキャラ クターは二人とした。また、我々が指定したキャラクタ ーの年齢とＰＣに取り込まれた二桁の値によって、キ ャラクターの表情が変化するようにした。さらに、キャ ラクターの表情は各キャラクターとも三種類とした。ま ず、図３．６にゲームの選択画面の図を示す。次に、 図３．７、３．８、３．９にキャラクターＡの初期状態の 表情、怒ったときの表情、喜んだ時の表情を示す。 そして、図３．１０、３．１１、３．１２にキャラクターＢの 初期状態の表情、怒ったときの表情、喜んだ時の表 図３．８ キャラクターＡ 怒った時の表情. 情を示す。須賀の担当するドライバ部分は、開発が 完了できなかった。しかし、ウダーからの入力情報を バイナリ形式で、ＰＣに取り込むことができた。図３．１ ３にその時の画面を示す。 図３．９ キャラクターＡ 喜んだ時の表情. 図３．６ 肩もみゲームのセレクト画面. 図３．１３ ウダーからの入力情報を取り込んだ結果. ２００８年３月７日に本学で行われたポスターセッシ ョンに参加した。そのポスターセッションでは、ウダー を３台、ゲームの開発画面、ポスターを展示した。図 ３．１４にそのポスター画像を示す。 図３．１０ キャラクターＢ 初期状態. 図３．１１ 怒った時の表情. 図３．１４ ポスターセッション展示用ポスター. ４．今後の展開 ウダーからの入力情報をＰＣに取り込み、その情 報を二桁に変化した後の処理の開発は完了した。し かし、ドライバ部分の開発は完了できなかった。今後 図３．１２ キャラクターＢ 喜んだ時の表情. は、ドライバの開発を完了させたいと考えている。ま た、ウダーの他の応用方法についても研究していき たいと考えている。 ５．自己評価 とができなかった点が挙げられる。我々のプロジェク 結果として、当初想定していたものを最後まで完 トテーマは、「ウダーを用いた」肩もみゲームの開発 成させることができなかったが、本プロジェクトを通し である。ウダーを用いなければただのゲーム開発に て、様々な経験を得ることができた。まず、評価でき 過ぎない。できなかった要因は、ウダーをコントロー る点・できない点を振り返り、最後にまとめを述べる。 ラとして用いるためのドライバ作成が困難を極めたた めである。ウダーから出力される MIDI データをパソ [評価できる点] コンに取り込み、それを数値データとして変換する、 第一に挙げられることは、メンバー全員がゲーム という挙動を実現するためには、スキルと時間が不 開発未経験であり、研究分野も全く異なる中、ゲー 足していたと考える。ウダーをパソコンが認識する、 ム本体を形にすることができたことである。定期的に という所までは作成することができたが、MIDI データ ミーティングを重ね、時間が無い中、創意工夫して を数値データに変換するまでには至らなかった。反 各々の役割を遂げることができた。その要因として、 省すべきは、ドライバ作成のための見積もりが甘かっ 役割分担を徹底したことが挙げられる。ゲームプログ た点である。ゲーム本体の開発とその周辺の準備に ラムの分割・ウダーの演奏・ゲームで用いる画像の 追われ、最も難解な箇所の認識を誤った。 入手・ポスター作成・著作権に関する調査・各種機 まとめとして、本プロジェクトを通して、一つの研究 材や書籍の用意など、役割を明確化したことによっ を終えるための日程見積もりやチームワーク、役割 て、プロジェクトをスムーズに運ぶことができた。 分担などの重要性を学ぶことができ、良い経験を得 第二に、チームワークがいかんなく発揮されたこと ることができた。反省すべき点は以後の研究に生か も評価に値することであると自負する。ゲームプログ したいと考える。また、ドライバは完成に向けて開発 ラムは分割して作成したが、これは個人だけで進め を進める。 られるものではない。分割したプログラムを統一でき るよう、メンバー同士、プログラムの仕様や方向性を 常に話あった。その過程があったからこそプログラム 本体を完成させることができた。また、常に連絡を取 り合えるよう、Google Group を利用するなど、連絡手 段も統一した。 [謝辞] 本プロジェクトは大学院教育改革支援プログラ ムによって行われた。 本プロジェクトを通して、鈴木一範氏、A 氏（匿名 希望）に大変お世話になった。鈴木氏には、ゲーム 第三に、ゲームのクオリティを高めるため妥協しな 開発に関する深い知識や見識を以てたくさんの助 かった点である。ゲームは、使用される画像の良し 言をいただいた。A 氏には、ご多忙にもかかわらず、 悪しによって、機能は変わらなくても印象が変わる。 我々の無茶なお願いを聞いてくださり、クオリティの そのため、素人である我々よりも外部のプロの方に 高い画像を提供していただいた。この場をもって、お 頼んだ方がよいと判断し、某アニメーション会社に勤 二方に深い感謝の意を表明する。 務する方にアポイントをとった。資料を用意し、ゲー ムのコンセプト、求める画像の詳細など入念に準備 参考文献 し、プレゼンを行った結果、二つ返事で協力を約束 [1] ヤ マ ハ 音 楽 研 究 所 ,http://www.yamaham してもらえた。 f.or.jp/onken/index.html. [評価できない点] これは真っ先に、ウダーをコントローラとして用いるこ 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 Visual-Kinesthetic Approach To Computer Interaction Using Intuitive Hand Gestures ２．プロジェクトリーダー 所属講座 学年 Database M2 学生番号 0651149 e-mail アドレス 氏名 Reyn Nakamoto [email protected] ３．分担者 所属講座 学年 Robotics D2 学生番号 0661027 e-mail アドレス 氏名 Albert Causo [email protected] ４．チューター 所属講座 Interactive Media Design 職名 教授 氏名 Hirokazu Kato ５．必要経費（※ここまで、交付申請の内容をそのまま記入すること。１ページに収めること） 金額(千円) 設備備品費 旅費（調査目的も可） 合計 品名・型名・数量／行先・目的・日数等 400,000 Nov. 2007 Flea2 Firewire CCF Camera x2 260,000 Nov. 2007 Dell Precision Laptop M-Series 150,000 Nov. 2007 Dell 30” Monitor 190,000 消耗品費 支出予定月 Nov. 2007 Mac Mini (2GB RAM) x2 20,000 Nov. 2007 Apple Wireless Keyboard x2 30,000 Nov. 2007 Canvas X by ACDSee 5,000 Nov. 2007 Firewire Notebook Adapter 40,000 Nov. 2007 Camera Mount + Tripod x2 200,000 Mar. 2008 VR2008 Conference in Reno, Nevada USA 200,000 Mar. 2008 VR2008 Conference in Reno, Nevada USA ６．プロジェクトの背景と目的 In the movie Minority Report, main character John Anderton forages through a prophet’s murky visions of a crime, looking for possible clues as to where the crime is about to transpire. He manipulates the computer system using hand and arm movements in three dimensional space to swiftly and efficiently sift through mounds of mental imagery. unrestricted hand motions are allowed. Such effectiveness is available with when We aim to provide the beginnings to a similar experience. Our project is to develop an intuitive human input approach which allows the user to interact with hand motions in front of a multiple camera installation. Using simple hand motions in three dimensional space, the user can manipulate the system in a very visual and kinesthetic fashion. The initial setup would be a screen with cameras mounted upon it. recognize the user’s hand shape and location. Once the user is positioned in front of the screen, the system would Once this is done, the user can then interact with the system using several gestures types which would translate to mouse motions including move, click, drag, and drop. We plan to provide a couple of concept programs mainly geared toward general audiences: First, a simple jigsaw puzzle, where the user would arrange the images into their correct spot. user could try out virtual clothes and apparel. fashions that are out there! ７．目的到達までの研究計画 Secondly, a virtual clothes store, where the Here, the virtual clothes would overlay their own image allowing them to try the newest fun ８．決算の要約（※２末に確定。３月上旬に決算書を受け取り、記入すること） 金額(千円) 設備備品費 消耗品費 支出予定月 品名・型名・数量／行先・目的・日数等 222600 Flea2 Firewire CCF Camera x2 112350 HP Desktop 140100 Dell LCD 30” Monitor 167078 Macbook 176820 Adobe Web Design Suite 74751 Dell LCD 22” Monitor x2 203296 35700 190800 Mac Mini x2 Flea2 Camera Lens + Tripod Other 旅費（調査目的も可） 合計 1323495 ９．プロジェクトの状況および自己評価の要約 We aimed to provide an intuitive hand gesture interface towards controlling a computer for certain applications that would benefit from a non-mouse/keyboard interface. Thus, using hand motions combined with certain hand gestures, the user is able to manipulate the computer without the use of a mouse and keyboard. The concept application for our interface was an interactive “purikura”-type application. Here, the concept application shows the image of the user. The user can then add various images of other famous people or characters. Additionally, these images can be manipulated by scaling or rotation, etc. Once the scene is set up to their liking, they can take a screenshot which is uploaded to a web server. The image is subsequently accessible through the internet. The concept application was finished and worked well. The features worked well and the base code can be used for other purposes. The hand tracker worked to some degree in controlled environments. However, there were cases in which the tracker failed due to unforeseen complexities. Given additional resources, it would be possible to overcome their difficulties and provide a more robust tracking together with our fun interactive purikura application. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 Visual-Kinesthetic Approach To Computer Interaction Using Intuitive Hand Gestures プロジェクトリーダ Reyn Nakamoto １．概要（背景と狙い） adaptive region-sizing. Mean Shift algorithm Our project was to develop an intuitive human input recursively moves to the kernel-smoothed centroid approach which allows the user to interact with hand for every data point. motions in front of a multiple camera installation. from a given starting image. Then the color Using simple hand motions and gestures, the user histogram of the target object is derived. This can manipulate the system in a very visual and becomes the smoothing kernel. Next, the skin kinesthetic fashion. probability of each image pixel, based on the color Initially, the object is selected histogram, is computed. This iterative process step The initial setup was to be a monitor with cameras is called histogram back projection. During each mounted upon it. Once the user is positioned in iteration, the mean is the averaged x and y of the front of the screen, the system would recognize the skin probability distribution. Finally, the point where user’s hand shape and location. Once this is done, the probability centroid is becomes the new region of the user can then interact with the system using interest. several gestures types which would translate to coordinates of the mouse cursor. This position was used to change mouse motions including move, click, drag, and drop. Additionally, hand shape was used for the click We planned to provide a concept program mainly gesture. When the shape was reduced to a certain geared toward general audiences: A virtual clothes size, a click or capture was registered to the system. store, where the user could try “ out ” virtual clothes and apparel as well as take pictures with Handy Purikura Concept Application their several interesting characters—sort of like a The concept application was done in a combination enhanced purikura. of Flash and Actionscript. Here, the user can add / manipulate the position of their projected image as rapid well as other various actions. applications, and thus, was well suited for our We dubbed our development Flash provides a great environment for visual concept application “Handy Purikura”. purposes. ２．プロジェクトの進捗 The application is complete in terms of its functions Hand Tracking as an application. The skin color has distinct characteristics that make purikura application: First, the user’s image was it ideal for tracking human motion. For our project, placed in the middle of the screen. Continuously manipulate the position as needed. Adaptive Mean Shift Algorithm Essentially, it is an enhanced They can Among the (CAMSHIFT) is used to track the hand motion. It is other functions were: first, the user can draw like a function implemented in the Intel OpenCV Library. messages on the screen with various colors using the CAMSHIFT combines the Mean Shift algorithm with pencil tool. Additionally, users can add various pictures of people and items through simple drag and drop motions. The background image could be changed as well to portray being in one of several different places. Overall, there were 60+ images in which the users can choose from. image adjustment functions. Next, there are Each of the items added to the screen can be rotated, enlarged, and additionally, can have some “fun filters” applied to them where the image can be skewed to look fat or skinny. Lastly, once the scene is oriented as planned, a screenshot can be taken, which is Here is another shot with a different background and characters. Also some image filters are used. uploaded to a webserver and can be latter accessed via the web. Overall, we were successful at tracking the hand in controlled situations. We can see some sample ３．成果 images below: The finished purikura application was completed is as shown in the screenshot below. Here, we can see the hand being tracked. The middle picture shows a sample histogram and the right picture shows the filtered picture of possible hand positions. However, several problems existed especially when the background environment changed. The main problem we encountered in the implementation is the Here, we can see several items already placed on the screen as well as some letter drawn through the drawing interface. occlusion of the hand and the head. The head’s skin color profile is the same as the hand’s thus confusing the CAMSHIFT tracker whenever the head comes within the window of the hand’ As can be seen here, the tracker thinks both the head and hand are the hand and enlarges the tracked location to include both. a different color representation such as YUV may The tracker was not able to distinguish between the improve accuracy. head, the hand, and the background light. In the absence of strong light and other skin-color objects, In terms of intersystem communication, we could use CAMSHIFT tracker was able to track the hand at a a more direct approach, such as a direct network high speed as shown in its back projection in Fig.5, connection. the tracker wasn’t able to distinguish between the direct head, the hand, and the background light. We Additionally, for the transferring of the user image, it attempted to address the problem of hand-head would be better to do so using a similar mechanism. occlusion using Kalman Filter, but the approach was This way, the system would not have to be not successful. constantly requesting the file-system for data, and Here, we can use the network for mouse coordinate communication. thus, reducing some of the performance issues. There were additionally some issues with the two systems communicating with each other. The ５．自己評価 tracker was implemented in C, while the interface Overall, we learned a lot from experience. The use of was done in Flash/ActionScript. Since Flash by itself Flash, provides an interesting application design is limited in the ways it can communicate to the local approach. It provides rapid interface design along system, the communication was done through round with all the necessary tools for providing the extra about means. First, the system used X11 libraries polish to make an application have a finished feeling. to control the mouse. This worked to some degree. However, using network connection probably would Technical-wise, we learned about the difficulties of have been a better approach to communicating the integrating two different systems. In our case, we mouse coordinates and gestures. For the user’s attempted to integrate a mixture of C and Flash. image, we saved it to the filesystem as an This, by itself is not bad per se, but one must intermediary. carefully design the interface between the two to Due to constant writing of the file, there were some noticeably performance slowdowns ensure the best performance of the two. in our application. In terms of project planning, a more conservative ４．今後の展開 time estimate should have given for finishing the There were ways the hand-tracking aspect of this project. project could be improved. hindered the full completion of the project goals. To alleviate the Due to several unforeseen issues, it short-comings of pure CAMSHIFT tracking, two approaches are possible: Overall, we were able to create a fun and interesting application which could be employed for other such 1) Use another type of predictive filtering, such as CONDENSATION algorithm. This can deal with multi-variate systems like the hand-head motion. 2) The system currently uses HSV color model but projects. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 地理情報システムを利用したバイオ情報の可視化 ２．プロジェクトリーダー 所属講座 比較ゲノム学講座 学年 M2 学生番号 0651087 e-mail アドレス 氏名 西田孝三 [email protected] ３．分担者 所属講座 学年 学生番号 e-mail アドレス 氏名 比較ゲノム学講座 M2 0671113 森宙史 [email protected] 比較ゲノム学講座 M1 0751146 伊藤世士洋 [email protected] ４．チューター 所属講座 職名 比較ゲノム学講座 准教授 氏名 黒川顕 ５．必要経費 金額(千円) 設備備品費 支出予定月 521 11 月 品名・型名・数量／行先・目的・日数等 HP ワークステーション・xw4400/CT・1 台 / プロジェクト成果ディスプレイのため 396 11 月 デル 24 インチワイド TFT 液晶モニタ・ 2407WFPHC・4 台 / プロジェクト成果デ ィスプレイのため 41 11 月 サンワサプライ液晶モニタアームクラン プ式 4 面取付け用・CR-LA204・1 台 / プ ロジェクト成果ディスプレイのため 消耗品費 旅費（調査目的も可） 250 1～3 月 Google 本社 訪問、共同研究を視野に入れた ディスカッションを行うため 合計 1208 ６．プロジェクトの背景と目的 生命システムの理解を目的として、既知のバイオ情報を整理統合し、新規知識発見を誘導す るデータベースの構築が盛んに行われている。しかしながら、遺伝子や酵素、タンパク質な どの細胞の構成要素は膨大な種類存在し、相互に作用することによって機能しているため、 要素間相互作用すなわち生体ネットワークは膨大かつ複雑なものとなっている。そのため多 様な情報をストレス無く利用して、研究開発が効率よくできる情報探索インターフェースを 提供することはバイオインフォマティクスの最も重要な課題の 1 つである。生体ネットワー クには、ゲノムを基盤とした生命維持に関する代謝、遺伝情報処理など様々なシステムが含 まれ、表 1 のように階層的な分類によってわかりやすく表現できる。 表 1. 生体ネットワークの階層的構造の一例 第 0 階層 第 1 階層 第 2 階層 第 3 階層 解糖系 糖質代謝 糖新生 ペントースリン酸経路 . . . 代謝 クエン酸回路 ゲノム エネルギー代謝 電子伝達系 光合成 . . . 遺伝情報処理 転写 転写制御作用 翻訳 タンパク質間相互作用 しかしながら、階層を繰り込んでいくことで新たな代謝経路間の連携が現れ、情報量が発散 するため情報表現が難しい。そこで我々はこのようなバイオ情報と類似する特性を持つ地理 情報の優れた表現方法である地理情報システム（以下 GIS: Geographic Information System） に着目した。本プロジェクトではバイオ情報を、位置や空間に関する情報を持った属性デー タとして捉え、GIS でグラフィカルに表現することを試みる。これを実現することによって、 上記の問題が解決し、格段の利便性向上とそれによる研究開発の飛躍的な効率化が可能とな る。階層構造を成すバイオ情報を GIS 上で展開するには、マップするバイオ情報の準備と、 そ の 情 報 を 表 示す る フレ ー ム ワ ー クが 必 要 とな る 。 そ こ で我 々 は まず 、 KEGG （ Kyoto Encyclopedia of Genes and Genomes）から取得したゲノム情報および代謝情報を整理し、 Google Maps, Earth などの情報フレームワークに展開する予定である。これを基盤として、 メタゲノム情報の付加や様々な生物・実験条件における各酵素遺伝子の発現量情報のアニメ ーション表示なども追加実現し、web 上で自由に利用可能にする予定である。（図 1 はヒト腸 内メタゲノム解析で得られた遺伝子配列データを基に、代謝経路で重要な役割を担っている 細菌種の分布を示した提案者らによる予備実験画面） 図 1. 代謝マップ上にメタゲノム情報を付与したデモ画面 ７．目的到達までの研究計画 まず、バイオ情報全般のマッピングに必要な Google Maps, Earth API と、大量の代謝情報 を自動取得するために必要な KEGG API を習得する。その後 KEGG からの情報取得およびそれ ら情報のマッピングを実行するが KEGG では代謝経路を代謝機能ごとに分割しているため、 全体像が極めて複雑になっている。 そのため、分割された代謝経路をつなげる必要がある が、各代謝物や遺伝子が階層的に表現されていないため、そのままつなげることはデータ構 造上困難である。したがって、KEGG の代謝経路を各代謝物単位に分解し、代謝物を中心とし た構造に再編成する。以降の手続きは 3 項目に大分される。 1. KEGG の代謝情報から代謝物情報のみを取得し、代謝経路上で他の代謝物と関係を持 つ個数を算出する。 2. 1.で算出した個数が一定の閾値を超えたものを中心としたグラフを作成する。 3. 2.のグラフを当研究室で開発したクラスタリングアルゴリズム「DPClus」を用いて クラスタリングし、クラスタ毎にマッピングを行っていく。 以上がマップ作成までの計画である。マップ作成後の問題点として KEGG 情報のアップデ ートに伴うネットワーク構成の再編成があるが、我々はアップデートに対応して 1-3 のプロ セスを繰り返し、新しいマップを作成しバージョンアップ版としてリリースすることでこれ を解決する予定である。最終的にはこのプロセスを全てプログラム化し、KEGG がアップデー トされた場合に自動的にそのネットワーク構成を変化させアップデートを行うようにする。 ８．決算の要約 金額(千円) 設備備品費 支出予定月 542 11 月 品名・型名・数量／行先・目的・日数等 HP ワークステーション・xw4400/CT・1 台 / プロジェクト成果ディスプレイのため 消耗品費 432 11 月 液晶モニタ・eizo S2401W・4 台 / プロジェ クト成果ディスプレイのため 79 2 月 Adobe CS design standard ・1 個 / 画像編 集のため 36 2 月 メモリ・Kingston KVR533D2S8F4/512・4 枚 / 開発用サーバの計算能力向上のため 18 2 月 HDD・Seagate ST3500630NS・1 台/ 開発 用サーバのデータ容量向上のため 13 2 月 Wii リモコン, フィット・各 1 台 / プロジ ェクト成果操作のため 旅費（調査目的も可） 230 3 月 ドイツ, IPB 留学 / マイクロアレイデータ 解析法の調査 合計 1350 ９．プロジェクトの状況および自己評価の要約 7 項で述べた KEGG API を習得し、化合物の 2 項関係を列挙することは実現できたが、それら 2 項関係を表すグラフのクラスタリング結果は依然として複雑なままであり、化合物を中心 とした簡明なマップを再構築することは困難であった。そのため Roche Applied Science 社か ら提供されている全体的な代謝マップ ”Biochemical Pathways ”をマップとして利用し、6 項で述べた Google Earth のマップ中の地点に高度情報を付加できる機能を用いた生命情報 の可視化に注力した。マイクロアレイによって時系列で遺伝子の発現レベルを測定したデー タのマッピングは実現したが、メタゲノムデータから、各代謝反応で重要な役割を担ってい る菌株の分布を示すことはまだ実現していない。スプリングセミナーでの成果報告の状況は 好評であり、特に情報科学専攻の学生に生命情報の可視化について興味を持って頂けたこと は有意義であったと考えている。反省点としては極地方の座標における代謝マップが圧縮さ れて表示されてしまうこと、マップの一部のみにしかマイクロアレイのデータを付加できな かったこと、がある。今後の課題としては３階層目に付与したマイクロアレイによる遺伝子 発現データについて、遺伝子発現量に応じて色を変化させることでよりわかりやすくするこ と、またユーザがマイクロアレイのデータを入力すると自動的に Google Earth 上にパスウ ェイマッピングが行われるようなシステムの構築などを実現したいと考えている。 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 地理情報システムを利用したバイオ情報の可視化 プロジェクトリーダ 西田孝三 １．概要（背景と狙い） 方法である地理情報システムに着目した。地理情報 遺伝子や酵素などの生物体を構成する要素間の システムは、「位置や空間に関する情報を持ったデ 相互作用すなわち生体ネットワークを明らかにする ータを統合的に管理・加工し、視覚的に表示するこ 研究は、近年のゲノムプロジェクトの進展に伴って盛 とによって高度な分析を可能にする技術」である(2)。 んに行われるようになった。それらの代表的な例とし 本プロジェクトではバイオ情報を、位置や空間に関 て、トランスクリプトーム解析やメタボローム解析など する情報を持った属性データとして捉え、地理情報 が挙げられるが、これらから得られたデータは、生物 システムで明快に表現できる情報探索インターフェ の構成要素自体が膨大な種類存在し、さらにそれら ースの作成を試みる。これを実現することによって、 の要素間で相互に作用しているために、膨大かつ 上記の問題が解決し、格段の利便性向上とそれに 複雑なものとなっている。 よる研究開発の飛躍的な効率化が可能となる。 このように膨大かつ複雑な情報が続々と出てくる現 状において、多様な情報をストレス無く利用して、研 究開発が効率よくできる情報探索インターフェース を提供することは、バイオインフォマティクスの最も重 要な課題の 1 つである。 生体ネットワークにはゲノムを基盤として、生物体 内の化学物質の変換過程である代謝や、遺伝情報 処理などの、様々なより小さな機能を有するシステム が含まれている。これらのシステム間の連携は図 1 バイオ情報を地理情報システム上で展開するた のように階層的な分類によって簡明に表現すること めには、マップするバイオ情報の準備と、その情報 ができる。しかしながら、階層を繰り込んでいくことで を表示するフレームワークが必要となる。 マップす それまでは見えなかったシステム間の連携が現れ、 るバイオ情報として、我々は生体ネットワークの中で 情報量が発散するため情報表現が難しく、先行研 も研究の歴史が古く、システムの解明が最も進んで 究においてもそれが問題となっていた(1)。 いる代謝に注目した。この代謝についての世界的に 有名なデータベースを提供している KEGG (Kyoto Encyclopedia of Genes and Genomes)(1)から専用の API を使用して代謝情報を取得することを試みる。 KEGG の代謝データは独自の階層分類法によって 高度に階層化されているが、データ中には代謝物 や酵素などの構成要素が重複して存在しており、簡 明に表現するためにはこれを重複の無いデータへと 整理し、階層構造を再構築する必要がある。これに は、我々が所属する比較ゲノム学講座で開発された、 そこで我々は、このようなバイオ情報と類似した特 BL-SOM (Batch Learning-自己組織化写像)(3)や 性を持つ地理情報について(図 2)、その優れた表現 DPClus (グラフ理論を利用したクラスタリングソフトウ ェア)(4)を、適宜改良して使用する予定である。 整理、再構築した代謝データを地理情報システム 上に展開する情報フレームワークとしては、KML と いう XML に類似した言語を使用して容易に高機能 な操作環境が作成でき、さらにバイオ研究者の間で も知名度が高い、Google Earth を使用する予定であ る。 この情報探索インターフェースの完成後には、これ を基盤として、環境中の細菌叢を解析したメタゲノム データ(5)から、各代謝反応における各菌群の重要 性を表示する機能や、様々な生物・実験条件におけ るマイクロアレイデータを利用した各酵素遺伝子の 発現量変化のアニメーション表示なども追加実現し、 web 上で自由に利用可能にする予定である。 ２．プロジェクトの進捗 図 3. KEGG Atlas から取得した代謝経路の概要図 本プロジェクトの目的は、生体内の代謝反応を簡 明に理解可能な情報探索インターフェースを作成す 第 2 階層では生物の代謝経路を 10 の大きな機能 ることである。本節では、情報探索インターフェース 群の集合であると考え(図 4)、それらを分割して表示 の作成過程とその応用例という 2 つのテーマに大き させることにより、各機能群内の代謝経路間の連携 く分けて報告する。 を概観することが可能になった。 2.1. 代謝システム探索インターフェースの作成 生体内の代謝反応を Google Earth 上で簡明に表 現するために、以下のように 3 つの階層に分割して 表示することにした。 第 1 階層では生物の代謝経路の全体像を把握す ることを目的として、KEGG Atlas (6)から取得した代 謝経路の概要図(図 3)を表示させた。これにより各機 能群間の連携が容易に理解可能になった。 図 4. 生物の代謝経路を 10 の大きな機能群に 分割した図 第 3 階層では各化合物の反応過程の詳細を一望 して理解可能にするために、化合物を中心とした全 体的なマップを作成することを試みた。代謝情報を 検 索 す る 際 に 標 準 的 に 利 用 さ れ て い る KEGG Pathway データベース(図 5)は、生体内の各酵素反 応の詳細な理解を目的として構築されているため、 化合物の変換過程の全体像を理解するには構造的 に不向きである。したがって、化合物を中心としたマ ップに変換するために、データベース中の全ての化 合物の情報を KEGG API (7)を用いて取得し、化合 物間で反応物－生成物という関係が存在するものを 列挙して化合物間の単純グラフを作成した。 図 6. ExPASy - Biochemical Pathways これら三階層のマップを Google Earth にマッピン グすることによって、マップの閲覧、階層間の移動な どの操作を簡単に行えるようにした(図 7)。 図 5. KEGG Pathway データベースの一部 （図中の ○が化合物、四角が酵素を示す） 次に前述の化合物間の単純グラフについて比較 図 7. Google Earth において、三つの階層のマップを ゲノム学講座で開発されたグラフクラスタリングソフト 表示させた図 ウェア DPClus および BL-SOM を用いてグラフを分 類し化合物を中心としたマップの再構築を試みた。 2. 2. 1. 応用例 しかしクラスタリング後も依然として化合物間の関係 当初の計画では、「メタゲノム情報の付加」と は複雑であったため、化合物を中心としたマップを 「様々な生物・実験条件における各酵素遺伝子の発 再構築する試みは断念した。 現量情報のアニメーション表示」の 2 つを掲げていた これに代えて Roche Applied Science 社が提供し、 が、公共のデータが使用出来る点、前述の KEGG ExPASy (Expert Protein Analysis System)のサイトで API が活用出来る点などを鑑みて、「様々な生物・実 公開されている、図 6 に示す詳細な代謝マップ(8)を 験条件における各酵素遺伝子の発現量情報のアニ 第 3 階層のマップとして使用することにした。 メーション表示」に着手した。 そのために KEGG EXPRESSION (9)から、光合成 細菌の Synechocystis sp. PCC6803 における概日 2. 2. Leibniz Institute of Plant リズムを明らかにするために、時系列における各遺 2. 伝子の発現変化についてマイクロアレイを利用して Biochemistry でのマイクロアレイデータ解 解析した実験データ(10)を取得した。 析法についての報告 次に代謝マップ上の酵素と関係するマイクロアレ 前節でマッピングしたマイクロアレイデータに対す イ上の遺伝子の対応関係を取得した。具体的には、 る 情 報 学 的 な 解 析 手 法 を 学 ぶ 目 的 で 、 Leibniz 代謝マップの html をリンク解析し、マップ上に存在 Institute of Plant Biochemistry を訪問した。具体的 する酵素番号とマップ上での座標を取得し、対象生 には時系列マイクロアレイデータを利用した、注目 物種において指定した酵素番号を持つ遺伝子のリ する転写因子と関係がある遺伝子群の推定法につ ストを返す KEGG API のメソッドを用いることでこれを い て の 知 識 を 身 に つ け る こ と が で き た 。 Leibniz 実現した。最終的に各酵素に関わる遺伝子の発現 Institute of Plant Biochemistry での研究がどのように 情報を三次元情報（Google Earth 上での高さ）として 行われているかを知るだけでなく、多次元データか 表現する KML を自動生成するスクリプトを作成した。 ら生物ネットワーク地図を作成するソフトウエア 以上のような、マイクロアレイデータの Google Earth VANTED（11）を開発したガータースレーベン・ハレ・ へのマッピングの流れをまとめたものが図 8 である。 バイオインフォマティクス・センターも見学することが でき、今後の本プロジェクトの展開にとって非常に有 用であった。 ３．成果 (1) 生体ネットワークの階層構造を、Google Earth 上 で配置する高度を変化させることによって効果的に 表現可能にした。 二次元では複雑すぎて表現困難な生体ネットワ ークを三次元にすることによって明快に表現すること が可能になった。 (2) 同一階層の代謝経路データを一枚のマップで 表現した。 クリックなどで途切れることがないスムーズな情報 探索が可能になった。 (3) 代謝マップのリンク解析を行って各酵素のマップ 上での座標を取得する手法を確立した。 マップ上に存在する各酵素についての様々な情 報をインターフェース上で表示することが可能になり、 任意のマイクロアレイデータやメタゲノムデータなど 図 8. Google Earth にマイクロアレイデータを マッピングするまでの流れ の情報を付加可能な、応用性の高いシステムを開 発することが可能になった。 (4) Synechocystis sp. PCC6803 の時系列でサンプリ ングしたマイクロアレイデータをインターフェース上 にマッピングすることにより、代謝経路上で離れてい る酵素間で、遺伝子発現パターンが同調している例 ータ中から見つかる代謝マップ上の各酵素が、どの をいくつか発見することができ、新たな研究の糸口 ような菌株由来かを三次元の棒グラフによって表現 になった。 することにより、その生態系における各代謝反応をど (5) 2008 年 3 月 8 日に行われたバイオサイエンス研 のような菌株が担っているかが明快に理解可能にな 究科のオープンキャンパスにおいて、このシステムを る。このような機能の付加を試みる。 使用したプレゼンテーションを行い、バイオ研究者 に「利用しやすい」と好評を得た。 最終的にはマイクロアレイデータ、メタゲノムデー タを入力として、本研究で用いた Google Earth への 入力ファイルを自動生成するようなウェブアプリケー ４．今後の展開 まず、本プロジェクトを web 上で公開し、誰でも開 発に参加できる環境を作る。これにはかずさ DNA 研 ションを開発することで、バイオ研究者のみならず、 一般の人々たちにも生命情報の面白さを味わって いただけるようにしていきたい。 究所が提供している、KazusaNavigation というバイオ ポータルサイト(12)を使用し、「Google Earth を用い た代謝マップ上へのマイクロアレイ情報の付加」とい ５．自己評価 うタイトルでプロジェクトを作成し公開する。また、本 代謝物を中心とした代謝マップの再構築は叶わ プロジェクトで用いた Synechocystis sp. PCC6803 は なかったが、酵素遺伝子の発現量情報のアニメーシ かずさアノテーション（13）とよばれるプロジェクトにお ョン表示は達成できた。作業の進行は前述の代謝マ いて遺伝子への注釈付けがソーシャルブックマーク ップ再構築で大きく踏みとどまり、難航を極めたが、 のように行うことが可能なシステムが立ち上がってい 既存の代謝マップを用いる方針に変更してからは、 る。まずは Synechocystis sp. PCC6803 における 工数の見積が可能となり順調に進んだ。完了できな Biochemical Pathway 上の酵素にかかわる遺伝子全 かった酵素遺伝子の発現量情報のアニメーション表 てについてかずさアノテーションへのリンクを張り、本 示に関しては、今後も継続し最後まで遂行する。今 プロジェクトの成果をより広がりのあるものとしていく。 回のプロジェクトを通じて可視化ソフトウェアの有用 また、遺伝子発現が一定値を超えた際に発現を示 性、また、生物学と情報科学の融合の面白さを再確 す 3 次元目の情報に色付けすることで、発現量の識 認できた。本プロジェクトは非常に実りの多いもので 別をしやすくする、現在マッピングしている糖代謝系 あったと考えている。 に加えて全ての酵素への遺伝子発現量を付加する など、実現できなかった点も解消していく。 参考文献 環境中の細菌叢の生態を解析するメタゲノム解析 では、その生態系における化学物質の循環に各菌 (1) Kanehisa M. and Goto S. (2000) KEGG: kyoto 株が担っている役割を明らかにすることが、重要な encyclopedia of genes and genomes. Nucleic Acids 目的の一つである。このためには、膨大なメタゲノム Research 28(1): 27-30. データから各酵素遺伝子を抽出し、その遺伝子が (2) http://www.mlit.go.jp/kokudokeikaku/gis/ 由来した菌株を特定すると共に、代謝経路上にその (3) Kanaya S., Kinouchi M., Abe T., Kudo Y., 菌株の割合をマッピングすることが必要になる。この Yamada Y. et al. (2001) Analysis of codon usage 簡明な表現方法として、本プロジェクトで開発したビ diversity of bacterial genes with a self-organizing ューアが利用可能であると考えられる。メタゲノムデ map (SOM): characterization of horizontally transferred genes with emphasis on the E. coli O157 36(Database issue): D480-484. genome. Gene 276(1-2): 89-99. (7) http://www.genome.jp/kegg/soap/ (4) Altaf-Ul-Amin M., Shinbo Y., Mihara K., (8)http://br.expasy.org/cgi-bin/show_thumbnails.pl Kurokawa K. and Kanaya S. (2006) Development and (9) http://www.genome.jp/kegg/expression/ implementation of an algorithm for detection of (10) Kucho K., Okamoto K., Tsuchiya Y., Nomura protein complexes in large interaction networks. S., Nango M. et al. (2005) Global analysis of BMC Bioinformatics 7: 207. circadian (5) Kurokawa K., Itoh T., Kuwahara T., Oshima K., Synechocystis sp. strain PCC 6803. Journal of Toh H., Hiroshi M. et al. (2007) Comparative Bacteriology 187(6): 2190-2199. metagenomics revealed commonly enriched gene (11) Junker B. H., Klukas C. and Schreiber F. (2006) sets in human gut microbiomes. DNA Res. 14(4): VANTED: a system for advanced data analysis and 169-181. visualization in the context of biological networks. (6) Kanehisa M., Araki M., Goto S., Hattori M., BMC Bioinformatics 7: 109. Hirakawa M. et al. (2008) KEGG for linking genomes (12) http://navi.kazusa.or.jp/ to life and the environment. Nucleic Acids Research (13) http://a.kazusa.or.jp/ expression in the cyanobacterium 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 水中計測システム基盤の構築 ２．プロジェクトリーダー 所属講座 像情報処理学講座 学年 M1 学生番号 0751090 氏名 野村 烈 e-mail アドレス [email protected] ３．分担者 所属講座 学年 学生番号 氏名 e-mail アドレス ４．チューター 所属講座 像情報処理学講座 職名 氏名 助教 井村 誠孝 金額(千 支出予定月 ５．必要経費 品名・型名・数量／行先・目的・日数等 円) 設備備品費 消耗品費 430 11 月 PC（FC-N21S/CX3WS）×1 550 12〜1 月 防水ハウジング加工費 100 12〜1 月 インターフェイス用電子部品費 50 11 月 150 11〜12 月 旅費（調査目的も可） 合計 SSD ハイスピードカメラ用レンズ×3 50 11 月 計測データバックアップ用 HDD, 800GB 20 11 月 RAM 1GB×2 150 1〜2 月 1500 実地運用テスト（和歌山，2 名 2 泊を予定） ６．プロジェクトの背景と目的 近年の計測技術の進歩により，レーザレンジファインダやハイスピードカメラなどの高性能な イメージセンサが開発され，計測対象の幅や計測精度が飛躍的に向上した．このことにより，遺 跡の 3 次元形状計測やスポーツの動作解析等が盛んに行われている．しかし，これらの計測は， 対象を計測環境に持ち込むか，対象周辺に計測環境を構築する必要があり，水中などの特殊な環 境下にある遺跡や水中動作を計測したくても，容易に行うことは出来ないのが現状である． そこで，本プロジェクトでは，水中にある遺跡や水中動作を計測するための，高精度かつ汎用 性のある計測システム基盤を構築することを目的とする． 計測機器を含んだシステム全てを水中で使用することを考えた場合，まず防水加工されたセン サが必要不可欠である．製品としてすでに販売されているものもあるが，これは特定のシステム に組み込まれたものであり，また外部電源を使用しているため，異なるシステムに組み込むこと は電源確保などの問題からも困難であると考えられる．このことから，本システムでは汎用性の 面も考慮し，既存のセンサに防水ハウジングを取り付け，使用するものとする．この場合，セン サから得た情報を処理するための PC が必要であるが， 現状水中で利用できる PC は存在しない． また，これらを接続するためのケーブルの加工や，水中で操作するためのインターフェイスも必 要である．よって，これらについても防水加工を施し，水中での使用に耐えるシステムを構築す る． ７．目的到達までの研究計画 本プロジェクトの目的に到達するためには，以下の項目を達成する必要がある． (1) 防水加工 本システムには，PC とセンサ及び接続ケーブル等の防水加工が必須である．システムの拡張 性を考慮して，PC とセンサを別々にハウジングする．PC 及びセンサはそれぞれモジュールとし て扱えるようにし，ケーブルも別途防水加工を施すことで，複数機器の接続を可能にする． (2) インターフェイス 水中で PC を利用するためには，キー入力とポインティングが必要であるので，水圧等により メカニカルなものが利用できない場合には，タッチ式のディスプレイやカメラと画像処理による 非メカニカルなデバイスを製作する． (3) 電源 カメラ及びインターフェイスが PC のバスパワーで動作すれば，動作時間の面から考えても問 題はない．またそうでない場合でも，バッテリで動作可能な機器を用いることで，別途外部電源 等の装置を必要としないシステムが構築できる． (4) 発熱の問題 HDD を SSD に換装するなど回転系による発熱を出来るだけ押さえれば，ケース外つまり水に 放熱することで解決できると考えている． (5) 通信 PC を利用するメリットのひとつとして，他システムとの連携が上げられるが，これには通信 が必要となる．海中での利用も視野に入れた場合，海水は電気伝導率が大きいことから，電磁波 での通信は困難であると考えられる．また，販売されている水中音響通信モデムを用いた音波通 信も考えられるが，本システムは比較的短い距離での通信を想定しているので，自作の可視光通 信もしくは音波通信を試みる． 研究計画を以下に示す． 実地試験では，実際に本システムを使用した海中での撮影テスト，インターフェイスのユーザ ビリティの検証，及び通信テストを行う． ８．決算の要約 金額(千 支出予定月 品名・型名・数量／行先・目的・日数等 円) 設備備品費 消耗品費 218 11 ThinkPad X61 394 3 特注ハウジング 157 12 ThinkPad 増設メモリ一式 67 1 ハウジング用 PC 増設品一式 63 12 ThinkPad 用外付けドライブ 93 2 デジカメ一式 254 2 映像編集用ソフト一式 旅費（調査目的も可） 合計 1246 ９．プロジェクトの状況および自己評価の要約 現在，特注ハウジングは完成しており，後はインターフェイス用プログラムの開発である． インターフェイスには 2 台の web cam を用いるが，水とハウジングの本体とを通して指をトラ ッキングするため，屈折による影響を考慮しなければならない． スプリングセミナーでは，本プロジェクトのシステムはロボットのように動くことができないた め，派手なデモが出来なかったが，水槽による実演により，好評価を頂いた．しかし，今後の発 展性について問われるなど，今後の展開について，熟慮する必要がある． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 水中計測システム基盤の構築 プロジェクトリーダ 野村 １．概要（背景と狙い） 烈 込むことは電源確保などの問題からも困難で 近年の計測技術の進歩により，レーザレンジ あると考えられる．このことから，本システム ファインダやハイスピードカメラなどの高性 では汎用性の面も考慮し，既存のセンサに防水 能なイメージセンサが開発され，計測対象の幅 ハウジングを取り付け，使用するものとする． や計測精度が飛躍的に向上した．このことによ この場合，センサから得た情報を処理するため り，これらを用いた遺跡の 3 次元形状計測[1] の PC が必要であるが，現在市販されているの やスポーツの動作解析[2]等，多方面において もは，図 2 に示すような防滴加工を施したもの 研究が進められている．しかし，これらの計測 しか無く，完全防水された，水中で利用できる は，対象を計測環境に持ち込むか，対象周辺に PC は存在しない．よって，本プロジェクトで 計測環境を構築する必要があり，水中などの特 は，PC についても専用のハウジングを用意す 殊な環境下にある遺跡（図 1）や水中動作を計 る．さらに，PC の汎用性を最大限に行かすた 測したくても，容易に行うことは出来ないのが めに，センサと PC は別々にハウジングし，こ 現状である． れらを接続するためのケーブルについても防 水加工を施す． 図 2 防滴仕様 PC Panasonic TOUGH BOOK 図 1 沖縄 与那国島沖海底遺跡 これらの仕様を満たし，水中での使用に耐え そこで，本プロジェクトでは，これらの特殊 るシステムを構築する． な環境化での計測・画像処理を可能とするため の，汎用性のある計測システム基盤を構築する ことを目的とする． ２．要求仕様 計測機器を含んだシステム全てを水中で使 本プロジェクトの目的に到達するために，開 用することを考えた場合，まず防水加工された 発する水中システムは，以下の要求を満たす必 センサが必要不可欠である．製品としてすでに 要がある． 販売されているものもあるが，これは特定のシ ステムに組み込まれたものであり，また外部電 源を使用しているため，異なるシステムに組み (1) 完全防水 本システムは，PC とセンサ及び接続ケーブ ルを含む全ての機器を水中にもち込むため，全 場合，海水は電気伝導率が大きいことから，電 ての機器の防水加工が必須である．また，シス 磁波での通信は困難であると考えられる．また， テムの拡張性と汎用性を考慮して，PC とセン 販売されている水中音響通信モデムを用いた サは別々にハウジングする．こうすることによ 音波通信も考えられるが，本システムは比較的 り，センサ部を付け替えれば，現在は想定して 短い距離での通信を想定しているので，自作の いない機器の接続も可能になる． 可視光通信もしくは音波通信を試みる． (2) インターフェイス 水中で PC を利用できることが本システム の最大の利点であるため，その操作ができる必 要がある．そのためには，キー入力とポインテ 3．要求に対する対策 2. の要求を満たすため，本プロジェクトでは，次 のような対策を施す． ィングに変わる入力方法が求められる．しかし， 水圧や浸水により，メカニカルなものが利用で (1) 完全防水のために きないため，本システムでは，タッチ式のディ センサ部，PC 部を別々にハウジングし，さらにそ スプレイやカメラと画像処理による非メカニ れらを防水加工したケーブルで接続する．この仕 カルなデバイスが必要である． 様を実現するために，本プロジェクトでは，スチル カメラやビデオカメラの特注ハウジングを受注して (3) 電源 本システムでは，PC もセンサも，陸上から いる，株式会社フィッシュアイ DIV HANDS 事 業部に制作を依頼した．綿密な打ち合わせの末， 電源を取ることを想定していない．従って，カ USB などの接続ケーブルは，センサ部と PC 部 メラ及びインターフェイスが PC のバスパワ を繋いだホースの中を通すことで，要求を満た ーで動作すれば，水中での動作時間を限定すれ すことが出来た．機器構成やサイズ等は後述す ば，問題はない．またそうでない場合でも，バ る． ッテリで動作可能な機器を用いることで，別途 外部電源等の装置を必要としないシステムが 構築できる． (2) 水中で操作できるインターフェイス 本システムは水中で操作できる必要がある． よって，ステレオカメラを用いた画像処理によ (4) 発熱の問題 り，ハウジング外の指の動きをトラッキングし， PC やセンサは，動作するだけで発熱する． マウスの入力とする．クリックは，ディスプレ また，ハウジングにより密閉されているため， イ面をさした指が，同じ場所から一定時間動か 廃熱するにしても，ハウジングが接している外 ないことで実現する．設置位置や使用カメラは 部の水に放熱するしか無いため，なるべく内部 後述する． の発熱を押さえる必要がある． (3) 電源の確保 (5) 通信 電源は，PC はもちろん内蔵バッテリにより PC を利用するメリットのひとつとして，他 動作するが，ハウジング設計時にセンサとして システムとの連携が上げられるが，これには通 搭載を想定したハイスピードカメラは外部電 信が必要となる．海中での利用も視野に入れた 源により動作する機器である．よって，このハ イスピードカメラを使用するために，ノート PC 用の外付けバッテリを接続する．このバッ テリは，電源容量，電圧ともにハイスピードカ メラの定格を満たすものであり，バッテリを使 用した場合も正常に動作することを確認して いる． (4) 発熱量を押さえるために ハウジングにより密閉されているため，PC やセンサに熱暴走を起こさせないように，内部 で発熱量をなるべく押さえる必要がある．ハウ ジング設計時に搭載を想定したハイスピード カメラはこちらで発熱量を押さえることは出 (a) 全体図 来ないため，特に対策を施してはいない．しか し，PC は発熱の要因である回転軸をもった機 器を変更すれば，多少は発熱が押さえられるた め，本システムでは HDD を SSD に換装してあ る． (b) 側面図 (5) 水中通信の可能性 図 3 システム構成図 本システム提案時に要求項目としてあげた 水中通信であるが，今回実装は見送った．やは り水中は信号が減衰しやすい等の問題が多い． このとき，図 3 (b)のように web cam のレンズ よって，他の CICP プロジェクト「Underwater がディスプレイ面より上に来るように配置し， Network 〜水中音響通信技術を利用した水中 それに合わせてハウジングの形状を変化させ ネットワーク構築の基礎調査〜」のシステム等 る． を実装することとし，今後の課題の一つとする． 5．成果 4．システム構成 図 3 に，本システムの構成を示す． センサ部にはノート PC 用の外付けバッテリ を搭載し，一緒に搭載しているハイスピードカ メラを駆動する．PC 部には，本体右側に web cam を 2 台配置し，プログラムからステレオ 処理することで，マウスポインタの入力とする． 以上の要求，及び構成を満たすシステムを開発 した．図 4 に，完成したシステムの概観を示す． 本システムは，水深 2m 強までの潜水に耐えるよ うに設計されている．本来ならば，図 1 のような遺 跡を計測するために 5m 程度の水深まで耐えられ るべきであるが，形状が特殊なことと，ケーブルの 防水にホースを使用したことから，目標の水深が 達成できなかった．これを達成するためには，ケ ースの強度（アクリルの厚さ）を上げる，ホースで はなく，ケーブルを露出させてケースとの接続部 のみ防水するという 2 つの条件が必要であった． 図 4 システム概観 しかし，特に後者の条件において，長期の使用に 際して，本体との接続部がこねてケーブルが切断 センサ部にはグリップまたは三脚を装着できるよ された場合に修理が必要である，また，設計時と うになっており，水中でのセンサの固定を任意の 異なるケーブルを用いて機器と接続したくても，本 方法ですることができる．また，PC 部には，本体 体を改造しないと接続できないといった問題があ がユーザの体から離れてしまわないように，肩に ったため，ホースを用いた方式を採用した． かけるベルトを通すことが出来る． 本システムに使用した機器は以下の通りであ る． また，本システムはかなりの重量があるが，水中 で使用するため，実際の利用時には本体が浮か ないようにバラストをつけてバランスをとる必要が ある． センサ部 ・ハイスピードカメラ VCC-H1000 512×427 画素, 250 fps ・外付けバッテリ PowerBattery Half ケーブル ・ハイスピードカメラ用 Ethernet ケーブル ・機器拡張用 USB ケーブル PC 部 ・PC：ThinkPad X61 Tablet CPU：Core2Duo 1.6GHz RAM：4GB OS：Windows XP SP2 その他：32GB SSD，大容量バッテリ ・ イ ン タ ー フ ェ イ ス 用 web cam ： CREATIVE LC-NBU 視野角 85°，640×480 画素，30fps 水槽（1200×450×450 mm）を用いた実験により， 水中における本システムの動作を確認した．実験 の様子を，図 5 に示す． (2) 水泳の動作解析 現在，水泳の動作解析を行う場合には，２つの 方法がある．一つは，実際のプール中にレールと カメラを設置し，泳者に合わせてカメラを動かしな がら泳者を撮影し，その映像を基に解析を行う方 法である．この方法は，泳者が実際に泳ぐ時と同 じ環境で撮影することが出来るが，プールにレー ルを設置しなければならないなど，専用の設備が 必要である．もう一つは，水流を作れる水槽の中 を泳者が泳ぐ方法である．この方法は，実際のプ 図 5 実験風景 ールに設備を設置する必要はないが，水槽と水 流を発生する装置自体が特殊であるため，一般 図 5 のように，水中でも正常に動作することが確 認できた． の施設では設置が難しい． そこで，本システムを用いれば，上記の方法より も安価に水中動作の撮影から動作解析までを行 うことが出来る．ここで，映像だけ普通の防水カメ 5．アプリケーション 本システムは，次のような対象へのアプリケーシ ョンが考えられる． ラで撮って，後から解析すればよいという考えが 浮かぶが，本システムの特徴として，ハイスピード カメラを利用できることがあり，これが本システムを 使用するメリットである．たしかに，水中で動作す (1) 水中遺跡の計測 るハイスピードカメラも存在するが，装置自体がか 海底には，図 1 で示したような遺跡が多数存在 なり高価であり，一般の施設での導入は難しい． しており，建造物のようなものから船舶，土器まで そこで，本システムを用いれば，陸上で使うことを 多岐にわたる．しかし，これらの遺跡は長期間海 前提としている比較的安価なハイスピードカメラを 水に浸かっているため，非常に脆くなっており，形 使用することが出来るので，より手軽に計測や解 状を保ったまま水上に引き上げるのは困難である． 析をに利用することが出来る． そこで，本システムを用いれば，水中での形状計 測が可能であるため，大きな遺跡を複数回に分け て計測する場合に，ソフトウェア的に各計測位置 6．今後の展開 を合わせることができるなど，有用であると考えら 現状では，まだインターフェイス用のプログラム れる．ただし，前述のように現状のシステムでは深 が完成しておらず，実際に水中で操作できるまで 度があまり取れないため，より深い場所でも動作 には至っていない．インターフェイス用のカメラか 可能なように，機器構成等を変更する必要がある． らの映像は，空気，アクリル，水と複数回に渡り屈 また，今回実装を見送った水中通信システムを搭 折したものであるため，これらの要素を考慮したプ 載すれば，船舶との相対位置を計算することによ ログラムを制作する必要がある． り，間接的に GPS を浸かったセンサ部のワールド 座標を算出することも可能であると考えられる． また，現在「泳者周辺に発生する乱流推定のた めの気泡流解析」というテーマで研究を行ってい るが，本システムを用いて水泳時の映像を撮影す ることを考えている．これは，図 6 で示すように，泳 7．自己評価 者の水中動作が非常に速く，普通の 30fps のカメ CICP のプロジェクトが半年と短い期間だったこと ラによる映像では，泳者の動作に付随して移動す もあり，目標としていた要求を全て達成することが る気泡を追いきれないことがあるからである．さら 出来なかった．しかし，予算を使った物品の購入 に，普通のカメラは撮影したら一度ハウジングから や企業との交渉など，これからエンジニアとして生 出してデータを取得し，解析する必要が合ったが， きていく上で必要な事柄を多く体験できた． 本システムを利用すれば，全てをプールの中で行 スプリングセミナーでは，本システムはロボットの うことが出来，非常に実験が円滑に行えることが ように動くことは出来ないため，派手なデモを行え 予想される． なかったが，水槽を用いた実演により，観客に本 システムの使用目的と使用方法を端的に伝えるこ とができた．そのおかげか，好評価をいただき，沢 山のコメントをして頂いた．しかし，その中の一つ に，本システムの展望についての質問があったが， そのことについて熟慮していなかったため，これを 念頭に置きながら，本報告までに実装が終わって いない部分を作っていく必要がある． 図 6 高速な水中動作 8．参考文献 [1] 市野眞己：遺跡の立体再構成, 2002 また，この他にも，5.で挙げたアプリケーション等 に応用が期待されるので，そのテーマに合わせた 機器の拡張や換装を行う必要がある． [2] 三嶋潤平：Circular マーカを用いた体節への マーキングによる関節体の動作計測, 2006 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 自律型二足ロボット「NAIST WALKER の開発」 ２．プロジェクトリーダー 所属講座 システム制御・管理 学年 M2 学生番号 0651054 e-mail アドレス 氏名 高井 宗 [email protected] ３．分担者 所属講座 学年 学生番号 e-mail アドレス 氏名 システム制御・管理 M2 0651045 佐藤 康之 [email protected] システム制御・管理 M2 0651083 西池 公志 [email protected] システム制御・管理 M1 0751129 森岡 太一 [email protected] システム制御・管理 M1 0751114 的場 俊亮 [email protected] システム制御・管理 M1 0751026 大澤 秀一 [email protected] ４．チューター 所属講座 システム制御・管理 職名 助教 氏名 中村 文一 ５．必要経費（※ここまで、交付申請の内容をそのまま記入すること。１ページに収めること） 金額(千 支出予定月 品名・型名・数量／行先・目的・日数等 円) 設備備品費 500 10 月 二足ロボット本体一式 消耗品費 100 11 月 電子部品一式 200 11 月 モータ(MAXSON)×4 100 11 月 モータドライバ×2 30 11 月 旅費（調査目的も可） 合計 マイコン(BCSH7206)×2 200 11 月 ワイヤレス USB(CY3675)×2 300 12 月 国際会議調査 1430 ６．プロジェクトの背景と目的 本研究室において，シンプルな機構のコンパス型ロボットに対し，簡単な股関節角度制御 により歩行を実現した．この方法は，従来提案されている ZMP(Zero Moment Point)に基づ く歩行に比べ，計算量が少なくエネルギー効率も良いという利点がある．本プロジェクトで は，この手法をさらに改善し，より高効率で安定した歩行を目指す．具体的には，次の二点 を実現することが最終目標である． 1. 歩行ロボットの組み込みシステム化・遠隔操作の実現 現在の実験システムは，ロボットを AD/DA コンバータを介して直接 PC に接続して制御 を行っているが，この構成ではロボットの行動範囲が限られてしまい実験が行いにくい．ま た，デモ等を行う際にも，PC ごと持ち運ぶ必要があるため，非常に不便である．そこで， 二足ロボットに組み込みプロセッサを実装することで，これらの問題を解決する．また，リ モコンを用いて遠隔操作で股関節角度の目標値を変化させるシステムの構築を行いたい． 2. 逆トルクを抑制する制御則の開発 二足ロボットは歩行時に股関節角度が目標角度を超えたとき、逆トルクによって角度の補正 を行っていた。しかし、逆トルクが進行方向と逆方向に慣性力を発生させ、歩行運動を妨げ ていることが研究により明らかになった。そこで、逆トルクを抑制する制御則を提案し、二 足ロボットのダイナミクスを利用した制御則の開発を行う。 ７．目的到達までの研究計画 本プロジェクトの遂行は，大まかには次の二つに分類される． 1. 実験システムの改良（ハードウェア面） 2. 新しい制御則の開発（ソフトウェア面） 以下では，それぞれの概要について述べ，その後に具体的な計画について説明する． 実験システムの改良に関して 基本的な方針として，現在我々が実験に用いている二足ロボットの基本設計を使った新し いロボットを開発し，組み込み用のマイクロプロセッサを用いて制御を行いたいと考えてい る．実験中やデモ中の故障等の危険も考えられるが，この場合には従来用いているロボット を使い限定的に研究目的を実現する．これを実現するために，まずは二足ロボットの部品の 発注を行い，同時に組み込みプロセッサの発注も行う．その後は，二足ロボットの組み立て， 組み込みプロセッサの基礎プログラム（DC モータ制御用のプログラム）の作成を行ってい く．また，ワイヤレス USB の機器の選定・発注も並行して行い，その後ワイヤレス USB の通信用基板の作成，通信プログラムの作成を行う．今年度中に二足ロボットに組み込みプ ロセッサを実装するのは時間的に困難であるので，今年度は基礎的な部分の作成のみを行 い，ロボットへの実装は来年度以降に行いたいと考えている． 新しい制御則の開発に関して 制御則の開発に関しては，申請者らがこれまで行ってきた研究（研究業績[5]）の結果を二 足ロボット向きに拡張することで対応できるのではないかと考えている．よって，まずは理 論的に逆トルクが発生しないような入力制約を考え，その制約を破らないように股関節角度 を目標値に収束させるような制御則を設計していく．制御則が設計できたら DC モータを対 象として制御実験を行い，その有効性を検証する．実際の二足ロボットへの適用に関しては， 来年度以降に行いたい． 研究計画 ・二足ロボットの部品および組み込みプロセッサの発注（10 月） ・ 組み込みプロセッサの基礎プログラム（DC モータ制御プログラム）の作成（10～12 月） ・ 逆トルクを抑制する制御則の開発（10～1 月） ・ ワイヤレス USB の機器の選定および発注（11 月） ・ 二足ロボットの組み立て（12 月） ・ ワイヤレス USB の通信用基板・リモコンの作成（12～1 月） ・ ワイヤレス USB の通信用プログラム作成（1～2 月） ・ 逆トルクを抑制する制御則の実機実験（DC モータ）（2 月） ・ 報告書作成（2 月） ・ ポスターセッションでの発表（3 月） 来年度以降の予定 組み込みプロセッサの二足ロボットへの実装 逆トルクを抑制する制御則の二足ロボットへの実装および実験 ワイヤレス USB を用いた遠隔操作の実現 ８．決算の要約（※２末に確定。３月上旬に決算書を受け取り、記入すること） 金額(千 支出予定月 品名・型名・数量／行先・目的・日数等 円) 設備備品費 232.050 11 月 110.40 11 月 消耗品費 旅費（調査目的も可） 合計 35.800 11 月 Panasonic (Let’s note) (高井) デジタルビデオカメラ (ivis HG10) (高井) 二足ロボット開発セット 69.300 11 月 測定用電源 163290 11 月 商品一式 68.880 11 月 ソフト一式 (高井) 16.275 11 月 半導体一式 (高井) 36.750 11 月 デジカメ (IXY DIGITAL 2000 IS) 184.821 11 月 プロセッサー (高井) 249.375 11 月 胴体モーター側 144.816 11 月 組み合わせ製品 (高井) 2.310 12 月 宿泊費(佐藤) 2.310 12 月 宿泊費(佐藤) 18.400 12 月 静岡 12/26-27(佐藤) 18.400 1 月 1-16-17 静岡(佐藤) 1,205.817 ９．プロジェクトの状況および自己評価の要約 本プロジェクトでは、高井は、二足ロボットの遊脚の振り上げ方によって、歩行速度が変化す る指標を提案した。佐藤は、凸入力制約を持つ非線形システムに対して制御則を設計する方法を 提案した。西池は、二足ロボットを自律化させるための準備として、1 リンクロボットアームを 製作し、SH-2A マイコンによって PD 制御による角度制御を実現した。これらの研究を組み合わ せることにより、自律型二足ロボット「NAIST WALKER」の開発が十分にできると考えられる。 自己評価として、研究成果として、それぞれが各自の内容で学会の発表を経験でき、後輩に続 く研究ができたので、プロジェクトとしては成功だと考えている。以下に各自が発表した学会を 明記する。 [1] H. Takai, H. Nakamura, H. Nishitani ：Nonlinear Robust Walking Control for Biped Robot，IEEE International Conference on Robotics and Biomimetics，December, 2007． [2] 佐藤，中村，片山，西谷：凸入力制約を持つ非線形システムのロバスト制御，計測自動制御学会 第40回北海道支部学術講演会，2008年1月． [3] 西池，中村，西谷：SH-2Aマイコンによる1リンクロボットアームの制御，計測自動制御学会 第8回制 御部門大会，072-3-4，2008年3月． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 自律型二足ロボット「NAIST WALKER」の開発 プロジェクトリーダ 高井 宗 プロジェクトメンバ 佐藤 康之、西池 公志、森岡 太一、的場 俊亮、大 澤 修一 チューター 中村 文一 １． 概要（背景と狙い） より効率的で人間に近い歩行として受動歩行 (Passive Dynamic Walking) が知られている．これ が生じてしまうという問題がある．そこで，関数を用 いて後方トルクを抑える制御則を提案する必要が ある． は「倒れることを利用して歩く」という歩行であり， そこで，後方トルクのみに入力制約を設ける制 一歩前に踏み出すことで転倒を避けるという動作 御則を提案する．しかしながら，これまでの clf を を繰り返す歩行である．このような“受動的動歩 用いた制御系設計法においては，入力制約はノ 行”は自身の機構をうまく利用することで効率的な ルム制約以外の形で与えられた場合について議 歩行を行っている．しかし，受動的動歩行は方向 論されていない．そこで逆最適制御則を，入力が 転換や速度の変化，停止運動といった歩容の変 一般の凸空間に拘束される非線形システムに対 化が難しいという問題を抱えている．これらの問題 して拡張することを試みる． を解析するために，この受動的動歩行はしばしば 最後に二足ロボットの自律化を検討する．この 二つの剛体リンクが受動関節で連結されているコ 二足ロボットのシステムでは外部電源，多数のセ ンパス型モデルとしてモデル化される． ンサーを動作させるために外部電子機器, 外部 われわれは従来の研究において，股関節角度 PC が必要である．これらの機器とロボットを繋ぐ のみを制御することで歩行を行うコンパス型二足 配線により歩行範囲に制限があるという問題が生 ロボットを製作した．しかし，従来の PD 制御では じている．この問題に対し，SH-2Aマイコンを使用 股関節の角度を目標の角度に制御できないという することにより外部電子機器と外部PCが不必要に 問題が生じている．その理由として，線形制御で なり配線による問題などの解決が期待できる． は摩擦力のような非線形，不連続に状態が変化 本研究では，二足ロボットに実装する準備とし するシステムを補償することが難しいという問題が て，減速器のついた1リンクロボットアームを作成し， ある．そこで，本研究では摩擦力のような状態が SH-2Aマイコンを用いてPD制御によって股関節 非線形，不連続に変化するシステムに対して，有 角度を目標角度に制御できることを確認する． 効な制御手法である制御 Lyapunov 関数(Control Lyapunov Function : clf)に基づく逆最適制御則を ２． 二足ロボット 用いた歩行制御法を提案し,股関節角度を目標 ２．１．二足ロボットの説明 角度に安定化できる歩行を実現した[１]． 実際に使用した二足ロボットをFig.1 に示す．こ 本研究では股関節角度を安定化できる制御則 のロボットを二次元平面上で考えると，Fig.2 に示 を用いて，歩行速度変化させる手法についての すモデルとして考えることができる．本論文で用い 検討を行う．本研究では，プログラミング中に if 文 る 記 号お よび ，基 本的 な用 語の 定義 を示す ． を用いて後方トルクを抑えることで，歩行速度が Fig.2 において，地面と接地している脚を”支持 速くなることを実機実験によって確認した．しかし， 脚”，もう一方の脚を ”遊脚”と呼ぶ． プログラミング中に if 文を用いる制御では，制御 則が不連続であり，その結果，股関節角度に歪み ・ G(θ)は重力項，Ff (θ, θ )は摩擦項である．摩擦 力は静的なLIP モデルで表現する．状態量はθ = [θ1, θ2]T であり，入力項はu = [0, τ ]Tである．ここ ・ で状態変数 x=[x1,x2] T , x1=θ2-θ2d, x2= θ 2と選ぶ とシステムは以下のようにあらわされる． Fig.1 Conpass-type robot Fig.2 Compass-like model θ1は支持脚と鉛直面とのなす角度，θ2は股関節 x f ( x) g ( x) u f ( x) ~2 , g ( x) f2 0 M 1 22 ２．４．実験方法 の角度を表している．ただし，θ2 は初期の支持脚 本研究で使用される二足ロボットは，リンク間に を基準とした角度で考え，支持脚と遊脚の入れ替 アクチュエータを持つ２リンクとなっており,遊脚の わりによる影響を受けないとする． 目標角度 θ2d=π/12 [rad]とし，制御を行う．なお， さらにFig.2 のような二足ロボットにおいて，以 二足ロボットは水平な面を歩行するが，実験用ロ 下のような命題が成立する． ボットは膝を持たないため，本実験ではロボットの 命題.1 Ig > mhlを満たすコンパス型二足ロボット 着地点に Fig.3 で示されるような飛び石状の足場 であり，支持脚が地面と接地しているならば，遊脚 を配置し，その足場の上を歩行させる． を振り上げたときの支持点周りに遊脚を振り上げ たときと同じ向きに慣性力が働く． 以上の命題より次の章で説明する前方トルク，後 方トルクを定義できる． ２．２．前方トルクと後方トルク 命題より遊脚を振り上げた方向と同じ方向に慣 Fig.3 Stepping Stones 性力が働くということがわかった．そこで，遊脚を 前方に振り上げるトルクを前方トルク，遊脚を後方 ３． 非線形ロバスト制御による歩行 に振り下げるトルクを後方トルクと呼ぶ． ３．１．非線形ロバスト制御 コンパス型ロボットの歩行は，遊脚と地面との衝 二足ロボットの股関節部の摩擦力はネジの締め 突の度にエネルギーが損失しているが，以上の 方や実験日の温度，湿度よって非線形に変化す 議論より，二足ロボットは遊脚の振り上げ動作によ る．そのため，線形の制御則は有効に動作しない． ってエネルギー損失を補填することで歩行するこ そこで，非線形システムに対して有効である逆最 とが可能であることがわかる． 適制御則を用いた二足ロボットの股関節角度を制 御法を提案する． ２．３．片足支持期の運動方程式 逆最適制御則は対象とするシステムにおいて Lagrange の方法で求まる式に摩擦項を加えて， f(0)=0 となることを仮定していた．しかし，実際の 二足ロボットの運動方程式は以下のように求まる． システムは f(0)≠0 であるため，逆最適制御則をそ C ( , M ( ) ) G( ) Ff ( , )u のまま適用することができない．そこで，本章では ・ ここで，M(θ)は慣性行列，C(θ, θ )は遠心力項， 以下のような重力項と遠心力項の補償項 τg を考 は θ2 は θ2d を 0.04[rad]オーバーし，後方トルクが える． 0 u g C ( , ) G r ( ) g 次にこの τg を用いて，入力 τ を次のように分割 する． の後方トルクを入力時間で積分すると-148.7[mN・ m・s]の角運動量が発生していることが分かる．よ ってこの後方トルクを抑えることで歩行速度を速く k g ここでu 528[ms]間に約-1500[mN・m]が入力している．こ できると考えられる． は漸近安定化入力であり，ug は目標の 股関節の角度を目標の角度に維持する入力であ る．ｋは ug のトルク定数を補償するためのゲインで ある．本研究で提案する逆最適制御を以下にまと める．r，c はゲイン定数である． k g (a) Joint Angle (b) Torque 1 L gV Rx ~ L f V 1 r x1 x2 rx22 rx1 x2 f 2 1 LgV rx1 x2 M 22 ( 2 c LgV ) LgV R 2( P P ) c L g V 2 c g C 21 Gr 21 LgV 0 LfV , P LgV LgV 0 (c) Walking Distance Fig.4 Nonlinear Walking Control ４． 後方トルクを抑えた非線形ロバスト制御による ３．２．実験 非線形ロバスト制御則に重力項と遠心力項を 歩行 4．１．後方トルクを抑えた非線形ロバスト制御 プレフィードバック制御を加えた制御則(提案手 後方トルクと前方トルクを用いて歩行速度を速く 法)で実験を行った．ここで，r=20，c=1，k=0.8 とし する方法についての検討を行う．そこで二つの提 た．それぞれの実験結果を Fig.4 に示す．Fig.4 の 案をする．１．後方トルクを小さくする．今回は if 文 (a)は股関節角度変化，(b)はトルク変化，(c)は歩 を使って後方トルクを遮断する．２．前方トルクを 行距離の変化を表している．トルクはアクチュエー 大きくする．その方法としてまずパラメータチュー タ保護のため， |τ|≦1500[mN・m]とした．Fig.4 か ニングのためにゲイン r,c の調整を行った． ら歩行が実現できたことがわかる． Fig.4 (a)より，θ2 が θ2d に収束していることが確認 4．２．実験 できる．Fig.4 (b)より，提案手法の入力は，θ2 が θ2d 500[mN・m]，400[mN・m]，300[mN・m]より大き に収束しているときに，チャタリングが発生してい な後方トルクは発生しないとして三パターンによっ ることがわかる．このチャタリングによる股関節角 て実験を行った．500[mN・m]のときの実験結果を 度への影響はない． Fig.5 に示す．Fig.5 (a)より股関節の角度が目標の 提案手法の歩行速度が約 0.23[m/s]となった． 角度近傍にうまく制御できていることがわかる． 命題.1 より，後方トルクが，後方に慣性力を発生さ せることがわかっている．Fig(a)より，提案手法で 4．３．実験結果の歩行速度の比較 これまでの実験により得られた歩行速度の比較 償する制御則の確立が不可欠である。そこで、本 を行う．わかりやすいように前方トルク，後方トルク 章では凸入力制約を持つ非線形システムに対し の入力時間と角運動量を Table 1 にまとめる．歩 て制御則を設計する。 行速度は後方トルクの角運動量が大きいほど遅く， 5．１． 問題設定 前方トルクが大きいほど速いという結果になった． この結果より，前方トルクを大きくし，後方トルクを 次式の入力アファインな非線形システムを考え る． 抑えることで速い歩行が速くなることがわかる．さ らに前方トルクと後方トルクで，歩行間隔を変える ことなく，脚の振り上げのみで歩行速度を変化で ここで， は状態変数， きることが明らかになった． 入力である． は は連続関数とし，原点が 平衡点であるとする．また，システムの局所制御 が既知であるとする．また， Lyapunov関数 ， は そ れ ぞ れ ， を表すものとする． 入力空間 (a)Joint Angle として，以下の仮定(A1)～ (A3)を満たす凸空間を考える： (b) Torque (A1) である．ただし，各 は微分可能な 凸関数である． (c) Walking Distance は任意の (A2) Fig.5 Nonlinear Walking Control (500[mN・m]) の近傍で一様有 界である． Table 1 Comparison of Walking Speeds 制御則 歩行 速度 [m/s] PD制御 最大後方 トルク [mN・m] 後方トルク 角運動量 [mN・m・s] 後方トルク 入力時間 [ms] 前方トルク 角運動量 [mN・m・s] 前方トルク 入力時間 [ms] 184 0.34 -234 -25.4 171 96.1 0.23 非線形ロバスト 制御 遅 -1500 -148.7 116 109.7 後方トルク 500[mN・m]以下 0.31 -500 -78.7 155 160.1 184 後方トルク 400[mN・m]以下 0.34 -400 -51.9 126 200.8 197 後方トルク 300[mN・m]以下 0.35 -300 -49.9 167 217.7 大 小 小 大 528 240 速 ５． 凸入力制約を持つ非線形システムに対する 制御系設計 である． (A3) 次節では，これらの条件を満たす非線形システム に対して，連続な漸近安定化制御則を提案する． 5．２．主要結果 まず，次式の最適化問題(P1)を考えよう． (P1) min for each subject to , . 前章では、単に後方トルクを一定値で遮断する ことにより、後方トルクの発生を抑制した。しかし、 ここで， は入力空間 安定した制御を実現するためには、安定性を補 (P1)は，任意に固定した の閉包を表す． に対して，局所 制 御 Lyapunov 関 数 の 時 間 微 分 を最小化する入力 この を用いて，漸近安定化可能領域を特 徴付けることができる． を求める問題である．このとき，次の定理が成立 のとき，関数 を次のように定義する． する． ． [定理1] このとき，漸近安定化可能領域に関して次の補題 が成立する． とする．ただし， はLagrange乗数である． このとき，各 ， [補題1] に対して次式を満たす が存在し， は全ての は(P1)の大域的最 に対して 適解である． ， を満たす最大の定数とすると， ． 次に， は漸近安定 化可能領域であり，次式が成立する． を変化させた場合の いて考える． の連続性につ の連続性を保証するため，新たに 次の仮定を導入する． でシステムの原点を漸近安定化する， 原点以外で連続な制御則は具体的に以下のよう に構成できる． (A4) 任意の に対し て，定理1を満たす 領域 [定理3] は一意に定まる． と を定数とする． このとき，次式の入力 このとき，次の定理が成立する． は，領域 でシス テムの原点を漸近安定化する，原点以外で連続 な制御則である． [定理2] 次式で定義される入力 約 入力であり， は入力制 の元で を最小化する となる に対して連 続である． 5．３． 本章のまとめ 本章では，凸入力制約を持つ非線形システムに 対する制御系設計法の概要について述べた．な ただし， お，詳細な議論については文献[2]を参照された ， い． 今後の課題は，提案した制御則を二足ロボット である． に適用し，不連続関数を用いない後方トルクの抑 制制御を実現することである． 6．２．実験 ６． SH-2A マイコンによる 1 リンクロボットアームの 制御 SH7206(ルネサステクノロジ)を用いて，PD制御 によって角度を目標角度に収束させる実験を行っ た．目標角度は二足ロボット同様にπ/12 [rad]とし 6．１．二足ロボットの問題 二足ロボットの自律化を検討する．従来の二足 た．Fig.8 (a) に角度変化，Fig.8 (b) にトルク変化 ロボットのシステムでは外部電源，多数のセンサ の実験結果を示す．結果より減速器が摩擦力の ーを動作させるためにA/DボードやD/Aボード，エ 影響をキャンセルすることができ，目標の角度に ンコーダカウンタなどの外部電子機器，外部PCが 収束できることがわかった． 必要である．これらの機器とロボットを繋ぐ配線に より歩行範囲に制限があるという問題が生じてい る．この問題に対し，SH-2Aマイコンを使用するこ とにより外部電子機器と外部PCが不必要になり配 線による問題が解決できる． さらに，従来の二足ロボットでは股関節角度を Fig. 8 (a) Angle Fig.8 (b) Torque 摩擦力の影響により目標角度に収束できない問 Fig.11 PD Control 題が生じている．そこで，摩擦力の影響をキャン セルできるといわれている高減速比を持つ減速器 参考文献 を用いてPD制御によって股関節角度を目標角度 [1] H. Takai, H. Nakamura, H. Nishitani ： に制御することを検討する．本研究では，二足ロ Nonlinear Robust Walking Control for Biped ボットに実装する準備として，減速器のついた1リ Robot，IEEE International Conference on Robotics ンクロボットアーム[3]を作成し，SH-2Aマイコンを and Biomimetics，December, 2007． 用いてPD制御によって股関節角度を目標角度に できることを確認する． [2] 佐藤，中村，片山，西谷：凸入力制約を持つ 非線形システムのロバスト制御，計測自動制御学 会 第40回北海道支部学術講演会，2008年1月． [3] 西池，中村，西谷：SH-2Aマイコンによる1リン クロボットアームの制御，計測自動制御学会 第8 回制御部門大会，072-3-4，2008年3月． Fig.6 One-link robotic arm Fig.7 model 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 統計を使った音楽の創造 —人間よりも art な計算機モデルの作成をめざして ２．プロジェクトリーダー 所属講座 論理生命学講座 学年 M1 学生番号 0751080 氏名 寺村 佳子 e-mail アドレス [email protected] ３．分担者 所属講座 学年 学生番号 氏名 e-mail アドレス 自然言語処理学講座 M2 0651071 谷口 雄作 [email protected] 自然言語処理学講座 M1 0751024 大熊 秀治 [email protected] 言語科学講座 M2 0651112 牧本 慎平 [email protected] ４．チューター 所属講座 論理生命学講座 職名 助教 氏名 前田 新一 ５．必要経費 金額(千円) 設備備品費 支出予定月 470 12 月 品名・型名・数量／行先・目的・日数等 Mac Book Pro(4GB 667DDR2 SDRAM -2x2GB/160GB Serial ATA Drive @ 7200rpm/MacBook Pro 15inch/AppleCare Protection Plan/8 倍速 2 層式 SuperDrive /2.4GHz Intel Core 2 Duo)×1 消耗品費 40 11 月 書籍(音楽理論,自然言語処理,統計的学習関連) 75 11 月 Journal of new music research オンラインデータ 30 12 月 Music XML データ（musicsheet)×9 40 12 月 スピーカー(Bose M2)×1 100 12 月 旅費（調査目的も可） 合計 音楽編集ソフト(finale2007)×2 60 12 月 音源編集ソフト(Logic studio8)×1 60 12 月 サウンドエンジン(QUANTUM LEAP PIANOS)×1 20 12 月 サウンドカード(Audiophile USB)×1 40 11 月 音響学会 MA(東京芸大, 東京 07-11-24/25) ×1 40 12 月 IPSJ-SIGMPS（産総研, 東京 07-12-20/21）×1 180 1 月 IJCNLP (Hydrerabad, India 08-01-07/12)×１ 120 2 月 IPSJ-SIGMUS-SLP(伊東,08-02-08/09)×3 1275 ６．プロジェクトの背景と目的 コンピュータがチェスのチャンピオンを負かしたように，「コンピュータが人間の能力を超越する」こ とが起こり始めている．1956 年に L. Hiller によってアルゴリズム作曲[1]が行われて以来，音楽を生 成する計算機モデルが構想されてきたが，人間が生み出す芸術的な音楽創作を超越するような計 算機モデルはいまだ実現されてはいない．しかし，近年の音楽の認知モデルの発展[2]とともに，音 楽生成のモデル化が活発に議論されている[3]．中でも統計的なアプローチを用いた音楽生成モ デルの提案が注目を集めている．藤本ら(2004)はベイジアンネットを用いたジャズのアドリブを生成 するモデルを提案しており[4],統計的なアプローチが音楽生成モデルに対して有用であると考えら れる．これより，計算機モデルによる芸術的な音楽の生成が現実味を帯びつつある． そこで本研究提案において，我々は統計的学習を用いてプロの音楽家が作ったものよりも art な （＝芸術的価値を持った）音楽を生み出す計算機モデルを作ることに挑む． この計算機モデルの作成によって，人間がどのような音楽を美しいと感じるのかを知る大きな手 がかりになると考えている．またこのモデルを応用し，曲のイメージを入力すれば 1 曲分の音楽を生 み出せるようになるなど，高度な演奏技術や音楽理論の知識を持たなくとも音楽を生み出す楽しみ を享受できるようになる． ※参考文献 [1] L. Hiller, L. M.Isacson. “弦楽四重奏のためのイリアック組曲”, 1957 [2] C. L. Krumhansl, J. Louhivouri, P. Toivuanen, T. Jarvinen, and T.Eerola. “Expectation in Finish spiritual folk hymns: Convergence of statistical, behavioral, and computational approaches”, Music Perception, vol.17, p.p.151-195, 1999 [3] D. Temperley. “Music and Probability”, Massachusetts, MIT press, 2007 [4] 藤本悠, 村田昇. “ベイジアンネットを用いたアドリブ演奏生成系”， 電子情報通信学会技術研究報告, NC2004-64, p.p.43-48, 2004 ７．目的到達までの研究計画 計算機による音楽生成の課題は，大きく「楽曲データに対する演奏の表情付け」と「自動作曲」の 2 項目に分けられる．まず，本年度は「楽曲データに対する演奏の表情付け」のモデル化について 取り組みたいと考えている． 【本年度の目標】 統計的学習を用いたより良い演奏の表情付けモデルの作成，Rencon へ出品 演奏の表情は楽譜データの系列と演奏データの系列で同じ音として示される音が持つ強弱 （amplitude），テンポ(tempo)，音高（pitch），音の開始時間(onset time)，継続時間(duration)などの 値にばらつきが存在することに起因している．我々はこのばらつきと音楽的な構造とに関連性があ ると考え，演奏表情モデルの作成を検討している．そのために，まず楽譜データからフレーズなど の音楽的な構造を自動的に抽出し(谷口・大熊・牧本が担当)，得られた音楽的構造と演奏データ との関係について統計的学習を行う(寺村が担当)．また，このモデル作成には膨大なデータを持 つサンプルデータが必要不可欠である．これまで統計学習に十分な量のデータを持った音楽サン プルデータで 公開されてい るも のはなかっ たが，音楽レ ンダリングの国際コンペティション Rencon(Performance Rendering Contest)[5]自律システム部門によって学習用サンプルデータ Renconkit0.20 が近日公開される予定である[6]． そこで我々は，本年度このサンプルデータを用いて統計的アプローチからより良い演奏の表情 付けが可能となるモデルを作成し，2008 年 8 月に開催される Rencon にて優秀な成績を得ることを 目指す． 【タスクスケジュール】 1)先行研究・手法の調査(～12 月) まずモデルを設計するために，昨年度出品システムや Renconkit0.20 のデータの内容，そして 構造解析・生成に関する統計的学習の手法の理解が必要である．さらに我々が目指す芸術的 価値を持ったモデルであるために既存の音楽理論や人間がどのように音楽を聴き，感じている のか(音楽認知)について考慮も必要である．そのために次の勉強会と学外調査を行う． 〈勉強会〉 10 月から 12 月にかけて週 1～2 回のペースで過去の研究内容や手法・理論につい て知識を共有するために先行研究の文献や購入書籍を用いて勉強会を行う． 〈学外調査〉音楽情報学や統計的学習の手法に関して最新の情報を得るため学外調査を行う． 2) モデルの設計・実装(1～3 月) スプリングセミナーまでの完成を目指し，音楽的な構造の特徴抽出を谷口・牧本・大熊が，学 習モデルの実装を寺村が分担して実際のモデル設計・実装を行う．この際，作業には音楽編集 ソフト，音響機器，サンプル用 musicXML データが必要となる． 3) デモストレーション・Rencon への出品(3 月) スプリングセミナーにて合成モデルによって作られた音楽のデモストレーションを行い，アンケ ート（主観評価）を実施する．そしてその結果をもとにさらなるモデル改良の検討を行う．その後， 2008 年 8 月開催の ICMPC-Rencon2008(2008 年 3 月 15 日締切)へ作成したモデルを出品する． スプリングセミナーや Rencon 会場での生成のデモストレーションを行うことから，高速処理が可能 な高スペックで持ち運び可能な計算機(ノート型パソコン)が必要である． 【次年度以降の検討項目】 平成 20 年度以降さらに芸術的価値を持った音楽を生成する計算機モデルの作成を目指し， 次の 2 点の課題に取り組みたいと考えている． 1.生成した音楽の評価に関する追求 作成した演奏表情モデルと音楽認知モデルとの関連性についての研究を行う． 2.音楽自動作曲モデルの検討 本年度の演奏表情付けモデル作成で得られた知識・経験を生かして自動作曲モデルを作成 したい． ※ 参照サイト/追記事項 [5] Rencon, http://www.Renconmusic.org/ [6] Renconkit0.20 は CrestMuse Performance Expression Database(略称:CrestMusePEDB)と改称 し, 2007 年 11 月に一部公開された.同様に項内の Renconkit0.20 は CrestMusePEDB を指す. ８．決算の要約 金額(千円) 設備備品費 支出月 品名・型名・数量／行先・目的・日数等 421.106 12 月 計算機(Mac Book Pro×1) 137.550 1 月 計算処理ソフト(Matlab 2007b×1) 70.046 11~2 月 書籍(音楽, 統計学習, 自然言語処理関連) 消耗品費 100.95 12~2 月 計算機周辺機器(ディスプレイ E248WFP, web カメラ Qcam Pro9000, マウス wireless Mighty Mouse, ケース SEPIACE BookSleave) 74.865 １月 音響機器(スピーカーM2, オーディオインターフェイス UA-25) 71.2 12~2 月 音楽編集ソフト(finale2008, Logic Studio)各１ 29.6 12~1 月 文章編集ソフト(iwork, office:mac 2008)各１ 39.69 12 月 計算機サポートプログラム(Apple Care Protection Plan)×1 29.45 ２月 音楽データ(.musicsheet) 28.6 12 月 旅費 203.309 1 月 67.72 2 月 合計 IPSJ-SIGMPS（東京 07-12-20/21）×1 IJCNLP (Hydrerabad, India 08-01-07/12)×１ IPSJ-SIGMUS-SLP(伊東,08-02-08/09)×2 1274.086 ９．プロジェクトの状況および自己評価の要約 本プロジェクトは, 採択直後より先行研究の調査と用いる手法の知識習得のため, 勉強会を計 8 回開催し, メンバー全員が学外調査を行った.それをもとに, 実装を進めミーティングを重ねた結 果, モデルを作成することができた. 作成したモデルを”NAIST Music Rendering Model”と名付け, モデルによって表情付けした演奏 をスプリングセミナーでデモストレーションしたところ, 観覧者に好評を得た.これを受け, 当初の目 標であった ICMPC-Rencon2008 へもエントリーを行うこととなった.さらに, ICMPC10 本会議へも投稿 することができた(4 月に採否通知予定).これより当初の目標を達成し, 研究成果を挙げられたと思 う.さらに, モデルの先行研究調査や実装において作成各自の研究活動では得られない他分野の 知識や手法の習得できたこと, 学外調査活動による最新動向のチェックや学外の研究者との交流 によって自身の研究に対するモチベーションの向上をもたらしたことなど, 教育的な効果も十分に あったと言える. しかし, 短期間での目標到達を急ぐあまりメンバーの作業負担が重くなり, メンバー自身の研究活 動との両立に苦慮させてしまったように思う.この経験から, メンバーの構成やスキル, 予定を十分 に把握した上で計画を立て, 逐次負担が集中していないかチェックしつつ実行していくというプロジ ェクト運営での教訓を得た. 今後は, 本年度得た知識と経験をもとに 2008 年 8 月に開催される ICMPC-Rencon2008 の入賞を 目指してさらなるモデルの精度向上に取り組むとともに, モデルで使用した素性の有効性から「何 が音楽を美しくするのか」という音楽学的な命題に対しての考察も行いたいと考えている. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名：統計を使った音楽の創造 -人間よりも art な計算機モデルの作成をめざして プロジェクトリーダー：寺村 佳子 プロジェクトメンバー：谷口 雄作, 大熊 秀治, 牧本 慎平 1. 概要(背景と狙い) 譜には書かれていない繊細な抑揚(強弱)や揺ら コンピュータがチェスのチャンピオンを負か ぎ(テンポや発音時間の長短)をつけ演奏するこ したように，「コンピュータが人間の能力を超越 とを指す.この課題は古くから音楽学における大 する」ことが起こり始めている．1956 年に L. きなテーマの一つであるとともに, 楽譜データ Hiller によってアルゴリズム作曲[1]が行われ を入力し美しい音楽を自動的に演奏させる, い て以来，音楽を生成する計算機モデルが構想され わゆる自動演奏でも論点になっている.この自動 てきたが，人間が生み出す芸術的な音楽創作を超 演奏モデルに関する国際コンペティション 越するような計算機モデルはいまだ実現されて Rencon はいない．しかし，近年の音楽の認知モデルの発 が 2000 年から開催されており, 2008 年 8 月に開 展[2]とともに，音楽生成のモデル化が活発に議 催される ICMPC-Rencon2008 へのエントリー, 優 論されている[3]．中でも統計的なアプローチを 秀な成績を得ることを目指してモデル作成に取 用いた音楽生成モデルの提案が注目を集めてい り組むことにした. (Performance Rendering Contest)[5] る．藤本ら[4]はベイジアンネットを用いたジャ モデル作成は, 統計的学習のアプローチを用 ズのアドリブ生成モデルを提案しており,統計的 いた.この手法は音楽生成において注目されつつ なアプローチが音楽生成モデルに対して有用で あるが,演奏表情付け課題に関しては統計学習に あると考えられる．これより，計算機モデルによ 十分な量のデータを持った音楽サンプルデータ る芸術的な音楽の生成が現実味を帯びつつある． で公開されておらず, あまりなされてこなかっ そこで我々は本研究提案において, 統計的学 た.しかし, 2007 年 11 月に学習用サンプルデー 習を用いてプロの音楽家が作ったものよりも タ CrestMuse Performance Expression Database art な（＝芸術的価値を持った）音楽を生み出す (以下, CrestMusePEDB と表記.) [6] が公開され 計算機モデルを作ることに挑戦した． たことから, これを用い統計的なアプローチで のモデル作成を行うこととした. 2. 本年度の到達目標 この統計的学習を用いた演奏表情付け計算機 本年度の具体的な到達目標を, 統計的学習を モデルの作成は人間の art に挑む大きな一歩と 用いた演奏表情付けモデルの作成，ならびに作成 なる.また, そこから人間がどのような音楽を美 モデルを国際コンペティション Rencon へ出品す しいと感じるのかを知る大きな手がかりになる ることとし, プロジェクトを進めた. と考えている．さらに, 応用すれば演奏家のデー 音楽生成の課題は，大きく「楽曲データに対す タを入力すればその演奏家の特徴をとらえた演 る演奏の表情付け」と「作曲」の 2 項目に分けら 奏を作成できるようになり，高度な演奏技術や音 れる.我々はこの挑戦の足がかりとして, 本年度 楽理論の知識を持たなくとも音楽を生み出す楽 は「楽曲データに対する演奏の表情付け」(以下, しみを享受できると思われる. 演奏表情付け)のモデル作成に取り組んだ. この演奏表情付けとは, より音楽を美しく聞 かせ, その世界観や構成を表現するために, 楽 3. 進捗状況 前述の目標到達のために, 以下のように先行 研究・手法の調査と実際のモデル設計・実装を核 情報を人手で入力する必要があり, 多くのデー としてプロジェクトを進めた. タから自動で学習を行うモデルはないというこ 3.1 先行研究・手法の調査(10 月〜２月) とがわかった. 先行研究やモデルに用いる手法について, 関 3.1.2 国際会議・国内研究会の調査 連論文紹介を中心とした勉強会を開催し先行研 本プロジェクトで扱う統計的機械学習や音楽 究調査を行った.また同時に国際会議・国内研究 情報学,他分野での数理モデル化の研究に関す 会への聴講を通して関連研究の最新動向の調査 る最新動向を調査するため, メンバー全員で学 を行った. 外調査を行った. 3.1.1 勉強会の開催 3.1.2.1 SIGMPS 10 月のプロジェクト採択決定直後より 12 月 12 月 20 日(木)〜21 日(金)にかけて情報処 下旬までメンバー全員とチューターで勉強会を 理学会第 67 回数理モデル化と問題解決・第１１ 行った.主に, 先行研究と統計的学習理論に関 回バイオ情報学合同研究発表会が開催された. する文献の講読を中心とし, 計 8 回行った.講 会場は産業技術総合研究所 臨界副都心センタ 読した文献は, 先行研究に関するものが 6 本, ーであり, 本プロジェクトから大熊が参加した. 統計的学習理論に関するものを２本, 計８本講 この研究会は合同研究会ではあるが, 主に数理 読した.購入した書籍はこの勉強会の予習をは モデル化と問題解決研究会の聴講を目的として じめとして予備知識の習得のため使用した. 参加した.本研究会は, 問題の数理的把握とモ 加えて, CrestMusePEDB で使用されている音 デル化およびその有効な解決手法の開発に関す 楽情報科学研究のための共通データフォーマッ る研究交流を目的とした会であり, 対象分野は ト「CrestMuseXML」, およびそれを扱うための 広く, 理工系に関わらず人文社会系の諸分野も Java ク ラ ス ラ イ ブ ラ リ 「 CrestMuseXML Java その対象領域となっている.問題を数理的にモ Class Library」に関する調査も行った. デル化して解く上で有益となる各種数理モデル, 先行研究の調査の結果, 従来作成されたモデ ルの多くは人手によって表情付けのルールを作 アルゴリズムについての知見を得るために参加 した. 成する手法であり, 性能を向上させるために多 本研究会は, 多種多様な数理モデル, アルゴ くのルールとそのパラメータ設定が必要である リズムについて, 理論的な側面のみではなく応 ことがわかった.G. Widmer[7]は 383 ものルール 用に関する議論まで幅広く盛んに行われていた. から機械学習によって自動的に主要な 17 ルール 特定の手法ではなく, 各種手法についての知見 に集約できることを示した. これにより, 重要 を深めることができ, 決定的な手法が確立され な少数のルールを発見することができたが, 予 ていない音楽の表情づけの数理モデルを考える め多くのルールとそれらのパラメータ設定を行 際に会議で得た手法の知見が役立った.また, っておくことが必要であった.近年, L. Dorard 自然言語処理の分野以外の学生, 研究者の方達 ら[8]はルールの探索を行う代わりに, 機械学習 と分野を越えた交流, 繋がりを持つことができ の 一 種 で あ る Kernel Canonical Correlation た.(文責:大熊) Analysis を用いて直接, 演奏情報と楽譜情報と 3.1.2.2 IJCNLP-08 の対応づけを学習するモデルを提案している.こ The Third International Joint Conference on れは, ルールを事前に準備する必要のないモデ Natural Language Processing(IJCNLP-08) は自 ルであったが, 楽譜情報の入力時には Chord の 然言語処理に関する国際会議である．本会議は 2008 年 1 月 8 日から 1 月 10 日まで行なわれ， 学研究会が行われた．これは情報処理学会同研 併設のチュートリアルが 1 月 7 日，ワークショ 究会が主催する定例の研究発表会で，音声言語 ップが 1 月 11 日に行なわれた．会場はインドの 処理研究会との共催研究会として行われた．会 ハ イ デ ラ バ ー ド 市 内 で ， 本 会 議 は Indian 場は静岡県伊東市内の伊東商工会議所・ダンコ School of Business (ISB)，チュートリアルと ーエンホウルの 2 会場において行われた． ワークショップは International Institute of 本プロジェクトからは寺村，谷口，牧本が参 Information Technology, Hyderabad (IIIT-H) 加し，音楽情報処理についての最新の研究動向 にて行なわれた． を調べるとともに，本プロジェクトと関連する 本プロジェクトからは牧本が参加し，自然言 語処理分野における最新の研究の動向を調査す 研究を行っている研究者たちと議論することを 目的とした． ると共に，第一線の自然言語処理研究者と本プ 本研究会では，36 件の一般講演に加えて，デ ロジェクトが行なっている統計的機械学習によ モセッションが 14 件，スペシャルセッションと る音楽情報処理に関する議論を行なうことを目 して歌情報処理に関する講演が 9 件， パネルデ 的とした． ィスカッションが 1 件行われた．研究会で取り 扱われたトピックは広範囲に渡り，音楽分析や 自動作曲，演奏表現付けなど，本プロジェクト との関連の深い研究についても広く議論された． これにより，プロジェクトを遂行する上で大 きな知見を得ることができた．特に, 出品を目 標としている ICMPC-Rencon2008 の プレイベン ト pre-Rencon の実施状況が報告されており, 他の出品チームの研究動向や出品モデルでのデ モを聞くことができ大変有意義であった.また， 図 1:IJCNLP-08 本会議の様子 学外の研究者たちとの交流を通して，本プロジ ェクトとも関連の深いツールやデータベースに 本会議には 28 ヶ国から 283 人の研究者が参加 ついて情報を交換することができた．同時に音 し，72 の口頭発表と 60 のポスター発表が行な 楽生成について有意義な議論をすることができ, われた．会議で取り扱われたトピックは広範囲 本プロジェクトに対して有益な助言を多数得る に渡り，機械学習やマイニング，情報抽出など ことができた．(文責:谷口) といった，本プロジェクトが目的とする音楽情 報処理への応用可能な研究が広く議論されてお 3.2 モデル設計・実装(12 月〜2 月) り，プロジェクトを遂行する上で大きな知見を 先行研究調査や学外調査から得た知識とチュ 得ることができた．また，自然言語処理研究者 ーターのアドバイスをもとに, モデルの作成に の中にも音楽における統計処理に関心を持つ 取り組んだ.チューターのアドバイスのもと, 方々がおり，彼らと有意義な議論をすることが メンバーのスキル, 学年を考慮し, 音楽的知識 できた．(文責:牧本) の提供・全体の統括を寺村, 学習に用いる素性 3.1.2.3 SIGMUS-SLP の作成に谷口, 牧本, 学習器の作成・評価実験 2 月 8 日から 9 日にかけて第 74 回音楽情報科 に大熊があたった. モデルの内容, 各作業の進捗状況の確認, 学 に比例するという問題があったため, 我々は近 外調査報告のため 2 週間に 1 回のペースで 計 7 年提案された, Gaussian Process を近似する手 回, チューターも参加し, ミーティングを行っ 法の一つ である Bayesian Committee Machine た.設計, 実装など一連の作業に計算機, 計算 を用いることで関数近似の精度をあまり損なう ソフト, 計算機周辺機器, 文章編集ソフト, 関 ことなく, 計算量の増加を抑えた. 連書籍,音楽データを要した.作成したモデルの 概要は次項以降に記す. 4.2 モデル評価実験 作成したモデルの性能を評価するため, 以下 4. 作成モデル のような実験を行った. 先行研究調査の結果から, ヒューリスティッ 学習データとして, CrestMusePEDB 中のモーツ クなパラメータ設定をほとんど必要としない演 ァルト作曲の 5 曲を用いた.学習で用いなかった 奏表情付モデルの構築を行った.このモデルでは 1 曲をテストデータとして, 学習した Gaussian 公開データベースである CrestMusePEDB を学習 Process によって演奏情報(dynamics, attack, データとして楽譜上に書かれた指示(楽譜情報) release)を予測させ, 実際の演奏情報との誤差 をもとに, 人間が演奏した意識的, 無意識的な を調べた. 誤差の大きさを正規化するため, 誤 変化を含んだ演奏情報をより良く予測できるよ 差の標準偏差を実際の演奏情報の標準偏差で割 う機械学習する.これにより, 人間が明示的にル っ て 100 分 率 で 表 し た と こ ろ , dynamics が ール化しにくいものを含めて, 楽譜情報から演 66.33%, attack が 95.15%, release が 71.71%と 奏情報を出力する入出力関数の学習を行うこと いう結果となった.一方, 学習データとして用い ができる. また, 楽譜情報から自動的に和音, たデータをテストデータとした場合は, 調を推定するモデルを組み込むことで, 和音進 dynamics が 11.96%, attack が 28.48%, release 行, 調に依存した演奏表情付けを学習すること が 23.24%となった.これより, 学習器の性能は も可能とした. 認められるが汎化性能は改善の余地があると考 4.1 手法 えられる.汎化性能の向上には, 今後学習に使用 本モデルは CrestMusePEDB で与えられる楽譜 情 報 を 入 力 と し て , dynamics( 音 の 強 弱 ), attack(音の始まりのタイミング), する楽曲を増やすことが必要であると考えられ る. release(音 の終わりのタイミング), ペダルの踏み込み量な 5．成果 どの演奏情報を出力として学習を行った.出力は 作成したモデルを, ”NAIST Music Rendering 1 音単位で行い, 入力はその出力に対応する音 Model”と命名し, スプリングセミナーにてデモ 符情報とその前後の音符情報, 前後 3 音の上 ストレーションを行った.さらに 対外発表とし 昇・下降, 和音というローカルな情報と, 拍子, て, ICMPC-Rencon2008 へエントリーを行い, 国 調などのグローバルな情報の両方を用いた. 際会議 ICMPC10(後述)へ投稿した. また, 本モデルは学習に Gaussian Process を 用いた.この手法はごく少数のメタパラメータの 5.1 デモストレーションの開催 設定だけで学習データから自動的に関数を近似 3 月 7 日に行われた学内スプリングセミナーに することができる.ただし, naive な Gaussian てポスターセッションにおいてデモストレーシ Process は学習時の計算量が学習データ数の 3 乗 ョンを行った.プロジェクトの説明とあわせて J. C. Bach のインベンション 15 番(BWV786)と W. A. 6．今後の展開 Mozart のピアノソナタ 11 番(K.331)第 2 楽章を 6.1 作成モデルの改善 それぞれ演奏養生付けのない演奏と NAIST Music 本年度の活動から, モデル作成を行い, 一定 Rendering Model で演奏表情付けした演奏を聞き の 成 果 を 出 す こ と が で き た . 今 後 , 比べてもらった.このときに音響機器一式と計算 ICMPC-Rencon2008 での優秀な成績を得るべく, 機, 音楽編集ソフトを使用した.この聞き比べの さらなる改善を検討している. 音源は,ICMPC-Rencon2008 に近い環境で聞き比 現時点でのモデルは評価実験の結果より学習 べてもらうべく音楽編集ソフト, ソフトに付属 器としての性能は良いが, 汎化性能は向上の余 の高音質音源を用いて加工を行った. 地はまだあると思われる.以下, 2 つの原因とそ その結果, 聞き比べをしてもらった人達か の改善点について考察する. らは「美しい」「自然に聞こえる」と大変好評で まず, 1 点目としては学習で用いた楽曲データ あった.また, モデルそのものに対する質問もな が少ないことが挙げられる.これは学習に用いた され, 「音声の音質変換タスクと類似点が多く, CrestMusePEDB が現在一部しか公開されておら それを参考にするとよいのではないか」というア ず, 学習は現時点での公開データのみで学習を ドバイスや, 有効な学習データ群について, モ 行ったことによる.ゆえに, 今後データベースの デルの素性について評価することに関して有効 完全公開とともに使用できる楽曲数が増えるこ な議論ができた.加えて, 「初見演奏のサポート とから学習する楽曲を増やす, もしくは有効な として応用することができるのではないか」「オ 楽曲の選択を行いたい. ーケストラに応用することは可能か」など応用に 2 点目は, 局所的な音の変動のみを考慮した 関する質問やアイデアも聞かれ, この演奏表情 ことである.しかし, 実際の演奏で用いる楽譜上 付けという課題に興味・関心を, 作成モデルの演 では ritardando(リタルダンド・だんだん遅くす 奏に好印象を持ってもらえたと思う. る, の意)など大域的なテンポの変化について注 意表記が記されている場合があり, 演奏表情を 5.2 ICMPC-Rencon2008 デモストレーションでの好評を受けて, 2008 年 8 月 25 日から 29 日に行われる国際コンペティ 考える上では重要な要素であると考えられる.こ れより今後, この大域的なテンポの変化につい ての学習モデルの構築も検討する必要がある. ション ICMPC-Rencon2008 の自律システム部門に NAIST Music Rendering Model としてエントリー した. 6.2 モデルで使用した素性の有効性の考察 現時点での作成モデルは影響しそうだと思わ れた素性をほぼ全て考慮したモデルであり, 学 5.3 ICMPC10 習性能の向上にどの素性が有効であるかを検証 作成したモデルについて音楽知覚認知に関す していくことも必要であると考えられる.これに る国際会議 ICMPC 10(The 10th International よって性能向上のみならず, 「何が音楽を美しく Conference on Music Perception and Cognition) するのか」という音楽学的な命題にも踏み込める へ“GAUSSIAN PROCESS REGRESSION FOR RENDERING だろう.また, それと心理的な評価実験とを比較 MUSIC PERFORMANCE”というタイトルで投稿した. することによって人間の感覚に関しても考察す 採択結果は 4 月上旬に発表予定である. ることができるだろう.これらを今後, さらに検 討していきたいと考えている. 7．自己評価 とができた.加えて,プロジェクトでの作業や調 本プロジェクトは短期間かつ, 各自の研究活 査によって得た知識や経験は, メンバー自身の 動が多忙を極める中, メンバー, チューターの 研究へもよい影響を与えたと考えられる. 以上 協力のもと遂行してきた.その結果, 当初の目標 よりメンバー全員が本プロジェクトによって十 であるモデルの作成, 分な教育的効果を得たと思う. ICMPC-Rencon2008 への エントリーすることができた.さらに ICMPC10 本 会議への投稿することができ, 一定の研究成果 8．参考文献/サイト を出せたと思う. [1] L. Hiller, L. M. Isaacson, “弦楽四重奏 さらに, メンバーの中には音楽情報学を研究 のためのイリアック組曲”, 1957 テーマとしていない人もいたが, 「自分の研究以 [2] C. L. Krumhansl, J. Louhivouri, P. Toivuanen, 外の分野に触れられ勉強になった」, 「統計的学 T. Jarvinen, and T. Eerola, “Expectation in Finish 習モデルに関して勉強ができよかったと」という spiritual folk hymns: Convergence of statistical, 声が聞かれ, 通常の研究活動では得られなかっ behavioral, and computational approaches”, Music た知識や経験を得るよい機会になった. Perception, vol.17, p.p.151-195, 1999 また, 全員が学外調査として国際学会・国内研 [3] D. Temperley, “Music and Probability”, 究会を聴講した.その結果, 本プロジェクトに関 MIT press, Massachusetts, 2007 する知識や最新動向を知るだけでなく, メンバ [4] 藤本悠, 村田昇, ー自身の研究の参考になった, 研究に対してモ いたアドリブ演奏生成系”， 電子情報通信学会技 チベーションが上がった, などプロジェクトそ 術研究報告, NC2004-64, p.p.43-48, 2004 のものに対してだけでなく, 自身の研究活動に [5] Rencon, http://www.Renconmusic.org/ もプラスに働いたと思われる. [6] CrestMusePEDB, しかし, 一方でプロジェクト運営としては課 “ベイジアンネットを用 http://www.crestmuse.jp/pedb/ 題点もあった.短期間のプロジェクトであったこ [7] G. Widmer, “Machine Discoveries: A Few とと卒業年次生が半数を占めたことから,メンバ Simple, Robust Local Expression Principles”, ーの中での分担が偏ることがあった.特に, 活動 Journal of New Music Research, Vol.31, No.1, 時期が修士論文の提出と重なっていたこともあ p.p.37-50, 2002 り, 自分の研究と両立させるのが大変だったと [8] L. Dorard, D. Hardoon, J. S. Taylor, ” いう声が聞かれた.また, 講座を横断したメンバ Can style be learned? A machine learning ー構成のため,全員が集まる打ち合わせの日程の approach towards ‘ performing ’ as famous 調整が難しい場合もあった.これよりメンバーの pianists ” , Proceedings of Music, Brain & 構成やスキル, 予定を十分に把握した上で計画 Cognition Workshop(NIPS 2007), 2007 を立て, 逐次負担が集中していないかチェック しつつ実行していくというプロジェクト運営に おける教訓を得た. 9. 謝辞 プロジェクト全般にわたり, チューターであ これより, 本プロジェクトの到達目標を達成 る前田新一助教にはたくさんのアドバイスと叱 できた.さらに, 本プロジェクトの計画立案し・ 咤激励を頂きました. 教務職員の足立敏美さん 推進するプロセスにおいてのメンバー間のコミ には予算管理で大変お世話になりました.この場 ュニケーションについて多くの気づきを得るこ をもって感謝の意を表したいと思います. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 確率システム論・制御理論を用いた株取引自動化システム構築プロジェクト ２．プロジェクトリーダー 所属講座 学年 応用システム科学講座 M１ 学生番号 0751053 氏名 近藤 祐和 e-mail アドレス [email protected] ３．分担者 所属講座 学年 学生番号 氏名 e-mail アドレス 応用システム科学講座 D2 0661018 中村 幸紀 [email protected] 応用システム科学講座 M2 0551091 冨本 隆 [email protected] 応用システム科学講座 M1 0751033 角谷 文章 [email protected] 応用システム科学講座 M1 0751010 糸数 篤 [email protected] ４．チューター 所属講座 職名 応用システム科学講座 助教 氏名 橘 拓至 ５．必要経費 金額(千円) 設備 備品費 消耗品費 旅費 (調査目 的も可) 合計 支出予定月 品名・型名・数量／行先・目的・日数等 100 平成 19 年 11 月 株価 CD－ROM2007（東洋経済）・アプリケーション＆データ版・1 400 平成 19 年 11 月 会社財務カルテ CD－ROM（東洋経済）・2007 年版 一般事業会社編・銀行編・1 100 44 44 44 平成 19 年 11 月 平成 19 年 11 月 平成 19 年 11 月 平成 19 年 11 月 図書・株取引，制御工学，時系列解析に関する情報収集・15 冊 Matlab , Finance tool box・1 Matlab, Statistic tool box・1 Matlab, Neural Network tool box・1 30 300 平成 19 年 11 月 平成 19 年 12 月 メモリ（DIMM）・D2/667－2G・2 New Orleans・国際会議 CDC2007 で研究調査・4 泊 5 日 (１名) 40 25 平成 19 年 11 月 平成 19 年 11 月 43 平成 19 年 11 月 15 平成 19 年 12 月 60 平成 19 年 11 月 30 平成 20 年 3 月 1275 佐賀大学，39thISCIE International Symposium on Stochastic Systems Theory and Its Applications2007 年 11 月 8 日（木）～11 月 9 日（金）・2 泊 3 日（1 名） 大阪大学，調査，SICE セミナー「実践的な制御系設計」2007 年 11 月 20 日（火）～21 日 （水）（1 名） 慶応義塾大学日吉キャンパス，第 50 回自動制御連合講演会 2007 年 11 月 24 日（土） ～25 日（日）・2 泊 3 日（１名） 大阪大学中之島センター，調査，ワークショップ「金融工学・数理・計量ファイナンスの諸 問題」2007 年 12 月 1 日（土）～2 日（日）（4 名） 中央大学，JAFEE2007 冬季大会，2007 年 12 月 21 日（金）～22 日（土）・2 泊 3 日（2 名） （１名） 京都大学吉田キャンパス，第 8 回計測自動制御学会 制御部門，2008 年 3 月 5 日（水） ～７日（金）（3 名） ６．プロジェクトの背景と目的 近年，金融市場の自由化や社会情勢の変遷により，金融市場は急速に拡大の途を辿っている． 特にインターネットを通して容易に株を取引することができるため，一般の人々が株取引に触れる 機会が益々増加している． さらに現在，株取引を自動化するシステムの開発・利用が進められてお り，これにより株取引の負担が大幅に軽減され市場へ参加が容易になっている．例えば TriStrategy (トリストラテジー) という株取引自動化ソフトでは，ユーザが画面上に株を売買する条件（日数，利 益率，損失率など）を入力するだけで株取引が可能となる．しかしながら，当然，これらの株取引自 動システムを用いても必ず利益がでる保証はない． そこで本プロジェクトでは，ほぼ 100％利益が出る株取引の自動化システムの構築を目指す．構 築システムでは，制御理論を利用して株価を予測するアルゴリズムを開発し，さらに株取引市場を 制御システムとしてモデル化することで，対象モデルが高利益の状態で安定化する制御器の設計 を目指す．制御システムではロバスト安定な制御が可能であるため，ほぼ 100％利益を得られる自 動化システムの構築が期待される． 本システムは JAVA によって実装し，ユーザにとって使い易い GUI も実装する．最後に，「カブロボ コン」（http://www.kaburobo.jp/）に参加し，仮想株取引市場で提案システムの性能実験を行う． ７．目的到達までの研究計画 本プロジェクトでは，各参加メンバが以下の計画に従って実行を進め，期間内での目的達成を目 指す．またプロジェクト期間が短いため，代替案も用意する． 1. 株価予測や時系列解析に関しての過去の論文を調査し，また企業が開催する金融に関する セミナーに積極的に参加することで株取引の知見を得る．さらに外部有識者を招いた学内 セミナーを開催する．（担当：近藤, 角谷）［実施期間：2007 年 10 月～12 月］ 2．過去の株価の時系列データの分析を行うことにより，市場関係者の行動を予測する．(担当： 近藤，中村，冨本) [実施期間：2007 年 11 月～12 月] 3．上記 2 で得られた分析・予測結果をもとにして，制御理論（独立成分分析やフィードバック制 御など）を応用することで，株価予測のためのアルゴリズムを構築し，検証実験を行う．（担 当: 近藤，中村，角谷）[実施期間：2007 年 12 月～2 月] 4．Java で構築システムを実装し，GUI を開発する．（担当: 近藤, 中村, 冨本） [実施期間 2008 年 1 月～2 月] 5. カブロボコンに参加し仮想株取引市場で実証実験を行う．(担当: 近藤) [実施期間 2008 年 3 月] 時間的な制約によって，上記 4, 5 が終了するか不明である．また，今回「株取引」という全く新しい 分野への挑戦であるため，効果的なアルゴリズムの開発ができるかどうか不明である．そのため代 替案として，上記 1，2，3 で得られた知見をまとめ，株取引に関して知識がほとんどない初心者向け の株取引情報 Web を作成して外部公開を行う予定である．また情報科学と株取引の関連について も調査し報告する予定である． ８．決算の要約 金額(千円) 設備備品費 消耗品費 旅費（調査 目 的も可） 合計 支出予定月 品名・型名・数量／行先・目的・日数等 0 522.900 なし 平成 19 年 12 月 なし 株価 CD－ROM2007（東洋経済）・アプリケーション＆データ 版・1 315.000 平成 20 年 02 月 TICK データ（日経メディアマーケティング）・１ 48.930 平成 20 年 02 月 Microsoft・Office2007 アカデミックパッケージ・１ 42.378 平成 20 年 02 月 ソフト一式 45.969 173.995 液晶ディスプレイ一式 書籍一式 5.453 4.160 平成 20 年 02 月 平成 19 年 11 月平成 20 年 02 月 平成 20 年 02 月 平成 19 年 11 月 12.440 平成 19 年 11 月 大阪大学，調査，SICE セミナー・2 日間・1 名 4.980 平成 19 年 12 月 大阪大学中之島センター，調査，ワークショップ「金融工学・数理・計 量ファイナンスの諸問題」・1 日間・3 名 62.600 平成 19 年 12 月 7.895 平成 20 年 03 月 キャンパスイノベーションセンター（東京），調査，人工知能セミナー・1 日間・2 名 京都大学吉田キャンパス，第 8 回計測自動制御学会 制御部門，3 日間・１名 28.300 平成 20 年 03 月 文房具一式 京都大学，調査，「ファイナンスの数理解析」・2 日間・各日 1 名 東京証券取引所，株取引見学，1 日間・1 名 1275 ９．プロジェクトの状況および自己評価の要約 本プロジェクトでは，株取引自動化システムを構築する際の新しい株価予測アルゴリズムの提案 を行った．提案アルゴリズムでは，出力を株価とし，独立成分分析を用いることによって本来は未知 である入力を推定する．これにより，株価変動モデルの同定を行うというものである．また同定により 得られた株価モデルが乗法的不確かさをもつとして，H∞制御理論を適用し，得られた出力を予測 結果として利用する．株価に対して独立成分分析を適用することが出来ることは確かめた．今後の 課題は，本手法を用いた株価予測の数値実験およびカブロボ上での検証である．また，提案法を 用いて株価予測を行うには大量の株価データに対して，どのようなデータを選択するかが重要であ り，この点は考察する必要がある． 一方，株取引自動化システムの構築には，株価予測のみならず、実際に株式の売買アルゴリズム が必要となる．そこで本プロジェクトでは，従来手法であるニューラルネットワークを用いて行った予 測結果に基づく株式売買アルゴリズムを考案し，実際にカブロボでその有効性を確かめた，またニ ューラルネットワークを株価予測に使用する際には，入力を何にするかが問題となるが，企業の財務 分析で使用される財務指標を入力とし工夫した． また我々の当初の計画の一つに，株取引に関して知識がほとんどない初心者向けの株取引情報 Web の作成がある．こちらはプロジェクトの活動概要・リンク集・専門用語解説・提案アルゴリズムの 詳細などを盛り込むことにより，内容の充実化を図った． スプリングセミナーにおけるポスターセッションでは，株取引の初心者にも分かり易いポスターの 作成を心掛け，作成した Web ページを用いてプロジェクトの紹介を行った．受講生の中には実際に 株取引を行っている人もいて，株取引や経済の話などで盛り上がった． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 確率システム論・制御理論を用いた株取引自動化システム構築プロジェクト プロジェクトリーダー 近藤祐和 1 メンバ 中村幸紀，冨本隆，糸数篤，角谷文章 概要（背景と狙い） 近年，インターネットの普及により，オンライン取引 での株式売買が行われている．これにより，一般の 取引や株価予測に関しての知識が増え，自動化シ ステムを構築する上で役に立った．セミナー参加の 詳細は第 4 章を参照． 人々が株取引に触れる機会が増えている．オンライ ン取引では，株取引を比較的自由な時間に行うこと 2.2 ができるというメリットがあるが，一方ではオンライン 予測 過去の株価データ分析，市場関係者の行動 取引のユーザにとって株取引を行う時間・知識の負 株取引自動化システムを構築するには，過去の株 担は大きいものである．そのため，株取引を自動化 価の時系列データが必要となることが考えられた． するシステムがあると望ましい．また計算機の目覚ま そのため，1 日の始まり値・終値・最高値・最安値な しい発展により大規模な数値演算が可能となったた どが記載されている過去 10 年分の株価データと，1 め，これを利用したアルゴリズム取引なども行われて 日の株価の値動きを示したティックデータを購入した． いる． さらに，株価を予測するための指標として，企業の過 そこで我々のプロジェクトでは，確率論・制御理論 去の財務データを購入した．これら購入したデータ を用いることによって既存の株取引自動化システム を分析することで株価の値動きが非常に複雑である よりも高い利益を出すシステムの開発を行う．最終的 ことがわかった． な目標は，“確率論・制御理論を用いたほぼ 100%利 益を得られる自動化システムの構築”である． 目的到達に向けた具体的な計画は，「1. 株価予 一方，市場関係者の行動予測については，市場 を構成する要因が複雑なため，予測することが出来 なかった． 測に関する論文調査，セミナー参加」，「2. 過去の 株価データを分析，市場関係者の行動予測」，「3. 株価予測のアルゴリズム構築」，「4. Java でシステム 2.3 株価予測のアルゴリズム構築 株価を予測するアルゴリズムを構築するためには， を構築し，GUI を開発」，「5. カブロボコンに参加し， 値動きのモデル化が必要不可欠である．しかしなが 実証実験を行う」である. ら，モデル化を実行する前に従来手法の効果を調 査するために，ニューラルネットワークを用いた手法 2 プロジェクトの進捗 進捗に関しては当初の研究計画と照らし合わせ て述べる． 2.１ の性能を検証した．本手法の検証結果は 3.1 節で述 べる． 次に提案手法に関してだが，本プロジェクトは独 株価予測に関する論文調査，セミナー参加 立成分分析と H∞制御理論を用いた株価予測のた 株取引や株価予測に関する知識を増やすために， めのアルゴリズムを構築した．提案手法の詳細は 3.2 ニューラルネットワークや，その他の学習理論，時系 節で述べる． 列モデリング等の論文を調査した．また株価や出来 高，日数などのデータをもとにして作られたテクニカ 2.4 Java によるシステム構築と GUI の開発 ル指標を使ってチャート分析を行うテクニカル分析 GUI の開発に着手できなかったが，従来手法の や，ファンダメンタル分析に関する文献調査を行っ 取引システムについては Java で実装した．提案手法 た．論文調査や学会・セミナーに参加することで，株 のシステムは，完成していないものの，MATLAB に よりシステム構築に必要な株価変動モデルの推定ま 究では，入力データの決め方がなおざりにされがち で行った． である． 2.5 カブロボコンに参加し，実証実験を行う 3.1.2 従来手法の拡張 提案手法でのシステム構築が未完成なため，カブ そこで本プロジェクトでは，入力データの決定に ロボコンへの参加は出来ていない．しかしながら，従 着目し，入力として企業の財務指標を用いた．これ 来手法を用いた取引アルゴリズムは，カブロボの検 は，企業の持つ実体価値こそが投資に値するもので 証データを使用して，その有用性を確かめるべく実 あるとするファンダメンタル理論に基づくものである． 験を試みた．結果は，3.3 節で述べる． 具体的な入力としては以下の 6 つとした． 2.6 株取引に関して初心者向けの株取引情報 Web プロジェクトの活動概要・リンク集・専門用語解説・ ・ROD=経常利益/有利子負債 ・ROE=純利益/株主資本 提案アルゴリズムの詳細などを盛り込むことにより， ・ROA=純利益/総資産 内容の充実化を図った． ・ROIC=営業利益×0.58/投下資本 作成した Web は，以下の URL で公開中である． ・売上高純利益率=純利益/売上高 http://genesis.naist.jp/tmp/cicp2007/index.html ・前月の最高値平均/最安値平均 ここで入力の一つに前月の最高値平均/最安値平 3 成果 均としている． 本章では，まず最初に従来研究の検証結果につ いて述べ，その後提案手法について述べる．それか らカブロボでの検証について述べる． 3.1 従来手法（ニューラルネットワークを用いた株 3.1.3 ニューラルネットワークモデリング NN を株価予測に使用する際にはモデル選択が重 要となる．本プロジェクトでは，(ⅰ)階層型 NN と(ⅱ) 価予測） リカレント型 NN を用いて数値実験を行った．図１に 3.1.1 ニューラルネットワークを用いた株価予測 階層型 NN, 図 2 にリカレント型 NN を示す． 時系列解析に用いられるニューラルネットワーク （Neural Network, 以下 NN）は、株価予測の研究に 使用されている[1][2]．例えば，株価予測に大きな影 響力を与えると思われる円ドルレート変動や PER 等 の変数を入力変数とし，一定期間後の株価の最高 図 1 階層型 NN モデル 図 2 リカレント型 NN モデル 値/最安値を教師信号として NN を訓練し，将来の株 教師信号として，翌月の最高値平均/最安値平均 価を予測する研究が成されている．また，訓練事例 として NN を訓練した．これは，入力に企業の財務指 中のある時点から将来の株価変動の上下を予測す 標を用いており，一日あるいは一週間での株価の予 る研究も行われている[2]. 測は困難なためである（財務指標は決算期に得られ しかしながら，NN を使用する際には，最終的に得 る値だけである）．それゆえ，入力にも前月の最高値 られる解が必ずしも総誤差関数の大域的最小値と 平均/最安値平均を加えた．月の最高値（最安値） は言えない点や，出力結果が結合過重の初期値・ 平均の計算の仕方は以下のとおりである． 中間層のニューロンの数などに依存してしまう点が 問題となる．また，NN を株価予測に用いる場合，入 力データをいかに決定するかも重要となる．従来研 月の最高値(最安値)平均 = 1 n C j n j 1 ただし， n は月の営業日数， C j は第 j 日目の最高 値（最安値）である． 際に取引システムに実装して運用する際には，この パラメータの選択が重要となる． 3.2 提案手法 前節の結果から，従来のＮＮを用いた手法では， 3.1.4 拡張手法の検証結果と考察 モデル選択やパラメータ設定が難しいことがわかる． 図 3 に階層型 NN モデルを使用した予測結果を そこで本プロジェクトでは，これらの問題を解決する 示す．予測対象企業を松下電器産業とし，予測期 ために，独立成分分析・H∞制御理論を用いた株価 間はそれぞれ図のような期間とした． 予測手法を提案する．株価を予測する際，株価の予 測モデルがあればよい．一般に，制御理論を用いて 何か対象をモデリングする際，必要なものは入出力 特性である．株価の予測モデルを構築する際にも， 入出力特性が必要となる．しかしながらモデリングの 対象を株価とした場合，出力は実際の株取引で使 用される株価や株式リターンであるが，入力は未知 である．そこで本プロジェクトでは，独立成分分析を 用いることにより本来未知であるはずの入力を推定 図 3 階層型 NN を用いた予測結果 し，株価変動のモデルを構築する方法を提案する． 3.2.1 独立成分分析 図 5 に独立成分分析の概念図を示す．独立成分 分析は，ある種のフィルタのようなもので， n 本の信 号がこのフィルタを通過すると n 本の独立な信号に 分解される．したがって，このフィルタで分解したい n 本の信号（観測信号） (t ) が本 n の独立な信号 （源信号） s(t ) の線形結合で構成されるとすれば， 源信号を含めて混合に関する情報を一切用いること 図 4 リカレント型 NN を用いた予測結果 この結果から階層型 NN モデルでの予測値は前月 なく，観測信号 (t ) のみから源信号 s(t ) を復元す ることができる[3]． の最高値平均とほぼ同じ値であることがわかる．その ため，階層型 NN モデルを用いて翌月の最高値平 均を予測することは難しいことがわかる．また，最安 値平均に関しても同様な結果が得られた． 次に，図 4 にリカレント型 NN モデルを用いた予 測結果を示す．これは比較的予測値が真値に近い 結果が得られた．しかしながらこの結果を出す過程 図 5 独立成分分析の概念図 には，(ⅰ)結合過重の初期値，(ⅱ)中間層のニュー 図 6 に独立成分分析を用いた株価予測のアルゴリ ロン数，(ⅲ)学習率，(ⅳ)学習回数などのパラメータ ズムを示す．まず株価時系列データ（現在の株価の 選択に大変試行錯誤した．パラメータの値が異なる 値だけではなく, 最高値, 最安値など）に前処理を と，得られた結果も異なるものになった．このため実 施し, ICA 処理を行い, 未知入力を推定する．ここ で本アルゴリズムによって得られるモデルは ARMA モデルである．得られたモデルはモデル化誤差を含 むと想定して H∞制御理論を適用する．得られた出 力を予測結果として利用する．具体的な独立成分分 析の手法は文献[3]を参考にした． 図 8 独立成分分析の株価への適応結果 3.3 予測結果に基づく株式売買手法（カボロボで の検証） 図 6 独立成分分析，H∞制御理論を用いた予測アルゴリズム 前節では，株価予測の提案手法を説明した．提案 また図 7 に誤差の影響を抑えた予測手法を示す． 手法を用いれば，将来の株価を精度よく予測できる 図 7 は，株価モデルが乗法的不確かさをもつ場合で と思われる．しなしながら，将来の株価を精度良く近 あり，誤差の大きさを重み関数 W で表現する．本手 似できたとしても，これを実際の取引アルゴリズムに 法では，モデル化誤差の影響により観測信号（株 適用し，高い利益を生み出すシステム開発が重要よ 価） y にノイズ（仮想外乱）が含まれていると考え，株 なる，そこで本節では，実際の取引アルゴリズムにつ 価 いて考察する． y と制御入力をフィルタ K を通して株価予測値 を求める．フィルタ K は，H∞制御理論に基づいて ここでは，リカレント型ＮＮモデルを用いた株式売 設計される．具体的には，外部信号（ u , w ）から評 買手法について述べる．まず予測した結果（該当月 価出力（今回は推定誤差 z ）への伝達関数行列 G の最高値（最安値）平均）に基づき，該当月の株式 の H∞ノルムが （＞ 0 ）未満となるように K を設計 売買を実行する．具体的には，その月の実際の株 する．なお，制御入力ｕは未知であるためＩＣＡにより 価と予測最高値（最安値）平均とを比較し，実際の 復元する． 株価が予測最高値よりも上回った時点で売り，実際 の株価が予測最安値よりも下回った時点で買いとす る．この手法によってカブロボ 18で売買した結果を表 1 に示す．株式売買対象銘柄は 1 銘柄で，松下電器 産業である．この結果から上述の株式売買手法は 有効であると思われる． 表 1 予測結果を基にカブロボで売買した結果 図 7 誤差の影響を抑えた予測手法 3.2.2 独立成分分析の株価への適応結果 図 8 に１日の最高値と最安値の時系列データに対 して独立成分分析を行った結果を示す．この結果よ 初期資産額（円） 50,000,000 最終資産額（円） 53,980,960 取引開始日 2005/01/05 取引終了日 2005/12/27 3.4 スプリングセミナーでの成果報告 り，株価データに対して独立成分分析を適用できる ことがわかった． 18 カブロボとは仮想資金を用いて，株式を自動売買するア ルゴリズムを考案し，その運用成果を競うコンテストのこと である． 参考 URL: http://www.kaburobo.jp/ 平成 20 年 3 月 7 日に行われたスプリングセミナー 構築するのは困難なため，一部の情報を抽出して では，作成したポスターと Web ページを用いてプロ 解析しています．本プロジェクトで取組んでいる株価 ジェクトの紹介を行った．スプリングセミナーの受講 予測アルゴリズムの導出においても，適切な株価の 生には，実際に株取引を行っている人もおり，有意 決定要因を選びだす予定です．また，全情報を用 義な議論を行えた．また予測結果に関して，複数銘 いていないため数理モデルに誤差が生じる可能性 柄を対象にして，より統計的な説明を行う必要がある がありますが，その影響を抑えるためにもフィードバ といった具体的なアドバイスを頂いた．今後はポスタ ック(制御)を用いて株価予測を行う必要があると思わ ー発表で得られた意見を大いに参考にしていきた れます． （文責：中村） い． 4 学会・セミナー参加報告 4.2 セミナー・学会名：SICE セミナー 本章では，プロジェクトで参加した学会・セミナーに 関して簡単な報告を行う． 4.１ 実践的な 制御系設計－（ポスト)ロバスト制御の最前線‐ (1) 日時： 平成 19 年 11 月 20 日－21 日 2007 年度中之島ワークショップ 金融工学・ 数理・計量ファイナンスの諸問題 (2) 会場： 大阪大学吹田キャンパス銀杏会館 (3) 主催： 計測自動制御学会 (1) 日時： 平成１９年 12 月１日 (4) 参加者： 角谷 (2) 会場： 大阪大学中之島センター (5) 内容： (3) 主催： 大阪大学金融・保険教育研究センター、 同寄付研究部門 ・ハイブリッド予測制御・協調制御の新展開 ・ロバスト制御系設計の基礎 (4) 参加者： 近藤，糸数，中村 ・2 乗和多項式に基づくロバスト制御系設計 (5) 内容： ・モデル予測制御の自動車関連制御問題への応用 ・スプレッドと注文流入の関係についての分析 (6) 所感： ・物価連動債の導入が証券価格に与える影響など このセミナーでは，まずハイブリッド予測制御理論 (6) 所感： を学んだ．予測制御とは未来の応答を予測すること 本ワークショップでは，大学や金融機関の関係者 で現在の入力を決定する制御方法である．予測制 を招いた講演会が行われ，市場取引の傾向などに 御は，拘束条件をもつシステムに対して扱える．また， ついて学ぶことができました． ハイブリッドシステムに対して実用的な制御法として 例えば，“指値注文市場におけるスプレッド”の講 ハイブリッド予測制御理論が研究されていることを知 演では，注文流入の売り・買いが偏るとスプレッドが った．そして，ハイブリッド予測制御理論を効果的に 小さくなり，逆に売り買いの偏りが小さいとスプレッド 理 解 す る た め に ， 数 値 演 算 ソ フ ト MATLAB の が大きくなるという話しを聴きました． toolbox という付加機能の活用法を学んだ． また，“物価連動債が経済 また，ロバスト制御（H∞制御）の基礎事項につい の均衡に与える影響”の講 ての説明を受けた．ロバスト制御系設計に問題では， 演では，長期投資家の行動 その解法は線形行列不等式（LMI）に基づくものが により株式の実質価格が決 ある．この LMI を用いた解法や制御系設計手順を学 定されること等が議論 ワークショップ 講演風景 んだ． されていました．このように，価格・取引を決める要因 今回のプロジェクトで構築しようとしている株取引 は多種多様ですが，ファイナンスの分野では，金融 自動化システムに必要な株価予測に対して予測制 に関する全情報を用いて株価決定の数理モデルを 御の理論を活かせればと思う．このセミナーでは MATLAB を使った実装法を学んだが，このプログラ るミーティングや，積極的に学会やセミナーに参加 ムをプロジェクト用に JAVA で実装できないか参考に することで専門外の知識を得るといった努力が功を したい． 奏したのか，新しい手法を提案することが出来た．参 また，ロバスト制御というのは，制御モデルに誤差 加したメンバの学位論文に向けた研究とは全く異な や変動が含まれていても目標を達成できるようにす る今回のプロジェクトにおいて，時間的制約もあった る制御法である．株価予測は常に変動などが生じる 中で新しい株価予測のアルゴリズムを提案し，また ものなので，ロバスト制御の理論を株価予測に応用 従来手法ではあるがカブロボを用いた検証実験を することは大いに効果が期待できる． (文責：角谷) 行った意義は大きいと思われる．当初の計画は達成 今回紙面の都合上，一部学会・セミナー報告を できなかったが，初心者向けの web ページを開設す 割合している．詳細は Wｅｂ るなど代替案の目標は達成した． (http://genesis.naist.jp/tmp/cicp2007/index.h tml)に掲載している． 反省すべき点は，常にもう少し目的を明確にして プロジェクトを進めればよかったということである．例 えば株価予測の場合，何を予測するのかが重要とな 5 今後の展開 るのだが，それをもっと明確にするべきであった．実 今回のプロジェクトでは，ＮＮを用いた従来手法の 際の売買で使用出来，かつ利益を生み出すのであ 検証実験と，制御理論（独立成分分析・H∞制御理 れば，何もこと細かく将来の株価を予測する必要は 論）を用いた新しい株価予測アルゴリズムを提案した． 無いということがわかった． しかしながら，提案手法の数値実験はまだ行えてい ないのでまずはこれを優先したい．その際，提案手 スプリングセミナーでは，提案法の数値実験結果も 見せることが出来ればよかったと思う． 法に関しては理論的にまだまだ考察する必要が出 てくると思われる．例えば，独立成分分析を適用す 参考文献 る際には，入力は互いに独立であるという前提条件 [1]馬場，井上:“ニューラルネット・GAs を活用した日 が必要となるが，株価のモデルは本当に入力が独 経平均 225 の予測と売買支援システムの構築”，日 立なのかという点が問題となる．また，どのような期間 本機械学会第 12 回インテリジェント・システム・シン で株価のモデルを構築するのかも考察しなければな ポジウム講演論文集，2002 らない．これは 1 日の株価モデルと，1 年のものとで [2]山口:“ニューラルネットと遺伝的アルゴリズムを用 は明らかにモデルが異なってくると思われるからであ いた株式売買支援システム”，東京大学大学院情報 る． 理工学系研究科修士論文，2002 次に株取引自動化システムの開発に関しては，今 [3]新田:“独立成分分析の制御工学への応用に関 回従来手法をカブロボに実装したのみとなっている する研究”，奈良先端科学技術大学院大学情報科 ため，今後は自動化システムのＧＵＩ開発を行ってい 学研究科博士論文，2007 きたい． 謝辞 6 自己評価 当初の計画の半分程度は達成できたかと思わ 本プロジェクトでは，チュータである橘先生には懇 切なるアドバイスと激励を頂きました．教務職員の足 れる．目標設定がチャレンジングな内容だったので， 立敏美さんには予算管理のことで大変お世話になり プロジェクトが進まない時期もあった．しかし度重な ました．ここに改めて御礼申し上げます． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 立体映像を用いた高臨場感バーチャルジェットコースターシステムの開発 ２．プロジェクトリーダー e-mail アドレス 所属講座 学年 学生番号 氏名 視覚情報メディア講座 D1 0761025 堀 磨伊也 所属講座 学年 学生番号 氏名 視覚情報メディア講座 D1 0761012 河合 紀彦 [email protected] 視覚情報メディア講座 M2 0651063 武富 貴史 [email protected] [email protected] ３．分担者 e-mail アドレス ４．チューター 所属講座 職名 氏名 視覚情報メディア講座 助教 神原 誠之 ５．必要経費 金額(千円) 設備備品費 支出予定月 525 11 月 品名・型名・数量／行先・目的・日数等 ヘッドマウントディスプレイ・ I-visor FX605／高臨場感映像提示用 160 11 月 グラフィックスカード・ NVIDIA Quadro FX3500 ／立体視ステレオ動画像出力用 消耗品費 126 11 月 モーションレコーダ・ MicroStone MVP-A3-25b 2 セット ／実験入力データ（3 軸加速度）取得用 74 11 月 体感音響装置・ セルシネエイム研究所 FM-112A ／テレプレゼンスシステム音響用 旅費（調査目的も可） 合計 126 11・12 月 ケーブル類など／実験データ撮影用補助品 339 3 月 IEEE VR2008／調査 Reno(USA) 5 日間 1350 ６．プロジェクトの背景と目的 遠隔地の情景をユーザに提示し，あたかもその場にいるかのような感覚を与える仮想現実技 術はテレプレゼンスと呼ばれ，いかに遠隔地の情景を臨場感豊かに提示するかが課題となっ ている．テレプレゼンスシステムは，エンターテインメントや医療，教育などの様々な分野 で応用が期待されるが，本提案ではエンターテインメント性の高いコンテンツをテレプレゼ ンスの対象とし， 「ジェットコースター」を疑似体験できるシステムの開発を目的とする． われわれは従来，全方位動画像を用いて大型ドームスクリーンにユーザの指示する視線画像 を提示し，360 度視線を自由に変更することができるシステムの開発を行ってきた．本プロ ジェクトではこのシステムの高臨場化を目指す．従来，提示する映像は単眼画像で撮影地点 での視点画像に限定されるため，臨場感が損なわれる問題が生じた．そこで本プロジェクト では，撮影された全方位画像群より新しい視点位置の画像を生成する画像処理技術を用い， ユーザの左右の視点画像を生成することにより，ユーザに両眼ステレオ画像を提示する手法 を提案する．ユーザは大型ドームスクリーンに投影されたステレオ画像をシャッター式眼鏡 で見ることにより立体視と自由な視線変更が可能となる．また撮影時には，加速度センサと 風速計により撮影時の加速度と風速を同時に取得し，取得したデータを用いて椅子に振動を 与えたり，ユーザに対して風を送ることにより，さらに臨場感が高いシステムの構築を目指 す． ７．目的到達までの研究計画 ステレオ画像を生成するために全方位カメラ 2 台を図 1 のように固定し，それらをジェッ トコースターに設置し，移動しながら全方位画像群の取得を行う．その後，取得した全方位 画像から特徴点を抽出し，撮影時のカメラ位置・姿勢を推定する．推定されたカメラ位置・ 姿勢情報を用いて左右両眼の視点画像の生成を行う．両眼ステレオ画像は異なる位置で撮影 された複数の全方位画像を用いて Image-based Rendering と呼ばれるアプローチで合成し て生成を行うが，360 度自由な見回しが可能なステレオ画像を精度良く生成するためには， 多数の地点で撮影された全方位画像が必要となる．しかし，移動体(ジェットコースター)の 速度が高速なため，一度の撮影で生成に必要な全方位画像を十分に得ることができない可能 性がある．この場合には，同様の経路を複数回撮影することにより全方位画像を密に取得す るか，全方位カメラをもう 1 台増設し同時に撮影可能な全方位画像の枚数を増やす．テレプ レゼンスを行う際には，図 2 のような大型ドームスクリーンにステレオ画像を提示すること により立体視を可能とし，臨場感を高める． また撮影時に，加速度センサと風速計により加速度と風速を同時に取得し，テレプレゼン スを行う際には計測されたデータを用いて，図 3 に示す可動椅子を通してユーザに振動を与 えたり，電気送風機により風を与えたりすることによりユーザに振動と重力加速度を体験さ せる．このとき問題となるのは，実際の振動や重力加速度を可動が 2 軸回転の椅子と送風機 により，どのように表現するのかという問題である．この問題に関しては，実際にジェット コースターを体験したことがある複数の人物に対して，試作したテレプレゼンスシステムを 繰り返し体験してもらい，評価実験を行うことにより実際のジェットコースターに近い高臨 場感のテレプレゼンスシステムの構築を目指す． 図 1.全方位カメラ設置例 図 2.テレプレゼンスの様子 図 3.可動椅子 ８．決算の要約 金額(千円) 設備備品費 消耗品費 旅費 合計 支出予定月 品名・型名・数量／行先・目的・日数等 145 12 月 ヘッドマウントディスプレイ 273 12 月 ビデオカード 138 12 月 モーションレコーダ 188 2 月 データ記憶装置一式 26 2 月 映像取得補助品一式 115 12 月 体感音響装置一式 198 2 月 映像提示用補助品一式 218 3 月 IEEE VR2008 1301 ９．プロジェクトの状況および自己評価の要約 本プロジェクトでは，高臨場感のバーチャルジェットコースターシステムを構築することを目 的とし，映像効果，振動・加速度効果，体感音響効果の 3 つの効果を付加した． まず映像効果について述べる．映像提示はヘッドマウントディスプレイで行い，全方位画像を 用いることにより自由な視線方向と両眼立体視を行うことで臨場感を高めた．計画では 2 台の全 方位画像を用いて撮影を行い，全方位の立体視を行う計画であったが，2 台の全方位カメラを用 いてジェットコースターからの撮影を行うことが困難であったため，本プロジェクトでは，1 台 の全方位カメラで撮影された全方位動画像を用いてシステムの構築を行った．立体視を行うため には，視差のある映像を両眼に提示する必要があるが，1 台のカメラ画像からではジェットコー スターの進行方向に関して，視差のある映像を得ることが困難であったため，左右の眼に同様の 画像を提示した．進行方向に対して横方向周辺の視線方向に関しては，シーケンシャルに撮影さ れた画像から視差のある画像を取得することが可能なため，ステレオ画像の生成を行い，立体視 を行った． 加速度効果は，ジェットコースターから撮影された映像に合わせて振動椅子を傾け，振動させ ることにより実現した．振動椅子に与える傾きは，撮影画像からレールの傾きを検出し，遠心力 を与えたい方向に対して椅子を傾けることにより遠心力を実現した．提示する映像もユーザの傾 きを考慮して傾きを補正することにより違和感を軽減した．振動は，ジェットコースターの車体 の揺れを画像から検出し，実装を行った． 音声効果は，実際に録音された音声に加え，体感音響装置と呼ばれる音声の低域成分（150Hz 以 下）を振動に変換して体感するシステムを用いた．体感音響装置を用いることにより臨場感を高めた． デモンストレーションでは，プロトタイプのジェットコースターシステムを構築し，スプリン グセミナー参加者に体験していただいた．参加者からは，臨場感が十分に感じられたといった意 見が多く得られ，目的を十分に達成できた．ただ，実際のジェットコースターと同様の風力を要 求する意見が多く，画像から自動的に速度を計測し風力を変化させるシステムの実装を今後行い たい．また，振動椅子での擬似的な横方向の遠心力・前後方向の加速度に関しては，技術的に新規性があ ると思われるので，今後，実験・考察を行い，学術発表を行いたい． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 「立体映像を用いた高臨場感バーチャルジェットコースターシステムの開発」 堀 磨伊也 １．概要 遠隔地の情景をユーザに提示し，あたかもその場 3 節ではプロジェクトの成果，4 節では今後の展開， 最後に 5 節では自己評価について述べる． にいるかのような感覚を与える仮想現実技術は，テ レプレゼンス[1]と呼ばれ，いかに遠隔地の情景を臨 ２．プロジェクトの進捗 場感豊かに提示するかが課題となっている．テレプ 本プロジェクトでは臨場感の高いバーチャルジェッ レゼンスシステムは，エンターテインメントや医療，教 トコースターシステムの実現のために主に映像効果， 育などの様々な分野で応用が期待されるが，本プロ 振動・加速度効果，体感音響効果の 3 つの効果を ジェクトではエンターテインメント性の高いコンテンツ 付加した．以下に，それぞれの手法を詳述する． をテレプレゼンスの対象とし，「ジェットコースター」を 高臨場感で疑似体験できるシステムの開発を目的と する． ジェットコースターのテレプレゼンスを行う際に，臨 2.1 映像効果の実現 映像効果に関しては，自由な視線変更と立体視を 実現した．以下に手法の詳細を述べる． 場感を高めるためのアプローチとして，ジェットコー ジェットコースターの撮影には全方位型マルチカ スターに搭乗しながら撮影した全方位動画像を入力 メラシステム（Point Grey Research Ladybug2） を用 画像として用いる．全方位動画像を用いることにより いた．このカメラユニットは，水平方向の 5 台と真上 ユーザは，自由な視線変更が可能となり，指示する の 1 台の CCD カメラが同期して 30ｆｐｓの動画像を取 視線方向の画像をインタラクティブに提示可能[2]で 得することが可能である．図 1 に撮影機器の外観を ある．提示する映像は，撮影された画像から左右の 示す．ジェットコースターからの映像の撮影を行うと 眼に視差のあるステレオ映像を生成する技術[3]を きには，安全性の問題から全方位カメラをヘルメット 用いて生成し，ユーザの両眼にそれぞれの視点画 に固定し，それを装着し搭乗しながら撮影を行った． 像を提示することにより立体視を可能とする．また， 撮影画像の保存はラップトップ PC で行ったが，付属 臨場感を向上させるために，映像を提示する際には のハードディスクでは，ジェットコースターの加速度 振動・加速度効果，音響効果を付加する．振動・加 の影響で動作が停止し，30fps の動画像を取得でき 速度効果は，ロール・ピッチの 2 軸の可動軸を持つ ない問題が生じた．そこでデータ保存機器としてハ 振動椅子を撮影画像から得られる情報を用いて制 ードディスクの代わりにシリコンディスクを用いた．シ 御することにより実現する．音響効果は，体感音響 リコンディスクは外的衝撃に強いのが特徴で，ジェッ 装置と呼ばれる音声の低域成分を振動に変換して トコースター上でも正常に動作した．撮影された画 ユーザが体感するシステムを用いることにより実現す 像をそれぞれのカメラ位置を考慮して統合したパノ る． ラマ画像を図 2 に示す．使用したパノラマ画像の解 デモンストレーションではプロトタイプのジェットコ 像度は横 2048 画素，縦 1024 画素である．このパノ ースターシステムの構築を行い，スプリングセミナー ラマ画像の一部を透視投影変換することによりユー 参加者に体験してもらうことにより本システムの有効 ザの指定する視線方向の画像をリアルタイムで提示 性を示す． することが可能である． 以下，2 節ではプロジェクトの進捗について詳述し， 本プロジェクトでは，映像提示装置としてヘッドマ ウントディスプレイ（i-visor FX601）を用いた．外観を 図 3 に示す．このディスプレイは横 800 縦 600 の解 像度の映像を提示可能で 2m 先に 60inch のディスプ レイがあるかのように体感できる装置である．また左 右に異なる映像を提示することが可能で人間の視覚 と同様に視差のある映像を提示することにより立体 視が可能である． 図 1．撮影装置外観 立体視に関しては，人間の眼と同様に眼間距離 だけ離れた位置において撮影された画像をユーザ に提示することで可能であるが，本プロジェクトの目 的である自由な視線変更と立体視を同時に実現す るためには，ベースラインを眼間距離に固定したス テレオカメラをユーザの希望する視線方向に回転さ せなければならないため，現実的には困難である． 図．2 全方位パノラマ画像の例 そこで本プロジェクトでは全方位カメラで撮影された 画像群から擬似的に視差のある画像の生成を行う． 計画では，全方位カメラを 2 台用いて撮影された画 像群から Image-Based Rendering と呼ばれるアプロ ーチ[3]を用いて全方位の両眼ステレオ画像を生成 する予定であったが，全方位カメラを 2 台用いてジェ ットコースターの撮影を行うことが困難であったため， 1 台の全方位カメラで撮影された全方位画像群から 図 3．映像提示装置（ヘッドマウントディスプレイ） 擬似的に視差のある画像の生成を行った．全方位 カメラ 1 台ではジェットコースターの進行方向に対し また，撮影された画像はジェットコースターの振動 て視差のある画像を取得することは難しい．したがっ のため，提示画像が大きく揺れる問題があったが， て本プロジェクトでは進行方向に対して横方向周辺 画像中の特徴点をトラッキングすることにより，画像 のみ視差のある映像を生成し，立体視を行う．視線 の揺れを補正した．特徴点はジェットコースターの車 がジェットコースターの進行方向の場合は左右に同 体の一部の点を用いた．特徴点のトラッキングはテ 様の映像を提示した．横方向周辺に関しては，シー ンプレートマッングを用いることにより行った．テンプ ケンシャルに撮影された画像から視差画像の生成を レートマッチングで用いる画像の類似度は，正規化 行った．われわれが以前に提案した手法[4]は，ジェ 相互相関を用いた．ジェットコースターの車体上の 2 ットコースターが高速移動しているため生成に必要 点についてトラッキングした様子を図 4 に，ジェットコ な光線情報には誤差が大きくなるため，生成される ースターに搭乗して撮影した 4479 フレームの画像に ステレオ画像の生成精度が下がる問題が残るが，本 対してトラッキングした結果を図 5 に示す．縦軸は画 プロジェクトでは，この手法を用いて擬似的に生成し 像の x, y 座標の画素のずれを，横軸はフレーム数を た． 示している．特徴点は初期位置のみ手動で与え，後 は自動的にトラッキングを行った．図 5 からわかるよう に画像中で特徴点が x, y 座標ともに大きく移動して 図 4． 特徴点のトラッキング (a) 進行方向の視線画像 (b) 進行方向に対して左方向の視線画像 図 5．トラッキング結果 (c) 進行方向に対して後ろ方向の視線画像 図 6．画像の揺れ補正結果 （左：補正前 右：補正後） (d) 進行方向に対して右方向の視線画像 いることがわかる．これは撮影時に，カメラがジェット 図 7．提示画像例（左：左眼画像 右：右眼画像） コースターの車体に対して固定されておらず，相対 的な位置が頻繁に変化しているためである．この揺 ザは立体視が可能である． れを補正することによりカメラと車体を固定した場合 の映像提示が可能である． 最後に，視線を変更した場合の画像と立体視を 2.2 振動・加速度効果の実現 本プロジェクトでは，画像から得られる情報とロー 行った例を図 7 に示す．これはある地点で視線を変 ル・ピッチの 2 軸の可動軸を持つ振動椅子を用いる 更させたものだが，(a) 視線方向が進行方向 と (c) ことにより振動・加速度の実現を行った．以下に詳細 進行方向に対して後ろ方向 に関しては，左右の視 を述べる． 点では同じ画像を提示している．一方，（b）進行方 ユーザに振動・加速度を与えるために振動椅子 向に対して左方向の視線画像，（d）進行方向に対し JoyChair-R1（川田産業（株））を用いた．これはロー て右方向の視線画像 に関しては左右の視点で視 ルとピッチの 2 軸の可動軸を持ち，最大±15 度の可 差のある映像が生成されていることがわかり，これを 動範囲を持ち，振動と傾きを自由に与えることができ ヘッドマウンドディスプレイに提示することによりユー る．外観を図 8 に示す． まず椅子に与える振動について述べる．振動は 画像の特徴点のトラッキング結果を用いた．図 5 で 示す特徴点の画像中の移動量は，撮影時の車体の 振動情報を含んでおり，これを振動椅子の振動に変 換させることにより，テレプレゼンスシステムをより現 実に近づける． 次に加速度について述べる．振動椅子の自由度 はロール・ピッチの 2 軸のため，加速度を実際のジェ 図 8．振動椅子外観 ットコースターと同様に与えることは困難である．そこ で本プロジェクトでは，加速度を振動椅子の傾きで 体感させる．図 9 に示すように振動椅子をレールの カーブに対して遠心力を感じる方向に傾けることに より遠心力を与える．例えば，図 9 の左図では，ジェ ットコースターのレールが左に傾いており，実際にジ ェットコースターに搭乗しているユーザは右方向に 遠心力を感じる．この遠心力を図 9 の右図に示すよ 図 9．振動椅子による遠心力の実現 うに振動椅子を右方向に傾けることによって擬似的 にユーザに体感させる．これは，実際にジェットコー スターに搭乗しているユーザの傾きに対して反対方 向であるため，ユーザに撮影時の映像をそのまま提 示すると違和感が生じる．そこで，提示する画像をユ ーザの傾きと同様に回転させることにより，この違和 感を軽減し，あたかも遠心力を感じるかの様な感覚 図 10．体感音響装置外観 を与える．なお，この映像の回転はヘッドマウントデ ィスプレイでは，ユーザが振動椅子とともに傾くと映 像も自動的に傾くため，提示する画像は回転などの 特別な変化を与えていない． 前後方向に対しても同様の効果を利用する．ジェ 2.3 体感音響効果の実現 本プロジェクトでは，体感音響装置（FUTEK）と呼 ばれる音声の低域成分（150Hz 以下）を振動に変換 ットコースターが下っているときは，振動椅子を前方 して体感するシステムを用いた．図 10 に外観を示す． 向に傾けることにより，ユーザはジェットコースターの なお音声はジェットコースターに搭乗しながらビデオ 進行方向に対して加速度を感じるような感覚を知覚 カメラで録音したものを用いた．映像と音声の同期 する． このようにしてユーザは前後方向にも擬似的 は手動で合わせた．体感音響装置を搭載したシート にジェットコースターの加速度を体感することができ を振動椅子の座席の背中部分に設置することにより， る．ただし，ジェットコースターの前後方向の傾きは ユーザに直接的に振動を与え，臨場感高める効果 画像から自動的に取得することが困難であったため， を演出した． 前後方向の傾きに関しては，手動で入力した． ３．成果 3.1 スプリングセミナーでの発表 2008 年 3 月 7 日のスプリングセミナーにおいて， スプリングセミナー参加者に対して，実際にプロトタ イプのジェットコースターシステムを体験していただ いた．映像は横 800 画素，縦 600 画素の画像（全 4479 フレーム）を 30ｆｐｓで動作させた．ビデオカード はステレオ画像提示機能を持つ Quadro FX3500 (NVIDIA) を用いた．デモンストレーションの様子を 図 11．デモンストレーションの様子 図 11 に示す．ユーザはヘッドマウントディスプレイ を装着し，自由な視線変更と立体視（横方向周辺限 キュラとスリットによる指向性フィルタの構成を試み， 定）が可能である．視線変更はユーザの持つコントロ ディスプレイパネルの回転と指向性を考慮したひず ーラによって実現した．ユーザはインタラクティブに みの少ない映像提示のレンダリング手法の提案を行 視線変更可能である．また，振動椅子により擬似的 っていた．他に類を見ない研究だったので非常に興 な遠心力と前後方向の加速度，ジェットコースターの 味を引かれた． 振動を演出した．ユーザには，実際に撮影時に録音 なお発表は，仮想現実感だけでなく拡張現実感・ された音声と体感音響装置による振動を同時に体 複合現実感に関する研究[6][7]が数多く発表されて 験させることにより臨場感の高いシステムの構築を行 いた．今後の研究の参考にしたい． った． なお，本プロジェクトはスプリングセミナー参加者 の投票により，最優秀賞をいただいた． ４．今後の展開 今後は，臨場感の高いテレプレゼンスの構築に向 けて今回実装できなかった点について改良を行い 3.2 国際会議参加報告 たい． 仮 想 現 実 感 技 術 の 学 術 調 査 の た め ， IEEE 1 つはジェットコースターの速度を画像より自動的 Virtual Reality 2008 （ March 9-12, Reno, に検出することである．これは環境中の特徴点をトラ Nevada USA）に参加させていただいた．今回， こ ッキングする[8]ことで可能であると考えられる．ただ の学会は，IEEE Haptics Symposium，IEEE し，ジェットコースターは高速で移動しているため， Symposium on 3D User Interfaces と共催で参 速度に対してロバストなトラッキング手法を適用する 加人数も非常に多かった． 必要があると思われる．このようにして計測した速度 口頭発表されていた論文の中で多視点ディスプ を用いてユーザに体感させる加速度の大きさを変化 レイの開発[5]に関する発表があったので簡単に紹 させることにより，より実物のジェットコースターに近 介する．この研究では，平面ディスプレイパネルを回 いテレプレゼンスを行うことができると考えられる．ま 転させることで多視点に異なる映像を提示すること たスプリングセミナー参加者から要望があった風力 のできる回転型多視点ディスプレイを提案している． を体感するシステムの開発を行う必要がある．これは 設計パラメータである画像提示の方向数，視点の更 画像から取得した速度を用いて線型的にユーザに 新レートとその決定要因であるディスプレイパネルの 与えることによって臨場感を高められると考えられ リフレッシュレート，回転速度，指向性の強さとの関 る． 係を示し，実現可能な使用を決定している．レンティ 今回実装を行った 2 軸の可動軸しか持たない振 動椅子での擬似的な横方向の遠心力・前後方向の 加速度に関しては，技術的に新規性があると思われ るので，今後，実験・考察を行い，学術発表を行い たい． 参考文献 [1] S.Moezzi. Ed.: Special Issue on Immersive ５．自己評価 今回スプリングセミナーでの発表までに実装でき Telepresence, IEEE MultiMedia, Vol.4, No.1, pp. 17-56, 1997. なかった点があったが，スプリングセミナーでは一連 [2] S. Ikeda, T. Sato, M. Kanbara and N. Yokoya: のシステムとして動作したので高評価につながった “Immersive Telepresence System with a Locomotion ものと考えられる．特に遠心力・加速度に関しては， Interface Using High-Resolution Omnidirectional ユーザに対して臨場感を高めることができたものと考 Videos,’’ Proc. IAPR Conf. on Machine Vision えられる．今後は，今回実装したシステムで感じる加 Applications, pp. 602-605, 2005. 速度と，実際のジェットコースターで計測した加速度 [3]L. McMillan and J. Bergen: “Plenoptic Modeling: と比較することにより評価実験を行い，本システムの An Image-Based Rendering System,” Proc. 有効性を示したい．今回，ジェットコースターに搭乗 SIGGRAPH'95, pp. 39-46, 1995. しながら風力や加速度の計測ができなかったため， [4] M. Hori, M. Kanbara, and N. Yokoya: “Novel 発表までに実装できなかった点があったのが残念で Stereoscopic View Generation by Image-Based あるが，スプリングセミナー参加者からいただいた意 Rendering Coordinated with Depth Information,’’ 見を参考にして風力を体感できるシステムの構築を Proc. 15th Scandinavian Conf. on Image Analysis 目指したい． (SCIA2007), pp. 193-202, June 2007. プロジェクトの予算に関しては，シリコンディスクな [5] K. Hirota, K Tagawa, Y. Suzuki: どジェットコースターの撮影に特化した装置，または “Automultiscopic Display by Revolving Flat-panel 体感音響装置，立体視ディスプレイ，立体視用ビデ Displays,” IEEE Virtual Reality 2008, pp. 161-168, オカードなど特殊な機能を付加した備品を多く購入 March 2008. できたため，予算の有用な使用ができたものと自負 [6] S. Jeon, G. J. Kim: “Providing a Wide Field of する．また，調査で参加させていただいた国際会議 View for Effective Interaction in Desktop Tangible では，最先端の仮想現実感技術に関する研究を聴 Augmented Reality,” IEEE Virtual Reality 2008, pp. 講することができ，非常に得るものが大きかった．今 3-10, March 2008. 後は，このような学会で発表できるように努力を重ね [7] S. Yamamoto, H. Tamaki, Y. Okajima, Y. Bannai, たい． K. Okada: “ Symmetric Model of Remote Collaborative MR Using Tangible Replicas,” IEEE Virtual Reality 2008, pp. 71-74, March 2008. 協力 ナガシマスパーランド [8] J. Shi and C. Tomasi: “Good features to track,” http://www.nagashima-onsen.co.jp/ In Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR94), June 1994. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 Grasp the Internet! 見える・動く・インターネット ２．プロジェクトリーダー 所属講座 学年 学生番号 氏名 e-mail アドレス インターネット工学講座 D2 0661022 益井 賢次 [email protected] 学年 学生番号 氏名 e-mail アドレス ３．分担者 所属講座 なし ４．チューター 所属講座 職名 氏名 インターネット工学講座 准教授 門林 雄基 ５．必要経費 金額(千円) 設備備品費 支出予定月 品名・型名・数量／行先・目的・日数等 403 2007 年 11 月 Apple MacBook Pro / 17-inch, 2.4GHz, 2GB memory, 250GB HDD, 1920x1200, AppleCare / 1 台 消耗品費 40 2007 年 11 月 バ ル ク メ モ リ DDR2 SO-DIMM667 (PC2-5300) 2GB / 2 個 339 2007 年 11 月 Plat’Home OMS-AL400/128 / 6 個 (@56.4) 281 2007 年 11 月 Plat’Home PH-8GB/RH / 6 個 (@46.8) 97 2007 年 11 月 DELL PowerEdge SC1435 / 1 個 24 2007 年 11 月 Intel PRO/1000 PT / 1 個 70 2007 年 11 月 SEAGATE Barracuda ES / 750GB / 2 個 6 2007 年 11 月 UTP ケーブル / 8 本 旅費（調査目的も可） 合計 なし 1260 ６．プロジェクトの背景と目的 インターネットは「見えにくい」ものである。ここで言う「見える」とは、ネットワークトポ ロジや実効帯域幅といったインターネットの状態を示す情報（ネットワーク特性）が把握できる ことを指す。インターネットは本質的に分散管理型のネットワークの集合であるため、一利用者 がその全体の知識を持つことができず、インターネット全体を見渡すことは困難となる。従来の 単純なネットワークアプリケーションは、相手を指定するだけで通信できる便利なブラックボッ クスとしてインターネットを利用しており、こうした「見えにくさ」は大きな問題ではなかった。 しかし今日では、ネットワーク特性に追従して最適な処理を選択する Peer-to-Peer ネットワーク アプリケーションや、広域ネットワークを対象とした監視活動が数多く見られる。このような大 規模で複雑な用途において、インターネットの「見えにくさ」はそれぞれの目的を達成するため の障害となっている。すなわち、インターネットの今の状態が「見える」ことが、求められつつ ある。 こうした要求を受け、本プロジェクトでは、複雑に変化し続けるインターネットの状態を観測 することに注目する。そして特に、収集した情報を流麗なアニメーションのもとに可視化するこ とで、利用者に広域に渡るインターネットの現状の理解を促す「インターネット観測システム」 の開発を目的とする。言い換えると、観測衛星の情報をもとにした天気図のように、観測された 情報の可視化がインターネット上でも実現することにあたる。 申請者はこれまでの研究活動を通じて、いわゆる「インターネットの観測衛星」となる分散計 測環境 “N-TAP” の研究・開発を進めてきた。N-TAP は、インターネット上の複数ホストで計 測プログラム（エージェント）を動作させ、エージェント間の協調動作や情報共有により、イン ターネット規模でネットワーク特性が収集できるネットワーク計測基盤である。アプリケーショ ンは、任意のエージェントに必要なネットワーク特性を問い合わせることで、エージェント群が 該当情報を収集してそれが提供される。このように N-TAP はインターネットを観測し、その情 報を提供するひとつのネットワークサービスとして稼働する。 広域においてインターネットの観測を可能にするというマイルストンの 1 つは達成された。こ れまでの研究の流れを汲みつつ、次の挑戦として、本プロジェクトの最終目標を、前述のように、 N-TAP と連携しインターネットの今の状態を美しくわかりやすい形で可視化するプログラムを 開発することに設定する。美しくわかりやすいことの追究における、工学に対する学術的寄与は 必ずしも保証できない。また、最終目的の達成に必要な、広域ネットワークの実時間での観測と いう点においても解くべき問題は少なくない。しかし、対象に研究者・一般人を問わず、強いイ ンパクトを持ってこれまでの研究内容の成果を示す手段として、ビジュアル志向の可視化プログ ラムは有効であると考え、本プロジェクトを提案する。 ７．目的到達までの研究計画 【広域におけるネットワーク特性収集の効率化】 インターネット広域でネットワーク特性を収集する際、観測対象の数と扱う情報量の多さが収 集活動のボトルネックの一因となる。N-TAP の計測プログラムは最低限の情報収集 機能を備 えるが、このような動作速度・応答性の面については改善すべき点が残されている。可視化プロ グラムは N-TAP の計測プログラムを通じて情報を収集するため、2 つのプログラム間のスムー スな連携のためにもこれらの改善に取り組む必要がある。 N-TAP の計測プログラムは、通信処理・データベース処理・オーバレイネットワークの構成 処理など、多様な要素で構成されている。これらそれぞれの要素について、方式レベルでの再検 討と実装およびソースコードレベルでの最適化を行うことで、計測プログラムの収集活動の効率 化という目的を達成する。これらは可視化プログラム開発の前準備となる。 効率化の検証には、小型計測サーバを複数台用意し、それらの間で実験ネットワークを構成し た上で実際に計測プログラムを動作させ、収集対象のネットワーク特性の数に対し収集に必要な 時間がどれくらいか、また単位時間あたりに収集可能なネットワーク特性の上限はどれくらい か、といった応答性・規模拡張性について評価する。研究室内での予備実験の後、実際のネット ワーク環境（NAIST 曼陀羅ネットワークや WIDE Project のネットワークなど）内に計測サー バを設置し、実運用を通じて前述の指標等でその性能を調査する。 【ネットワーク特性の可視化手法の検討と可視化プログラムの開発】 可視化プログラムは N-TAP を利用してネットワーク特性 を収集し、それを可視化する。可視化の対象となるネットワー ク特性は、ノード間の往復遅延時間・ネットワークトポロジを 想定する。これまでも述べたように、可視化プログラムは美し くわかりやすいことを重視してデザインした上で開発する。こ のようなデザインの例として、ネットワークトポロジの表示に おいて、表示が細かくなりすぎないように表示拡大率に応じて トポロジを部分的にクラスタ化して表示する処理を動的に行 い、かつ表示が切替わる瞬間にトランジション効果を加えることで視覚の連続性を保つことで、 利用者の情報把握を助けることなどが考えられる。デザインは事前に決定したものに固執せず、 調査と実装、周囲からのフィードバックを通じて精錬させていく。 これまで、本学オープンキャンパスにおいてネットワークトポロジの 3 次元アニメーションに よる可視化デモを行った（右上図: スクリーンショット）。このデモプログラムは一般の来場者 の方からも好評を頂いたが、準備期間の短さからシンプルで単機能なものにとどまった。これま での開発およびデモ経験を踏まえ、可視化プログラムの開発には、その簡便性と表現力の高さか ら Mac OS X に搭載される Core Animation 技術を用いることにする。 【プロジェクト実施計画】 11 月中旬までに計測プログラムの収集活動効率化の検討と開発・評価、以降 1 月までに可視 化プログラムのデザイン検討と開発、そして 2 月に計測・可視化両プログラムの結合テスト・各 プログラムの調整と修正を行う。3 月は発表および報告書作成にあてる。 なお、本プロジェクトはその目的上、可視化プログラムの開発を最優先事項に設定する。すな わち、計測プログラムは現時点で収集効率にかかわらずネットワーク特性を提供するという最低 限の機能を有しているため、計測プログラムの改良は上に示した期間を延長しては行わず、必ず 可視化プログラムの開発において新規の成果を上げることを目的とする。効率化において成果が 上げられず可視化プログラムの動作に支障がある場合は、あらかじめネットワークトポロジ等の データを収集しておき、それをもとに可視化を行うことで可視化プログラムを動作させることの 担保とする。 成果物（可視化プログラムと改良された計測プログラム）は、オープンソースソフトウェアと して公開中の N-TAP に組み込む形で公開する。また、成果物を用いて、本学のイベント等にお いて積極的にデモ展示を行う。 ８．決算の要約 金額(千円) 設備備品費 消耗品費 支出予定月 品名・型名・数量／行先・目的・日数等 395 2007 年 11 月 開発用計算機 Apple MacBook Pro / 1 台 40 2007 年 11 月 Apple AppleCare Protection Plan / 1 個 96 2007 年 11 月 管理サーバ DELL PowerEdge / 1 台 72 2007 年 11 月 サーバ HDD Seagate ST3750330NS / 2 個 28 2007 年 11 月 開 発 用 計 算 機 用 メ モ リ I-O DATA AP-SDX667-2G / 2 個 77 2007 年 11 月 計測用サーバ Plat’Home OMS / 1 台 441 2008 年 1 月 計測用サーバ Plat’Home OMS / 5 台 58 2008 年 2 月 管理用ネットワークスイッチ NETGEAR GS724TAJP / 1 台 22 2008 年 2 月 サーバ用ネットワークインタフェース Intel EXPI9402PT / 1 個 5 2008 年 2 月 UTP ケーブル ELECOM / 10 本 14 2008 年 2 月 開発用 HDD Logitec LHD-PSA160U2SV / 1台 旅費（調査目的も可） 合計 なし 1248 ９．プロジェクトの状況および自己評価の要約 「広域におけるネットワーク特性収集の効率化」に関しては、Chord ネットワーク内のノード 探索におけるルーティングキャッシュの導入を含む、N-TAP 計測エージェントプログラムの諸 所の改良により、ネットワーク特性の収集活動の全体的な速度が向上したことを確認した。また、 ノード間の RTT を一括して収集可能な XML-RPC メソッドをエージェントに追加実装したこと で、特定ノード群の RTT 情報を収集することが容易となった。 「ネットワーク特性の可視化手法 の検討と可視化プログラムの開発」に関しては、ノード間の疎通状況・ネットワーク距離・IP ネットワークトポロジを可視化する方法について検討し、可視化プログラム Astrolabe を実装し た。Astrolabe は、複雑な IP ネットワークトポロジの可視化にあたり、ルータの訪問回数を閾値 に表示・非表示を切り替えて、シンプルなトポロジ表示が可能である点も特徴的である。ソース コードの公開に関しては期日に間に合わなかったため、2008 年 4 月中の達成を目標に、現在作 業中である。 スプリングセミナーでのデモ展示では、来場者の方々からそれぞれの可視化手法についておお むね好評をいただいた。特に、インターネット上の一部のホストへの疎通に問題がある状態や複 雑なネットワークトポロジが簡単化していく様子がリアルタイムにわかりやすく示されていた 点を評価いただいた。 プロジェクト全体を通して、大きなトラブルもなく進行し、また多数の方々からご意見をいた だいた。これらのことから、非常に実りのあるプロジェクト活動であったと判断する。 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 『Grasp the Internet! 見える・動く・インターネット』 プロジェクトリーダ 益井 賢次 1. 概要 今日、我々は文字や音楽・動画といった様々な形 態の情報が、インターネットを通じて流通する様子を 多く目にするようになった。一方で、インターネット自 体は依然として「見えにくい」ものであり、かつその見 えにくさはより深まりつつある。ここで言う「見える」と は、ネットワークトポロジや実効帯域幅といったインタ 図 1. インターネット観測システムの全体像 ーネットの状態を示す情報（ネットワーク特性）が把 システム」の開発を目的とする。これは、気象観測衛 握できる状態を指す。この一因には、インターネット 星などから得られる情報をもとに天気図を作成する が本質的に接続形態や管理といった面において分 ように、観測された情報の可視化を広域インターネッ 散型指向であるため、一括してその状況を把握する ト上でも実現することにあたる。本プロジェクトの実現 のが難しいことが挙げられるであろう。また、インター により、現状のインターネット計測プラットフォームを ネット自体が世界規模の巨大な通信基盤に成長し 用いることでどの程度までインターネットの状況を把 たことは、全体の把握をより困難なものにしている。 握できるかを知り、ネットワーク計測を今後、基盤サ このようなインターネットの「見えにくい」という性質 ービスとして展開するための知見が得られることが期 に、従来は大きな関心は寄せられていなかった。多 待される。このことは、ネットワーク計測技術における、 くのネットワークアプリケーションは、相手を指定する 研究および実地的な面での重要な知見となりうると だけで通信ができるという便利なパイプとしてのみ、 考える。 インターネットを利用してきた。しかし近年、 本プロジェクトで行う研究・開発作業は次の 2 つで peer-to-peer ネットワークを構成するアプリケーショ ある。1 つめは、最終的に開発するネットワーク特性 ンのように、新しい形態のネットワークアプリケーショ 可視化プログラムに対して十分な情報を迅速に提供 ンが現れつつある。このようなアプリケーションでは するために、既存の分散計測プラットフォーム ネットワーク特性を収集し、それらの変化に追従して “N-TAP” [1,2] に含まれる計測エージェントを改良 最適な通信相手を選択したり障害発生時の迂回経 することである。具体的には、エージェントの動作上、 路を確保したりする。すなわち、新興のアプリケーシ ボトルネックとなる部分の調査および修正、また新規 ョンにとって、ネットワーク特性は自身の動作を決定 なネットワーク特性収集手法の実装が挙げられる。こ する判断基準となる重要な情報であり、インターネッ のような改良を行った上で、実際のネットワーク環境 ト自体の「見えにくさ」はこのようなアプリケーションの に分散計測環境を展開し、可視化プログラムが計測 動作の障害となってきた。インターネットは今、どのよ サービスを利用可能な状態とする（図 1）。2 つめは、 うに見えるか知ることに強い関心が寄せられている。 ネットワーク特性の可視化手法の検討と可視化プロ このような状況の下、本プロジェクトでは複雑に変 グラムの開発である。今回想定する計測プラットフォ 化し続けるインターネットの状態を観測し、収集した ームはインターネット広域にわたり展開される大規模 情報を可視化することで、利用者に広域に渡るイン なものであり、収集される情報の量も多くなることが ターネットの現状の理解を促す「インターネット観測 予想される。これをそのままの形で提示したとしても、 インターネットの状況を容易に把握できる手段になる ード ID とその探索結果を一定時間 finger table 内 とは考えにくい。したがって、収集される多量の情報 に保持して、その時間内に再度同一 ID の探索要求 からインターネットの状況をよく示す重要な情報を抽 が生じた場合は実際にオーバレイネットワーク上でノ 出し、どのように可視化するかについて検討を行う。 ード探索処理を行わず、保持されたキャッシュエント その上で、これらの検討された可視化手法を取り入 リ内の情報を利用することで、ノード探索の完了まで れた可視化プログラムを開発する。可視化プログラ の所要時間を短くするものである。ノード数 N に対し ムでは、必要に応じてアニメーションを取り入れるな て Chord ベースの分散ハッシュテーブルネットワー どして、観測者にネットワーク特性の把握を促すよう クでは、ノード探索に必要な平均所要時間はノード な工夫を盛り込む。開発成果は N-TAP プロジェクト 間の通信に必要な平均時間を単位として O(log N) の一環として、オープンソースソフトウェアの形で公 のオーダで増加する。一方、finger table にキャッシ 開する 19。 ュエントリを保持しそれを利用した場合は、ネットワー クを介したノード間の通信は発生せず、各エージェ 2. プロジェクトの進捗 ントでキャッシュエントリの数に比例した回数の主記 本節では、本プロジェクトの始動から現時点まで 憶装置へのアクセスが生じるだけである。ノード間の の作業進捗状況について、前節で挙げた 2 つのテ 通信には一般的に数十ミリ秒から数百ミリ秒を要し、 ーマに大きく分けて報告する。 この時間は主記憶装置へのアクセスに必要な時間 に比べはるかに大きい。このことから、finger table 2.1. 情報収集の効率化と計測基盤の構築 2007 年 11 月より、N-TAP の計測エージェントの でのキャッシュエントリの保持により、ノード探索処理 の所要時間の短縮が期待できると判断した。ただし、 改良に取り組んだ。はじめに、エージェントのソース キャッシュエントリの保持期間中に計測オーバレイネ コードのレビュー、および小規模実験ネットワークに ットワークの構成に変化が生じた場合、各エージェン おけるエージェントの動作確認を通じて、エージェン トがその変化に追従できずオーバレイネットワーク上 トの動作上のボトルネックとなっている箇所の特定を で正しいルーティングができなくなる可能性が生じる。 試みた。この結果、N-TAP エージェントが構成する この事態に対しては別途対策が必要であるが、今回 計測用オーバレイネットワーク（Chord [3] ベースの は計測オーバレイネットワークの構成ノードは安定し 分散ハッシュテーブルネットワーク）において、ノード ており不意にネットワークから離脱するようなことはな 探索処理に要する処理に所要時間の大半を費やし いという前提のもと、性能改善を優先して本機構を ていることがわかった。ノード探索は、オーバレイネッ 利用するものとした。 トワーク上で共有情報の読込・書込といったエージェ ここで挙げた改良を施した計測エージェントを、実 ントの基本動作に伴い頻繁に発生する処理で、この 際に数ノードで構成される小規模な実験ネットワーク 部分の動作速度の改善により、エージェントの処理 で動作させ、その効果を確認した。その結果、オー 全体の動作速度が向上することが期待できる。 バレイネットワークの構成ノードが安定動作している この調査を元に、ノード探索の際に用いられる 間は、ノード探索処理が正常に行われ、かつ 1 ミリ秒 finger table（オーバレイネットワーク上でのルーティ 以内という短い時間で処理が完了していることがわ ングテーブルに相当するもの）にキャッシュエントリを かった。さらに、ノード探索処理に伴い生じるネットワ 保持するように、エージェントの動作を修正した。こ ーク上で交換されるメッセージの量も少なくなったた の機構は、ノード探索の際に一度探索対象としたノ め、各エージェントの CPU 負荷も低くなっていること を確認した。 19 http://www.n-tap.net/ また、新たなネットワーク特性の収集方式として、 指定したホスト間の RTT（往復遅延時間）の情報を 一括して取得できる XML-RPC メソッド（メソッド名: ntapd.getNetworkCharacteristics.rttMatrix.ip v4）を実装した。従来は目的の対象ホスト群に対し て１つ１つの組み合わせごとに XML-RPC リクエスト を発行していたが、これにより 1 回の XML-RPC リク エストで必要な情報の一部または全部が取得できる ようになった。この修正は、エージェントの CPU 負荷 図 2. ノード間の疎通状況を示す画面 の低減と情報収集の高速化を目的としたものであ る。 これらの実装上の追加・修正以外にも、計測エー ジェントのメモリマネジメント方法の見直し、各種動作 の高速化といった軽微な修正を随所で加えた。 以上の作業を 2007 年 11 月末まで行い、計画内 容をおおむね達成できたと判断したため本テーマに 関しては作業を終了した。可視化プログラムとの結 合後に問題が生じた場合は、随時エージェントの修 正・改良を行うこととした。 遅延時間により示される指標であるものとし、これを 用いて特定のホスト間の遠近を表現する。ネットワー ク的な遠近を示すことで、地理的な遠近との比較な どを通じてインターネットの構成を理解する補助とな ることを期待する。(c) のトポロジ情報は今回 IP ネッ トワークトポロジを採用する。IP トポロジはインターネ ットにおいて粒度の細かいネットワークの構成情報 であり、実際のインターネットの構成を知る上で有用 であると考える。一方で、その構造が複雑になること が予想されるので、その表現方法について工夫する 2.2. ネットワーク特性の可視化 2 つめのテーマであるネットワーク特性の可視化 手法の検討とその実装については、2007 年 12 月よ り取り組んだ。当初、本テーマは同年 11 月下旬より 開始する予定であったが、開発用計算機の到着が 遅れたため 12 月上旬からの開始と、若干遅れること 必要がある。 これら 3 つの情報の可視化手法について、それぞ れ以下で述べる。なお、実装した可視化プログラム “Astrolabe” は Mac OS X 上で動作し、アニメーシ ョンには Core Animation と OpenGL を利用してい る。 になった。 本テーマに関してはまず、可視化する情報の選 定を行った。これにあたっては、広域インターネット 上でネットワークの状況を把握するために有用であ るという基準から、(a) ノード間の疎通を示す情報、 2.2.1. ノード間の疎通状況の可視化 ノード間の疎通状況については、疎通確認の送 信元ノード群と宛先ノード群をそれぞれ軸とするマト リクス・ダイアグラムにより表現することにした。この手 (b) ノード間のネットワーク的遠近を示す情報、(c) 法では、多くのホスト間の疎通状況を集中してコンパ ノード間の接続を示す情報（トポロジ情報） の 3 つを クトに表現できると判断したためである。 選択した。(a) は、インターネット上のあるホストと他 のホストが通信可能であるかを示すもので、世界規 模の通信基盤であるインターネットが正常に動作し ているかを確認する上で重要な情報である。(b) の 「ネットワーク的遠近」は、ノード間の通信時の往復 図 2 は、実装した表示である。縦軸に疎通確認の 送信元ホスト群、横軸に宛先ホスト群が示されている。 Astrolabe は計測サービスから送信元ホスト群から 宛先ホスト群への疎通状況に関する情報を収集す る。疎通は ICMP Echo Request パケットにより確認 されている。疎通状況は色分けして示され、緑色は 図 3. ノード間のネットワーク距離を示す画面 図 4. ネットワークトポロジを示す画面 疎通確認の試行において 80%以上の割合で疎通 ックグラウンドで RTT 情報を受け取りつつ、各ノード が確認されたこと、黄色は疎通が確認された割合が の座標を修正して表示に反映していく。計測プラット 50%以上 80%未満であること、赤色は同じ割合が フォーム側では、ICMP Echo Request/Reply のパ 50%未満であったことを示す。マトリクス・ダイアグラ ケット対をもって、RTT を計測している。ばねモデル ム上には横方向に定期的に走査線が走り、走査線 にもとづくネットワーク距離の推定手法の性質により、 が通過したマトリクスの要素の状況（色）に変化があ ノード間の RTT をフルメッシュで計測しなくても、一 れば、それが更新される。これにより、観測者にマトリ 部の計測を完了した段階でネットワーク距離の近い クスのどの部分の情報が現在更新しているかを理解 ノード群でクラスタが形成される様子が観察できる。 しやすくしている。また、更新された直後のマトリクス これにより、ノード間のネットワーク距離の迅速な把 の要素の色は輝度を高く設定し、時間経過とともに 握を実現している。 徐々に輝度が低く変化するようにした。これは、色の 変化をわかりやすくするとともに、収集された情報の 2.2.3. ノード間のネットワークトポロジの可視化 鮮度を把握しやすくするためである。その他、マトリ IP ネットワークトポロジの可視化にあたっては、ま クス上の任意の要素をマウスでクリックすることで、疎 ず収集した情報をそのまますべて表示することを試 通確認結果の履歴を表示できる。 みた（図 4）。計測プラットフォーム側では、IP トポロ ジの収集にいわゆる traceroute の手法を用いてい 2.2.2. ノード間のネットワーク距離の可視化 る。これは、同一の宛先に対して IP パケット内の ネ ットワ ーク上 での 遠近 に つい ては 、 network TTL（Time-To-Live）値を漸増させつつパケットを coordinate system の分野で用いられているノード 送 る こ と で 、 経 路 上 の ル ー タ か ら ICMP TTL 配置の考え方を利用することにした。具体的には、ノ Exceeded メッセージが返されることを利用して、途 ードを座標上に配置し、Vivaldi [4] で用いられて 中のルータを検出する手法である。画面上には計測 いるように RTT が実測されたノード間でばねモデル ノードがアイコン表示され、このようにして集められた にもとづく力を加えて各ノードの座標の修正を行う。 IP トポロジの情報に基づいて経由ルータが描画され この処理を繰り返し行うことで、正解となるネットワー る。青色の矩形は検出されたルータを、赤色の矩形 ク距離の関係にノード群を収束させていく。 は経路の途中で応答のない部分を示す。赤色の矩 実装した表示を図 3 に示す。各ノードはユークリッ 形内には 1 つないしは複数の traceroute に応答し ド座標系をとる画面上にアイコンとして表示される。ノ ないルータが潜在していると考えられる。直接接続さ ード間の RTT の情報を取得できた場合、そのノード れていると検出されたルータ間はエッジが示される。 間はラインで結ばれて表示される。Astrolabe はバ 図 4 からもわかるように検出したルータをすべて表 ス・インド・イタリア・ポーランド・ロシア・シンガポー ル・台湾・イギリス 各 1 ホスト）上で N-TAP 計測エー ジェン ト を動 作さ せて 計 測 サ ービ スを 展 開し た。 Astrolabe はこの計測サービスからネットワーク特性 を取得し、収集した情報の解析・表示を行った。セッ ション中には来場者の方々に対してシステム構成や 表示されている情報の意味、注目すべき表示箇所 等について説明した。その結果、多くの方々に興味 図 5. 絞り込み表示後のネットワークトポロジ 示すると非常に画面内が乱雑になる。これは、インタ ーネットが膨大な数のルータで構成されており、その 一部とはいえ検出されたものをすべて表示している ためである。この表示ではインターネットの状況を把 握するのは困難であると考え、表示すべきルータを 絞り込む方法を検討した。その結果、訪問回数の多 いルータを優先的に表示する方法を採用するに至 った。 インターネット上に存在するルータの数は莫大で あるが、同一の送信元から複数の宛先への経路に は、多くの重複する部分があることが知られている [5]。多くの経路で重複して利用されるルータはイン ターネットの構成上重要であると判断し、取得経路 情報全体での各ルータの訪問回数を表示絞り込み を持っていただき、コメントをいただいた。 ノード間の疎通状況の可視化については、非常 にわかりやすいという評価を多くいただいた。通信上 問題のあるノードやプローブに応答しないノードの 特定に有用であることを示すことができた。また、ネ ットワーク距離の可視化では、地理的な距離とネット ワーク距離がほぼ対応しつつも、一部の地域ではそ れが大きく外れていることが観測された。ネットワーク トポロジにおける表示ルータの絞り込みに関しても、 インターネットの構造をシンプルに表現できるものと して好評だった。 3. 成果 本プロジェクトを通じて、以下の成果が得られた。 ジェントプログラムの、情報収集の効率化を実 のための指標として利用する。この方式で表示ルー 現した。これは、ネットワーク計測のインターネッ タを絞り込むと、図 5 のようになる。図 5 では、訪問回 ト広域でのサービス展開に向けて、前進する材 数が 64 以上のルータのみ表示しており、表示が簡 素になったことに加え、多くのノードの通信に利用さ れるルータのみが表示されて、インターネットの構成 料となる。 Astrolabe を開発した。可視化される情報は、 値となる訪問回数はリアルタイムで変更可能であり、 ノード間の疎通状況、ノード間のネットワーク距 変更は即座に表示に反映される。 離、IP ネットワークトポロジである。表示にはア ニメーションを用いるなどして、観測者のインタ 2.2.4. デモ展示における反応 るポスター・デモセッション（2008 年 3 月 7 日開催） にて展示を行った。このデモ展示のために、事前に PlanetLab に属する 14 ヶ国 16 ノード（内訳: 日本・ アメリカ 各 2 ホスト、ベルギー・スイス・ドイツ・フラン インターネット広域に渡ってネットワーク特性を 収集してリアルタイムに可視化するソフトウェア の縮図を把握できるようになった。表示・非表示の閾 本プロジェクトは、本学スプリングセミナーにおけ ネットワーク特性を収集する N-TAP 計測エー ーネットの状況把握を容易にしている。 複雑な IP ネットワークトポロジを表現する方法と して、複数経路で重複して利用されるルータを 優先的に表示させることが有効であることの可 能性を示した。 4. 今後の展開 今後は、より多数の観測地点および観測対象ホス 参考文献 トを準備して、ネットワーク計測サービス（N-TAP）お [1] Kenji Masui and Youki Kadobayashi. N-TAP: A よび可視化ソフトウェア（Astrolabe）が規模拡張性と Platform of Large-Scale Distributed Measurement 高い応答性を持って動作するか、検証していく。ま for Overlay Network Applications. In Proc. of the た、可視化する情報の種類を増やしたり、より分かり Second International Workshop on Dependable and やすい可視化手法を提案・実装したりしていくことで、 Sustainable Peer-to-Peer Systems (DAS-P2P 2007). インターネットの状況把握が容易となるソフトウェアの January 2007. 開発とネットワーク環境の構築を続けていく。さらに、 [2] Kenji Masui and Youki Kadobayashi. Bridging インターネットのオペレーション現場に本ソフトウェア the Gap between PAMs and Overlay Networks: a を投入し、管理対象のネットワークの把握に効果が Framework-Oriented Approach. In Proc. of the あるかについても検証予定である。最終的には、イ Eighth ンターネット上で任意のエンドノードがネットワーク特 Conference (PAM 2007). LNCS 4427, pp. 265-268. 性を簡単に収集できるようなネットワーク計測サービ April 2007. スを広く展開できるよう、今後も活動する。 [3] Ion Stoica, Robert Morris, David Liben-Nowell, なお、ソースコードの整備と公開に関しては、本プ Passive and Active Measurement David Karger, M. Frans Kaashoek, Frank Dabek, ロジェクトの実施期間内では達成されなかった。これ and Hari Balakrishnan. は、プログラム作成および計測サービス構築の最終 Peer-to-peer 調整に予定よりも時間を要したためである。ソースコ Applications. IEEE Transactions on Networking ードの公開は、2008 年 4 月内の実現を目指して現 (TON), 11 (1), pp. 17-32. February 2003. 在作業中である。 [4] Frank Dabek, Russ Cox, Frans Kaahoek, and Lookup Chord: Service A for Scalable Internet Robert Morris. Vivaldi: A Decentralized Network 5. 自己評価 プロジェクト全体としては当初の計画の大半を達 Coordinate System. In Proc. of ACM SIGCOMM 2004. August 2004. 成できた。作業の進行に関しても、計画にほぼ沿っ [5] た形で実行できたため大きなトラブルはなかった。完 Friedman, and Mark Crovella. Efficient Algorithms 了できなかった作業に関しては、作業工数を見積も for Large-Scale Topology Discovery. In Proc. of ACM り直して最後まで遂行したい。また、可視化ソフトウェ SIGMETRICS 2005. June 2005. アの開発および展示を通じて、多くの方からフィード バックをいただき、今後の開発の方針付けができた ことは収穫であった。 これらを総合して、本プロジェクトは実りの多いも のであったと考える。 Benoit Donnet, Philippe Raoult, Timur 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 全方位パノラマ映像における欠損領域の修復による 360 度全天球全方位映像生成プロジェクト ２．プロジェクトリーダー 所属講座 視覚情報メディア講座 学年 D1 学生番号 0761012 e-mail アドレス 氏名 河合 紀彦 [email protected] ３．分担者 所属講座 学年 学生番号 e-mail アドレス 氏名 視覚情報メディア講座 D1 0761025 堀 磨伊也 [email protected] 視覚情報メディア講座 M1 0751118 水戸 博之 [email protected] ４．チューター 所属講座 視覚情報メディア講座 職名 助教 氏名 佐藤 智和 ５．必要経費 金額(千円) 設備備品費 消耗品費 支出予定月 430 11 月 98 11 月 品名・型名・数量／行先・目的・日数等 DELL ノート PC(XPS M1730)1 台／撮影用 Adobe Creative Suite3 Production Premium／映像編集用ソフト 190 11 月 外 付 け ハ ー ド デ ィ ス ク (BUFFARO HD-QS2.0TSU2/R5)・2 台／映像蓄積用 55 11 月 12 月 旅費（調査目的も可） 120 12 月 合計 893 ケーブル類等 コンテンツ用映像の撮影旅費 3 人分 ６．プロジェクトの背景と目的 遠隔地の映像をユーザに提示することで，ユーザがその場にいるかのような感覚を与えるテ レプレゼンスに関する研究が近年盛んに行われている．テレプレゼンスでは横方向 360 度と 上方向を同時に撮影できる全方位カメラ(ladybug)により映像を取得することで，自由な見 回しを可能としている．また，その映像を学内 VBL のドーム型スクリーンや国立科学博物 館の全方向の映像を一度に提示できるシアター36○などの大型スクリーンにより提示する ことで高臨場感を与える工夫を行っている．しかし，全方位カメラには下方向にカメラがな く下方向を撮影できないため，取得した映像の一部に欠損が生じる．そのため，ドーム型ス クリーンで提示する場合には，見回す際に下方向への視点の移動を制限しなければならない 問題がある．また，シアター360 のスクリーンで提示する場合には，映像のない欠損部分を 見せてしまうことになり，臨場感が損なわれる．そこで，本プロジェクトでは，全方位映像 の欠損領域を修復し違和感のない映像を生成することで，高臨場感なテレプレゼンスシステ ムを構築することを目的とする． ７．目的到達までの研究計画 まず，図 1 に示す全方位カメラ(ladybug)により，テレプレゼンスに用いるコンテンツのデ ータの取得を行う．次に，欠損領域の修復アルゴリズムの開発・実装を行う．取得した全方 位映像中の 1 フレームの例を図 2 に示す．同図の真ん中付近の黒い領域が全方位カメラで取 得できなかった欠損領域である．この欠損領域を修復し違和感のない映像を生成するが，修 復部分の映像として以下の 2 つが考えられる． (1)全方位カメラを支えるための特定の物体(椅子の座席や車の屋根など)が全方位カメラの 下方にあると想定し，その物体が常に映っている映像 (2)全方位カメラを支えるような特定の物体がカメラの下方に存在しないと仮定し，カメラの 移動に応じて下方の物体も移り変わる映像 本提案では，生成したい映像に応じて，それぞれ異なるアプローチを採る．(1)に対しては， 特定の物体は全てのフレームにおいても撮影されていないため，全方位動画像とは別に全方 位カメラの下方の特定の物体の静止画を予め撮影しておく．この静止画を欠損領域周辺のテ クスチャに応じて変形かつ色調補正を行い違和感なくつなぎ合わせることで欠損領域を修 復する．(2)に対しては，対象フレームの欠損領域にあたる物体が，対象フレームの前後複数 フレームの欠損領域以外の領域に存在すると想定されるため，それらのフレーム内のテクス 図 1 全方位カメラ 図 2 全方位カメラにより取得した画像 チャを利用することで修復する．具体的には，時系列での物体の移動方向や移動量を分析す ることで欠損領域内の物体の位置を推定する．また，カメラに写りこむ物体はカメラとの位 置関係に応じて投影写像に歪みが生じるため，位置を考慮した投影変換によりテクスチャを 変形する必要がある．最後に，図 3 に示す VBL のドーム型スクリーンを用いて，修復した 映像によるテレプレゼンスシステムを構築する． ・結果的に困難を克服できなかった場合の回避手段や代替案について 応募者らが従来から研究している静止画像に対する画像修復手法を動画像に適応すること が可能であるため，最低限何かしらの結果は出せる予定である． 図 3 ドーム型スクリーン ８．決算の要約 金額(千円) 設備備品費 消耗品費 支出予定月 445.2 12 月 98 12 月 品名・型名・数量／行先・目的・日数等 DELL ノート PC(XPS M1730)1 台／撮影用 Adobe Creative Suite3 Production Premium／映像編集用 190.96 12 月 外 付 け ハ ー ド デ ィ ス ク (BUFFARO HD-QS2.0TSU2/R5)・2 台／映像蓄積用 66.57 2 月 防水台はかり(M247W2P1-60FEL)／飛行船 を用いた撮影時の重量測定用 旅費（調査目的も可） 88.44 11 月 東京・国際会議 ACCV(調査目的)・4 日間 11.84 2 月 奈良県十津川村谷瀬の吊り橋・コンテンツ用 映像撮影・2 人分 合計 901.01 ９．プロジェクトの状況および自己評価の要約 本プロジェクトでは，水平方向にカメラ 5 台，上方向にカメラ 1 台から構成される全方位型マルチカメラシステ ム(ladybug2)を用いて，奈良県十津川村の谷瀬の吊り橋にて全方位映像の撮影を行った．次に，撮影した全 方位映像から生成したパノラマ映像(500 フレーム，各画像の解像度は 1024×2048 画素)の欠損領域を，我々 が従来提案している静止画像の欠損修復手法を動画像に応用することで修復を行った．最後に修復したパ ノラマ映像から，ドーム型スクリーンを用いた全方向を見渡せるテレプレゼンスシステムを構築した．スプリング セミナーで行われた発表会でのデモンストレーションでは，欠損領域を持つ画像を用いた映像と，欠損を修 復した画像を用いた映像の両方を体験してもらった。体験した多くの人から，映像に違和感があまりなく，下 方向が欠損している映像に比べて臨場感が大幅に上がっているという評価を得た．しかし，欠損領域とそれ 以外の領域のつなぎ目がなんとなく分かるという評価や，欠損領域内でフレーム間において突然物体が消 失・出現し違和感があるという評価も得た．今回のプロジェクトでは，全方向型マルチカメラシステムの姿勢が 一定で，かつ位置も直線状を動いていると仮定することで，パノラマ画像の欠損修復を行い，全方向を見舞 わせるテレプレゼンスシステムを構築した．しかし，実際の様々な環境のコンテンツをつくるためには，カメラの 動きに制約を入れることは難しい．そのため，今後は多くの特徴点を追跡することで，カメラの位置・姿勢を推 定する手法を取り入れることで，より厳密にデータ領域の探索範囲をしぼり，修復に用いるテクスチャを決定 することが考えられる．また，カメラ位置・姿勢によって同一物体でも映り方が異なるため，カメラの位置・姿勢 に基づき欠損領域の位置に応じた画像の透視投影変換を行うことによって，欠損領域の違和感がさらに軽減 されると考えられる．今回のプロジェクトでは，時間の制約もあり，完全な実装を行うことができなかったところも あったため，修復結果に納得できないところも多々あった．しかし，本プロジェクトで目指していたパノラマ画像 の欠損領域を修復し，テレプレゼンスシステムを構築するという大きな目標は達成することができた． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 「全方位パノラマ映像における欠損領域の修復による 360 度全天球全方位映像生成プロジェクト」 プロジェクトリーダ 河合紀彦 メンバ 堀磨伊也，水戸博之 １．概要（背景と狙い） 遠隔地の映像をユーザに提示することで，ユー ザがその場にいるかのような感覚を与えるテレ プレゼンスに関する研究が近年盛んに行われて いる．テレプレゼンスでは横方向 360 度と上方 向を同時に撮影できる全方位型マルチカメラシ ステム(ladybug2)により映像を取得することで， 自由な見回しを可能としている．また，その映像 を学内 VBL のドーム型スクリーンや国立科学博 物館の全方向の映像を一度に提示できるシアタ 図 1 全方位型マルチカメラシステム(ladybug2) ー36○などの大型スクリーンにより提示するこ とで高臨場感を与える工夫を行っている．しかし， 全方位型マルチカメラシステムには下方向にカ メラがなく下方向を撮影できないため，取得した 映像の一部に欠損が生じる．そのため，ドーム型 スクリーンで提示する場合には，見回す際に下方 向への視点の移動を制限しなければならない問 題がある．また，シアター36○のスクリーンで 図 2 全方位映像から生成した 提示する場合には，映像のない欠損部分をユーザ 欠損領域を持つパノラマ画像 に見せてしまうことになり，臨場感が損なわれる． そこで，本プロジェクトでは，全方位映像の欠損 それぞれの進捗について述べる．また最後に，本プ 領域を修復し違和感のない映像を生成すること ロジェクトを遂行するにあたって，調査目的で参加し で，高臨場感なテレプレゼンスシステムを構築す た国際会議 ACCV2007 の報告を行う． ることを目的とした． ２．１．全方位型マルチカメラシステムを用いた全方 ２．プロジェクトの進捗 位映像の取得 本プロジェクトでは，まず図 1 に示す水平方向にカ 本プロジェクトではまず，水平方向 5 台，上方向 1 メラ 5 台，上方向にカメラ 1 台から構成される全方位 台のカメラより構成される全方位型マルチカメラシス 型マルチカメラシステム(ladybug2)により，全方位映 テム(ladybug2)を用いて，全方位映像の取得を行っ 像を取得した．次に，図 2 に示す全方位映像から生 た．全方位型マルチカメラシステムでは，各カメラで 成した各パノラマ画像の欠損領域をエネルギー最小 図 3 に示すような 6 枚の画像を取得し，それらの画 化の枠組みを用いることで修復を行った．最後に修 像から図 2 に示すような欠損領域を持つ 1 枚のパノ 復したパノラマ画像を用いて，全方向を見渡せるテ ラマ画像を生成する[1]． レプレゼンスシステムを構築した．本節では，以下で 図 3 全方位型マルチカメラシステムの 各カメラで取得した画像 図 5 修復手法の処理の流れ 定する(a)．次に，各フレームに対して何らかの方法 を用いて欠損領域に初期値となる画素値を与える (b)．次に，欠損領域周辺の特徴点をフレーム間で 追跡し(c)，追跡結果を基に欠損領域に存在する確 率が高いテクスチャを持つフレームと領域を推定す る(d)．最後に，各フレームに対して逐次，欠損領域 図 4 全方位映像の撮影の様子 の尤もらしさに基づくエネルギー関数を最小化する ことで，欠損領域の修復を行う(e)．以下，各処理に 本プロジェクトでは，テレプレゼンスのコンテンツと ついて詳述する． して奈良県十津川村の谷瀬の吊り橋で撮影を行っ た．撮影の様子を図 4 に示す．撮影では，全方向型 ２．２．１ 特徴点の追跡によるフレームと領域の推定 マルチカメラシステムをヘルメットの上に装着し，吊り 一般的な動画像において，あるフレームで欠損し 橋の上を歩行することで，全方位映像を取得した． ている箇所は，カメラの移動により他フレームでは撮 影されていることが多い．そこで本研究では，欠損領 ２．２．欠損領域の修復によるパノラマ画像の生成 域周辺の特徴点を追跡することで，カメラのおおよ 本プロジェクトでは，従来，我々が提案している静 その位置を推定し，欠損領域内のテクスチャに類似 止画像の欠損修復手法を基礎とし動画像の修復を するテクスチャが存在する確率が高いフレームと領 行った．欠損領域の修復手法の処理の流れを図 5 域を推定する．なお，本プロジェクトでは，カメラの姿 に示す．本研究では，まず動画像全体を通して画像 勢は常に一定とし，カメラの位置は直線状を移動し 中の欠損領域の位置が固定されているため，動画 ているものとした．具体的には，図 6 に示すように， 像の一フレーム目に対して手動により対象領域を指 欠損領域周辺の特徴点の座標が，f フレームから f+k が含まれるウィンドウの中心画素の集合をΩ'としエ ネルギーを領域Ω'内の画素 x i とそれに対応する データ領域内の画素 x̂ i 周辺の明度差を考慮した パターン類似度 SSD'の重み付き総和として以下 のように定義する． N ' E w xi SSD' (x i , xˆ i ) (1) i 1 ただし， N ' は領域Ω'内の画素数を表す．また，重 み ｗx i として，領域 では各画素値が固定 1 を，領域Ωでは境界に近いほ d ど画素値の信頼度が高くなるため ｗxi c ( d は Ωの境界からの距離， c は定数)を用いる．ここで， 値となるため ｗx i 図 6 データ領域の推定 画素 x i とそれに対応するデータ領域内の画素 x̂ i 周辺の明度差を考慮したパターン類似度 SSD' ( x i , xˆ i ) は以下のように表される． SSD' (x i , xˆ i ) I (x pW i p) xi xˆ i I (xˆ i p) 2 (2) ここで， I (x) は画素 x の画素値を表す．また， 図 7 画像中の欠損領域 フレームの間に画像上で y から y+y'へ移動する場合， 座標が y+y'付近にある画素(座標 v)に類似するテク スチャが存在するデータ領域としてｆフレーム中の座 標が v-y'となる点を中心とする一定範囲をデータ領 x xˆ はテクスチャの明度変化を許容するための輝 i i 度値の補正係数であり， x i ， x̂ i それぞれの画素の 周辺の平均輝度値を用いることで，データ領域の テクスチャの明度を欠損領域のテクスチャの明 度に合わせる．ただし，実際の画像において比較 的大きな明度変化を式(2)のような定数倍の変化 域とする． として近似すると違和感のある画像が生成され ２．２．２ 欠損領域の尤もらしさに基づくエネルギー 定 範 囲 内 ( 1 D xi x̂i 1 D ， た だ し D は 関数の定義 0 D 1 の定数)に限定する． やすいため，ここでは xi xˆ i の値を式(3)に示す一 本研究では，図 7 に示すように画像をユーザが指 定した欠損領域Ωを含むΩ'とそれ以外の領域に分 け，領域Ω'内の画像の尤もらしさを，画素ごとに２． x xˆ i i ２．１項で推定したデータ領域内の画像パターンを 用いて定義する．ここでは，画像内において一定の 大きさの正方ウィンドウ W 内に一部でも欠損領域Ω 1 D ( xi xˆ i 1 D) xi xˆ i (1 D xi xˆ i 1 D), 1 D ( xi xˆ i 1 D) x xˆ i i qW I (x i q) 2 I (xˆ i q) 2 qW (3) (4) 輝度補正係数 x xˆ を用いることによって，欠損領域 i i この類似パターン上において x i と対応する画素 周辺の照明条件の変化によるテクスチャの明度変化 の位置は f ( x i p ) p となる．ここで，注目画 が生じた場合でも，中間的な明度のテクスチャを生 素 x i に関する E の要素エネルギー E ( x i ) は， x i 成することで，式(2)のコストを下げることができ，結果 と f (x i p) p の 画 素 値 の 関 係 ， x i p と 的に急激な明度変化がなく違和感の少ない画像が f ( x i p) の画素の周りの平均輝度値から算出 でき，以下のように表すことができる． 生成することができる． E (xi ) ２．２．３ エネルギー最小化による画素値と類似パタ w pW ーン位置の更新 ( xi p ) I (x ) i ( xi p )( f ( xi p )) ここでは，類似パターンの組 ( x i , xˆ i ) を固定し，か つ輝度値の補正係数 xi xˆ i の変化が欠損領域内の 画素値の変化に対して微小であると仮定することで， エネルギー E を欠損領域Ω内の各画素で独立に 扱えることに着目し， 2 6) 本研究では，Greedy Algorithm の枠組みを用いて 式(1)で定義したエネルギー関数 E を最小化する． ( I ( f ( x i p ) p) このとき，欠損領域全体のエネルギー E と各画素で の要素エネルギー E ( x i ) の関係は，以下のように 表せる． N E E (x i ) C (7) i 1 C は，領域 内にある画素に関するエネルギ ーであり，ここでは類似パターン位置が固定されて (i)各画素 x i に対する類似パターン位置 x̂ i の更新 いるため定数として扱える．ここで，要素エネルギー (ii)欠損領域内の画素値の並列的な更新 E (x i ) の変数は I ( x i ) であるため， E を欠損領域 の 2 つのプロセスをエネルギーが収束するまで繰り 内のある画素の画素値 I ( x i ) で偏微分すれば，エ 返すことで，画像全体のエネルギーを最小化する． ネルギー E を最小化する I ( x i ) の必要条件は次式 プロセス(i)では，欠損領域内の画素値を全て固定 で表せる． することで．対応する類似パターン位置を更新する． 具体的には，データ領域内の画素に対して SSD'を 算出し，以下の式を満たすパターン位置 x̂ i を決定 することで類似パターン位置を更新する． f (x i ) xˆ i arg min SSD' (x i , x i ' ) N E (x j ) E 0 I (xi ) j 1 I (xi ) (8) このとき，式(6)内の輝度補正係数αも変数 I ( x i ) を (5) xi ' プロセス(ii)では，類似パターンの組を固定し，式 (1)で定義したエネルギー E を最小化する欠損領域 内の画素値 I ( x i ) を画素並列に更新する．以下で は，パターンの組を固定した場合の画素値 I ( x i ) の 算出手法について詳述する．ここではまず，エネル ギー E を，欠損領域内の各画素の要素エネルギー E (x i ) に分解する．ここで，更新対象となる画素の 位置を x i ，x i を中心とするウインドウ W 内の任 意の点を x i p ( p W )とする．このとき，画 素 x i p を中心とするパターンに対して式(5)で 求まる類似パターンの位置は f ( x i p ) であり， 含んでいるが，画素値 I ( x i ) の変化に対するαの 変化は微小であると仮定し， ｘ j f ( x j ) I (xi ) 0 (x j ' ) (9) とおけば， E(x j ) I (xi ) 0 ( j i) となるため， 式(8)は次のように表せる． E E (xi ) 0 I (x i ) I (x i ) よ っ て ， 式 (9) ， (10) よ り ， (10) E を最小化する画素値 I ( x i ) は以下のように算出される． I (xi ) pW w( xi p ) ( xi p )( f ( xi p )) I ( f (xi p) p) pW (11) w( xi p ) なお，式(11)は式(9)を前提とした近似解であるが， I ( x i ) が収束するに従って輝度値の補正係数αの 値も収束するため，エネルギーが収束するにつれて 良い近似解となる． ２．３．パノラマ画像を用いた全方向見渡し可能なテ レプレゼンスシステム 図 8 テレプレゼンスでのユーザ視点からの画像 ２．２節で示した手法により生成した全方位パノラ マ画像からテレプレゼンスシステムのためにユーザ の視点に対する違和感のない画像を生成する．具 体的には，パノラマ画像を球面上にマッピングするこ とで生成し，球面の中心にユーザの視点をおくこと で，全方向を見渡せるシステムが構築する．図 8 に ユーザ視点からの映像の一部を示す．このような画 像をユーザがトラックボールやコントローラを用いて みたい方向を指定することで，ユーザにまるでその 場にいるかのような感覚を与える． 図 9 ACCV2007 の様子 ２．４．国際会議 ACCV2007 の参加報告 本プロジェクトでは，前節までの欠損修復の手法 ３．成果 およびテレプレゼンスシステムの開発にあたって，東 ２節で述べた手法を用いて，谷瀬の吊り橋で撮影 京大学駒場キャンパスで行われた国際会議 したパノラマ映像(1024x2048 画素，500 フレーム)の ACCV2007(Asian Conference on Computer Vision) 欠損修復を行い，それを用いてスプリングセミナー に参加することで，様々な情報収集を行った．図9に で行われた発表会でテレプレゼンスのデモンストレ 会議の様子を示す．ACCVでは約200件の口頭・ポ ーションを行った．図 10 に修復した映像の一フレー スター発表があった．今回のACCVでは残念ながら ムの画像を示す．修復結果では，橋がつながり，比 欠損領域の修復に関する発表はなかったが，動画 較的違和感の少ない画像を生成することができた． 像を用いたトラッキングや超解像画像の生成など， なお，一フレームあたり 5 分の修復時間を要した．ま プロジェクトに関連する様々なコンピュータビジョン た，デモンストレーションでは図 11 に示すドーム型の の研究を聴講でき，知識を身につけることができた． ディスプレイを用いて，多くの人に全方向を見渡せる また，東京大学のコンピュータビジョンに関する研究 テレプレゼンスシステムを体験してもらった．テレプ 室を見学することもでき，違った研究環境を見ること レゼンスでは，欠損領域を持つ画像を用いた映像と， ができ非常に有用であった． 欠損を修復した画像を用いた映像の両方を体験し てもらった。体験した多くの人から，映像に違和感が いると仮定することで，パノラマ画像の欠損修復を行 い，全方向を見舞わせるテレプレゼンスシステムを 構築した．しかし，車や飛行船を用いて実際の様々 な環境のコンテンツをつくるためには，カメラの動き に制約を入れることは難しい．そのため，今後は多く の特徴点を追跡することで，カメラの位置・姿勢を推 定する手法[2]を取り入れることで，より厳密にデータ 領域の探索範囲をしぼり，修復に用いるテクスチャ を決定することが考えられる．また，カメラ位置・姿勢 によって同一物体でも映り方が異なるため，カメラの 位置・姿勢に基づき欠損領域の位置に応じた画像 の透視投影変換を行うことによって，欠損領域の違 和感がさらに軽減されると考えられる． 図 10 入力画像と修復画像 ５．自己評価 今回のプロジェクトでは，時間の制約もあり，完全 な実装を行うことができなかったところもあったため， 修復結果に納得できないところも多々あった．しかし， 本プロジェクトで目指していたパノラマ画像の欠損領 域を修復し，テレプレゼンスシステムを構築するとい う大きな目標は達成することができた．また，実際の デモンストレーションでは，多くの人にシステムを体 験してもらい，興味を持って様々な質問や評価をし てもらえたのは非常によかった．また，プロジェクト全 体を通して予算の申請・使用方法を学ぶ機会を持て 図 11 ドーム型ディスプレイによる たことは，とてもよい経験となった． テレプレゼンスシステム 参考文献 あまりなく，下方向が欠損している映像に比べて臨 [1] 池田，佐藤，横矢："全方位型マルチカメラシス 場感が大幅に上がっているという評価を得た．しかし， テムを用いた高解像度な全天球パノラマ動画像の 欠損領域とそれ以外の領域のつなぎ目がなんとなく 生成とテレプレゼンスへの応用"，日本バーチャルリ 分かるという評価や，欠損領域内でフレーム間にお アリティ学会論文誌，Vol. 8, No. 4, pp. 443-450, いて突然物体が消失・出現し違和感があるという評 2003. 価も得た． [2] 佐藤，池田，横矢："複数動画像からの全方位 型マルチカメラシステムの位置・姿勢パラメータの推 ４．今後の展開 今回のプロジェクトでは，全方向型マルチカメラシ ステムの姿勢が一定で，かつ位置も直線状を動いて 定 " ， 電 子 情 報 通 信 学 会 論 文 誌 (D-II) ， Vol. J88-D-II, No. 2, pp. 347-357, 2005. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 遅延検出形キャンセラによる音声信号の既知騒音制御 ２．プロジェクトリーダー 所属講座 学年 学生番号 氏名 e-mail アドレス 情報コミュニケーション M2 0651031 木村 聡 [email protected] 所属講座 学年 学生番号 氏名 e-mail アドレス 情報コミュニケーション M2 0651079 中村 隆志 [email protected] 情報コミュニケーション M2 0651003 足立 直樹 [email protected] 情報コミュニケーション M2 0651038 小松崎 洋輔 [email protected] 情報コミュニケーション M2 0651127 村田 真一 [email protected] 情報コミュニケーション M1 0751072 田中 翔 [email protected] 所属講座 職名 氏名 情報コミュニケーション 教授 岡田 実 ３．分担者 ４．チューター ５．必要経費 金額(千円) 支出予定月 品名・型名・数量／行先・目的・日数等 77 11 月 組み込み CPU ボード 設備備品費 消耗品費 VIA EPIA-PX10000G 2 台 70 11 月 メモリ類(DRAM,SSD) 50 11 月 ケース 30 11 月 マイク×2・スピーカ・ヘッドホン 20 11 月 書籍 旅費（調査目的も可） 合計 247 ６．プロジェクトの背景と目的 救急車のサイレン音は非常に大きいため,その音が車内にも伝わり,救急車内での傷病者との会 話,聴診器の使用,指導医との無線交信などに支障をきたすことがある．そこで,この騒音を軽減する ため,アクティブ騒音制御技術の適用が検討されている．しかし,既存のアクティブ騒音制御技術で は,周辺の雑音だけではなく,必要な音までキャンセルするという問題があった． 私たちの講座では,衛星通信において遅延波検出方式キャンセラとして,既知の信号と未知の所 望の信号が同時に送られてくる場合に,既知の信号の遅延量を推定してこれを除去し,所望信号を 取り出す技術を研究している．この技術を用いることで,必要な音を残して不要な雑音だけを取り除 くことが可能になると考えられる． しかし,無線通信での不要波キャンセラを音声通信に適用する場合,音声は電波と比較して空中を 伝播する際に激しくひずむため,単に遅延量を測定するだけでは不十分であり,波形の等化技術が 不可欠である．そこで,プロジェクトでは,遅延検出方式キャンセラで主波の遅延量を推定し,さらに, 移動通信のマルチパスフェージング対策に用いられる適応等価技術を用いて波形ひずみ対策を 組み合わせて既知騒音を抑圧する方式を提案する．提案方式の効果を確認するため,組み込みボ ードを用いてテストシステムを構築し,干渉信号の減少量を定量的に評価するとともに,所望信号が どれだけ明瞭に聞こえるか主観評価を行いその効果を確認する． ７．目的到達までの研究計画 上記の目的を達成するために,下図のシステムを構築する．騒音と会話の混じった入力信号は,マ イクを通じて遅延検出形キャンセラに入力される．遅延検出形キャンセラは,私たちの講座で開発し ている衛星通信のものを応用し,さらに音声通信向けの等化器を付加する．これにより,会話のみが 取り出される．このシステムは組み込みボードを用いて実装し,評価を行う． 騒音（不要波） 騒音の波形はあら かじめ知っている 遅延検出方 会話（所望波） 式キャンセラ 会話（所望波） ８．決算の要約 消耗品費 金額(千円) 支出予定月 品名・型名・数量／行先・目的・日数等 73．458 11 月 組込 CPU ボード VIA EPIA-PX10000G 2 台 47．607 11 月 メモリ類(DRAM,SSD) 49．560 11 月 ケース 2 台 13．713 12 月 マイクロホン 2 台 13．986 12 月 ヘッドホン 53．425 1月 書 籍 (John G ． Proakis, Massoud Salehi, "Digital Communications, 5th Edition” Tzi-dar Baseband Chiueh, Pei-Yun Receiver Design Tsai, "OFDM for Wireless Communications" Colin H．Hansen, "Understanding Active Noise Control") 合計 251．749 ９．プロジェクトの状況および自己評価の要約 私たちはまず無線通信で用いられている不要波キャンセル技術を騒音制御向けに構成を変更し,計算 機内で既知騒音のみを抑圧し,所望信号のみを再生できるキャンセラを開発した．また,シミュレーション によりその性能を確認した．この手法は所望信号を強調するが,耳に入る騒音の抑圧には効果がない． そこで,さらに騒音の逆位相成分を制御スピーカから出力し,騒音自体を抑圧する手法を開発した．この 手法は能動騒音制御と呼ばれる技術であり,耳元に制御スピーカと誤差マイクロホンを置くことにより制御 を実現する． これらの手法をリアルタイム処理して実際に能動騒音制御を行う予定であったが,制御ブロック内の遅 延推定ブロックが十分な精度を得るためには予想以上に長いタップ長を必要とし,計算コストが非常に大 きくなった．計算量の少ない別の手法も検討したが,今のところ見いだせておらず,今回はリアルタイム処 理は断念した． そこで,模擬伝搬路を含むシミュレータを構成し,騒音除去特性の評価を行った．救急 車のサイレン音のある環境で人の声を再生し,１ｍ離れてこれを録音したものに対し騒音制御を行った． その結果,騒音に埋もれて聞き取りにくかった人の声が明瞭に聞き取れる程度に騒音を除去することが できた． 以上の成果をスプリングセミナーにて発表した．リアルタイムで騒音を消すデモはできなかったものの, その場で録音した騒音が消える様子をシミュレーションにて示し,多くの人から騒音が抑圧されて音声が 聞き取りやすくなったとの評価を得た．今後の課題としては,まず遅延推定ブロックの計算量を削減する 別の手法を検討する必要がある．また,サイレン音の周波数が切り替わる時にインパルス応答の変化に カルマンフィルタが追従するまでの間に瞬間的に騒音レベルが大きくなるため,その除去が課題である． プロジェクトを通じて全体的にやり残したことも多く，満足できる結果を残せたわけではない． しかしシミュレーションにより本方式の特性評価ができ，今後の見通しをつけることができたな どの成果を上げることができ，得るものの大きいプロジェクトであったと考えている． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 遅延検出形キャンセラによる音声信号の既知騒音制御 プロジェクトリーダー 木村 聡 １．概要（背景と狙い） 不要な音のみを除去する研究も行なわれている．こ 能動騒音制御(Active Noise Control;ANC) 技術 のアプローチの救急車への応用として,周波数追従 は近年のディジタル技術,電子技術の発達に伴い, 型 Delayed-X Harmonics Synthesizer(DXHS) アル 急速に発展および実用化が進んでいる分野である． ゴリズムを用いた手法[5,6] が知られている．この手 例えば,ファンや空調ダクトの騒音に対する能動騒 法は周期性騒音制御アルゴリズムの一種だが,基本 音制御は実現が容易であり,Filtered-X LMS アルゴ 周波数が既知のシステムに特化しているという点と, リズムを用いた制御アルゴリズム[1-3] が多数考案さ 既知の基本周波数情報と実際の周波数にずれがあ れてすでに実用化されている．また,身近な例では, っても追従できるよう改良された提案もある[7]． ヘッドホンやイヤホンに騒音制御機構を組み込んで ただし,現時点では周波数の追従にやや時間がか 耳元の狭い範囲のみで外部雑音を抑制する手法も かってしまうほか,変動する音声伝搬経路では不安 実用化され,普及している[1]． 定化しすいなどの問題を抱えている． 一方,エンジン排気音などの周期的な騒音を対象 そこで私たちは新しい騒音制御アルゴリズムとして, とした騒音除去法の研究も盛んに行なわれている． 相関器とカルマンフィルタを用いた遅延検出型キャ 周期性騒音は基本周波数や特定の高調波成分に ンセラを提案する．提案手法ではカルマンフィルタを パワーが集中している場合が多く,これら特定の成分 用いて伝達経路のインパルス応答を推定することで, を抑制することで効果的に低騒音化が実現できる． 伝搬経路の変化に高速に追従する．また,遅延検出 周期的な騒音抑圧法の応用として,救急車のサイ ブロックを入れることで騒音発生源から耳までの距 レン音の抑圧が研究されている[4]．救急車のサイレ 離が変化した場合にも高速に追従することができる ン音は車外の車や人に対する警告音であるが,同時 と考えられる．本プロジェクトでは,遅延検出型キャン に救急車内では無線交信や患者と救急隊員との会 セラを用いた騒音抑圧システムを構築し,騒音抑圧 話の妨げとなる．必要な音声は抑制せず,サイレンの 特性の基礎調査を行うことを目的とした． み抑圧することは有用であると考えられる． 抑圧法の 1 つに,サイレンのスピーカの他に制御 音用のスピーカを配置して救急車内でのみ騒音を 減衰させる手法がある．こちらの手法を用いることで, 通常の声で会話が可能なレベルの騒音抑圧が実現 できることが報告されている[5]．しかしながら,一般に 能動騒音制御で高周波雑音を低減するためには, 対象音の波長に比べて十分短い間隔で制御音源を 配置することが望ましく,高周波音を精度よく除去す 図 1:ヘッドセットを用いた騒音除去システム例[1] るには密な配置が必要となり,装置が大きくなりやす いという問題点がある． ２．プロジェクトの進捗 そのため,さらに簡便に大幅に騒音を下げることを プロジェクトは３つの段階に分けて行った．はじめ 考え,図 1 のようにヘッドホンを用いて制御対象を極 に入力信号から騒音のみを除去し,騒音以外の音を めて小さな範囲に限定することで高周波音も含めて 出力する所望信号強調システムの構築を行った．次 に,そのシステムを改良し騒音自体を逆位相音により 表現されるシステムを考える．ただし, Fk は N 行 N 列 抑圧する能動騒音制御システムを構築した．最後に， の状態遷移行列 v k は N 次元で平均 0,共分散行列 提案システムの特性評価を行った．以下に,それぞ Q k の白色ガウス雑音, w k は N 次元平均 0,共分散 れの段階ごとにプロジェクトの進捗を記す． 行列 Vk の白色ガウス雑音とする．式(1)でのシステム の記述を線形状態方程式という． ２．１ 所望信号強調システムの開発 線形状態方程式で記述されるシステムについて,観 既存の騒音キャンセラ技術の調査を行い,同時に 無線通信で用いられる遅延検出型キャンセラの騒 測データ列 y k より内部状態 xk を推定する際に以 音キャンセラへの適用について検討を行った． 下のカルマンフィルタを用いることができる．まず,1 その結果,無線通信に特有のブロックを取り除き, キャンセルに必要なブロックを取り出して,新しいキャ ンセラの構成を考案した．このシステムは主に遅延 推定部とカルマンフィルタ部とから構成される．遅延 推定部で受信音声が参照音声に比べてどのくらい 遅れているかを測定し,カルマンフィルタへの入力の タイミングを揃える．次に，カルマンフィルタにて騒音 の伝達経路を推定して受信点での信号を予測し,実 つ前の推定状態ベクトル x̂ から xˆ k ,k 1 Fk xˆ k 1 Pk ,k 1 E x k xˆ k ,k 1 x k x k ,k 1 Fk ,k 1 Pk 1 FkT,k 1 Qk T yˆ k H k x k ,k 1 (2) (3) (4) (5) 際の受信信号から引くことによりキャンセルを行う． として現在の仮推定状態 x̂ と推定誤差の共分散 従来の方式に比べて特徴的なのは長い遅延でも安 Pk ,k 1 を得る．また,同時に現在の観測データの推測 定した騒音抑圧を実現する目的で遅延推定部を用 いて遅延を測定することと,高速な収束のために騒 音のキャンセルにカルマンフィルタを用いることであ 値 ŷ も得る． 次に,現在の仮推定状態 x̂ と観測データ y k より 1 る ． な お , 遅 延 推 定 部 に は 相 関 器 (EMF;Extended k k Pk ,k 1 H kT H k Pk ,k 1 H kT Vk Matched Filter)を用いて相関をとり,そのピークを用 Pk Pk ,k 1 k k H k Pk ,k 1 (7) いて受信音声と参照音声の同期を取る． xˆ xˆ k ,. k 1 k k y k yˆ k (8) 以下に伝達経路等化に用いるカルマンフィルタに (6) とすることにより現在の状態 x̂ を推定することができ ついて詳述する． る．ただし, は忘却係数, k k は係数ベクトルであり, カルマンゲインと呼ばれる． ２．２ カルマンフィルタ 時刻 k の M 次元ベクトルの観測データ列を y k とす このフィルタは観測雑音 v k 及びシステム雑音 w k が 白色ガウス性であることを前提に,非線形フィルタも る．また,観測値を出力する際に関係する,システム 含めた最適フィルタとして導出される． の状態を表す変量を納めた N 次元の状態ベクトルを しかし, v k , w k が非白色ガウス性の場合も直交射影 xk とする．このとき, の定理により近似的に導出され,同じ形のフィルタが x k Fk x k 1 Gk v k y k H k x k wk 得られる．しかし,線形フィルタに対してのみ最適フィ (1) ルタになり,非線形フィルタに対しては最適フィルタ の保証がなくなるという制約がある． ２．３ カルマンフィルタを用いた信号キャンセラ カルマンフィルタは カルマンフィルタを用いた通信路等化手法として， 既知パターン信号を伝送して伝送路のインパルス応 答を推定する D．Godard の手法[7] がよく知られて Pk ,k 1 Pk 1 いる．既知パターン信号として既知騒音を与えて同 yˆ k n k c k .k 1 様の手法を適用することで伝搬路のインパルス応答 を推定し,既知騒音キャンセラが構成できると考えら れる．図 3 に提案カルマンフィルタの構成を示す． 13 14 15 cˆ k ,k 1 cˆ k 1 T T k k Pk ,k 1 n k n k Pk ,k 1 n k E ek2 1 16 17 18 Pk Pk ,k 1 k k n k Pk .k 1 cˆ k cˆ k ,k 1 k k yk yˆ k と構成できる． これで式(15) により既知騒音の推定受信信号 ŷ k が得られるため, sˆk yk yˆ k (19) して騒音が抑圧された信号 ŝ k が得られる． この信号をユーザの耳元で流すことにより,騒音にか き消されていた所望信号が明瞭に聞こえる効果が期 図３：カルマンフィルタの構成 待できる． すなわち,ある既知騒音を n k とし,これがある場所 ２．４ 能動騒音制御システムの実装 より発生していたとき,この騒音がマイクによって観測 前述のシステムでは所望信号の強調はできるもの 信号として得られるシステムを考える．このとき,マイク の,ユーザには騒音も同時に聞こえることから不快で には既知騒音以外の音も同時に入る． あることには変わりはない．そこで,能動騒音制御技 また,伝搬路の等化器のインパルス応答をタップ 長 N のベクトル c k とし,等化器内に保持されている データベクトルを s k とし,これを状態ベクトルとする． 術を用いてユーザの耳元付近での消音を実現す る． 本システムでは,ユーザの耳元に制御スピーカと 誤差マイクロホンを設置する．定性的には,制御スピ このとき,このシステムを線形システムとして ーカからの出力が制御点に遅れて作用すると考えら システムモデル ck ck 1 T yk nk ck s k 観測モデル れる．そのため,基本的なアイデアとしては,誤差マイ (11) クロホンからの誤差入力を元に制御出力を調整し, 誤差マイクロホン付近で騒音の逆位相音となるような 信号を制御スピーカから出力することで消音を実現 と表すことができる． する． そのようなシステムを組み込んだ能動騒音制 これは,式(1) で表わされる状態方程式で, 御システムを図 4 に示す．図 4 では制御スピーカか x c k , Fk I , Qk 0, H k n k , wk s k (12) ら誤差マイクロホンまでの伝達特性 rk をあらか じめ測定し,その特性を既知としてあらかじめ参照信 とおいた場合に相当する． これを先のカルマンフィ 号に畳み込んだものをカルマンフィルタの入力とす ルタの式(2)-(8)に代入すると,このシステムに対する る． これにより,誤差マイクロホン付近での騒音を抑圧 することが可能となる． にキャンセルが失敗しているためであると考えられる． この影響の低減については今後の課題である． ２．５ 実装・評価 次に能動騒音制御の方式としてよく知られている 以上のシステムを組み込み CPU ボードに実装し, Filtered-X LMS(FXLMS)アルゴリズムとの比較を行 騒音抑圧特性の評価を行った．本来はリアルタイム った．定量的な比較を行うために，ある一定のインパ 処理により実際の抑圧特性を測定する予定であった ルス応答を持つ伝達経路を仮定して，一定の SNR が,遅延検出ブロックが予想以上に大きくなったため になるように混合された騒音・音声合成音を用いて リアルタイム処理が不可能となった．そのため,誤差 シミュレーションを行った．なお，信号１はサイレン音 経路特性などを実際に測定して,実環境を模したシミ と音声の比を 20dB， 信号２は 50 dB とし， それぞ ュレーションにより特性評価を行った．カルマンフィ れに提案方式と従来方式である FXLMS アルゴリズ ルタのパラメータは忘却係数 0．999,タップ数 128,相 ムを用いた場合について騒音抑圧結果を表 1 に示 関器のタップ数は 2048 とした． す． 表 1 各方式の SNR ３．成果 信号 1 前述の能動騒音制御型システムについての特性評 SNR セグメンタル SNR 価の結果を記す．特性評価は人の声に救急車のサ 騒音制御前 -21．6dB -17．1dB イレン音が重なる状況を作り出して行った．評価に FXLMS 法 -7．2dB 12．1dB 用いた音声を図 5 に示す．救急車のサイレン音を図 提案法 -7．5dB 10．2dB 6 に示す．サイレン音と音声を両方ともスピーカより 信号 2 出力し，1m 離れた地点にてマイクロホンで録音し， 騒音制御前 -51．5dB -37．9dB 図 7 の音声を得た．この音声に対し，提案法および FXLMS 法 -37．1dB 4．6dB Filtered-X LMS アルゴリズムを用いて騒音のキャン 提案法 -37．5dB 5．8dB セルを行った結果を図 8，9 に示す．どちらの方式も サイレン音が消え，所望音声が浮かび上がっている 表 1 中のセグメンタル SNR は信号波形を一定時 ことが見て取れる．ところどころ出力がピークを持っ 間の区間に分割し，各区間の SNR の平均を求めた ているが，これはサイレン音の周波数の切り替わりの ものである．結果を見ると従来法とほぼ変わらない特 時にインパルス応答の追従に時間がかかり，一時的 図 4：提案方式のブロックダイアグラム 性を実現していることになる．今回のシミュレーション では周期的な波形を対象としており，長遅延など本 参考文献 方式の優位性が発揮できる環境ではないことからあ [1] 西村正治, 宇佐川毅, 伊勢史郎, アクティブノ まり差が出なかったものと思われる． イズコントロール, コロナ社, 2006． ４．今後の展開 [2] S．D．Snyder and C．H．Hansen, “The effect of まず,この手法を実現可能なものとするために遅延 transfer function estimation errors on the Filtered-X の推定法を改良する必要がある．遅延推定には現 LMS algorithm,”IEEE Tras． on Signal Processing, 在タップ長の非常に大きい EMF を用いているが,さら vol． 42, pp． 950–953,1994． に計算量や遅延の少ない別の手法を検討する必要 がある． この問題をクリアすれば,実際に長遅延の存在する 環境でキャンセルを行い,Filtered-X LMS に比べて [3] 梶川嘉延, 野村康雄, “2 次経路モデルを必要 としないアクティブノイズコントロールシステム,” 信 学論 J82-A,vol． 2, pp． 209–217, 1999． 少ないタップ長で騒音除去が実現できることが確認 できると思われる． その後,この優位性を活かしてサイレン音の除去や, [4] 岩坪慶哲，西村隆志，西村義隆，宇佐川毅 , “周波数・遅延推定機構を有する DXHS アルゴリズム エンジン音などの周期的な騒音の除去への応用な に よ る 電 子 サ イ レ ン 音 の 能 動 制 御 ,” 信 学 技 報 どの検討が考えられる． US2002-97, pp．75-80,Jan 2003 ５．自己評価 [5] “サイレン音減衰技術で救急車内を静かに,” 救 当初の計画では組み込みボードを用いてリアルタ 急医療ジャーナル, vol． 31, 1998． イムで騒音制御を行う予定であったが,無線通信の 場合と違って遅延推定部のフィルタのタップ長を相 [6] 緒方雄一, 西村義隆, 宇佐川毅, 江端正直, 当大きく取らなければ性能が出ないことに期間の後 “DXHS アルゴリズムによる多チャネル能動制御シス 半に気づき,代替手法を用意できずにリアルタイム処 テムに関する検討,” 信学技報 EA2000-76, pp． 理を断念したことが残念であった． 1634–1638, Nov 2000． しかしながら,実際の経路を考慮に入れたシミュレ ーションを行って実装面での失敗を補い,特性評価 [ ７ ] D ． Godard, “Channel equalization using a までこぎつけたことで,当初の大きな目標は達成する kalman filter for fast data transmission,” IBM J．Res． ことができた．また,スプリングセミナーのポスターセッ Develop, pp． 267–273,May 1974．4 ションでも「音で音を消す」というテーマが興味を引き, 多くの方にシミュレーションによるデモを体験してい ただき,中身のシステムに関する質問やコメントをい ただけた．これは我々にとっても予想外の結果であ り,大変良かったと考えている． また,専門外であった音声信号処理という分野に深 く関わることで自分たちの専門領域を広げることがで きるなど,総じて意義のあるプロジェクトであった． 図 5 所望信号 図 8：FXLMS 方式でのキャンセル後の波形 図 6： 騒音信号 図 9： 提案方式でのキャンセル後の波形 図 7：合成後の波形 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 ユビキタス社会にむけた日本語学習者のための学習支援プロジェクト ２．プロジェクトリーダー 所属講座 自然言語処理学 学年 D2 学生番号 0661003 e-mail アドレス 氏名 大山浩美 [email protected] ３．分担者 所属講座 学年 学生番号 氏名 e-mail アドレス 自然言語処理学 M2 0251040 小林朋幸 [email protected] 自然言語処理学 M2 0651041 坂田浩亮 [email protected] 自然言語処理学 M2 0651147 Noah Evans [email protected] 自然言語処理学 M1 0751116 水野淳太 [email protected] ４．チューター 所属講座 職名 自然言語処理学 教授 氏名 松本裕治 ５．必要経費（※ここまで、交付申請の内容をそのまま記入すること。１ページに収めること） 金額(千円) 設備備品費 支出予定月 品名・型名・数量／行先・目的・日数等 430 11 月 Apple Mac Pro (Z0D8) 1 台 データサーバ、開発環境 205 11 月 Apple Cinema HD Display (M9179J/A ) 1 台 開発環境、デモ時にも利用 消耗品費 223 11 月 Apple MacBookPro 33*2 11 月 HP iPAQ Pocket PC (rx4240 ) 2 台 ※伝票は 2 月末まで ※通常の研究費でも購入可能な モバイル環境(WindowsMobile)での動作確認 49*2 11 月 物品に限る iPod touch (MA627 J/A) 2台 モバイル環境(MacOSX)での動作確認 97 11 月 Apple Mac mini (MB139J/A)1 台 メイン開発環境 15*2 11 月 PC 用増設メモリ(2GB) 2 台 30 11 月 周辺機器 60 2 月/3 月 謝金（時給 1000 円*2h*30 人分） 30 11 月 ソフト 81 11 月 書籍代 旅費（調査目的も可） ※伝票は 2 月末まで ※国内・海外いずれも可 ※交通費+宿泊費(実費)のみ 合計 (MA895J/A ) 1 台 開発環境、デモ用 1350 ６．プロジェクトの背景と目的 大学全入時代を控え、日本国内の大学も優秀な留学生を国外へ求めるようになった。社会的 にも日本政府が勧める看護士、介護士をフィリピンから招聘するという計画が行われつつあ る。こういった国際化のなかで、外国人のための日本語教育の必要性は非常に高くなってい る。これからの国際新時代を担う日本語教育のためには、教育のＩＴ化、オンライン化が必 要不可欠なものである。自然言語処理技術を応用し、以下のような研究を行いたい。 1． オンライン辞書の構築 リーディングチュウタ（http://language.tiu.ac.jp/）という現行のオンライン辞書システ ムでは、一つの単語に語義が複数ある場合、学習者はどの語義を選べばいいのかわから ないという問題点がある。また、例文もついていないので、語義を特定するのに言葉で 定義を書かれても理解しにくい。それで新機能として以下のようなことを考えている。 1-1． 新機能：語義の曖昧性問題を解消した語義選択システム 1-2． 新機能：例文検索機能 2． 個人に合わせた学習機能を提供できるシステム 1.で開発したオンライン辞書システムを個人的な学習の充実のために携帯電話などのモ バイル環境でも動作可能とする。また、既存の学習ソフトでは、誰に対しても同じ結果が 返るが、今回の学習ソフトで理想とするものは、学習者の学習履歴などを考慮しその学習者 のレベルにあったレスポンスをするシステムである。 2-1. 新機能：モバイルでも動作可能 2-2. 新機能：各学習者にあわせた学習システム 上記のように既存の辞書にない新たな機能を追及する、学習者のレベルなどを推定しその学習 者にあったレスポンスをするなど個人学習の未来的なシステムの構築を目指したい。 ７．目的到達までの研究計画 ① 語義曖昧性解消問題(junta-m)：10月から12月（もしくは1月）までで作業。文の中の単 語の語義を国語辞典に掲載されている複数の候補の中から推定し、ふさわしいと思われる ものから列挙するシステム（あるいは一つのみ提示）の開発。既存の語義曖昧性解消の手 法(上野2006*1)を利用。もし既存の手法でうまくできない場合、PLSI (Probabilistic Latent Semantic Indexing*2)など他の手法を利用。 ② 例文 DB 拡充作業(tomoy-ko, hiromi-o)：10 月から 12 月（もしくは 1 月）までで作業。 現在作成中の語義別に選んだ例文データベースの拡充を目指す。新聞から選んだ例文が辞 書（岩波国語辞典）にあるどの語義かを決定、登録。 ③ 質問解答データベース作成作業(hiromi-o): 10 月から 12 月（もしくは 1 月）までで作業。 日本語能力試験の問題のデータベース化。（著作権に抵触する恐れがあるため、日本語能 力試験問題の使用許可を依頼。使用許可が下りれば、過去の問題を使用。もしおりなけれ ば、人手で問題データベースを作成。） ④ 習得レベル推定システム作業(kosuke-s)：10 月から 1 月（もしくは２月）までで作業。ユ ーザーが書いた文からユーザの文章能力を推定。学習者が書いた作文を解析し、例文でよく使 われる単語や表現等を元に"言語らしさ"を測定しレベルを推定。現在、学位論文では英語を対 象としているが、本プロジェクト用に日本語でも動作するシステムを考案。 ⑤ 各機能の統合およびインターフェース作成（noah-e）：上記の①～④までが終わり次第イ ンタフェースの作成と統合に取り組む。完成は来年２月予定。PC およびモバイル機器で の動作確認。現在最新の主要な OS（WindowsVista、MacOSX Leopard）上での動作確 認とモバイルでのユーザビリティの検証。データベースとインターフェースが対応するシ ステムの開発。 参考文献：*1 上野 孝治 「半教師ありクラスタリングを用いた動詞辞書への用例付与 」NAIST-IS-MT0551014 *2 T. Hofmann,“Probabilistic Latent Semantic Indexing”,Proc. of SIGIR’99, ACM Press, pp.50-57, 1999. ８．決算の要約（※２末に確定。３月上旬に決算書を受け取り、記入すること） 金額(千円) 設備備品費 支出予定月 品名・型名・数量／行先・目的・日数等 430 11 月 Apple Mac Pro (Z0D8) 1 台 データサーバ、開発環境 205 11 月 Apple Cinema HD Display (M9179J/A ) 1 台 開発環境、デモ時にも利用 消耗品費 233 11 月 Apple MacBookPro (MA895J/A ) 1 台 開発環境、デモ用 65 11 月 HP iPAQ Pocket PC (rx4240 ) 2 台 モバイル環境(WindowsMobile)での動作確認 98 11 月 iPod touch (MA627 J/A) 2台 モバイル環境(MacOSX)での動作確認 旅費（調査目的も可） 97 11 月 Apple Mac mini (MB139J/A)1 台 メイン開発環境 21 11 月 周辺機器(キーボード他) 24 11 月 ソフト(Mac Office) 34 11 月 書籍代 124 44 国際学会出席（航空運賃、参加費） 言語処理学会出席（交通費、宿泊費、参加費） 1375 合計 ９．プロジェクトの状況および自己評価の要約 ① 語義曖昧性解消問題：国語辞典の語義に対し、その語義にあった例文を提出するという機能は 実装されている。入力文の単語に対し、ふさわしい語義だと思われるものから列挙するシステ ムに関しては、現在のところ未実装である。 ② 例文DB拡充作業：現在、247970件の例文が登録済み。 ③ 質問解答データベース作成作業:日本語能力試験(JLPT)の問題をデータベース化し、問題形式で 質問文を提示し、それに対する答えを入力してもらい、学習者の日本語レベルを判定するシス テム。その試験の使用許可を実施している日本国際教育支援協会へ依頼したが、問題流出の恐 れがあるとのことで使用許可が下りなかったため、実装されていない。 ④ 習得レベル推定システム作業：ユーザーが書いた文からユーザの文章能力を推定。学習者が書 いた作文を解析し、文型を基にレベルを推定する。現在、ユーザーが任意の文を入力すると JLPT の文法の級に応じて判定し、級を返すようになっている。 ⑤ 各機能の統合およびインターフェース作成：インタフェースの作成と統合に取り組む。現在、 PC 上で動作可能である。モバイルにおいては、ブラウザがあれば動作画面をみることができる。 しかし、モバイルで使用するようにするには画面の大きさの問題など解決すべき問題がある。 ⑥ データベースには、教師用の機能として、編集機能をもつようなテーブルを設定しているが、 まだ実装していない。 ＊実際、実装できてないものもあるが、主要な部分は実装できたのではないかと思われる。現時点で、 ウェブで動作するシステムが完成したのでよかった。スプリングセミナーを経験することで、システ ムの不備や問題点がわかってよかったと思う。そのような課題に今後取り組んでいきたい。 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名：ユビキタス社会に向けた日本語学習者のための学習支援プロジェクト プロジェクトリーダー：大山浩美 メンバー：小林朋之、坂田浩亮、Noah Evans、水野淳太 1. 概要 システムの機能を列挙して作業に取り組んだ。 我々は、外国語として日本語を勉強する人（以下 2.1. 関連システム 日本語学習者）のために近年のコンピュータやイ 日本語学習者のための支援システムで主なも ンターネットの優れた技術を応用しようと考え のを下にあげる。 ている。具体的には、日本語学習環境整備の一環 1) として読解支援システムNAIST Language Tutor 任意のウェブサイトや文を入力とし、マウスオー の開発を行っている。 バによって簡単な和英辞書を引くことができる。 外国語を学習している際に、目的言語の修得度 Rikai.com 語義および例文は提示されない。ウェブサイトを が高くなると、目的言語を目的言語で理解しよう 指定してシステムを実行することで本機能を付 とする。我々が英語を学習するときに最初は英和 加する点は、日本語の入力が困難な学習者にとっ 辞書が必要だが、自分の英語レベルが向上してい て有用であり、ウェブサイトを読むためのインタ くにつれ英英辞書を用い、英語を英語で理解しよ ーフェースとして優れている。 うとする事と同様である。その際、単語の語義に 2) 加え、例文の提示があれば、学習者の理解を助け 任意の文や単語を入力とし、入力に含まれる単語 られる。同様に、例文を提示するシステムには「ス のすべての語義を日本語で提示し、対応する英語 ペースアルク20」や「あすなろ[2]」があり、単語 も提示する。例文は提示されない。 についての多くの例文を見ることができる。この 3) とき例文は語義別ではなく、すべて一律に提示さ リーディングチュウ太の機能に加え、入力文にお れる。 ける語義の確信度が提示される。さらに例文も提 リーディングチュウ太[3] あすなろ 本プロジェクトにおいて、読解支援として何が必 示されるが、語義ごとではない。その他の機能と 要とされるのかを考え、そのためにはどんな機能 して日本語係り受け解析器南瓜 21 を利用した文 が必要か、どういうインターフェイスにするかなどに 構造の表示が行える。 ついて考えた。次の 2.1.では関連するシステムにつ 本システムは関連システムの機能を考慮しなが いて述べ、2.2.では我々のシステムの概要について ら、例文を語義ごとに提示するなどの新機能を補 説明する。2.3.では、各々の機能について詳説する。 完する形での開発を進める。また、学習者用だけ それから、2.4.では例文を選択するときのいくつかの でなく教師用のインターフェースを用意するこ 評価基準について述べる。2.5.では、インターフェイ とで、教師が教える際の例文制作の補助という新 スに追加した機能について説明する。3.では今回の しい学習支援を行う。 プロジェクトにおける反省点に基づいた今後の展開、 2.2．システムの概要 4.ではプロジェクトに対する自己評価を述べる。 我々のシステムは、関連システムと同様にウェブ で利用可能なシステムとするためにRuby on 2. プロジェクトの進捗 我々は、まず関連システムを分析し、それから自 Rails を用いてWeb アプリケーションとして構 築を行った。 分たちのシステムに何が必要かを議論した。そして、 20 http://www.alc.co.jp/ 21 http://chasen.org/~taku/software/cabocha/ システム内部の仕組みについて説明する。まず、 ①入力された文または単語について、②その入力 文に含まれるすべての単語を形態素解析を行い、 することが可能(現在は未実装) これらの機能を提供するインターフェイスを 図2に示す。 ③辞書で検索をし、④一つの単語に対して語義ご とに分類した例文を提示する。その語釈文ごとの 例文を提示する際には、単語に対してどちらの語 義なのかを明確に区別しなければならない。その 際、次セクション2.3.1.で述べる語義曖昧性解消 の技術が必要となってくる。また、例文提示の際 には、ただ例文を抽出するだけではなく、学習者 のレベルに応じて、文長や文の難易度などによっ て選択することが必要である。 図2: NAIST Language Tutor のスナップショット 左側の白いテキストボックスに、テキストを入 力すると、図1のような処理をし、右側の青い部 分に語釈文と例文を提示する。その際、文長や文 の難易度などを変更することでユーザーの希望 にあわせた文が提示されるようになっている。 このシステムを構築するにあたり、解決すべき 問題は、語義曖昧性解消、例文の選択基準、イン 図1：NLTシステムの流れ ターフェースの問題であった。 2.3. NLT の機能について 本システムには学習者用と教師用の2 種類が 我々のシステムでは、単語を用いて文を検索するだ ある。両ユーザー用の機能には大きな違いはない けではなく、いろいろなパラメータによりユーザーの が、教師用には例文を編集できる機能を追加する。 希望に合った文を提示するようになっている。それ 以下にそれぞれの機能をまとめる。 には、まずそれぞれの語釈文にあった例文をグルー 学習者用、教師用インターフェース共通の機能 プ分けしなければならない。それには、2.3.1.で述べ – 文または単語を入力することで、それに含まれ る語義曖昧性解消機能を用いている。それから、例 る単語のうち名詞、動詞、形容詞、副詞などの 文を選択する際にも文長、単語、漢字、文法などに 自立語について辞書を引き、その語義の語釈文 よる細かな評価基準を設けている(2.4.)。 を提示。 2.3.1. 語義曖昧性解消 – 語義ごとに分類して例文を提示し、文長や文の 我々のシステムでは、単純に単語を含んでいる例文 難易度などのパラメータを設定することで、 を提示するのではなく、辞書の語義毎に分け、「語 ユーザ（学習者、教師）の希望に合わせて選 義 1 で示されている意味で用いられている例文は、 択できる。 次のものだ」といった提示を行う。そのためには、例 文コーパスに対して語義曖昧性解消[4]と呼ばれる 教師用インターフェースのみが有する機能 作業をしなければならない。語義曖昧性解消問題と – 例文の追加や、例文の語義分類の誤りを訂正 は、ある単語が複数の意味をもつときに、文中でど の意味で用いられているかを自然言語処理によって 0.50 となる。このよう高精度に語義別分類するのは 機械に判別させる問題である。今日主流となってい 困難であることは当初より予想しており、日本語教育 る解決策は機械学習を用いたものである。 者が介入し、辞書に含まれる余計な語釈文（日本語 しかし、この手法を用いるためには予め人手作業に 学習者に提示する必要がないと教師が判断したもの。 より語義をタグづけしたコーパスを教師データとして システムにとってはノイズとなりやすい。）の削除や例 用意しなければならないが、本システムのように実地 文の追加などの修正が可能なものを目指した。 で動作するシステムにおいては現実的にそのような 本システムは教師用のインターフェースを生徒用 データが用意できないため、通常の教師あり機械学 インターフェースとは別に搭載するため、このような 習は適用できない。そこで、実地において動作する 機械側のミスを人為的に修正して運用することが可 ことを第一の条件とし、莫大なコストを要求する教師 能である。 データを用意できない環境、実行時にユーザを待た テストデータとして人手により語義を付与した事例 せることなく素早く動作する、といった制約の下での をランダムに 1 事例選び出し、学習データに移動さ システムを考えた。具体的には半教師あり機械学習 せると、セントロイドに近い出力の単純一致率は 0.3 と、素性の選別を行い、機械学習器が確信度が高 を越えるほど向上した。この場合でも、機械がランダ いとして出力する回答のみを例文として提示すること ムに選んだ教師データ追加事例が適切かどうか（人 を試みた。 間が見て、その語義の特長をよくあらわしているか否 今回は MPCK-Means をクラスタリングアルゴリズム か）によって値は大きく振れることが観測できた。また、 として用い、辞書の語釈文を半教師情報として与え、 語義解消の対象となる単語によって素性に pLSI を 素性は単語の出現の有無以外に pLSI による次元圧 与えるか否か、pLSI のみにして前後の単語の出現 縮を行った隠れクラスベクトルを与えた。 の有無を無視するかどうか、も性能に大きく影響して 結果、システムは一つの単語につき 100 例文を処理 いる。 するのに数十秒で動作し、性能は F 値で 0.22、単純 一致率で 0.30 となった。 この点も教師用インターフェースにて「こちらの分 類と、こちらの分類、どちらがよいか」等と提示し選択 他方、K-Means のセントロイドに近い上位 10 文 させることにより、内部の複雑さを隠蔽しながら日本 （機械学習器が確信度が高いとして提示しているも 語教師の助力を得ることができるのではないかと考 のとみなすことができる）では、F 値 0.19、単純一致 えている。 率 0.28 であり、当初予想していた「セントロイドに近 教師による利用が増えることにより、正しく分類さ いものさえ的中していれば、残りははずれても例文と れた例文が増えるとともに語義の分類性能が向上し して提示しないのだからかまわない」という結果には ていくことが期待できる。 ならなかった。 特に、辞書の語釈文の説明があいまいで、人間 2.4. 例文の選択基準 がみても語義の違いを判別することが困難な単語で 学習者の学習度は様々であり、どの学習者に対し は性能は著しく低くなり、また、単語によって適用す ても同じ例文を提示することは適切ではない。学 る素性の選別を変化させると劇的に値が変化する傾 習度に応じた例文を提示するべきである。例えば、 向があることも観測できた。 初級のクラスにおいて、説明や例文の提示で学習 なお、辞書の語釈文のうち一番目に登場する語義 者のレベルより高い単語、漢字、文法などを使う がもっともよく使われるため、単純に一番目の語義を と学習者は処理しなければならないものが多す システムの回答とした場合は F 値 0.22、単純一致率 ぎて、混乱してしまう。教えるターゲットの単語、 漢字、文法は、未学習でもいいが、その他は既習 の単語を使うようにしなくてはならない。教師に とって、学習者ごとに適切だと判断された例文を 利用できることは非常に有益である。そこで本シ ステムは、文の難易度などの尺度を指定できるよ うにする。 しかし、実際には級の定められていない単語も 日本国際教育支援協会(JEES)22は、日本語を学 多いため、それらについては新聞記事などのコー 習する外国人のための試験（日本語能力検定試験 パス内での出現頻度によって、どの級に相当する JLPT)というものを毎年実施している。これは、 かを推定して利用することにした。級の定められ 日本語を母語としない人たちを対象として日本 た単語の新聞記事における出現頻度の分布を図3 語の能力を測定し認定する為の試験である。これ に示す。新聞記事は毎日新聞2002 年の1～6 月を は、1級から4級まであり、1級が最高レベルであ 利用した。この分布を用いて、表1 のように出現 る。このJLPT試験では、単語、漢字、文法につ 頻度によって難易度を定めた。この表から例えば いて級が定められているため、これを利用する。 238 回以上492 回以下の出現頻度の単語は2 級 本システムでは、指定された級以下の単語、漢 に相当すると推定できる。 字、文法を用いた例文だけを選択する機能を実装 それぞれの級の単語における出現回数の最低 している。また、学習者の入力した文を文法基準 値と最大値、平均値をプロットし、さらに出現頻 を用いて、級判定して値を返すということも行っ 度上位80%の単語の出現回数をプロットした。図 ている。これにより、自身の学習成果を計る尺度 3において、4級をみてみると、1000回近く出現し にもなると考えられる。この機能については、 た単語が広い範囲で広がっている。1級になると、 2.4.3.において詳説する。 500回近く出現した単語が大半を占める。4級の単 2.4.１. 文長を用いた評価 語は、各々が広く多く使用されているが、１級の 文に含まれる語の最小数(min)と最大数(max)が指 単語になると新聞において頻度が少なくなって 定された場合，文長ｎの文の評価値を次のように いる。 定義する。文中で、動詞、名詞、形容詞、副詞な どの自立語のみを対象とした。式の値が１の場合 は、０とした。 max min 2n 1 max min 1 2.4.2. 単語、漢字の級による評価 2 単語、漢字についてはJEES によって定められ た級によって評価する。例えば、以下のように定 められている。 図3: 新聞記事内での出現回数と級の関係 表 1: 新聞記事内での出現回数と級の関係 22 http://www.jees.or.jp/ 2.4.3. 文法による評価 の2つの文には漢字の難易度に差があっても、文法 文法についてはJEES によって定められた文法構 の難易度には差はない。そのため、ひらがなでも漢 造の級によって評価する。文法構造は「日本語能 字でも同様にマッチングを行えるように、工夫した。 力試験出題基準[5]」に記載された文型を紙媒体 から電子化して利用した。 例えば、以下のような文法構造が記載されてい る。 さらに、習得レベル推定システム機能として、入 力文に対してもダイナミックに文のレベルを判 定し、その文のレベルを返す機能も付け加えた。 例えば、 いってみたところで、どうにもならない。 という文を入力した場合、“～たところで”とい これらを簡単な正規表現パターンとして利用す う文型が1級に属する為、文型で判定された結果、 ることで、これらを含む文の級を特定している。 この文は1級であるという答えが返ってくる。文 文法から級を求めるためには、表層のマッチング 中にその他にもJLPTの基準にヒットする文型が を取るだけでは不十分である。なぜなら、文法構 あれば、それも全て考慮にいれる。例えば、上記 造と表層的には一致するが、用法としては文法構 の“も”という助詞は、4級に属する。同一文中 造ではない場合があるからである。例えば“わり に1級の文型と4級の文型がある場合、一番高い級 に”という文法構造は表層だけでは正しく判定す を返す仕組みになっている。 ることが出来ない。 2.5. インターフェース 本システムのインターフェースを図2 に示した。 正しい用法“. . . のわりには. . .” 今回、新しく追加した機能を列挙する。 誤って判定される用法“. . . 代わりに. . .” 1) マウスオーバーで読み方をみることができ る。 上の問題点を踏まえ、文法の級を求める際には、 2) ユーザーが入力した文を文法的に解析し、 入力文に対して形態素解析を行い、表層、品詞、 JLPTの級のレベルで判定する。テキストボック 活用情報を用いたマッチングを行う。 スの上に解析結果がでる。 また、文法構造には「～に対する」のように漢 3) 例文が最初から出ると、画面に入りきれない 字を使った文型も存在する。実際には「～にたい ので、最初は語釈文のみ提示し、必要なときに語 する」と漢字の部分をひらがなで書いても 2 つの 釈文をクリックすることで提示されるようにす 文のかんじの難易度は違っても、文法の難易度は る。左下のhide example sentencesボタンがその機 同等であると考えられるため、「読み」の情報も 能を持つ。 考慮しながらマッチングを行う必要がある。例え 4) ば、 するかを選択するチェックボックスを追加した。 例文を選択するときにどの評価基準を利用 今後の展開 彼に対しては厳しい 3. 彼にたいしては厳しい 本研究では日本語学習環境整備の一貫として読 解支援システムの開発として、入力された文また は単語について、入力に含まれる単語の辞書引き を行い、その語義の語釈文を提示し、さらに語義 つのことに取り組み、デモを行うまでにいたった ごとの例文を提示するシステムを提案し、実装し 達成感はある。いろいろな周りの人を巻き込み迷 た。さらに、ユーザに合わせた例文を選択するた 惑をかけながらも、一応の区切りをつけることが めの基準の設定とその効果の確認を行い、教師用 できたことを評価し、今後の反省点とともに邁進 インターフェースでの例文の語義に対する誤分 していきたい。 類修正機能の重要性を示した。 今回の実装後に検討した今後の機能としては、 以下のようなことを考えている。 5.謝辞 １) 読解支援、作文支援、を別に作成していく。現 チューターの松本裕治教授には、本プロジェクト遂 在、読解支援のみを考えていたが、文型による級の 行を始め、様々なご指導をいただいた。このページ 判定などは作文支援として機能を整理する。 を借りてお礼を申し上げたい。それから、 21世紀Ｃ 2) 語釈文をもう少し簡素化する。現在は国語辞典 ＯＥプログラム情報研究拠点推進室の足立敏美 に載っている語釈文を全て出しているが、少し煩雑 さんには予算の件で何度も親身に応対していた である。 だいた。同様に感謝の意を表したい。 3) 単語の入力文における用法はどの語義にあ たるかを、確信度という形で提示する。入力文に おいてもダイナミックに語義曖昧性を解消し、入 参考文献 力文での単語意味を決定、または確信度順に提示 [1] 小林朋幸, 大山浩美, 坂田浩亮, 谷口雄作, 太田 する機能を追加する。 ふみ,Noah Evans, 浅原正幸, 松本裕治. 日本語読解 4) 支援のための語義毎の用例抽出機能について. 言語 学習履歴を保存する機能。学習者に対し、以 前にも調べた単語であればそのことを指摘し、検 処理学会第13 回年次大会, 2007. 索するたびに異なる例文を見せることにより、さ [2] 仁科喜久子, 奥村学, 杉本茂樹, 八木豊, 阿辺川 らなる学習効果が期待できる。また、学習度に合 武, 戸次徳久. 外国人のための科学技術日本語読解 わせて簡単なクイズを行うことも考えられる。 支援システム「あすなろ」の開発. 教育工学関連学 協会連合第6 回全国大会講演論文集, 2000. 4. 自己評価 [3] 川村よし子, 北村達也, 保原麗. EDR 電子化辞 10月の終わりから５ヶ月間、このプロジェクトに 書を活用した辞書ツールの開発. 日本教育工学雑誌, 携わり、いろいろなことを学んだと思う。当初計 2000. 画していた質問応答機能や、モバイルでの動作機 [4] Eneko Agirre and Philip Glenny Edmonds, 能など実装できなかった面も多々あり、非常に悔 editors.Word Sense Disambiguation: Algorithms And やまれる。初期の時点でそれらが本当に必要な機 Applications.Springer, 2006. 能だったのか、もう少し議論をすべきであったの [5] 国際交流基金. 日本語能力試験出題基準. 凡人 かもしれない。最後には、システム自体を完成さ 者, 1994. せることに必死で、実際に外国人留学生や、日本 語教師に使用してもらい主観評価も行っていな い。時間の見積もりが甘かったことが一番の反省 点である。しかし、5人でプロジェクトとして一 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 展示会における来場者のナビゲーションシステム開発 ２．プロジェクトリーダー 所属講座 ソフトウェア設計学 学年 D1 学生番号 0761024 e-mail アドレス 氏名 伏田 享平 [email protected] ３．分担者 所属講座 学年 学生番号 e-mail アドレス 氏名 ソフトウェア工学 M2 0551119 三井 康平 [email protected] ソフトウェア設計学 M1 0751068 高田 純 [email protected] ソフトウェア設計学 M1 0751008 石田 響子 [email protected] ４．チューター 所属講座 ソフトウェア設計学 職名 氏名 助教 川口 真司 ５．必要経費 設備備品費 金額(千円) 支出予定月 品名・型名・数量／行先・目的・日数等 545 2007/11 開発用ノート PC（ThinkPad X61 Tablet） ・2 台 297 2007/11 サーバ（DELL PowerEdge 1900）・1 台 240 2007/11 FeliCa SDK（SONY ICS-D004/20J）・2 本 （設備備品費が全体の 70％を超える理由） サーバはスケーラビリティを考慮して，ハイスペックなもの購入を検討し ている．また，ノート PC は，提案システムを研究科玄関のタッチパネル で運用することも視野に入れ，指で操作可能なモデルを検討している． 消耗品費 90 ・30 台 2007/12 FeliCa リーダ/ライタ（SONY RC-S320） 60 2007/11 増設メモリ（IO・DATA SDX667-2Gx2）・2 台 11 2007/11 英語キーボード（IBM 32 ・50 枚 2008/02 Edy カード（am/pm 発行） 旅費（調査目的も可） 合計 1,275 42T3467）・1 台 ６．プロジェクトの背景と目的 企業や大学などが主催する展示会では，以下のような問題があると考えられる 1. 来場者が目当てのブースを見つけにくい： 展示会では，非常に多くの企業や団体が出展しており，ブースの数も多くなる．また， 類似の内容について複数の出展者が存在する場合が多い．しかし，各ブースの出展内容 は，パンフレットやポスターの紙面の都合上，十分な情報が掲載されていない場合が多 く，来場者はどのブースを見回るべきか判断がつきにくい． 2. 一部のブースが混雑する場合がある： ブースによっては，非常に多くの来場者が一定時間に殺到するケースがある．この場合， 一部のブースが混雑し，待ち時間が発生し，結果として見たいブースをすべて廻ること ができないケースが発生する． 3. 来場者のプロフィール収集が煩雑である： 出展者は，展示内容についてのアンケート収集を行い，場合によっては来場者にさらに 詳しい情報提供を行いたい場合がある．この場合来場者は，ブース毎に自己の連絡先な どを出展者に伝える必要があるが，このようなプロフィール入力作業は，来場者によっ て非常に煩雑な作業である． このような背景のもとで，本プロジェクトでは，展示会の来場者に対してのナビゲーション システムの開発を目指す．このシステムを用いることで，展示会において来場者は，自分の 興味に沿ったブースを効率よく廻ることができる．また，出展者はブースを訪れた来場者の 情報を簡単に取得することができ，ブースごとに，来場者に関する事後分析を行うことがで きる． ７．目的到達までの研究計画 先に示した目的を達成するために，展示会来場者ナビゲーションシステムを提案する．提 案システムの構成図を図 1 に示す．提案システムは，次の 4 つのモジュールから構成される． なお展示会運営者は，あらかじめ来場者に，個別の ID が記録されたタグを配布する． 1. 事前情報入力部： 来場者がプロフィール（氏名や性別，連絡先，興味のあるテーマなど）の入力を行う． また，出展者が，出展ブースに関わる情報を入力する．この情報に従い，提案システム は来場者が廻るべきコースの推薦を行う． 2. 見学ルート算出部： 入力された来場者プロフィール，および事前に入力されたブースごとのキーワードや当 日の混雑具合から，来場者の見学ルートを算出する． 3. 来場者識別情報読み取り部： 来場者の行動を把握し，案内を行うために，それぞれのブースや，経路上に設置する． 来場者が所持している ID タグを読み取ることで，来場者の行動を把握する．この取得 結果に従い，来場者を他の空いているブースに誘導したり，密集しているブースに説明 員を増やしたりするなどの対策を講じることが可能となる．また，ここで取得した情報 をもとに，後日各ブースの出展者が来場者の動向や今後の出展内容の検討など，事後分 析を行うことが可能となる． 4. 情報提示部 各ブースの混雑度や展示内容を表示する．これにより，来場者は推薦されたルート以外 のブースに関する情報を得ることができる．また，最新の混雑状況や既に来場者が訪れ たブースを反映した，新たな見学ルートの提示もここで行う． 来場者に所持させる ID タグとしては，アクティブ IC タグのような，来場者に特別なア クションを必要としないようなデバイスを使うのが簡便であるが，予算の関係上導入するの が困難なため，今回は Felica を利用する．Felica を利用することで，各ブースを訪れた来 場者のプロフィールの取得を行う際に，来場者が Felica リーダに Felica カードをかざす必 要が発生する．一方で，Felica 対応携帯電話を利用できるため，i アプリなどにより事前に アプリケーションを用意しておくことで，来場者は事前に携帯電話を通してプロフィールの 入力ができる．また主催者はその情報をもとに事前にモデルコースを提案できる． 提案システムの実証実験の場として，来年 3 月に開催される NAIST のスプリングセミナ ーを考えている．ここでは，ブースごとに 1 台 PC を供出してもらい，その PC で来場者情 報の読み取りと情報提示を行うことを予定している． 受験希望者には，出身大学やメールアドレス，学年や希望研究テーマをあらかじめプロフ ィールとして登録してもらい，そのプロフィール情報に従って，見学ルートを推薦する．そ の際には，混雑情報に従って見学者を空きブースに誘導したり，見学者が提示したテーマに 完全に合致する講座以外に，似たようなテーマの講座も提示したりする．また，各ブースの 担当者は，ブースでの入力作業なしで，見学者のプロフィールを取得できる．NAIST 側も 「どの講座に，どのような興味を持つ受験希望者が，どれくらい訪れたか」という細かい情 報を入手できる．これにより受験希望者のより細かな動向を知ることができ，今後の広報活 動を考える際に有用な情報を得ることができる． 図 1：提案システムの構成図 ８．決算の要約 金額(千円) 設備備品費 支出予定月 457.9 2007/11 品名・型名・数量／行先・目的・日数等 開発用 PC・Lenovo ThinkPad X61 Tablet・2 台 消耗品費 252.0 2007/11 開発用 SDK・Sony SDK for FeliCa Lite・2 本 187.1 2007/11 サーバ・HP ML110 G4・1 台 138.0 2007/12 サーバ用モニタ・三菱 MDT242WG・1 台 10.7 2007/11 英語キーボード・IBM 42T3467・1 台 57.0 2007/11 増設用メモリ・IO-DATA SDX667-2Gx2・2 台 36.8 2007/11 Lenovo ThinkPad X61 周辺機器群・1 式 92.3 2008/01 FeliCa リーダ/ライタ（SONY RC-S320）・30 台 2.0 2007/11 FeliCa 開発用カード・RC-S860・2 枚 30.0 2008/01 Waon カード（FeliCa カード） ・100 枚 1.3 2008/02 カード保護用用紙（120 枚入り）・2 箱 2.0 2008/02 運用機材収納ボックス・2 個 7.9 2008/02 USB フ ラ ッ シ ュ ド ラ イ ブ ・ SDCZ23-004G-J65W・2 台 旅費（調査目的も可） 合計 1,275.0 ９．プロジェクトの状況および自己評価の要約 本プロジェクトでは，ブース推薦システム ReBoN の開発を行った．ReBoN を用いることで，展示会来場者に 対して，数多くのブースの中から，来場者の興味に沿ったブースを推薦することが可能となる．また，展示会 運営者および出展者に対しても，「来場者のブース滞留時間」「ブース来場者のプロフィール」などを容易に 提示することが可能となる．一方で，来場者への見学ルートの提示機能など，当初予定していたいくつかの機 能については，時間の関係上実装を完了することができなかった． 2008 年 2 月のオープンキャンパスおよび 3 月のスプリングセミナーにおいて，来場者への講座推薦シス テムとして ReBoN の運用を行った．これにより，来場者に対して，自身が気づいていない講座がある程度推薦 されていることを確認した．さらに，副次的な効果として，来場者のプロフィール（どのような講座やテーマに興 味があるか，どのような講座を訪れたか，など）を取得することができた．これにより，今回取得したデータを用 いて改善策を検討し，次回以降のオープンキャンパスに活かすことができることができると考える．一方で，準 備期間の短さや連絡が不十分であったことから，オープンキャンパスでの運用の際に，来場者や講座の担当 者の方に混乱を招いてしまったことは反省すべき点であると考える． プロジェクト全体を通して，本プロジェクトは，システムの開発という側面だけでなく，多くの人や部署と連携し てプロジェクトを遂行する際の経験を積むという面においても非常に有益なものであった． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 展示会における来場者のナビゲーションシステム開発 プロジェクトリーダ 伏田 享平 プロジェクトメンバ 三井 康平，高田 純，石田 響子 １． 概要（背景と狙い） 情報提供を行いたい場合がある．この場合来場 展示会は，実際に開発した製品や商品を，（潜 者は，ブース毎に自己の連絡先などを出展者に 在的な）ユーザの前でプレゼンテーションするこ 伝える必要があるが，このようなプロフィール とができる貴重な機会である．また，大学や研究 入力作業は，来場者によって非常に煩雑な作業 所などの教育・研究機関に於いても，一般への研 である． 究成果公開や入学希望者へのプレゼンスを高め ることを目的として，オープンキャンパスやオー プンハウスが実施される機会が増加している． このような背景のもとで，本プロジェクトでは， 展示会の来場者に対してのナビゲーションシス このように，展示会やオープンキャンパス/オ テムの開発を目指す．このシステムを用いること ープンハウス（以下では，まとめて単に展示会と で，展示会において来場者は，自分の興味に沿っ 呼ぶ）では，出展者（展示会に製品や商品を出品 たブースを効率よく廻ることができる．また，出 する者）に様々なメリットがある一方で，来場者 展者はブースを訪れた来場者の情報を簡単に取 （展示会に訪れる者）に対して多くの問題がある 得することができ，ブースごとに，来場者に関す と考えられる．以下に，本プロジェクトで取り上 る事後分析を行うことができる． げる問題点を示す． 展示会での運用を想定したナビゲーションシ ステムとしては，角らの C-MAP（Context-aware P1. 来場者が目当てのブースを見つけにくい： Mobile Assistant Project）があげられる[1]． 展示会では，非常に多くの企業や団体が出展し C-MAP は，博物館などの展示見学のための個人 ており，ブースの数も多くなる．また，類似の ガイドシステムの構築を目的としている．さらに， 内容について複数の出展者が存在する場合が 見学ガイドの個人化からコミュニティ支援など 多い．しかし，各ブースの出展内容は，パンフ も目的としている．C-MAP で開発している展示 レットやポスターの紙面の都合上，十分な情報 見学のガイドシステムは，見学すべき展示の推薦 が掲載されていない場合が多く，来場者はどの やオンラインでの展示情報の提供など，我々の目 ブースを見回るべきか判断がつきにくい． 的とするシステムと類似している．これに対して， P2. 一部のブースが混雑する場合がある： 我々のプロジェクトで今回開発したシステムは， ブースによっては，非常に多くの来場者が一定 来場者に対する支援だけではなく，出展者が行う 時間に殺到するケースがある．この場合，一部 事後分析も想定してシステム開発を行う．具体的 のブースが混雑し，待ち時間が発生し，結果と には，展示会来場者のプロフィール把握や，ブー して見たいブースをすべて廻ることができな ス滞留時間など，次回以降出展する際に参考とな いケースが発生する． る情報を分析するため，これらの情報を蓄積する． P3. 来場者のプロフィール収集が煩雑である： 出展者は，展示内容についてのアンケート収集 を行い，場合によっては来場者にさらに詳しい 2. プロジェクトの進捗 本節では，本プロジェクトで作成した来場者ナビゲ ー シ ョ ン シ ス テ ム ReBoN （ Recommended Booth 各ブースを訪れた来場者のプロフィールの取得 Navigator）について，プロジェクト開始時から現時点 を行う際に，来場者が FeliCa リーダに FeliCa までのプロジェクト実施状況に沿って報告する． カードをかざす必要が発生する．一方で，FeliCa 対応携帯電話を利用できるため，i アプリなどに 2.1 システム要求分析 より事前にアプリケーションを用意しておくこ プロジェクト採択後， 技術的要件検討のために， とで，来場者は事前に携帯電話を通してプロフィ 再度提案システムの要求分析を行った．まず，シス ールの入力ができる．また主催者はその情報をも テムの利用形態を確認するため，ユースケースシナ とに事前にモデルコースを提案できる． リオを作成し，システムの機能要件を確定させた．以 下に機能要件を示す． これらのシステム要件の確定は，12 月上旬に終了 した． R1. 来場者に訪れるべきブースの推薦を行う． R2. 推薦に利用する情報は，来場者の「興味のある ブース」「興味のあるキーワード」「訪問したブー 2.2 設計 12 月中旬より 2.1 節での要求分析をもとに，システ ムの設計を行った．提案システムの構成図を図 1 ス」とする． R3. 来場者は事前に「興味のあるブース」「興味の あるキーワード」を登録する に示す．提案システムは，次の 4 つのモジュール から構成される．なお展示会運営者は，あらかじ R4. 出展者は事前に「ブース名」「概要説明」「キー ワード」「場所」の情報を入力する． め来場者に，個別の ID が記録された IC タグを 配布する． R5. 展示会当日は，来場者に IC タグを配布し，そ のタグに関連づけられた情報（来場者情報）を 読み出す 1. 事前情報入力部： 来場者がプロフィール（氏名や性別，連絡先， R6. 各ブースに IC タグの読み取り端末を設置する 興味のあるテーマなど）の入力を行う．また， 出展者が，出展ブースに関わる情報を入力す なお，来場者に所持させる IC タグとしては， FeliCa[2]を採用した．FeliCa を利用することで， る．この情報に従い，提案システムは来場者 が廻るべきコースの推薦を行う． 図 1 ReBoN のシステム構成図 来場者の入力は Web アプリケーションを用 する．サーバでは受信した訪問情報をデータ いて行い入力された情報はサーバのデータ ベースに蓄積する． ベースに蓄積される． 4. 情報提示部 2. 見学ルート算出部： 各ブースの混雑度や展示内容を表示する．こ 入力された来場者プロフィール，および事前 れにより，来場者は推薦されたルート以外の に入力されたブースごとのキーワードや当 ブースに関する情報を得ることができる．ま 日の混雑具合から，来場者の見学ルートを算 た，最新の混雑状況や既に来場者が訪れたブ 出する． ースを反映した，新たな見学ルートの提示も 見学ルートの算出にあたっては，事前登録で ここで行う． 入力された「ブースのキーワード情報」「来 情報提示部は 3 で述べたクライアントソフト 場者の興味のあるブース情報」「来場者の興 ウェアの一機能として実装し，ユーザからの 味のあるキーワード情報」「来場者の訪問履 要求に従ってサーバに問い合わせを行い，表 歴（混雑情報）」を入力として算出する．ま 示を行うこととする． た，これに加えて，来場者自身と似た傾向（同 様のブースやキーワードに興味を持つ）来場 上記の検討を踏まえて，最終的に以下のモジュ 者（類似来場者と呼ぶ）の訪問履歴も入力と ールに分割を行った． して用いる．なお，類似来場者の算出に当た ① 推薦エンジンモジュール っては，Amazon.com などでも用いられてい ② 事前情報入力モジュール る協調フィルタリング[3]を用いる． ③ 事前情報格納モジュール ルートの算出は，後述するクライアントソフ ④ 来場者識別情報読み取りおよび情報提示モジ トウェアからの要求があるごとに算出を行 ュール い，クライアントソフトウェアに算出された 大別すると，ユーザからの入力の格納およびユーザ ルートを返答する． からのリクエストを処理するサーバソフトウェア（上記 3. 来場者識別情報読み取り部： モジュールの①～③に該当）と，ユーザの入力の受 来場者の行動を把握し，案内を行うために， 付および結果表示を行うクライアントソフトウェア（上 それぞれのブースや，経路上に設置する．来 記モジュールの④に該当）の 2 つのソフトウェアに大 場者が所持している ID タグを読み取るこ 別される． とで，来場者の行動を把握する．この取得結 果に従い，来場者を他の空いているブースに システム設計に関しては，1 月初旬に設計を確 定させ，随時実装を行っていった． 誘導したり，密集しているブースに説明員を 増やしたりするなどの対策を講じることが 2.3 実装 可能となる．また，ここで取得した情報をも 2.2 節での設計をもとに実装を行った．なお，12 月 とに，後日各ブースの出展者が来場者の動向 に急遽 2 月のオープンキャンパスで実験を行うことを や今後の出展内容の検討など，事後分析を行 決定したため，実装スケジュールが約 1 ヶ月前倒しと うことが可能となる． なった．これに伴い，見学ルートの算出・提示および 訪問情報（来場者 ID，ブース ID，訪問日時） 混雑情報の利用は，今回見送った．また，情報提示 は，クライアントソフトウェアを作成し，ク モジュールにおいて表示される情報は見学ルートで ライアントソフトウェアからサーバに送信 はなく，推薦順位の上位 3 件のブースのみとなって いる． 配布した．PC の用意が困難であった講座には， 実装にあたって，クライアントソフトウェアは開発言 PC の 貸 出 を 行 っ た ． 最 終 的 に 22 講 座 に 語として C#を採用し，サーバソフトウェアは PHP を採 用している． ReBoN 端末を設置した． 4. 受付の処理： また，オープンキャンパスにおいて，従来実施し オープンキャンパス当日，受付では図 2 に示す ていたアンケートも ReBoN システム上で収集できるよ FeliCa カード（ReBoN カード）および ReBoN シ うに機能拡張を行った．アンケートは，Web アプリケ ステムの簡単な使い方を説明したチラシを来場 ーションを用いて来場者に入力してもらい，その結 者に配布した．また，事前登録を行っていない 果をサーバ側で蓄積するようにした． 来場者に対しては，講座・キーワードの登録を まず行うように誘導を行った． 2.4 オープンキャンパスでの運用実験 5. ReBoN の利用 2008 年 2 月に本学 情報科学研究科で行われた 来場者が各講座ブースの来場時および来場時 オープンキャンパスにおいて，ReBoN の運用実験を に，ReBoN 端末に ReBoN カードを接触させるこ 行った．この運用実験では，各講座を展示会におけ とで，入退場の管理を行うようにした．来場時に るブース，講座の研究テーマをキーワードとして扱っ は，事前に登録したキーワードおよび訪れた講 た．運用手順は以下の通りである． 座ブースの履歴から，次に行くべき講座 3 件を 1. キーワード登録ページの公開： 推薦，表示するようにした．なお，ReBoN の運 推薦に必要なキーワード情報は，オープンキャ 用に関しては，各講座に一任する形をとった． ンパスで配布するパンフレットをもとに，各講座 オープンキャンパスでは，83 名（うち事前登録者 18 のキーワードを我々が入力した．この後，各講 座の担当者が，自由に自講座のキーワードを 追加・編集できるページを学内で公開した． 2. 来場者事前登録ページの公開： こ のカ ード で 何ができ る の？ オープンキャンパス開催 2 週間前より，オープ R eBoNシ ス テ ムが、 講座を ナビ ゲーショ ン し ま す！ ンキャンパス来場者に，任意で事前登録を行っ ◎来場時ア ン ケート で お答え 頂いたデータ を も と に、 てもらった．この事前登録では，「興味のある講 座（研究室）とテーマ（キーワード）を選択し，登 録するものである．なお，選択可能なキーワー ドは，1.で各講座担当者が登録したキーワード 全てである． なお，事前登録を行わなくとも，当日，来場時 は可能であるが，受付が混雑することが予想さ ※ 退場時ア ン ケート は、 お帰り の際に１ F 受付に提出し てく ださ い。 ◎使い方はカ ン タ ン ！ リ ーダ（ 読み取り 機） に R eBoNカ ード を かざ し てね☆ ◎リ ーダがある 場所は？ ・ １ F 出入口の受付 ・ 各講座の出入り 口 オープ ン キャ ン パス 講座ナビ ゲーシ ョ ン シ ステ ム 目印は こ のポスタ ー！ ※一部設置さ れていない講座があり ま す。 リ ボン ） • 興味のある キーワード を 事前に登録し ておいね。 だいぶつ なら こ う えん し かせんべい ST E P ２ ソ フ ト ウェ ア 設計学講座・ ソ フ ト ウェ ア 工学講座 ST E P ３ • リ ーダ（ 読み取り 機） に、 R eBoNカ ード を タ ッ チ☆ • あなたの興味に合わせて、 講座を 推薦し ま す。 あなたへのおススメ ★ なら こ う えん講座 し かせんべい講座 … R eBoN は 2 0 0 7 年度CI CP に採択さ れた プ ロ ジ ェ ク ト の一貫と し て、 所属の学生が製作し たシ ステ ムです。 3. R eBoN（ ST E P １ • オープ ン キャ ン パス 受付にて、 R eBoNカ ード を 受け取っ てね。 分から ないこ と があれば、 スタ ッ フ に何でも 聞いてね。 こ のカ ード を ぶら 下げてま す。 れた．そのため，上記のように，事前登録を行う ように運用を行った． なる ほど ー！ 来場時ア ン ケート は、 なる べく 早く １ F 受付に提出し てく ださ い。 … にキーワードを登録することで，後述する推薦 あなたの興味に合わせて、 おすすめ講座を 表示し ま す。 なる ほど ー ST E P ４ • 各講座へ出入り する と き も 、 設置し てある リ ーダに R eBoNカ ード を タ ッ チし てね。 P owerd by NAI ST CI CP 2 0 0 7 ソ フ ト ウェ ア 設計学講座 ＆ ソ フ ト ウェ ア 工学講座 ReBoN 端末の設置 各 講 座 担 当 者 に ， PC を ご 用 意 い た だ き ， ReBoN クライアントおよび FeliCa リーダ/ライタを 図 2 ReBoN システムの使い方 （ポスター） 名）の方に ReBoN システムを利用していただいた． どを容易に提示することが可能となる． 来場者の方からは，「研究室やキーワードを登録す また，2008 年 2 月のオープンキャンパスにおいて， ることで，巡回しやすくなるシステムは面白い」「自分 来場者への講座推薦システムとして ReBoN の運用 が行きたい研究室が推薦された」などの好意的な意 を行った．これにより，来場者に対して，自身が気づ 見を頂く一方で，「退場時に ReBoN カードをかざす いていない講座がある程度推薦されていることを確 のを忘れる」「ReBoN の使い方がよくわかっていない 認した．さらに，副次的な効果として，来場者のプロ 講座があった」などのご指摘をいただいた． フィール（どのような講座やテーマに興味があるか， どのような講座を訪れたか，など）を取得することが 2.5 スプリングセミナーでのデモ ス プリ ン グ セミ ナ ー のポ ス タ ーセ ッ ショ ンで は ， ReBoN の簡易デモを行った．このデモでは，来場者 できた．これにより，今回取得したデータを用いて改 善策を検討し，次回以降のオープンキャンパスに活 かすことができることができると考える． に，オープンキャンパスでも利用した事前登録ペー このように，我々の開発した ReBoN は，来場者だ ジを用いて，希望テーマを登録してもらい，それをも けでなく，出展者に対しても有益な情報を提供する とに研究室の推薦を行った．なお，推薦エンジンに ことができると考えている． 用いるデータとしては，2 月のオープンキャンパスの 際に採取した来場者の行動履歴や来場者の希望テ ４．今後の展開 ーマも用いている．また，今回は希望研究室の入力 ブース推薦システム ReBoN を開発することで，来 はあえて行わないようにした．これは，今回のデモが 場者に対するブース推薦を行うことが可能となった． 複数箇所を回るのではなく，我々の出展ブースでの 一方当初予定していたいくつかの機能については， み ReBoN を利用したため，希望講座が推薦結果に 時間の関係上実装を完了することができなかった． そのまま反映されるのを防ぐためである． 以下にこれら未実装の機能について示す． スプリングセミナーでは最終的に 30 名程度の方に ・ 来場者への経路提示： デモを体験していただき，「このようなシステムが展 ReBoN では来場者に対しブースの推薦を行っ 示会で運用されれば面白いと思う」「次回のオープ ているが，訪問順序（経路）は提示していない． ンキャンパスなどでも運用してもらいたい」といった好 今後は，ブースでの待ち時間や物理的な位置 意的な意見を頂戴した．一方で「キーワード選択が など考慮した，経路提示機能を実装する予定 煩雑」「ブース数が膨大になったときには，正しい推 である． 薦が行われないのではないのか」といったご意見も ・ ユーザが所持している FeliCa 端末への対応： 頂戴した．これらのご指摘に対しては，今後，検証を 今回のシステムは，FeliCa 技術を利用している 行う必要があると考える． ため，事前にカードを用意せずとも，携帯電話 などユーザが既に所持している FeliCa 端末を ３．成果 本プロジェクトでは，ブース推薦システム ReBoN の 用いることも可能である．今後はこのような FeliCa 端末への対応も順次進めていきたい． 開発を行った．ReBoN を用いることで，展示会来場 者に対して，数多くのブースの中から，来場者の興 上記の 2 つの機能に加えて，今後は類似ユーザ 味に沿ったブースを推薦することが可能となる．また， をグルーピングする機能の実装を予定している．こ 展示会運営者および出展者に対しても，「来場者の れは，類似のキーワードやブースに興味を持つ来場 ブース滞留時間」「ブース来場者のプロフィール」な 者を自動的にグルーピングする機能である．これに より，来場者間のコミュニケーションの創発や，展示 の際に，来場者や講座の担当者の方に混乱を招い 会でグループツアーを実施する際のグループ分け てしまったことは反省すべき点であると考える． に有用であると考える． プロジェクト全体を通して，本プロジェクトは，シス また，FeliCa 技術の代替として，アクティブタグ利 テムの開発という側面だけでなく，多くの人や部署と 用の検討も行いたい．現状のシステムでは，来場者 連携してプロジェクトを遂行する際の経験を積むとい は，入退場時に ReBoN に ReBoN カードをかざす必 う面においても非常に有益なものであった． 要がある．一方，アクティブタグを用いれば，ユーザ はアクティブタグを所持しているだけで良い．これは， 謝辞 アクティブタグが自ら電波を受発信するため，アクテ ソフトウェア設計学講座 飯田 元 教授，川口 真 ィブタグの電波を受信・処理するだけで入退出処理 司 助教，名倉 正剛 特任助教には，折に触れ貴 が可能となり，来場者は FeliCa カードをリーダにかざ 重なご意見を頂戴した．特に，川口助教には，チュ すという動作をする必要がなくなるためである．これ ーターとして全面的な御支援を頂いた．ソフトウェア により，来場者に対するユーザビリティ向上が望める． 工学講座 大平 雅雄 助教には，オープンキャンパ ただし，アクティブタグは，現在利用している FeliCa スでの運用実験の際に，ノート PC をご提供いただい カードに比べ効果であるので，導入経費の観点から た．足立 敏美 女史には，プロジェクト運営に際し， も引き続き検討を行う必要がある． 絶大なる御支援をいただいた．ソフトウェア工学講座 なお，これらの改良を加えた ReBoN に関しては， 松田 侑子 女史には，ReBoN システムの実装およ 今後本学で開催されるオープンキャンパスを始め， び広報の際にイラストをご提供いただいた．2008 年 機会があるごとに随時運用するよう関係各所と連携 2 月に本学で行われたオープンキャンパスの際には， していきたい． インタラクティブメディア設計学講座 加藤 博一教 授，コンピューティング・アーキテクチャ講座 山下 ５．自己評価 茂 准教授を始め，数多くの講座の方，ならびにオ ReBoN の開発に関して，当初予定していた部分 ープンキャンパス来場者の皆様に，ReBoN の運用 の大部分を達成することができた．しかし，スケジュ 実験に御協力いただいた．ここに厚く御礼申し上げ ールの進行状況に関しては，当初の予定より大幅な ます． 遅れが発生した．これは，12 月から 1 月にかけて，メ ンバーの大部分が学会参加や研究発表準備に時 参考文献 間をとられ，当初予定していた設計作業が 1 月にま [1] 角 康之，間瀬 健二，“実世界コンテキストに埋 でずれこんだためである．また，12 月下旬に，急遽 2 め込まれたコミュニティウェア”，情報処理学会論文 月のオープンキャンパスで運用実験を行うことを決 誌，Vol.41，No.10，pp. 2679-2688, 2000 断したことで，実装スケジュールが前倒しになってし [2] ソ ニ ー 株 式 会 社 まった．これにより，十分なテストを行うことができな http://www.sony.co.jp/Products/FeliCa/ かった． （2008/03/13 参照） オープンキャンパスやスプリングセミナーでのポス FeliCa ホ ー ム ペ ー ジ [3] G Linden, B Smith, and J York., “Amazon.com ターセッションでは，多くの方からフィードバックをい recommendations: ただき，今後の展開を定めるにあたり非常に有意義 filtering,” IEEE Internet Computing, Vol.7, No.1, pp. であった．その一方で，準備期間の短さや連絡が不 76-80, 2003. 十分であったことから，オープンキャンパスでの運用 item-to-item collaborative 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 円滑な社会還元を目指した障害者支援研究の方法論に関する考察 ２．プロジェクトリーダー 所属講座 学年 学生番号 氏名 e-mail アドレス 音情報処理学講座 D1 0761022 中村 圭吾 [email protected] 所属講座 学年 学生番号 氏名 e-mail アドレス 計算神経科学講座 M2 0651042 坂本知華 [email protected] 物質創成科学研究科 M1 0731057 中島 新 [email protected] ３．分担者 バイオミメティック 科学講座 ４．チューター 所属講座 職名 氏名 音情報処理学講座 助教 戸田 智基 ５．必要経費 金額(千円) 支出予定月 品名・型名・数量／行先・目的・日数等 設備備品費 112.381 10 月 動画編集ソフトウェア 消耗品費 353.667 12 月 収録機材一式(PC，モニタ，AD 変換機等) 136.9 12 月 旅費（調査目的も可） データ保存用ハードディスク 154.807 10 月 セミナー用機材(デジカメ，ビデオカメラ) 138.967 10 月 書籍 603.278 2 月 TEACCH Winter Inservice 2008 参加費・ 宿泊費 合計 1500 ６．プロジェクトの背景と目的 本プロジェクトの目的は，より円滑な社会還元を目指した障害者支援研究の方法を模索す ることである．本プロジェクトの狙いは，障害者支援研究の実用化を目指すだけではなく， 研究活動の経過自体が社会に認知され，ユーザの意見を早い段階でシステムに取り入れるこ とで，研究をより効率よく行い，より社会貢献度の高い研究へと昇華するところにある． 1. プロジェクトの背景 障害者が日常生活を送るには，周囲の者の理解と協力が必要不可欠であり，障害者支援に 関する研究は社会的にも意義深いものである．今後，技術がさらに進歩するに従って，障害 者支援の研究の必要性はさらに増すことと考えられる．一方で，障害者支援を目的に作られ た機器やシステムが，それらを必要とするユーザに適したものに昇華されるまでに膨大な時 間がかかっているように思われる．従って，ある機器やシステムがユーザの要望を満足する までの時間を可能な限り短縮し，効率のよい研究開発を行うことは非常に意義深いことであ り，そのような枠組みはより社会貢献度の高い研究開発であると言える． 効率のよい開発を実現するためには，研究者の側も開発段階から使用者の特性やニーズを 十分に理解する必要がある．すなわち，研究開発に携わる者もユーザと直接関わり，ツール の有効性や問題点の指摘を得て迅速にシステムにフィードバックすることができる開発環 境を整えることが重要である．研究者とユーザが知識及び知見を共有することで，研究者内 のみの議論だけからは得られないような，ユニークかつ実用的なアイデアが生まれるものと 確信している． 以上より，本プロジェクトをが，障害者支援に関わらず様々な研究が研究者内での成果の みに留まらず，広い視野から社会やユーザにとって本当に必要なものを考察・検証し，その 研究が完成した先にあるものを常に見据える機会になることを我々は目指す． 2. プロジェクトの目的 本プロジェクトでは，構築を目指すシステムを如何に円滑に実用可能な段階まで昇華させ ていくかという手法の模索を目的とする．このことは，すなわち計算機上の数値のみの評価 を目指すものではなく，より社会貢献度の高い障害者支援研究の方法を考察することであ る．障害者支援の研究は，一般に社会貢献が高く見られる傾向にある．しかしながら本プロ ジェクトでは，社会貢献度がより高い障害者支援研究の方法を模索する．社会貢献度がより 高い研究とは，すなわち研究の実用化のみを目的とするのではなく，研究開発の段階から， その過程自体も社会に認知され，実際のユーザの意見をリアルタイムに研究開発にフィード バックするという研究の枠組みを指す．研究開発の過程から実際の障害者を含めたユーザの 意見を積極的に取り入れることによって，研究に対する社会全体からの理解や協力がよりス ムーズに得られることが期待される．この枠組みの有効性を検証するため，本プロジェクト では以下の 2 つの下位研究を実施する． 詳細は研究計画及び結果報告の項で述べる． (1) 発声障害者の音声収録システムの構築 (主担当: 中村 圭吾) (2) 計算神経科学から見た発達障害の治療法に関する研究 (主担当: 坂本知華) ７．目的到達までの研究計画 本プロジェクトは，(1) 発声障害者の音声収録システムの構築，(2) 計算神経科学から見 た発達障害の治療法に関する研究という 2 つの下位研究から構成される．それぞれの研究に ついて，目標までに必要となるもの，予想される困難と解決策について以下に説明する． (1) 発声障害者の音声収録システムの構築 (主担当: 中村 圭吾) 以下では，本研究を主に担当する中村を主担当者と称する． 本研究で予想される問題として，発声障害者の音声データ収集が挙げられる発声障害者音 声を集める上での困難として，1. 話者数，2. データ数，3. 収録環境 の 3 つが考えられる． 本研究では対象とする発声障害者を喉頭摘出者に限定することで話者数を制限する．喉頭 摘出者とは，喉頭がんなどにより喉頭を除去した者のことである．また，喉頭摘出者の中で も，音声データが継続的に得られる話者に絞って音声収録システムの構築を目指す． 一人の話者から大量のデータを集めることは，話者にとって身体的･精神的に負担となる ことである．しかしながら，本研究で予定している話者の音声収録は，主担当者がこれまで に何度か試みたことがある．すなわち，対象とする喉頭摘出者と主担当者の間には本研究で システムを構築するのに十分な信頼関係は既に形成されている． 音響実験室のように，人工的に作られた空間では非常に明瞭な音声を得ることができる． しかし，そのような理想的な空間を実生活で見つけることは困難である．そこで，本研究で は，対象とする収録話者の日常環境でのデータ収録を試みる． 実際には，11 月にドイツから来られる方がドイツ語の音声収録システムを保有しているの で，同システムの日本語対応のシステムを本研究で構築する予定である． (2) 計算神経科学から見た発達障害の治療法に関する研究 (主担当: 坂本 知華) 以下では，本研究を主に担当する坂本を主担当者と称する． 現在の主担当者は，発達障害児たちの実態には精通していない．そこで，本研究を進める にあたって，まず障害者を取り巻く環境も含めた統合的な知見を得ることを目指す．具体的 には，TEACCH プログラムのプロフェッショナル向けコースを主担当者自身が受講する． TEACCH プログラムとは，近年自閉症の子供達への認知・行動プログラムとして注目されて いるプログラムであり，ノースカロライナ大学医学部の研究チームによりサポートされてい る．TEACCH プログラムは単なる治療プログラムの域を超え，統合的自閉症サポートシステ ムとしての機能を果たそうとしている． 現在の主担当者のように，事前知識がない，あるいは文献のみから得た知識のみで発達障 害児たちと触れ合うことは，我々にとっても児童側にとっても危険が大きいことは想像に難 くない．そこで，発達障害の児童たちの治療に数十年来関わり続けてこられた水野恵理子先 生が主催されるアゴラ音楽クラブに主担当者自らが参加し，熟練の方にご指導頂きながら児童 たちと接することを考える．児童たちと接する上で，子供達のストレスになるような関わり 方は一切しないということは最低限のマナーとして交流させて頂きたいと考えている．また， 彼らとの交流に際して十分な事前知識の講習会及び定期セミナーへの参加等は必須と考え， 志を同じくする方と共に本研究を進めていく予定である． ８．決算の要約 金額(千円) 支出予定月 品名・型名・数量／行先・目的・日数等 設備備品費 消耗品費 275.919 11 月 IC レコーダ，ビデオカメラ他 / セミナー等 での録音・録画機材一式 130.564 11 月，2 月 書籍 / セミナー等での教科書・参考資料 218.610 2 月 パソコン，マイクロフォン他 / 発声障害者 の音声収録機材一式 77.259 2 月 外付け HDD，メディア他 / データ保存用ス トレージ一式 172.827 2 月 旅費（調査目的も可） モニタ・ヘッドホン他 / デモ用品 69.040 12 月～2 月 交通費 / 医学部への訪問 586.974 2 月 参加費・宿泊費・交通費 / TEACCH プログ ラムへの参加 合計 1531.193 ９．プロジェクトの状況および自己評価の要約 1. プロジェクトの状況 本プロジェクトでは，障害者支援研究の枠組みを「分離型」と「融合型」という二種類に分け て考える．分離型の研究は現在の障害者支援研究の枠組みであり，非効率である問題点がある． それに融合型の研究は様々な点で効率のよいシステム構築の枠組みとなっている．本プロジェク トでは，融合型研究の実践として，1) 発声障害者のための音声収録・評価システム，2)発達障 害の治療法に関する研究という二つの下位研究から構成されている． 発声障害者のための音声収録・評価システムは，クライアント・サーバ型のシステムである． 本システムは概ね完成し，運用が可能である．本プロジェクト期間中に国内 3 箇所の医学部を訪 問し，音声データの協力を承諾頂いた．また，医学部とは別に，主担当者（中村）が個人的に音 声収録を依頼している話者 1 名からは，既に 1 月から音声収録を行っている． 計算神経科学から見た発達障害の治療法に関する研究については，現在までのところ，主 担当者(坂本・中島)を中心として発達障害を理解するための会が発足し，セミナー等を通じ て活動した．また，主担当者自身がアメリカのセミナーに参加した．主担当者の中の坂本が 来年度から臨床医として研鑽を積む予定であるため，プロジェクトとしては現時点で一時中 止となる． 2. 自己評価の要約 2008 年 3 月 7 日に行われたスプリングセミナーでのポスターセッションでは，一通りの成果 を報告した．しかし，当日のデモ機の不調もあり，本プロジェクトの集客率は乏しかった．本プ ロジェクトを通して，現在我々が携わっている障害者支援研究の枠組みを再確認すると同時に， より効率的な研究の枠組みを考察することができ，当初の目的は達成できたと思われる．一方で， システムの構築及び研究そのものは完了に至っていない部分も多く残っている． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 円滑な社会還元を目指した障害者支援研究の方法論に関する考察 プロジェクトリーダ: 中村 圭吾 ([email protected]) 分担者: 坂本 知華 ([email protected])，中島 新 ([email protected]) 1． プロジェクトの背景と目的 本プロジェクトの目的は，どのようにすれば効率よ Researchers Establish a System Users Operate the system system く社会貢献度の高い障害者支援研究ができるのか， Requests その方法を模索することである． 図 1 に，現在プロジェクトリーダ及び分担者が行っ ている障害者支援研究の枠組みを示す．この枠組 図 1 分離型研究の枠組み Fig. 1 Framework of split-type research みを，「分離型」と呼ぶことにする．分離型研究の問 題点として，システムを構築してからユーザの要望を 満足するまで非常に多くの時間と労力が必要となり， 非効率的であることが挙げられる．このことは，シス Researchers and users Establish a System Operation test system テム構築を行う研究者側と，システムを実際に運用 Requests するユーザが分離していることが原因である． 図 2 に，本プロジェクトを通して我々が考えた障害 者支援研究の枠組みを示す．図 1 と比べて最も大き 図 2 融合型研究の枠組み Fig. 2 Framework of unified-type research な違いは，システムの開発にユーザも含まれている ことである．この枠組みを，分離型に対して「融合型｣ 有効性を検証するために，本プロジェクトでは，以下 と呼ぶことにする．融合型研究の利点として，分離型 の二つの下位研究を行う． 研究と比べて効率のよいシステム開発が期待できる 点にある．具体的には，システム開発の初期の段階 からユーザを取り込んでおくため，ユーザの要望を システムに反映するまでの時間が短いことが利点と 1) 発声障害者のための音声収録・評価システム の構築 2) 計算神経科学から見た発達障害の治療法に 関する研究 して挙げられる．また，ユーザと共にシステム開発を 本報告書は，以下の構成である．2 及び 3 でそれ 行うということは，研究過程がユーザにも暗黙のうち ぞれの下位研究に関する詳細及び進捗を報告する． に告知され，システムの普及にもつながることが期待 4 でプロジェクトの今後の展望を述べ，５で本プロジ される．さらに，構築を目指すシステムにおいて対象 ェクトに対する自己評価を述べる． とするユーザが既に決まっているため，システムを構 という利点がある．効率がよいという融合型研究の利 2. 発声障害者を対象にした音声収録シス テムの構築 (中村) 点は，情報学あるいは工学的な成果のみではなく， 本節では，発声障害者を対象にした音声収録・ 実用上の成果も期待できることから，分離型の障害 評価システム(Platform for Evaluation and Analysis of 者支援研究と比べて社会貢献度が高い枠組みであ all Kinds of Speech disorders: PEAKS[1])について述 ると考える． べる．また，本節の研究を主に担当する中村を主担 築してからユーザを探す分離型と比べて効率がよい この融合型障害者支援研究の枠組みを実践し， 当者と称し，本研究という言葉は本節の研究に限定 する． 2.1 システムの概要 PEAKS のイメージ図を図 3 に示す．PEAKS は，ク ライアント･サーバ型の音声収録・音声評価システム Client Recoring Report である．クライアント側で収録された音声はネットワー ク経由でサーバにアップロードされる．各種の処理 は全てサーバ側で行い，結果がクライアント側に送 られる．PEAKS の機能の中で，音声収録は主に発 声障害者が使用し，音声評価は言語療法士などの 指導員が主に使用することを想定している． Audio data Secure Secure transmission transmission Server 音声収録における最大の利点は，ユーザはどこ でも音声収録が可能なことである．これまでは，音声 収録を行う際には，音声収録用の部屋まで来訪を お願いするしかなかった．しかし，そのような音声収 録専用の部屋を日常生活の中で見つけることは難し Report Audio data Prosodic Feature analysis extraction く，また音声収録室までの移動に伴う身体的負担， MFCC 音声収録そのものに対する精神的負担も無視する ことはできない．しかしながら，PEAKS ではマイクロフ Speech ォンとネットワークに接続可能なパソコンさえあれば recognition 音声収録が可能であるため，先の身体的・精神的負 担を大幅に軽減することが期待できる．具体的には， Recognized リハビリの一環として自室で定期的に音声を収録す る，ある いは来院し た時に音声収録をするなど， Prosodic 様々な使い方が可能である．このようにして得られた features word-chain Scoring 音声は，音声収録室などで得られるような理想的に 図 3 PEAKS の構成図 きれいな音声ではない．しかしながら，このような音 Fig. 3 Structure image of PEAKS 声は実際の日常生活の環境で得られた音声である ため，実際にシステムを運用するためのデータとして は，PEAKS のオリジナルである Maier の先行研究[1] 価値が高いと考えている． に詳しい． PEAKS は，収録以外に音声評価機能も有する． 自動音声認識による客観評価値を導入すること PEAKS における音声評価機能の大きな利点は，自 で，患者の障害度を正確に把握する補助となること 動音声認識が含まれている点である．PEAKS では が期待される．また，この自動音声認識は患者も利 隠れマルコフモデル (Hidden Markov Moel: HMM) 用することができるため，例えば自室で音声を収録 に基づく音声認識システムを用いている[1]．音響特 し，それを認識させることで客観的に自身の音声回 徴量としては，音声認識の分野で標準的に用いられ 復度を測ることができ，リハビリの進行具合の目安と て い る Mel-Frequency Cepstrum Coefficients するといった使い方も可能である． (MFCCs) を採用している．その他の条件について この自動音声認識以外にも，PEAKS では指導員 の主観評価を補助するさまざまな評価を行うことがで きる．例えば 5 段階オピニオンスコアで明瞭性を検 証するなど，患者に合わせて指導員は好みの評価 を行うことができる．さらに，これらの評価を含めた全 ての処理はサーバ側で処理されるため，クライアント 側の計算機にはそれほど高性能が要求されないと いう点も，PEAKS の特徴の一つである． 2.2 プロジェクトの進捗 PEAKS というシステム自体は既に構築されている が，日本語データを用いて PEAKS の性能を検証し た例はない．そこで，本プロジェクトではまず PEAKS 図 4 PEAKS のトップページ [3]． を日本語版に移植し，その後国内の医学部と連携し Fig. 4 Top page of PEAKS[3]. て PEAKS を評価していく予定である． 2.2.1 日本語版への翻訳 図 4 に，作成した PEAKS の一部を示す[3]． ザと連携したシステム開発という本プロジェクトの趣 旨は実現できているものと考える． PEAKS は，もともと Maier によって構築されたシステ また，主担当者の個人的に知り合いである発声障 ム[1]である．本プロジェクトでは，ドイツ語の PEAKS 害者に音声収録を依頼したところ，承諾いただくこと を日本語に翻訳し，日本語が母語の発声障害者デ ができた．この患者に関しては，すでに 2008 年 1 月 ータを用いた PEAKS の有効性を目指す．本プロジ より試験的に音声収録を行っていただいており，プ ェクト期間内では，未だ一部のメッセージ等がドイツ ロジェクト期間内に 756 発話（14 発話×54 回収録） 語のままであるが，概ね日本語への翻訳が終了し， の音声を収録することができた． 試験的な運用が可能な状態である． 本研究は，融合型障害者支援研究の枠組みでシ 3. 計算神経科学から見た発達障害の治療 法に関する研究 (坂本・中島) ステムを構築することを目指す．そこで，現段階では 本節の研究を主に担当する坂本と中島を合わせ システムの試験的な運用が可能な段階だが，外部 て主担当者と称し，本研究という言葉は本節の研究 のユーザに協力を要請する． に限定する． 2.2.2 ユーザとの連携 本プロジェクト期間内に，福井大学医学部，奈良 3.1 概要（背景と狙い） 県立医科大学，兵庫医科大学の 3 箇所を訪問し， 障害者支援の研究を提案するにあたって，医療 PEAKS について説明を行い，音声データの収集を 従事者でない研究者としては、実際の患者に接し， 要請したところ，中･長期的にご協力いただけること その特性を知ること自体が大きなハードルであ になった．ただ，ネットワークの整備，ユーザインター ると推測する．本プロジェクトにおいてはその研 フェース，患者の同意を求める文書等が一部完成し 究環境を構築する一環として，自閉症治療者支援 ていないため，実際に音声収録が可能になるのは 4 プログラムへの参加、良好な障害者―研究者関係 月を目処に考えている．しかしながら，本プロジェクト の構築（ラポール）を目指すことにあった． 期間内における各医学部への訪問の中で，システ まず，①TEACCH winter in service 2007 へ ムを構築するにあたって，医学的な視点から貴重な の参加を通して，近年自閉症の子供達への認知・ 意見を多数いただくことができた．このことは分離型 行動プログラムとして注目されている TEACCH 障害者支援研究では難しいことであると考え，ユー に関する理解を深め，自閉症に対するトレーニン て研究されている． ③に関しては「発達障害勉強会」と題して，計 13 回の勉強会を開催した．勉強会のメンバーは， 学内の学生に限らず，自閉症児の父兄，自閉症児 への音楽療法を行っている教師など幅広いバッ クグラウンドを持つ方々からの参加申し込みを 頂き，非常にバラエティーに富んだものとなった． 参加者の各自が分担日を決め，自閉症におけるコ 図 5 TEACCH に使用される玩具 ミュニケーションの障害に関する文献から，自閉 Fig. 5 Items used in TEACCH program 症児の父兄の子育て体験とそれを通しての行政 や医療，教育の支援の在り方に対する問題提起， グプログラムの意義と効果，治療目標について調 また，臨床家の方からは，音楽療法の症例報告と 査を試みた．また，②海外で自閉症の遺伝子解析 考察についてなど，なかなか得難い機会を設ける 研究を行っている研究室を訪問し，自閉症研究の ことができた．また，本プロジェクトのメンバー 最先端に触れることを目指した．それと同時に， 及び③勉強会参加メンバーは，大阪大学教授をお ③主に自閉症をテーマとして勉強会を開催し，知 迎えしたセミナー参加を通して，自閉症児に対し 識の共有を図ると共に，自閉症の子供たちと日々 て臨床及び研究の両面からアプローチをされて 接しておられる方々の立場から，貴重な意見や体 いる先生方から自閉症研究の現在についてご教 験談をいただく機会を設け，研究の方向性への指 授いただいた． 針にしようとした．さらに，④発達障害の児童た ④に関してのみ，日程の都合上，本プロジェク ちの治療に長年関わり続けてこられた水野恵理 ト期間中の実施は叶わなかった． 子先生が主催されるアゴラ音楽クラブ 3.3 成果 （http://www.agora-mc.com/）に主担当者らが参 ① に お い て 特 に 興味 深 い話 題 は ， Duke 大 加し，障害児らと交流をもつ中で主担当者らの研 Gabriel.S.Dichter,PhD のセロトニン作動薬であ 究のアイデアへの還元を目指した． るシタロプラム投与による前頭葉機能への影響， 3.2 プロジェクトの進捗 特に常同行動の抑制への効果に関する発表がな ①は 2 月 6 日から 2 月 13 日の日程でノースカ され，常同行動と実行機能の関係性という現在ま ロライナ，チャペルヒルで開かれた TEACCH での知見[4]を臨床応用しようとする研究が既に winter in service 2007 に参加した．期間中，言 行われているということが分かった． 語聴覚士・臨床心理士・医師等様々な職種の方々 の講演から得るものは多かった． また，実際に TEACCH のトレーニングに使用 する玩具を拝見した．これらを通して，例えば， また，②に関しても同上日程中にマウントサイ 子供が様々な概念をできるだけ日常の設定の中 ナイ医科大学（MSSM）桜井武先生の研究室を で関連付けて習得できるような配慮のもとに作 訪問した．桜井先生は MSSM の分子神経精神医 成された絵本，ある物事の因果関係を学ぶための 学研究室に在籍中の P.I.(Principal Investigator) あるメカニズムを持って動く玩具，あるいは実行 で，特に NrCAM と呼ばれるシグナルタンパク 機能の強化が期待されるような物等，通常の玩具 が神経細胞の遺伝子発現を調節し軸索(ニューロ には見かけない TEACCH ならではの配慮が伺 ンのケーブル)伸張を誘導するメカニズムに関し われ，自閉症の子供にどういった認知療法が必要 の障害児の起こす症状や現象と，モデルによって 説明し得る現象とを照らし合わせた時にどのよ うな共通点，相違点があるかについての意見交換 の場となった． また，音楽療法士の方には，自閉症児に対する 図 6 勉強会の様子 音楽療法中その児童が辿った臨床経過を報告し Fig. 6 Scenes of private seminal ていただいた．その中で特に重要とされたのは， 3 歳以下の乳幼児に対する発達検診における自 であるかということが，参加者自身も感覚だけで 閉症児のスクリーニング検査の長期予後の重要 なく方法論として理解する手助けとなった． 性であった． ②では，Mason 先生の研究テーマである視覚 これらの議論を通して，自閉症の障害とは概念 交差発生系における，複数の細胞接着因子や発現 のネットワーク形成に障害を伴っているのでは 制御因子の相互作用モデルに関してご教授いた ないかという現在までに提案されている仮説に だくことによって，本プロジェクトの延長上に将 対して，我々の中でも共通認識としてのコンセン 来想定している，自閉症における神経系ネットワ サスを得るとともに，それら障害が現在までのあ ークとそれが表現する認知メカニズムの発現を らゆる心理学理論で説明されうる障害を起こし 研究テーマとする際どのようなアプローチを経 得る可能性が高いということを再確認した．また， て分子生物学的研究と認知科学とが融合し得る 恐らく様々な認知障害を前頭葉の実行機能の障 かについてご教授いただいた． 害（ものごとを論理的に考えたり，順序立てて考 ③の勉強会においては，自閉症児のコミュニケ え，状況を把握して行動に移す思考・判断力のこ ーション障害について，現在までのところ様々な とで，前頭葉機能の一部であると言われている） 説が現されているもののこれという決定的な理 で説明し得る可能性について多くの支持が得ら 論は未だ打ち出されていないという問題点に関 れ，今後この事を実証するための研究成果が期待 して様々な意見が出された．自閉症において健常 されていることと，これまでに提唱されてきた各 者と比べた時に欠けている能力とは何か？自閉 種心理学理論の課題成績と実行機能を図る検査 症のコミュニケーション障害を議論する際によ との相関に関する詳細な研究が必要であるとい く挙げられる「他者に信念があることを理解でき う見解に達した． ない」とは一体どういうことなのか？ [5]これら を深く掘り下げるとともに，自閉症患者の特徴と 生物学，心理学等，様々な所見の理解を図った． また，これらの知見をもとにコミュニケーション 4. 今後の展開 本プロジェクトの今後の展開は，下位研究を通し て融合型障害者支援研究の有効性を検証する． 障害を議論する際に取り得るアプローチとして PEAKS の日本語版はまだ開発の初期段階である 計算神経科学という研究分野を取り上げ，このよ ため，解決すべき問題点が残っている．今後解決す うなコミュニケーションモデルが脳内で実装さ べき問題点として，大きく 1) 全てのメッセージの日 れていると仮定すればどのような計算モデルが 本語化，2) ユーザインターフェースの改良の二点 考えられるかということに関する文献理解，及び が挙げられる．今後はこれらを順次解決していくこと それらモデルが説明し得る現象に対して，実際に で，システムを完成に近づけ，融合型の障害者支援 障害児と関わる方々が日々の関わり合いの中で 研究の有効性を検証していく予定である． プロジェクトメンバーの坂本は，本学卒業後は 止まりにくく，地味な報告になりやすい傾向にある． 臨床医として勤務予定のため，本プロジェクトの さらに，前述のデモ機の不調もあり，非常に人目に 継続は困難である．同時に，本研究の継続として， 止まりにくい成果報告であったと考える． 自閉症児におけるコミュニケーション障害の改 5.2 プロジェクト全体を通しての自己評価 善に対して効果的なトレーニング法の開発，それ 本プロジェクトを通して，障害者支援の枠組みに ら認知・行動療法の脳のネットワークに与える影 ついて考察することができた．この枠組みは，研究を 響の評価を行っていきたいと考えている． 行う上で最も根本的な概念であり普段の研究の中で また，本プロジェクトを通して得た人脈を，自 は意識しづらい部分である．具体的なモノをつくるの 閉症及び発達障害児に対する理解，及び健やかな は未だ途中の部分も多いが，研究の根本である枠 成長，発達が望める療育環境の整備を目指して， 組みを考えるという目標は達成できたと考える． 各種啓蒙活動を行うための基盤とすることと同 発声障害者支援に関しては，PEAKS の日本語版 時に，研究・臨床活動におけるサポートグループ の開発に着手することができたことは評価すべき点 となることを希望する． であると考える．一方で，未完成の部分も多く，試用 ５．自己評価 版の域を出ないことは否めない．しかしながら，本プ 5.1 2008 年 3 月 7 日のスプリングセミナーにおける ロジェクトを通して医学部とのコネクションができたこ 自己評価 とは評価に値すると考える．また，PEAKS は当初より 2008 年 3 月 7 日に開かれた，スプリングセミナー 中･長期的な運用を前提としているため，持続的な の中で，本プロジェクトの成果報告をポスターセッシ システム開発の基盤ができたことも評価に値すると ョンの形で行った．ポスターセッションでは，本プロジ 考える． ェクトで考える分離型及び融合型研究の枠組みを示 アゴラ音楽クラブでの行動観察は得難い機会 し，PEAKS について説明した．これらについては， であると感じており，実現できなかったことは非 概ね理解頂けたと考えている． 常に残念であった．しかしながら，勉強会は，当 下位研究である自閉症に関する成果報告に関し 初の予想していたより多くの方々の関心をいた ては，ポスターに印字した字が極めて小さく(14pt)， だいたお陰で大変充実した議論を生み出す原動 当日も満足な発表ができず，反省すべき点である． 力となった．結果として本プロジェクトで最も実 また，PEAKS は，ネットワークにつながることが前 りがあった部分の一つではないかと考えている． 提となっている．しかし当日は，デモ機のトラブルの 参考文献 ため，学内の無線ネットワークにつなげることができ [1] A. Maier et al., Proc. BMT 2007, pp. 26-29, ず，PEAKS のデモを行うことができなかった．当日は 2007. デモを行いながら PEAKS の説明をする予定だった [2] Goshu Nagino et al., ICASSP2005, pp.449-452, ため，デモができなかったことでイメージがわきにくく， 2005 分かりにくい説明だったようにも思い，反省すべき点 [3] http://peaks.informatik.uni-erlangen.de/joomla_jp/ である．今後は．のような問題が起きないように発表 [4] Jane PickettPhD et al., The Neuropathology of を行いたい． Autism: A Review. : J Neuropathol Exp Neurol, 他のプロジェクトでは非常に派手なデモンストレー 2005. ションが目立った．それに対して，本プロジェクトは， [5] Cook EHBL.Leventhal. The serotonin system in 何らかのモノを作ることが目的ではないため，人目に autism. : Curr Opin Pediatr. , 1996. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 Underwater Network~水中音響技術を利用した水中ネットワーク構築の基礎研究~ ２．プロジェクトリーダー 所属講座 インターネット工学講座 学年 M1 学生番号 0751062 氏名 杉山 貴信 e-mail アドレス [email protected] ３．分担者 所属講座 学年 学生番号 氏名 e-mail アドレス インターネット工学講座 M1 0751050 小島 一允 [email protected] インターネット工学講座 M1 0751086 永海 好隆 [email protected] インターネット工学講座 M1 0751127 村越 優喜 [email protected] インターネット工学講座 M1 0751095 林 [email protected] インターネット工学講座 M2 0651053 妙中 雄三 卓磨 [email protected] ４．チューター 所属講座 インターネット工学講座 職名 助教 氏名 樫原 茂 ５．必要経費 金額(千円) 設備備品費 支出予定月 580 12 月 品名・型名・数量／行先・目的・日数等 AcousticModem・SAM-1・２個（水中音響通信を するため） 320 12 月 パ ソ コ ン ・ WinBOOKWX4180C ・ ２ 個 （AcousticModem に接続しデータを得るため） 消耗品費 150 1 月 船舶のチャーター代・２回分（洋上、湖上に出て計 測調査するため） 62 12 月 防 水 デ ジ タ ル カ メ ラ ・ CanonIXYDigital800IS WP-DC5 ウォータープルーフケース・１個（反射波 は地形、特に海底の影響を受けやすいので、水中の 様子を撮影し、地形における通信品質の影響を考察 するため） 98 12 月 大型水槽・１個（初期実験を行うため、スプリング セミナーでデモを行うため） 旅費（調査目的も可） 50 1 月 琵琶湖（宿泊・交通費含）・計測調査目的・１泊２ 日・５人 合計 1260 ６．プロジェクトの背景と目的 海洋資源の持続的な利用を目指すために海洋の調査、観測をする必要がある。現状の調査方法 は海底に沈めた機器や海中の AUV（無策式水中ロボット）から有線を通してデータを得ている。 しかし、有線では海底機器の設置ポイントや、水中ロボットの行動範囲等に制約が発生してしま う。 一方、陸上に目を向けてみると携帯電話などの無線ネットワークは広大な面的な広がりを持っ ており、もはやカバーしていない地域がないくらいである。海中でもこのように無線ネットワー クを構築し、面的な広がりを持たせることができれば、調査、観測範囲は格段に広がると考えら れる。 そこで水中音響通信技術を発展させ、利用することで有線の課題を克服することができると考 えられている。そして最終的には海中で無線ネットワークを構築することで、通信の信頼性を高 め、通信距離を増大させることができると考えられている。また、陸上へ通信できるようなブイ を洋上に配置することで、陸上のインターネットと接続することが可能となり、例えば水中ロボ ットを陸上にいながら制御できるようになると考えている。 水中における無線ネットワークを構築する前段階として、音響通信が可能なノードとノードが 水中で最低限の品質を保持した状態で音響通信をする必要がある。そこで今回は基礎調査とし て、水中音響通信機器を用いて水中での無線通信を行った際の通信品質を計測する。 ７．目的到達までの研究計画 海中においてノードである音響通信機器同士が通信を行う前段階として、潮流などの通信に影 響を与えるものが存在しない場所で音響通信を行う。具体的には水槽や湖などである。そこで、 静水状態を作り出して下図のように通信を行い、この段階で問題なく通信できれば、次の実験は 海中で行う。通信ができなければ、通信ができるまで考察を重ね実験を行う。 Tank Sender Acoustic Modem Receiver Acoustic Modem Measurement Computer また、水中における音響無線通信は泡や密度差といった水固有の特性により、陸上の無線通信 と比べ困難であると予想されるので、通信品質を計測できるかどうか分からない。もし計測でき なかった場合はその原因を考察、発見するために２地点以上の地点で計測を実施する。 そして、海中での通信において十分な品質を得ることができれば、海中からの音響通信を洋上の ブイや船上で受け取り、そこから陸上へ無線通信を行う。 Lab Support Vessels Buoys AUVs なお、３月に行われるスプリングセミナーでは水槽を用いて実演を行う。 ８．決算の要約（※２末に確定。３月上旬に決算書を受け取り、記入すること） 金額(千円) 設備備品費 消耗品費 支出予定月 品名・型名・数量／行先・目的・日数等 582.75 12 月 音響モデム・SAM-1・１セット 360.7 12 月 パソコン・ThinkPad X61・２ 60 12 月 水槽・１ 48.48 12 月 デジタルカメラ・IXY DIGITAL 810IS・１ 3.448 2 月 USB シリアルコンバータ・１ 3.338 2 月 水面下環境の実験器具一式 3.28 2 月 バスポンプ・１ 旅費（調査目的も可） 合計 1051.996 ９．プロジェクトの状況および自己評価の要約 本プロジェクトでは、水中音響モデムを使用することで、水中音響技術を利用した水中無線通 信の基礎特性を取得し、考察を行った。 実験計画では、水槽における環境変化時の特性変化と実海域における特性を取得する予定であ ったが、音響モデムが納品見積より遅くなってしまった。また頻繁に不調になったため修理に時 間を取られてしまったこともあり、水槽における実験のみ行った。環境変化として 1)水温 10℃， 障害物なし 2)水温 18℃，障害物なし 3)水温 10℃，障害物あり 4)水温 10℃，泡放出あり の 4 種類の 環境を用意した。 実験結果としては、水温の高い方がスループットはわずかに良いという結果を得られた。これ は水温の上昇によって音波の伝播速度が上昇したためと考えられる。また、障害物や泡といった 音波の伝播を阻害するとされている物質が存在する方が、障害物のない環境よりもスループット が向上した。原因としては、水槽という反射波の影響をうけやすい環境において実験を行ったた めに、障害がない状態であっても通信が劣化しており、また障害物が反射波の伝播を阻害したた めであると考えられる。 今後は実環境において実験を行い、引き続き性能評価を行う。さらに実際にセンサーに組み込 んで利用することで、実用性に関しての評価を行う予定である。 スプリングセミナーで行われた発表会では多くの人に興味を持っていただき、概ね好評を頂いた。 プロジェクトを通して、予算の申請・使用方法や外部業者との交渉を学ぶ機会を持てたことは、と ても良い経験となり、実りある活動であった。 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 Underwater Network~水中音響技術を利用した水中ネットワーク構築の基礎研究~ プロジェクトリーダ 杉山 貴信 １．概要（背景と狙い） 線との違いを把握し、改善点を明らかにするこ 1.1 背景 とが重要である。 近年、海洋では赤潮や磯焼けなどさまざまな 環境問題が発生している。その状況を打開する 1.3 水中無線通信 ため、定常的に広域な海中の監視と海中環境の 陸上における無線通信は主に電波を利用して 定量的な測定を行い、関係を分析する必要があ 行われているが、水中では音波で無線通信が行 る。監視や測定、分析を行うためには、生態系 われている。これは音波が電波に比べ水中での の調査と活動プロセスの継続的なモニタリン 吸収減衰が少ないために遠距離まで到達でき グが課題となっている。 るからである。また光波での通信は、可視光域 この広域な海域でのモニタリングを実現す での吸収減衰は小さいが、水中の懸濁物質によ るためには、観測地点に複数のセンサーを配置 る散乱減衰が大きいため、水中無線通信での適 し、センサー間でネットワークを構築すること 用性は低い[1]。 が必要である。このようにネットワークを構築 しかし、水中音響通信は様々な問題がある。ま することで、広域なセンシング範囲をカバーし、 ず、電波に比べ使用可能な帯域が狭いため、単 センシング情報を即時に得ることが可能とな 位時間当たりに伝送できる情報量は少ない。また、 る。 伝播速度について電波が 30 万 km/s であるのに 水中ネットワークを構築するにあたり、有線 では敷設のコストが高価であり、またセンサー 対し、音波が 1500m/s であるため、遅延が大きく なることである。 の設置場所が限定されてしまう問題がある。そ 海中という環境に対する問題としては、海底や こで、設置場所が限定されず、安価に設置可能 海面、人工物など音波を反射しやすい環境にあ な無線ネットワークを実現することで、水中ネ る。それらからの反射波による干渉によってマル ットワークを簡易に構築できると考える。 チパスの影響を受けやすい。また海中には風波、 降水、海生生物や船舶等の雑音が存在する。雑 1.2 問題点 現在、水中において無線通信を行う手段とし 音の大きさと周波数帯によっては、受信データに 誤りが発生する。 て、音波を利用した音響通信技術による水中無 線通信が行われている。これは水中における電 1.4 実験目的 波等の他の媒体を利用した通信では減衰の影 本プロジェクトでは、水中無線通信の特性を知 響が大きいためである。しかし、音波による水 ることで陸上無線との違いを把握し、改善点を 中無線通信は、陸上の無線通信と異なる特性を 明らかにすることを目的とする。 持つため、同様の通信は困難である。 まず、港湾のような実海域において音響モデ 本プロジェクトでは、水中音響モデムを利用し、 ムが通信を行う前段階として、潮流や風波のよ 実際に水中において無線通信を行うことで、水中 うな通信に影響を与える外乱が少ない水槽に 無線通信の基礎特性を取得する。そして、陸上無 おいて水中無線通信を行う。水槽において静水 状態を作り出し、通信を行うことで、障害のな RTT の計測方法は、送信側が文字列を送信し い状態での水中無線通信の特性を取得する。 次に水槽内の環境を変化させることで、環境 変化が通信に与える影響を調査する。 最後に、実際に環境の計測データが取得され ている水域において実験を行い、水中無線通信 の特性を取得する。そして、取得した特性から、 音響モデムが実環境において実際に利用可能か、 また水中無線通信の問題の所在を考察する。 ２．プロジェクトの進捗 本節では、本プロジェクトの始動から現時点まで Fig.1 の作業進捗状況について、前節であげた予定と 照らし合わせ、報告する。 2.1 実験 2.1.1 実験方法 本実験は室内で行い、部屋内の気温はエアコ ンにより 22℃に保たれている環境を作りだす。水 中通信の環境は 1800×600×450(mm)の水槽を 利用し、水深は 150(mm)で固定する。実験に使用 する水は 3 階の水道から引き込んだため、上水で ある。実験機器として音響モデムは desertstar 社 製 SAM-1(Fig.1)を用いる。音響モデム間距離は Fig.2 1000(mm)とし、Fig.2 のようにトランスデゥーサがお 互い向かい合うように設置する。 特性として今回はスループットと RTT(Round Trip Time)、パケットロスを計測する。 受信側が文字列を受信すると送信側に文字列を 返す。そして、送信側は文字列を返された時点で 時間を刻むことで計測を行う。 スループットの計測方法として、まず送信側は 実海域における実験では、通信が失敗した場 文字列をアルファベット順(a,b,c…,z)に送信し続 合に原因と考えられる要因が多数存在し、原因 け、受信側はその文字列を受信し、文字列を受信 を明確にすることが難しい。そのため、２地点 する度に時間を刻む。そして受信した総文字数を 以上の地点で計測を実施し、各地点の環境をカ 通信時間で割ることでスループットを算出する。 メラに収め、地形の状況からも原因の考察を行 パケットロスの計測方法は、まず送信側は文字 列をアルファベット順に送信し続け、受信側はそ う。 2.1.2 実験環境 の文字列を受信する。受信した文字列から順序 環境変化による水中無線通信の特性を評価す 通りに並んでいない文字の間の文字と復号に失 るために、実験は下に示す４種類の環境において 敗した際に出力される文字’#’の合計文字数を全 行った。 送信文字数で割ることによって算出される。 1)水温 10℃（常温），障害物なし 2)水温 18℃，障害物なし 15bit/sec,frequency-hopping と 5bit/sec,single- 3)水温 10℃，障害物（バケツ）あり(Fig.3) 4)水温 10℃，泡放出あり（熱帯魚用のエアーポン プを利用）(Fig.4) これは 2)は伝播速度に影響を与える水温が上 昇した場合の影響の調査を目的とし、 3)は音波 の伝播を阻害する障害物を設置した場合の影響 の調査を目的としている。また 4)は環境雑音であ り受信データに悪影響を及ぼすとされている泡を 放出した場合の影響を調査することを目的として いる。 1) 3) 4)では 1 回につき１時間計測し、2)では水 Fig.3 温を低下させないために 1 回につき 15 分間計測 した。計測回数については 1)を 6 回計測、2) 3) 4) を各 3 回計測した。 2.1.3 機器設定 データ通信の速度と信頼性はトレードオフの関 係にあり、SAM-1 は実験環境によって手動で送 信データ速度を 7 段階に設定可能である。設定 可能速度は以下の通りである。 ・15bit/sec,frequency-hopping ・38bit/sec,frequency-hopping Fig.4 ・77bit/sec,frequency-hopping ・154bit/sec,frequency-hopping channel の 2 種類設定し、それぞれ実験を行う。 ・5bit/sec,single-channel ・13bit/sec,single-channel ・38bit/sec,single-channel 2.2 進捗 当初の予定では、水槽において環境に変化を single-channel とは特定周波数でのみ信号を送 与えた場合のスループット・RTT・パケットロスの変 信する方式である。frequency-hopping とは極めて 化を計測し、次に実海域でスループット・RTT・パ 短い時間ごとに信号を送信する周波数を変更す ケットロスを計測する予定であった。しかし、予定 る方式であり、特定周波数でノイズが発生した場 が大きく遅れてしまい、水槽においてのスループ 合も他の周波数で通信したデータによって訂正が ットの変化のみしか取得することができなかった。 可能で、ノイズの少ない周波数を選択して送信す 予定の進行が遅れた原因としては、音響モデム ることもできる。耐障害性が高い方式である。 の製作が予定より遅くなったことがあげられる。今 今回の水槽における実験については反響が持続 回、製作の依頼後に部品の不足が分かり、その するような狭い環境であるため、信頼性を重視し、 時点で部品を取り寄せたために、見積もり以上に 最小のオペレーティング可能な速度である 時間がかかってしまった。 また、音響モデムが不調であったことも原因とし てあげられる。納品直後に起動実験をした際、音 移している。これは水温の上昇にともない音波の 伝播速度が上昇したためと考えられる。 響モデム内部のコイルに火花が確認されたため、 また、Fig.7 と Fig.8 は 1.1～1.2 byte/s で推移し 日本の代理店へ修理を依頼した。そのために 2 ており、通信を阻害するために設置した障害が存 月上旬まで実験ができない状態であった。さらに 在する環境の方が、障害のない環境に比べて、ス 2 月下旬の実験中に、音響モデムの片方が送受 ループットが上昇した。この結果は障害物や泡が 信ともに不可能になり、再び代理店へ修理に出し 音波の伝播を阻害するため、スループットは障害 たため、以降実験が行えない状態であった。 がない状態に比べ低下するはずである、という実 パケットロスの計測については、送信した文字 験前の予想とは異なった。原因は、水槽というマ 列がアルファベット順に受信されなかったため、今 ルチパスの影響が大きい環境で実験を行ったた 回は計測ができなかった。通信に問題のない状 め、障害がない環境であっても、通信が劣化して 態において通信した場合にも、文字列としてアル いたことが考えられる。また、通信を阻害するため ファベットを順番通り送信し続けた際、最初の 52 に設置した障害が、反射波を阻害したために、マ 文字送信した後に、常に順番が乱れる現象が起 ルチパスの影響が軽減されたと考えられる。これ きた。これは音響モデムのマイクロコンピューター らは状況による考察であるため、今後詳細な考察 の送信バッファサイズの大きさに上限があるため を続ける必要がある。 であると考えられる。今後の対策としては、ソフトウ 理論値と計測値の比較については、理論値のス ェア側においてバッファの管理を行うことで、この ループットが 1.875byte/s(15bit/s)、計測値の平均 問題を解決することを考えている。 スループットは 1.148byte/s であり、理論値を下回 った。しかし、理論値は check sum のデータ量を ３．成果 考慮していないため、実測値より高めに設定され 3.1 実験結果 ていることを考慮に入れると、概ね良い結果であ 実 験 の 際 に 、 送 信 デ ー タ 速 度 を 15bit/sec, ると思われる。 frequency-hopping と 5bit/sec,single-channel の 2 種類実験を行ったが、5bit/sec,single- channel で 3.2 講演 はデータを受信できなかった。これは 1 つの周波 1 月 11 日にエコガイドカフェ代表の猪澤也寸志 数では反射波で干渉してしまい、受信したデータ 氏を奈良先端科学技術大学院大学に来ていただ が復号できなかったためであると考えられる。よっ き、講演をして頂いた。エコガイドカフェとは、宮古 て 、 送 信 デ ー タ 速 度 は 15bit/sec,frequency- 島において、エコガイドを紹介するインフォメーシ hopping に設定した。 ョンセンターのことで、宮古島観光客に対面での 取得したスループットを Fig.5～Fig.8 に示す。 案内と、ネット上で情報を提供する[2]。また、猪澤 縦軸がスループット(byte/s)、横軸が時間(m)であ 氏は群知能研究所所長としてサンゴ礁の保護活 る。Fig.5 が水温 10℃，障害物なし 、Fig.6 が水温 動を行っている。 18℃，障害物なし、Fig.7 が水温 10℃，障害物あり、 3.2.1 目的 Fig.8 が水温 10℃，泡放出ありの場合のスループ ットを表している。 Fig.5 のスループットは 1.1byte/s の前後を推移 しており、Fig.6 は 1.1byte/s よりやや高い値を推 講演を依頼した目的としては、水中無線通信の 実験を行うにあたり、水中無線通信の実際の要求 や必要性を知るためである。また、猪澤氏は海中 におけるユビキタスネットワークに興味をもたれて Fig.6 Fig.8 Fig.7 Fig.9 おり、海中においてのユビキタスネットワーク利用 に親和的に組み込むことで、自然の再生活動に 法について考えをお聞かせいただくためである。 利用していく、という考えである。活動の中で、ICT 技術をサンゴ礁保護に活用し、自然再生を監視 3.2.2 概要 するという試みをされようとしている。例えば、サン 自然環境において情報技術が利用される場は ゴ礁を衰退させる原因に白化がある。白化とは水 限定的であり、特に広範囲な海域での継続的な 温の上昇など様々な要因によってサンゴからサン モニタリングは困難であった。ユビキタス特区の広 ゴ藻がいなくなり、サンゴが白く見えるようになる現 範囲・広帯域な電波環境を利用することで解決を 象であり、サンゴは白化が続くと死んでしまう。とこ 図り、自然再生を海中に設置する複数のカメラと ろが、しばらくすると元に戻るサンゴも存在する。こ センサで、継続的、複合的にモニタリングを実施 の現象の明確な理由はまだ明らかになっていな しようと計画としている。 い。そこで現象を明らかにするために、年間を通 猪澤氏は「ECOICT」という言葉を提唱している。 しての色彩変化をセンシングする必要がある。そ 「ECOICT」とは、長らく人間の生産活動を中心に して、センシング情報をセンサーネットワークによ 活 用 さ れ て き た って外部へ配信し監視、管理するということが考え ICT(Information and Communication Technology)技術を、生態系の中 られている。 また、keyICT 技術として、生態系への自立分散 術的要求を調査する。 組込技術が重要と考えられている。その一例とし また、CTD といった水質計や温度センサーなど て、センサーアクチュエーターネットワークがある。 の水中計測機器に、実際に音響無線機器を組み センサーアクチュエーターとは、ある event が発生 込み、実用環境下においてセンシングデータの すると、センサーネットワークでアクチュエーター 送受信の実験を行う。実用環境下で実験を行うこ 命令を送信し、action を行う。例えば、サンゴの白 とで、実験室環境とは異なる問題が発生する可能 化の一因は水温の上昇であるため、サンゴの偏 性がある。そうした問題を調査することは実用性を 光度が白化（event）が発生したと判断した場合、 考える上では重要である。 センサーネットワークによってアクチュエーターへ 命令を送信し、流水モーターを駆動させ（action）、 外洋の水温の低い水を引き込む動作を行う、とい ったものである。 ５．自己評価 プロジェクトの進行状況は、当初の計画と比べて 大幅に遅れてしまい、計画していた実験のほとん どが完遂できなかった。機材の不調が主な原因で 3.2.3 まとめ 講演において、水中無線ネットワークの具体的 な利用方法について考えをお聞かせいただいた。 今後、プロジェクトを進める上で方向性の 1 つの 指針となった。 はあるが、故障や修理期間という事態を予測して おらず、リスクマネージメントをしていなかったこと は問題であった。 実験内容としては、事前に予想した結果と異な る実験結果を得ることができ、有意義な実験とな った。完了していない作業に関しては、機器の復 ４．今後の展開 調次第続行する予定である。 今回の実験において実施することができなかっ スプリングセミナーで行われた発表会では多く た水槽における環境に変化を与えた場合の の人に興味を持っていただき、概ね好評を得るこ RTT・パケットロスの変化の計測、そして池と実海 とができた。 域におけるスループット・RTT・パケットロスの計測 を行うことで水中無線通信の特性を取得する。 今後の展開としては、陸上におけるセンサーネ プロジェクト全体を通して、予算の申請・使用方 法や外部業者との交渉を学ぶ機会を持てたこと は、とても良い経験となった。 ットワークと水中におけるセンサーネットワークとの 異なる点を調査し、改善すべき対象を明確にする。 参考文献 具体的には、所属研究室において、Jennic を利 [1] 社会法人日本機械工業連合会，社会法人海 用したセンサーネットワークについて研究が行わ 洋産業研究会：“水中音響通信の高度化による海 れている。Jennic は温度，湿度，光量をセンシン 洋産業の発展と新事業創出等効果に関する調査 グし、ZigBee にてデータを送信する能力を持った 研究報告書”，pp.4-6,2005. センサーであり、環境測定等様々な場面で利用さ [2]エコガイドカフェ，http://webman.jp/ れている[3]。実用化されている Jennic と SAM-1 を [3] 阪田史郎： “ZibBeeセンサーネットワーク 通 比較検討を行うことで、実際に利用するための技 信基盤とアプリケーション”，2005. 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 細胞大図鑑 ~3D Flight Adventure~ ２．プロジェクトリーダー 所属講座 生命機能計測学 学年 M1 学生番号 0751135 氏名 山添 秀樹 e-mail アドレス [email protected] ３．分担者 所属講座 学年 学生番号 氏名 e-mail アドレス 生命機能計測学 M2 0651129 矢野 哲 [email protected] 生命機能計測学 M1 0751093 林 [email protected] 生命機能計測学 M1 0751099 平田 優 [email protected] 生命機能計測学 M1 0751140 横山 裕己 [email protected] 哲洋 ４．チューター 所属講座 職名 生命機能計測学講座 助教 氏名 中尾 恵 ５．必要経費（※ここまで、交付申請の内容をそのまま記入すること。１ページに収めること） 設備備品費 金額(千円) 支出予定月 品名・型名・数量／行先・目的・日数等 700 07/11 開発環境設備（ノートパソコン・USB・ソ フトウェア） 消耗品費 旅費（調査目的も可） 700 合計 1400 07/11 調査（VR 学会）デンマーク ６．プロジェクトの背景と目的 近年、顕微鏡の進歩により、ナノ領域の研究が多くなされている。その一つとして細胞の 構造や機能といった点に関して様々な角度から解明が試みられている。しかし、顕微鏡より 得られる視覚情報は二次元情報であり、構造を容易にイメージすることが困難である。故に、 生物学の研究者からは細胞の構造を三次元で見たいという要望がある。また、刺激に対する 応答を対象にした研究として、個々の部位（細胞骨格）を化学的に処理して部位の抽出を行 い、その硬さ等を調査しているものはあるが、生きた細胞のすべての部位同士の作用を対象 としたものは報告されていない。 以上の背景より本プロジェクトでは、細胞の構造を三次元で可視化し、注目部位のみの表 示や視点の移動、拡大・縮小を可能とする。これによって視覚的に構造の理解が容易となる ように提示することが目的である。また、部位同士の作用を調査する出発点として、細胞の 様々な場所に負荷を与えたデータを得て三次元で提示することで、各部位の挙動を視覚的に 捕らえることを可能とし、各部位の変位量を提示する。本プロジェクトが達成することによ り、生物学の研究者の援助的役割を果たすことで、細胞の解明に貢献することができる。さ らに細胞の解明が進むことで、新薬の開発、医学の発達、および医療機器の設計・開発への 貢献が期待できる。 ７．目的到達までの研究計画 これまで、細胞の三次元構造を提示方法として、図 1 のようなイラストによる表現があげ られる。しかし、この方法では、細胞の内部構造や立体構造の詳細が明確でない。そこで、 実際に顕微鏡で撮像した細胞のデータを用いて三次元可視化することは、細胞の機能解析に 大いに役立つと考えられる。本プロジェクトでは、細胞の内部構造を三次元で詳細に観察で き、さまざまな場所に負荷を与えた場合における細胞の機能を解析することを目的としてい る。この目的を達成するためには、データの取得、細胞の三次元可視化、細胞の部位の分別 などが必要である。以下にこれらの詳細を説明する。 図 1：細胞のイラスト（http://www.tmd.ac.jp/artsci/biol/textbook/celltop.htm） ・データ取得（負荷ありと負荷なし） 細胞を三次元構築するためには、細胞の二次元画像が必要である。そのため、まず初め に、共焦点顕微鏡で細胞の二次元スライス画像を取得する。この際、細胞の二次元スライ ス画像は、512×512 の画像で、z 方向に 0.5μm 間隔で撮像する。例として、図 2 にネズ ミの小腸を共焦点顕微鏡で撮影した二次元画像をあげる。 また、部位同士の相互作用を観察するために、負荷なしの場合と、いくつかの点から細 胞に負荷を与えた場合の複数を用意する。これまで、図 3 のようにマイクロニードルを用 いて負荷を与えた研究例があげられている。しかし、今回は光ピンセットの使用を考えて いる。さらに、このようにして取得した負荷の有無のデータを比較し、画像処理を行うこ とによって変位量を計測する。 図 2：ネズミの小腸 図 3：システムの概要 （MEDICAL IMAGING TECHNOLOGY Vol.23 No.4 September 2005） ・部位の分別 細胞の三次元画像から、細胞を構成している各部位をより見やすくするために、部位の 分別を行う。しかし、輝度値の分布が未知であり、また、それぞれの輝度値がどこの部位 に対応しているかも未知であるため、各部位を抽出するためにどのような画像処理を行う べきかの予測が困難である。現段階では分別方法として、二値化処理や伝達関数によるカ ラー表示などを用いることを検討中である。 分別後の表示方法については、まず部位ごとに色分けを行う。またボタンやスライドバー を設置することで任意の部位のみの情報を簡単で，すばやく提示できる。 ・可視化 取得したデータをレンダリングする。これにより得られる三次元画像を google earth の ように、見たい方向から、任意に拡大・縮小して見えるようにする。方法としては、クリ ッピングによる注目領域の抽出、また、分割した領域を探索することで注目領域の詳細を 提示する方法などを検討している。 ８．決算の要約 金額(千円) 支出予定月 品名・型名・数量／行先・目的・日数等 設備備品費 229.2 12 月 SONY Vaio ノート PC /１台 開発用 消耗品費 16.72 2 月 高性能マウス / デモ時の操作用 51.317 1 月 PowerPoint 等 / 開発環境，プレゼン用 78.225 2 月 ディスプレイ / リアルタイム性等の保持の 為 133.4 1 月 旅費（調査目的も可） 199.263 1 月 479.84 1 月 合計 学会調査宿泊費（調査目的） 学会参加費（調査目的） 学会調査交通費（調査目的） 1.187.965 ９．プロジェクトの状況および自己評価の要約 本プロジェクトでは、二光子レーザー走査蛍光顕微鏡を用いて撮像された画像データを三次元 可視化し視覚提示するとともに、マウス操作によって視点位置や拡大・縮小をユーザーが任意に 行えるソフトウェアを開発した。三次元可視化手法としてはテクスチャベースボリュームレンダ リングを使用しており、可視化結果・リアルタイム性ともに目標を達成できた。また、視覚提示 の検討として伝達関数の設定を変更して可視化した。伝達関数の設定変更に伴い視覚提示する領 域に変化はあったが顕微鏡データでは輝度値を利用して可視化を行うため、それぞれの組織と輝 度値の対応ができないことから伝達関数の設定が難しく満足いく結果が得られなかった。時間の 制約もあり細胞単体の撮像、伝達関数の改良、および刺激に対する部位同士の相互作用に関して は未開発という状況ではあるが、三次元による可視化、ユーザー操作による任意箇所の観察（角 度変更、拡大・縮小）といった点に関する目標は達成できた。 スプリングセミナーでのデモ展示では、三次元可視化の結果やマウス操作の性能において良い 評価をいただいた。特にマウス操作によって任意点を詳細に観察することが可能であるため、ね ずみの組織といったあまり馴染みのない対象にも興味をもっていただいた。 沢山の意見交換や開発を通じて、三次元可視化の有効性や細胞や組織の三次元可視化技術の研 究・開発における今後の課題が明確になった。これらのことから本プロジェクトは非常に有意義 なものであったと言える。 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 細胞大図鑑 ~3D Flight Adventure~ プロジェクトリーダ 山添 秀樹 プロジェクトメンバ 矢野 哲，林 哲洋，平田 優，横山 裕己 1. 概要（背景と狙い） することが目的である。また、部位同士の作用を 近年、共焦点顕微鏡といった顕微鏡の発展が 著しく、ナノオーダー領域の詳細な観察が可能と なってきており、細胞の構造や機能といった点に 関して様々な角度から多くの研究がなされてい る。しかし、顕微鏡より得られる視覚情報は Fig.1.1 に示すように二次元情報であるため、三 次元構造のイメージが困難という問題点がある。 三次元構造の認識・理解の重要性はアクチンフィ ラメントのネットワーク構造が細胞の硬さと関 連があるように組織や細胞の構造とそれらの独 Fig.1.1 共焦点顕微鏡によるねずみの腎臓の 自の機能とには密接な関連があることから分か 撮像結果 る。故に、生物学の研究者からは細胞の構造を三 次元で見たいというニーズがある。このニーズは 調査する出発点として、細胞の様々な場所に負荷 目的に相違はあるが、ＣＴ画像を用いた医療分野 を与えたデータを得て三次元で提示することで、 における研究と類似している。医療分野における 各部位の挙動を視覚的に捕らえることを可能と ＣＴ画像の三次元構築手法や視覚提示手法の研 し、各部位の変位量を提示する。 究は盛んであり、非常に発展している。よって、 本プロジェクトでは細胞データに医療分野にお 2. プロジェクトの進捗 ける手法を適用することで、三次元可視化および 本プロジェクトで行った研究・開発作業は大きく分 視覚提示を行う。また、三次元可視化は構造認識 けて次の３つである。１つ目は顕微鏡による撮像デ だけでなく、細胞の刺激に対する応答特性・力学 ータの取得である。ここでは、より分解能が高く、試 特性の解明に応用することができる。これまでに 料を生きたまま深い位置まで観察するのに適した顕 刺激に対する応答を対象にした研究として、個々 微鏡の選択をし、組織や細胞に蛍光タンパク質を導 の部位（細胞骨格）を化学的に処理して部位の抽 入して撮像した。２つ目は撮像データをボリュームレ 出を行い、その硬さ等を調査しているもの[1]はあ ンダリングすることで三次元可視化するためのプログ るが、生きた細胞のすべての部位同士の作用を対 ラム開発を行った。今回はカメラ位置の変更による 象としたものは報告されていない。この三次元可 拡大・縮小といったリアルタイムな操作と表示性能が 視化技術を用いた研究はこの相互作用の解明に 必要となるため、ボリュームレンダリングするための 貢献できるものと考える。 手法としてテクスチャベースボリュームレンダリングを 以上の背景より本プロジェクトでは、細胞の構 使用した。３つ目は注目部位の表示といった視覚提 造を三次元で可視化し、注目部位のみの表示や視 示の検討である。視覚提示において伝達関数の設 点の移動、拡大・縮小を可能とする。これによっ 定を変更し、伝達関数と可視化結果の関係を検討し て視覚的に構造の理解が容易となるように提示 た。以下ではこれらについて詳しく説明するとともに 結果を示す。 また二個の光子がほぼ同時に一つの蛍光分子に 吸収されるため、二光子励起の励起確率は、蛍光 2.1. 二光子レーザー走査蛍光顕微鏡による撮像 分子に入射する光の強度の二乗に比例する。 本プロジェクトにおいて、細胞データは二光子 Fig.2.1.2 に示すように二光子レーザー走査蛍光 レーザー走査蛍光顕微鏡を用いて取得した。二光 顕微鏡では励起用のレーザービームを対物レン 子レーザー走査蛍光顕微鏡は 1990 年に Denk， ズで円錐状に収束するため、レーザービーム強度 Stricker，Webb 等のグループによって初めて示 が最大になる焦点位置で、二光子励起確率も最大 された共焦点レーザー走査蛍光顕微鏡とは異な になり、これらの相乗効果によって 1μm3 以下 る原理に基づいた新しい蛍光顕微鏡である[2]。従 の小さな焦点領域のみに励起が制限される。その 来の蛍光顕微鏡や共焦点レーザー走査蛍光顕微 ため焦点面以外の非観察領域の蛍光退色を防ぐ 鏡と比較し、試料に与えるダメージが小さく、よ ことができ長時間の観察も可能となる。 り深い位置の観察が可能であるため、生きた細胞 や組織の観察には非常に有効といった特徴を持 つ。 検出器前の ピンホール不要 点検出器 ・PMT ・APD 従来の蛍光顕微鏡や共焦点レーザー走査蛍光 顕微鏡において、細胞内の蛍光分子を観察する場 合、特定の波長のレーザー光などを当て、一つの 光子が一つの蛍光分子に吸収されることにより 蛍光分子が励起され、その励起された蛍光分子は レーザー光 エネルギーの基底状態に戻る過程で蛍光を発す る（Fig.2.1.1）。二光子レーザー走査蛍光顕微鏡 Scanning Unit ピンホール では二つの光子を一つの蛍光分子に非常に短い 時間（約 10-15 秒）の間に吸収させて蛍光分子を 励起させる。二光子レーザー走査蛍光顕微鏡では 二個の光子を使って蛍光分子を励起させるため、 一光子励起よりもエネルギーが低い長波長のレ ーザーを用いることができる。近赤外光は比較的 Fig.2.1.2 二光子レーザー走査蛍光顕微鏡 良く生体を通過するといった特徴をもつため、組 織深部まで光を到達させることができ、深部位置 での観察が可能となる。 本プロジェクトで使用したサンプル試料は、ね ずみの腎臓と小腸で、いずれも invitrogen 社の試 料である。それぞれの試料には赤、青、緑の蛍光 励起順位 緩和 吸収 2ν 蛍光 発光 たんぱく質を導入しており、腎臓においては糸球 ν 緩和 ν には青の蛍光タンパク質を、また小腸においては ゴブレット細胞粘液には青、アクチンフィラメン トに赤、核に緑の蛍光たんぱく質を導入している。 基底順位 一光子励起 体、尿細管に緑、アクチンフィラメントに赤、核 蛍光 発光 二光子励起 Fig.2.1.3(a)にねずみの腎臓、(b)にねずみの小 腸、 および(c)に糸球体の二光子レーザー走査蛍光 Fig.2.1.1 蛍光発光の原理 顕微鏡による撮像結果をそれぞれ示す。なお， 何学的データ構造を用いずに、全てのサンプル点 Fig2.1.3 の撮像結果に見られる色とそれぞれの の寄与を計算して全体を可視化する方式である。直 器官に導入した蛍光たんぱく質の色とは密接に 接法の代表として、Fig.2.2.1 に示すように描画面か は結びつかない。 ら視線方向に沿って輝度を積分するレイキャスティ ング[3]がある。 (a)ねずみの腎臓 (b)ねずみの小腸 Fig.2.2.1 レイキャスティングの概念 通常ボリュームレンダリングという場合には直接法を 指す。一方、間接法とは前処理により、ボリュームの (c)糸球体 表示に制限を設けて部分的に可視化する方式であ Fig.2.1.3 二光子レーザー走査蛍光顕微鏡による る。代表的なものにテクスチャベースボリュームレン 撮像結果 ダリング[4]が挙げられる。今回はこのテクスチャベー スボリュームレンダリングを使用して可視化を行っ 2.2. 三次元可視化 た。 ここでは二光子レーザー走査蛍光顕微鏡で撮影 ボリュームレンダリングを使用すると高画質でデー した試料の画像を三次元で可視化するための技術 タ全体の様子を把握することが容易であるため、工 を 説 明 し そ の 結 果 を 示 す 。 ま ず CT （ Computed 学、娯楽や医学等の分野で幅広く利用されている。 Tomography）データと顕微鏡データの違いについて しかしながら、計算に必要な時間や記憶容量が大き 説明する。CT は X 線を様々な角度から人体にあて、 いことから、速度やハードウェアの問題に関する研 水平方向に輪切りにした断面画像をコンピュータ上 究が数多く成されている。 に展開する装置であり、CT データとは組織の X 線 テクスチャベースボリュームレンダリングは画質の 減弱係数の値を、水を基準として表した CT 値の集 劣化を最小限に抑えながら、高速なボリュームレン 合である。顕微鏡データは蛍光塗料を使用して、試 ダリングを実現する技術として使用される手法である。 料を発光させたときの輝度値の分布である。今回の リアルタイム操作を必要とする場合に用いられること 可視化にはこの輝度値を使用する。 が多い。Fig.2.2.2 のようにボリューム全体を互いに ボリュームレンダリングは三次元のスカラー値を二 平行なプロキシジオメトリと呼ばれる複数のポリゴン 次元ディスプレイ上に表示するための可視化手法で 群を使用して、視線ベクトルに垂直にサンプリングし、 あり、その方法は大きく分けて直接法と間接法の２種 そのポリゴンへテクスチャを貼り付け、視線から遠い 類に分類できる。直接法とは断面や等値面などの幾 順（back-to-front）にスライスを重ね合わせで表現さ れる。その際にテクスチャマッピングされたポリゴンの αブレンディングを使用して色を合成し、ディスプレ イに描画する。この手法では各スライスへのテクスチ ャのマッピング作業を CPU ではなく GPU 上で行う。 そのため、高性能のグラフィックカードを使用するこ とで、計算時間を改善することができる。また、ボリュ ームデータをテクスチャとして保持する必要があるた (a) (b) Fig.2.2.3 糸球体の三次元可視化の結果 め、扱えるデータのサイズはメモリに依存することに なり、制限がかけられるといった利点がある。 2.3. 視覚提示 視覚提示するうえで最も重要となるのが、伝達関 数の設定である。伝達関数とは、Fig.2.3.1 のように、 入力画像の輝度値に対して、RGBA 値に変換するこ とをいう。これにより、濃淡値でしかない入力画像を カラー値に変換することができる。 Fig.2.2.2 テクスチャベースボリュームレンダリング の概念 Fig.2.3.1 輝度値のカラー値への変換 本プロジェクトでは、上述した理論によるテクスチ 次に、胸部 CT データとねずみの腎臓データを比 ャベースボリュームレンダリングを実装した。本プロジ 較して、異なる伝達関数を用いた際の可視化結果 ェクトはマウス操作で、可視化した３次元ボリューム について述べる。Fig.2.3.2 および Fig.2.3.3 から見て データ内を自由に視点変更できるようにするため、リ とれるように、同じ画像データを用いても、伝達関数 アルタイムな描画が必要になる。テクスチャベースボ によって大きく見え方が異なってくることがわかる。 リュームレンダリングはレイキャスティングよりも計算 伝達関数によって見えるものが異なるということは、 量が少ないため、画質は劣るがリアルタイム性に優 伝達関数を設定することで、一部の情報だけを見て れている。そのため、テクスチャベースボリュームレ いることとなる。つまり、見えているものだけではなく、 ンダリングを使用した。糸球体の可視化結果を 他にも多くの情報をもっているということを忘れては Fig.2.2.3(a)、および拡大結果を Fig.2.2.3(b)に示す。 ならない。そして、用途やニーズに応じて伝達関数 Fig.2.2.3 を見ると分かるように、Fig.2.1.3(c)のような を変化させて画像を最も見やすいものに変換する必 2 次元画像では得ることのできなかった奥行き方向 要がある。しかし、顕微鏡による撮像データは輝度 の情報を可視化でき、組織の構造を容易に捉えるこ 値を三次元可視化に使用しているため、輝度値が とが可能となることが分かる。 同じ領域を、区別することができない。これは輝度値 に対応した情報のみを提示しているためである。こ の問題はＣＴデータにおいても生じる問題である。た Fig.2.3.5 には、各物体の輝度値のヒストグラムを示し とえば、骨と血管は CT 値が同じになるため、どちら ている(水色：板、青：球)。そして、赤で示した線が、 か一方を提示することは難しい。今回扱った細胞の 伝達関数であるが、板の部分は不透明度が低く透 データは、さきほど挙げた骨と血管の CT 値のように、 明であるのに対し、球の部分では、不透明度が高く、 輝度値と組織の対応ができないため、さらに伝達関 目に見えるように設定していることがわかる。 数の設定が難しくなる。 このように、ニーズに応じて伝達関数を設定するこ とで様々な可視化結果を得ることができる。Fig.2.3.3 にネズミの腎臓のデータの可視化結果を示したが、 ネズミの腎臓のデータは、人間の胸部 CT データに 対して、輝度値の分布による組織の区別が難しいた め、不透明度の調節によって見えるものを変化させ ることが難しい。不透明度を下げることで、ある情報 は残るが、失っている情報も多くなる。そこで、今何 の情報がほしくて、何の情報がいらないのかを判断 できる要素があればいいのだが、ネズミ腎臓のデー タでは、輝度値の分布の性質がわかっていないため その判断ができない。よって、今回のような、輝度値 の分布によって不透明度を調節するだけでなく、ほ かの指標での調節が必要となると考えられる。 Fig.2.3.2 異なる伝達関数による可視化結果 板 球 （胸部ＣＴデータ） サイズ：256×256×256, 色深度：16bit Fig.2.3.4 不透明度の調節 不透明度 1 Fig.2.3.3 異なる伝達関数による可視化結果 球 板 伝達関数 （ねずみの腎臓データ） ここで重要となるのが、不透明度の調節である。 0 Fig.2.3.4 のように、目の前に、板と球があるとする。 このとき、球だけを見たいとすると、板の不透明度を Fig.2.3.5 輝度値のヒストグラムと不透明度の調節 下げて見えないように調節する。この場合、Fig.2.3.5 のような伝達関数を設定することになる。まず、 輝度値 ３．成果 （１）顕微鏡撮像データをテクスチャベースボリューム によるユーザーインタラクションの開発に時間がかか レンダリングすることで三次元可視化を行った。こ ったため達成されなかった。今後、視覚提示に扱う れによってこれまでの二次元画像では困難であっ 手法が確立してから行うべきである。 た奥行き方向に対する構造の認識が容易となっ た。これは生物分野の研究等に貢献でき、さらな る発展につながるものと期待される。 ５．自己評価 本プロジェクトの主要目的であった、細胞や組織と （２）マウス操作によるカメラ位置の変更や角度調整 いった生物分野の対象物体を三次元可視化するこ を可能とすることで、任意点の詳細な観察を可能 とができ、概ねニーズに応えられる程度の可視化結 とした。これによって複雑に入り組んだ形状の構 果を得ることができた。プロジェクトの過程は予想以 造であっても明確に構造を把握することが可能と 上に問題が発生したが、この問題点を明確にするこ なった。 とが出来た点においても十分な価値があったと思う。 （３）伝達関数の設定の変更と提示結果の関連を検 また、デモや展示を通してたくさんの意見・感想をい 討した。伝達関数の変化に応じて提示結果は大 ただくことができ、ユーザーインタラクションの点で良 きく変わるが、注目部位だけの提示等については い評価を得ることができた。 不十分であり、今後の課題となる。 以上のことより、本プロジェクトを進めることで様々 なことを学ぶと同時に体感することができ、非常に有 ４．今後の展開 意義なものであった。 今後は、撮像するサンプル試料の種類を増やして いき、ネットワークを介して誰でも利用できる図鑑とし 参考文献 て、研究者や一般の方々に提供できるようにする。 [1]出口真次，大橋俊朗，砂糖正明, “細胞骨格と また、現在の顕微鏡における分解能を超える顕微鏡 核の力学特性の計測” 日本機械学会, Vol.2004, の開発や撮像データにデコンボリューションといった No.16, pp27-28, 2004. 画像処理を行うことでさらに詳細まで明確に観察が [2] Denk W., Strickler J.H., Webb W.W., 可能となるため、これらの開発を行う必要がある。本 248, pp73-76 , 1990. プロジェクトの結果として伝達関数の検討を行った [3] M. Levoy, “Efficient Ray-tracing of Volume が、よりニーズに応え得る伝達関数の設定が必要で Data,” ACM Transactions on Graphics, Vol. 9, No. ある。または、別のアプローチとしてある波長のレー 3, pp256-261, 1990. ザーで個々の部位のみが発光するため、これらの撮 [4] B. Cabral, N. Cam and J. Foran, “Accelerated 像データに予め色づけして三次元再構築し、最終 Volume Rendering and Tomographic Reconstruction 的にすべての部位を合成する方法が挙げられるが、 using Texture Mapping Hardware,” Proc. Volume これはメモリの容量に問題が生じる。しかし、確実に Visualization Symposium, pp 91-98, 1994. 部位別の色分けができ、視覚提示の面で有効であ [5] Foo JL et al. “A Framework for Interactive ると思われる。さらに部位別に分別することがある程 Examination of Automatic Segmented Tumors in a 度のレベルで可能となれば、ファジー理論に基づい Virtual Environment”, Proc. Medicine Meets Virtual たセグメンテーション[5]を適用することで、注目部位 Reality 16, pp120-122, 2008. の抽出等が可能になると考えられる。 なお、負荷を与えた場合の撮像と変位量の提示に ついては実験装置のチューニングの問題やマウス Science, 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案要旨 １．プロジェクト名 大道芸ロボット「染之介・染太郎」プロジェクト ２．プロジェクトリーダー 所属講座 応用システム科学 学年 学生番号 氏名 e-mail アドレス M1 0751117 水野貴志 [email protected] 学年 M1 M1 M1 M2 D2 学生番号 0751136 0751083 0751081 0651093 0661018 氏名 山田晃平 長井健祐 土居優太 野口慎 中村幸紀 e-mail アドレス [email protected] [email protected] [email protected] [email protected] [email protected] ３．分担者 所属講座 応用システム科学 応用システム科学 応用システム科学 応用システム科学 応用システム科学 ４．チューター 所属講座 応用システム科学講座 職名 准教授 氏名 平田健太郎 ５．必要経費 金額(千円) 支出予定月 消耗品費 330 190 190 140 11 11 11 11 旅費（調査目的も可） 160 60 25 24 11 11 11 11 設備備品費 24 11 270 12 87 3 合計 1500 品名・型名・数量／行先・目的・日数等 ディジタルコントローラ（USBA04）1 個 制御用 PC(Endeavor NA102) 1 台 計測用 PC(Endeavor NA102)1 台 回転型倒立振子用備品（モータ、エンコーダ、 電源、ドライバ、外装のためのその他部品） 計測用 USB カメラ(ARTCAM-098) 2 個 NI USB-DAQ 1 個 資料費（書籍等） 第 57 回システム制御情報講習会（大阪） 旅費、参加費 3 人 SICE セミナー（大阪）旅費、参加費 2 人 SICE SI 部門（広島）旅費、参加費 5 人 第 13 回ロボティクスシンポジア（香川） 旅費、参加費 2 人 ６．プロジェクトの背景と目的 自動制御は今日の社会を支える重要な基盤技術であるが，その適用先が巨大プラントや航 空宇宙分野等であったり，あるいは目に見えない形で組み込み実装されていたりするため， 例えばＩＴ技術のように一般の人々の耳目に触れることは比較的少ない. このため，先端的 な制御技術を一般向けに分かりやすくＰＲすることは，学問分野の認知度を高め，世間の関 心を集めるために非常に重要である. そこで人をあっと言わせるような大道芸を実演してみ せる可搬型のロボット（下図参照）を製作し，オープンキャンパスなどの機会において積極 的に利用することで，研究分野ならびに研究室の対外ＰＲの強力な武器としたい. またこれ らを通じて若年層の理科系離れを防止することは，ひいては少子化時代における大学の生き 残り戦略にもつながるものと考えられ, 極めて有用である. また，学問的な観点から大道芸を見た場合，特筆すべきは人間の視覚情報による計測能力 である. 高精度センサーと高応答なメカトロ系を組み合わせれば，今日かなりの高精度な制 御が実現できると思われるが，それを画像情報すなわちビジュアルフィードバックによって 実現するためには解決すべき技術課題も多く残されている. 本プロジェクトは我々の研究 室で従来より取り組んでいるメカトロ系のビジュアルフィードバック制御ならびに周期運動 制御の研究の延長線上にもあり，seeds と needs がマッチした格好のテーマである ７．目的到達までの研究計画 1. 「染之介」プラットフォームの設計/製作 2. 画像計測システムの設計/製作 （特徴抽出による土瓶角度の計測） 3．モデリングおよび制御系設計 4．実機実験 5．「染太郎」プラットフォームの設計と制御方式の検討 本年度はプログラムの採択時期の関係で実施期間が限られているものの，「染之介」につい ては我々の研究室の従来研究（図 2, 3）を生かした設計が可能であるため, 制御系の構築ま でを視野に入れて取り組む. 「染太郎」については周期運動制御の観点からは従来研究（図 4）との関連が予想され，半径方向の運動はボール＆ビームに相当するものと思われるが， 実際のダイナミクスに関しては未知な部分が大きいので，まずは机上の検討から始めて将来 研究に繋げたい. 図 2 ビジュアルフィードバック実験装置 図 4 電動アシスト自転車 図 3 回転型倒立伸子 ８．決算の要約 金額 設備備品費 消耗品費 支出月 品名・型名・数量／行先・目的・日数等 346,500 11 ディジタルコントローラ（USBA04）1 個 349,650 11 制御・計測用 PC（Endeavor NJ3000）2 台 3,738 11 土瓶等 62,843 12 30 万画素カラーCCD カメラ一式 11,833 12 ロボット用部品（アーム部一式） 19,845 1 USB-DAQ 1 台 195,090 2 実験用機材（オシロスコープ・安定化電源） 各1台 67,568 2 188,793 2 6,835 2 旅費（調査目的も可） ロボット用部品一式 その他消耗品 25,680 11 第 57 回システム制御情報講習会（大阪）旅 費、参加費 3 人 24,880 11 SICE セミナー（大阪）旅費、参加費 2 人 196,745 12 合計 30 万画素カラーCCD カメラ一式（予備） SICE SI 部門（広島）旅費、参加費 4 人 1,500,000 ９．プロジェクトの状況および自己評価の要約 1.2.3.の研究に関しては染之介ロボットを成功させるための準備項目であり，それぞれが十分に達 成できたといえる．4 の実機実験では，制御系設計のためのモデル作成に必要な物理パラメータを実 験によって求めていないことから，１で製作した実機ではなく回転型倒立振子のモータ部と今回製作 したカメラ台付きアームを利用して実験を行った．対象としていた土瓶では実験を行う環境が整って いなかったため，発泡スチロール製のブロックに変更したが，丸棒の上の不安定な物体をカメラ計測 によって安定化するという目標は達成した．不安定平衡点を初期値として始めれば再現性も得られた ため，オープンキャンパスなど体外的な PR に利用できると考えられる． スプリングセミナーでは実機を使用してデモを行った．カメラ画像を手で遮ったときに対象を制御 できなくなるデモや制御コントローラの安定性の余裕を利用したブロックを積み上げていくデモに よって制御の仕組みやおもしろさを理解してもらえたと感じた．また，実際に動くロボットを期間内 に一から作ったという部分をアピールした．これによって，ものづくりに興味のある機械電気系の学 生が講座に興味を示してくれることもあった． 今後の課題として，スプリングセミナーの中で土瓶を期待する声が多かったのでぜひそれを実現し たいと考えている．土瓶乗せ実現のためにはさらなる機構設計，画像処理，制御方式の改良が必要で ある．また，５の染太郎ロボットに関しては時間の関係上検討することができなかった． 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」結果報告 プロジェクト名 大道芸ロボット「染之助・染太郎」プロジェクト プロジェクトリーダー 水野貴志 メンバ 土居，長井，山田，野口，中村 チューター 平田 １．概要（背景と狙い） 1． 「染之介」プラットフォームの設計/製作 １．１ 背景と目的 2． 画像計測システムの設計/製作 自動制御は，例えば化学プラント内の温度調整， 3． モデリングおよび制御系設計 車のサスペンションなど生活の様々な場面で活用さ 4． 実機実験 れる基礎技術である．しかしながら，制御技術は，目 5. 「染太郎」プラットフォームの設計と制御方式の検 に見えない形で組み込み実装されていることが多く， 討 一般の人々が触れる機会は比較的少ない. このた め，世間に対して，先端的な自動制御を認知させ， 以上の研究計画に基づき活動を行い，実機実験ま 関心を高めるためにも制御技術を用いた``人目を引 で行うことができた．詳細については第 3 節以降に く”PRが必要になる．そこで，本プロジェクトでは，PR 記す．また，ロボット開発，制御理論の研究調査とし の活動の一環として自動で大道芸を行うロボット(通 て学会・セミナーに積極的に参加した．詳細は第 4 称，染之介／染太郎ロボット)を製作し，オープンキ 節を参照． ャンパスなどの場で実演を行う． ３．成果 １．２ 本プロジェクトの狙い オープンキャンパスなどでの大道芸ロボットによる 第２節で記した研究計画に基づき，成果を報告す る． 実演は，研究分野および研究室の広報活動の役割 ３．１ 「染之介」プラットフォームの設計/製作 を担う．また，大道芸は制御技術を知らない子供達 基本コンセプト の関心も引くことが期待でき，若年層の理科系離れ 芸種「土瓶」を行うのに必要機能を考え，図１で示 を防止すること，ひいては少子化時代における大学 される回転型倒立振子に注目した．回転型倒立振 の生き残り戦略にもつながるものと考えられ, 極めて 子とは，図１に示されるアーム１をモータにより回転さ 有用である. また，学問的な観点から大道芸を見た せることでエンコーダに取り付けられたアーム２を垂 場合，特筆すべきは人間の視覚情報による計測能 直に立たせた状態にするための装置である． 力である. 高精度センサと高応答なメカトロ系を組み 合わせれば，かなりの高精度な制御が実現できると 思われるが，それを画像情報すなわちビジュアルフ ィードバックによって実現するためには解決すべき 技術課題も多く残されており，格好の研究テーマで ある． ２．プロジェクトの進捗 進捗の報告に当たって，まず本プロジェクトの研 究計画を紹介する． 図１ 回転型倒立振子 製作する大道芸ロボットでは，アーム２の変わりに土 瓶に置き換えること，さらに載せるモノを土瓶と限定 られる．そこで，アーム１a について荷重を加えた場 せず，ヤカン・ボール等様々なモノに対応できるよう 合のたわみの解析を行った． なロボットハードウェアの開発を目指した．またロボッ また，アーム１ｂに関しても軽量かつ丈夫な部材を用 トということで，安全装置を設けることについても検討 いるため解析を行い，断面２次モーメントが大きくな を行った。 る形状を選定した． 安全装置 モータの選定と構造の決定 製作するロボットの構造や機能の性質上，人に対し アーム１形状の決定から，図４のようにアームを簡単 て害を与える可能性がある．そこで暴走等の予期せ 化し慣性モーメントを算出した． ぬ事態が生じた場合に迅速に電源を切るなど，被害 を最小限におさえることの出来る仕組みについて以 下の件の検討を行った． ・可動範囲を超えた場合 ・人に危害が及びそうな場合、及び及んだ場合 ・物が落ちた場合 ・暴走した場合 図４ 慣性モーメント計算用モデル 検討を行った結果により，比較的製作が簡単である と考えられる，２つの押しボタンスイッチとセンサによ さらに，回転軸より 280[mm]の位置に 500[g]相当の る予防策を考えた． 土瓶を置くと想定し必要な推定角加速度より，モー タの最大トルクは 1200[mNm]以上必要であると考え アーム１の設計 られ，それを満たす比較的小型のモータを選定し 実験装置に拡張性を持たせるために，アーム１a を交換することでその機能を持たせることを考えた． た． また構造に関しては既存の装置を参考に決定した． そこで決定したアーム１の基本コンセプトを以下の図 ２に示す． 回路 スイッチやセンサを考慮して，電磁リレーを用いた回 路を設計・作成した． 以上より作成したロボットが以下の図６となる． 図２ アーム 1 アーム１a の上には土瓶などを載せるためその重さ に応じ，たわみが生じる．このときのたわみ量が著し く大きい場合，物体の傾きによる計測誤差や物体が 周方向に滑り落ちるといった問題が発生すると考え 図６ 大道芸ロボット 遅れに対する効果的な制御や対象物の違いによ るモデルの変化に対応した制御を適用したいと ３．２ 計測：水野 考えている． アームの上に USB カメラからを取り付け, 動画処理 することにより, アームの上に載せる物体に取り付け る 2 つの高輝度 LED の座標を計測し, 物体の傾き 角度を計測する. 座標を計測するために, 閾値を越 える輝度値を持つ画像中の pixel をカウントし, それ らの重心を求めた. 動画処理には Directshow を用 いた. 図 7 制御用計算機および ﾃﾞｨｼﾞﾀﾙｺﾝﾄﾛｰﾗｰ USBA04 ３．３ 制御について モデリング ３．４ 実機実験 制御対象のダイナミクスを表すモデルを利用し 本プロジェクトの当初の倒立物体の対象としてい た制御系設計を行うため，まずモデリングが必要 た土瓶での実験環境が整っていなかったため，対象 となる．アームの長さや慣性モーメント，乗せる を変更し，画像計測のための LED を取り付けた発泡 対象物の物理パラメータから運動方程式を導出 スチロール製のブロックでの実験を行った．結果，丸 し，モータ入力からアーム角度・角速度，対象物 棒の上の不安定な物体をカメラ計測により安定化さ 角度・角速度の関係を表す状態空間モデルを求め せるという目標を達成することができた． た．また、アームの粘性摩擦やモータのトルク比 例定数などの未知の物理パラメータは，周波数応 ４．セミナー・学会報告 答法などの同定実験によって求めた． ４．１ システム制御情報学会 第５７回システム制御 情報講習会 人と共存するロボット –ロボット技術の 制御系設計 最前線 同定したモデル x Ax Bu …（１） を用い，評価関数 J ( x T Qx u T Ru )dt …（２） 0 を最小化する最適制御によって制御設計を行っ た． これはモータ入力によってアーム角度・角速度， 写真１ 入り口案内 対象物角度・角速度をすべて不安定平衡点に安定 化するフィードバック制御となっている．実機実 （１） 日時： 平成 19 年 11 月 13 日－14 日 験においてはアーム角度・角速度，対象物角度・ （２） 会場：立命館大学大阪オフィス（大阪市中央区 角速度に対する重みの調節によって応答が異な 銃他浜 3 丁目 1-18 島ビル 6F） るため，実験を繰り返すことによってその重みを （３） 主催：システム制御情報学会 決定している．今後の課題として，カメラの時間 （４） 参加者：土居、長井、水野 （５） 内容： ・ 先端ロボティクスと中庸の考え方-中庸とは徳 （6） 所感： 本セミナーには，制御理論の研究調査の目的で のなせる業なり 参加した．初日は，ハイブリッド予測制御の概要や ロボットベンチャーZMP の歩み～自動車産業 MATLAB Toolbox ``Multi-Parametric Toolbox”の使 に繋がるロボット～ 用法などに関する講演であった．また，2 日目の講 ・ 人とロボットの協働による匠の技の伝承 演 テ ー マ は ， 線 形 行 列 不 等 式 (Linear Matrix ・ 人を抱き上げるロボット RI-MAN の設計と制御 Inequality, LMI)による H∞制御器の設計法，2 乗和 技術 多項式（Sum of Squares, SOS）によるロバスト半正定 ・ 空気圧人口筋を用いた動的ロコモーション 値計画問題の解法，モデル予測制御の自動車制御 ・ 非線形振動子で駆動する２脚ロボットの力学と への応用などであった． ・ 制御 特に LMI による H∞制御系設計では，感度関数お （6） 所感： よび相補感度関数の H∞ノルムを低減化するコント 近年，ロボット研究は人との共存に対して注目さ ローラ設計問題である混合感度問題については， れている．「人にやさしい」をキーワードに構造物とし MATLAB の使用法も含め順を追って分かりやすく講 てやわらかい・丸いということや，動きに対しては自 演されていた． 然な動きが求められている．たとえば歩行に関して 混合感度問題によるアプローチは，例えば外乱 は ZMP に基づいた固い歩行と、受動歩行のようなや 抑制とロバスト安定化など複数仕様を満たすコントロ わらかい歩行が例に挙げられた． ーラ設計の際に利用される広く知られた設計手法で また，ロボットには誤動作という問題がある．緊急停 ある．一方，本プロジェクトで取り組んでいる染之助・ 止方法の実例として，ロボット本体に取り付けられた 染太郎ロボットの制御（回転型倒立振子の安定化制 ハードウェアスイッチ，ソフトウェアスイッチや遠隔地 御）には，現時点で Linear Quadratic (LQ)制御手法 から停止させるようなスイッチを用いているという紹介 が実装されている．このため，本セミナーで紹介され があった． た H∞制御を用いることで，ロボットのモデル化誤差 他にも様々な講演がありましたが，今回のプロジェ を考慮し，かつ風外乱などに対して物を落とさないよ クトに有用である知識について述べました．特に，非 うなロバスト性を保証するコントローラを設計すること 常用操作のためのスイッチについては製作するロボ が期待できる． (文責： 中村) ットの検討の参考になると考えられる． （文責： 長井） ４．２ SICE セミナー 実践的な制御系設計 -（ポスト）ロバスト制御の最前線（1） 日時： 平成 19 年 11 月 20 日－21 日 （2） 会場： 大阪大学吹田キャンパス銀杏会館 （3） 主催： 計測自動制御学会 （4） 参加者： 山田，中村 写真１ セミナー会場の様子 （5） 内容： ・ハイブリッド/モデル予測制御，協調制御 ４．３ セミナー・学会名：第 8 回 計測自動制御学会 ・最適化手法を用いたロバスト制御系の設計 システムインテグレーション部門講演会 (SI2007). が効果的であるのならば, ビジョンを中心とした構成 にてシステムを実現し, また, 絶対的な現在位置に 関するセンシングアプローチが効果的であるのなら ば, GPS やオドメトリ等を中心とした構成にてシステム を実現することを考えることになる. したがって, タス クを決めてこれを実現するために機能をカスタマイズ することが, 高性能なロボットを開発するための必要 写真 1 会場入り口 （１） 日時： 平成 19 年 12 月 20 日－22 日. （ 2 ） 会 場 ： 〒 730-0016 広 島 市 中 区 幟 町 1-5 広島国際大学 国際教育センター . （3） 主催：計測自動制御学会(SICE). 条件であることがわかった. ロボット研究に関する発表の一方, 企業の展示ブ ースが別に設けられており, ここでも様々な展示が なされていた. その中でも特に注目すべきは以下に 示す, 回転型倒立振子である. （4） 参加者： 中村, 野口, 土居, 山田. （5） 内容： ・ ロボットシステムの開発と制御. （6） 所感： 我々は, 本プロジェクトでロボットを開発する. 実 践的に動作するロボットを開発するためには, 総合 的な技術が必要になる. 具体的には, 機械系の設 計技術, 機械加工の技術, 回路設計技術, 制御系 の設計技術, 制御系を実装するための組込み技術, 組込み技術をサポートするためのソフトウェア技術な 写真２ 展示されていた回転型倒立振子 どの複合的な技術が必要になる. このことから, 実 これは, 本当に驚くほど最小限のハードウェア構成 際のロボット開発の現状を把握し, 実際にどのような によって実現されており, 実際にアーム２の倒立を 点に注目してロボット開発を行うべきかを学ぶ必要 可能にしている. 基本的には, アルミ系の金属材料 があると考え, 今回 SI2007 に参加した. で形成され, 全体をある高さに位置決めし固定する さて, SI2007 では, 様々なセッションにて並行して ベースと, ベースからのベルト駆動により垂直軸回り ロボットの研究開発に関する現状が報告されていた. に回転するアーム１と, それに取り付けられ水平軸 2 足歩行ロボットから, 多脚歩行ロボット, へび型ロ 回りを自由に回転するアーム２と, 制御システムから ボット, 車輪移動型ロボット, ロボットハンド, 劣駆動 構成されていた. 特に, アーム２をできるだけ低質 系, ロボット制御ソフトウェア, レスキューロボット, ビ 量化することで, アーム１およびその回転軸まわりの ジョンシステムなど様々な方向で積極的にロボット研 負担を減らすように設計されていた. このハードは 究がなされていた. 我々が開発を目指すロボットの形態の模範となること これらのロボット研究の現状から, ロボットの開発 は間違いなく, ロボット開発の技術的な側面におい には, 目的とするタスクを実現するために最もシンプ て, 非常に参考になる事例に出会うことができた. こ ルかつ効果的な構造を採用することが重要であると のことからも SI2007 の参加は有意義であったと考え わかった. 例えば, 何かタスクが決定された場合, る. それを実現するのに視覚的なセンシングアプローチ (文責： 野口) の芸を実演できる multitask ロボットの開発へ向かう ５．今後の展開 予定である. 本プロジェクトにおいて染之介師匠の大道芸を模擬 ６．自己評価 するロボットを開発することができた.回転型倒立振 1 から 3 の研究計画は染之助ロボットを成功さ 子系をベースとしたロボットのアーム１先端に物体を せる条件としてそれぞれ十分に達成できたとい 載せて倒立させるという当初の目的を達成できたこ える．さらに今後乗せる対象物の変化に対応する とは非常に大きい. このことから, 染之介ロボットの ようなロボットにするためには，画像処理や制御 開発は大成功と言って良い. この染之助ロボットの の改良で対応できると考える． 開発により, 大道芸ロボットを開発するための基礎 １のロボットの設計では回転型倒立振子を利 的な技術は, ほぼ確立されたと言っても過言ではな 用した実験を可能とするために，振子からモータ い. さらに, 染之助ロボット開発によって, ロボット設 への接続するアーム部に代わるカメラ台付きア 計のノウハウ, およびビジュアルフィードバックを中 ームを設計・製作した．また回転型倒立振子を参 心としたロボット制御のための基盤技術が間違いな 考にし，様々な場面で実演することを考え可搬性， く蓄積されたものと確信している. 安全性の高い本体部の設計・製作を行った．２の さて, 本プロジェクトでは将来的に, この技術を応 画像計測では物体に取り付けた 2 つの LED から 用した染太郎ロボットの開発を目指している. 染太 角度を計測する処理を達成した．今後はその発展 郎ロボットは回転する傘の上で物体を回転させ, 一 として，土瓶の形などを認識した上での角度の算 定位置に留めるというタスクをこなすことが期待され 出を行いたい．また，３の制御方式においてはま る. これの実現には, もちろんのこと, 染之助ロボッ ず初めに回転型倒立振子に対してモデルの導出， ト開発で蓄積された, ビジュアルフィードバックを中 最適制御則に基づいたフィードバック制御系の 心とする制御技術が必要とされる. さらに, 染之助ロ 設計を行い，振子を安定化させることに成功した． ボットと比して, より多自由度駆動系に基づく傘上物 次にそのモデル導出，制御系設計の手法を利用し， 体の位置拘束制御が必要になる. 染之助ロボットで ビジュアルフィードバックに対して制御システ は実現するタスクの都合上, 倒立物体の運動の自 ムを作成した．今後は乗せる対象物の大きさや重 由動は１としてよかったが, 傘回しにおいては傘上 さに広く対応したロバスト制御系の設計が課題 の位置要拘束対象物における運動の自由度は多く, である． その動きを予測することはたやすいことではない. 傘上における位置要拘束対象物の回転運動および 謝辞 その対象物そのものの傘上の絶対位置に関する制 このような貴重な機会を与えてくださった CICP 推 御が必要になる. これは, ロータリエンコーダ等のセ 進委員会の皆様に深く感謝致します. また, 本プロ ンサによる位置認識よりも, ビジュアルフィードバック ジェクトを進める上で, 私達を支え, 常に有益な助 による視覚的な位置認識によって効果的に解決され 言をして下さった平田准教授に深く感謝致します.当 るものと考える. また, ビジュアルフィードバックだけ 講座の大堀彰大さん, 辰巳雅紀さん, 川村雄さんに での問題解決は大変難しく, これと周期運動制御理 は実機製作, コントローラ設計などで多大な助言を 論との協調的な解決法によってタスク実現を目指す 頂きました. 深く感謝致します. 最後に, プロジェク 必要があるものと考える. 今後の大きな展開としては, トに取り組む私達をいつも暖かく見守ってくださった, まず染太郎ロボットを実現し, さらに, 師匠らの全て 応用システム科学講座の皆様に深く感謝致します. 【付録１ 公募内容および応募様式】 情報科学研究科学生各位 2007 年 9 月 25 日 情報科学研究科長 創造力と国際競争力を育む情報科学教育コア「プロジェクト型研究提案」の公募について 掲記につき、以下の通り研究提案を募集します。皆さん自身が心の中で大切に暖めているア イディアをこの機会に是非実現させて下さい。 公募の趣旨 文部科学省「大学院教育改革支援プログラム」に採択された、本研究科の教育プログラム「創 造力と国際競争力を育む情報科学教育コア」の一環として行う教育事業です。第１の目的は、 学生の研究プロジェクト企画・推進力やコミュニケーション力を育むことであり、研究成果を 出すこと自体ではありません。大胆なテーマに挑戦し、様々な失敗を将来の糧とできる、また とないチャンスです。 応募資格と公募内容 プロジェクトリーダーが情報科学研究科博士前期・後期課程の学生であること 独創性や将来性のある提案を２０件程度選抜し、１件あたり 150 万円を上限として経費を支給します。 ３月初旬のスプリングセミナーにてポスターセッション、また、３月中旬に報告書提出があります。 なお、ポスターセッションでは来場者（教員含む）による人気投票が行われます。 応募方法 http://arch.naist.jp/proj-is/gp2007/project.doc の様式に記入し、PDF に変換後、e-mail 添付。 From は「@is.naist.jp」に限ります。例）[email protected] Subject は「gp2007-学生番号」 。例）gp2007-123456（ハイフン含め全て半角） プロジェクトリーダーが [email protected] 宛に送ること。 スケジュール 9/25 (火) 公募開始（WEB 掲示および学生メーリングリスト送信） 10/3 (水) 13:30-14:00 L1 にて応募説明会 10/11 (木) 17:00 応募締め切り 10/19 (金) 結果通知および研究開始 3/初 3/14 スプリングセミナーにてポスターセッション (金) 報告書提出締め切り 採択された場合の義務 予算の適正な執行と、購入物品の適正な管理に努めること。上記スケジュールに従うこと。 Q＆A １）分担者に他大学の学生や休学中の学生を加えることができるか ⇒他大学の学生はＯＫ。休学中の学生は不可。 ２）レンタル料金（電波暗室）や心理実験の被験者謝金などは計上できるか ⇒ＯＫ。 （必要経費のどこでもよいので、その旨記載のこと） ３）多年度継続申請 ⇒形式上は単年度だがエンカレッジする。 ４）特待生プロジェクトとの重複申請 ⇒重複理由による。 （特待生活動では制約があって支援を受けられない内容である等） ⇒特待生との大きな差は DC もありということ。重複申請は可だが内容が同じだと不利。 ５）申請予算を減額されるか。その場合辞退できるか ⇒一般的には減額される。辞退する場合は速やかに。 ⇒減額はあり得る。それで無理なら辞退を。途中でやめるのは不可。 ６）スプリングセミナーでの行事自体をプロジェクトにできるか ⇒できる。推奨する。 ７）人気投票の賞品は何か ⇒お楽しみに（決まっていない） ８）アカデミックなものがよいのか ⇒そうであってもなくてもよい。 ９）論文研究と相違があるほうがよいのか ⇒自主性を重んじるという観点からは相違があるほうがよい。 ９）他大学の学生に旅費を出せるか ⇒不可 １０）4 月以降の旅費は出せるか ⇒不可（３月は可） 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」研究提案書 １．プロジェクト名 ２．プロジェクトリーダー（※同一学生が複数プロジェクトのリーダーにはなれません） 所属講座 学年 学生番号 氏名 e-mail アドレス 氏名 e-mail アドレス ３．分担者（※他大学の学生も可．分担者無しも可） 所属講座 学年 学生番号 ※行数は適宜増減してよい ４．チューター（※必須．本研究科専任教員） 所属講座 職名 氏名 ５．必要経費（※応募時点での見積書添付は不要） 金額(千円) 支出予定月 品名・型名・数量／行先・目的・日数等 設備備品費 ※支出は 12 月末まで、以降 は支出不可の場合がある ※全体の 70%を超える場合、 本表空欄に理由を明記 消耗品費 ※通常の研究費でも購入可 能な物品に限る 旅費（調査目的も可） ※国内・海外いずれも可 ※交通費+宿泊費(実費)のみ ※日当・人件費・謝金は不可 合計(上限 1,500 千円) ※行数は適宜増減してよい ６．プロジェクトの背景と目的 【１１ポイントを使用】 ※本プロジェクトの発案に至った、世の中の動向や、目指す将来像について具体的に記述すること ７．目的到達までの研究計画 【１１ポイントを使用】 ※ 記入欄が不足する場合、１ページまで追加できます。 ※ カラーの図表も OK ※ 目的に到達するために何が必要であり、また、どのような困難が予想されるかについて具体的に記述するこ と。また、結果的に困難を克服できなかった場合の回避手段や代替案についても記述すること。 ８．学位論文との関連・相違点（※複数メンバによる実施の場合はメンバごとに記述） 【１１ポイントを使用】 ※学位論文と重複してはならないという意味ではありません ９．研究業績（※複数メンバによる実施の場合はメンバごとに記述） 【１１ポイントを使用】 ※ 公表されていなくても、一般に入手可能でなくても、自分の成果と呼べるものは何でも構いません。 例）論文、予稿、書籍、試作品、展示物、雑誌記事、新聞記事、映像資料など １０．チューターの推薦文 【１１ポイントを使用】 【付録２ 交付申請書様式】 2007 年度大学院教育改革支援プログラム「プロジェクト型研究提案」交付申請書 １．プロジェクト名 (申請書の内容をそのまま記入. 変更不可) ２．プロジェクトリーダー (変更不可) 所属講座 学年 学生番号 氏名 e-mail アドレス 学年 学生番号 氏名 e-mail アドレス ３．分担者 (変更可) 所属講座 ※行数は適宜増減してよい ４．チューター（※必須．本研究科専任教員）(事情により変更可) 所属講座 職名 氏名 ５．必要経費（※応募時点での見積書添付は不要） 金額(千円) 支出予定月 品名・型名・数量／行先・目的・日数等 設備備品費 ※伝票は 12 月末まで、以降 は支出不可の場合がある ※全体の 70%を超える場合、 本表空欄に理由を明記 消耗品費 ※伝票は 2 月末まで ※通常の研究費でも購入可 能な物品に限る 旅費（調査目的も可） ※伝票は 2 月末まで ※交通費+宿泊費(実費)のみ ※日当・人件費・謝金は不可 ※国内・海外いずれも可 合計 (交付額は 10/24 通知) ※行数は適宜増減してよい 【付録３．ポスターセッション案内パネル】 【付録４．ポスターセッション投票パネルと投票結果】
© Copyright 2026 Paperzz
