実験2（ソフトウェア）資料

実験２（ソフトウェア）資料目次 1.
2.
概要 1.1.
1.2.
1.3.
1.4.
この実験の目標 (中澤）注意（中澤）サンプルコードのダウンロード（馬場）マリオAIのダウンロードとインストール（画面キャプチャを入れる→加藤） ■ 端末室マシンでJDKのインストール必要か？linux, windows両方）→
（加藤）報告書の書き方について（中澤） 1.5.
バージョン管理システムGITの使用方法とマリオAIの設定 2.1.
バージョン管理システムとは 2.2.
GITとは 2.3.
GITレポジトリからのマリオAIのダウンロード 2.4.
マリオAIの設定 3.
4.
5.
「マリオAI」によるJAVAプログラミング演習 3.1.
マリオAI概要（中澤） 3.2.
マリオAIのコンパイルと実行（画面キャプチャを入れる→加藤）　１F実験
室環境で確認する 3.3.
表示の設定、操作方法（画面キャプチャを入れる→加藤） 3.4.
エージェントとステージパラメータの設定（馬場） 3.5.
サンプルエージェントプログラムの説明（馬場） 3.6.
マップ情報へのアクセス（←課題１実施に必要なので、4章から移動しまし
た。馬場） 3.7.
課題１敵のないシーンでのエージェントプログラミング（加藤） 4.1.
エージェント動作の設定方法（電通大資料p.21, 22的な話） 4.2.
障害物をよけながらクリアするエージェントのプログラミング（電通大資料
p. 24に例アリ→この例を提示する、その説明も提示） 4.3.
課題２（4.2だけではクリアできない面を提示）敵のあるシーンでのエージェントプログラミング（詳しく書かなくても良いかもし
れない） 5.1.
敵を避ける動作の設定とルールベースの動作設定方法（敵が出てくると何が違うのかを書く） 5.2.
アイテム得点の仕組みについて 5.3.
ルールベースの動作設定方法 5.4.
敵を攻撃するエージェント動作の設定方法 5.5.
課題3 6.
発展課題 6.1.
より高度な動作生成 ■ ヒューリスティックルールベースで行う方法 ■ （人の動作からの）学習による方法（教師あり学習） ■ 強化学習による方法 ■ 探索(A*アルゴリズム）による方法 6.2.
課題５ 1.
概要 1.1.
この実験の目標計算機科学実験１では、Javaプログラミング言語の基礎を学ぶとともに、探索や
ソートなどの基本的なアルゴリズムの実装を行った。この実験（実験２SW）では、
実験１で演習したプログラミングおよびアルゴリズムに関する知識を前提に、具体
的なタスクに活かすにはどうするか、より大規模かつ実際的なプログラミング演習
を通じて学ぶことを目的とする。具体的には、ソースコードのバージョン管理シス
テムであるgitの使用方法、ゲームエージェントのプログラミングを通じて探索・
ソートなどのアルゴリズムを適用する手法について学び、考える。 1.2.
注意資料に関する注意実際に課題を始める前に，必ずこの資料の当該部分までを通して読んでおくこと
．この予習は実験の時間外に行なうことを想定している．実験時間になって初めて
資料を読み始めていると間違いなく時間が足りなくなるので注意すること．実験時
間は「実際にプログラムを書く時間」だと考えること． Javaの学習について重要な注意本実験では，Java の基礎に関しては細かい説明は行なわないので，実験１の資料お
よび予め指定教科書などで自習しておくこと．成績の付け方報告書（レポート），総合デモ，出席に基いて行う．必修の課題は4つあり，この全
てを完了することが必要である．報告書：以下の2つの報告書を提出する．報告書1：課題1, 2 報告書2：課題3, 4 それぞれの課題の内容をレポートにまとめ，作成したプログラムとともに提出す
る。以降の「レポートの書き方」を参考にすること。総合デモ：実験で作成したプログラムの動作を実際に確認する．付録Aを参
照せよ．出席：本実験は出席が義務付けられている．正当な理由なく一定時間以上欠
席・遅刻すると単位は与えられない．発展課題については加点対象とする．本資料に記載されている内容に関わらず，自
由に課題を設定して実施して構わない．発展課題を実施した場合は，上記報告書の
一部として提出しても，別の報告書として提出しても構わない．いずれの場合も，
どのような内容の課題を行なったのかを明記すること． 1.3.
サンプルコードのダウンロード https://github.com/yukinobaba/MarioAI からコードをチェックアウト（とりあえず馬
場のrepositoryに設置。あとで変更） https://code.google.com/archive/p/marioai/downloads から MarioAI.zipをダウンロード 1.4.
JREの設定 1.4.1.
Window > Preferences >Java >Installed JREsからSearch...ボタン
をクリック 1.4.2.
ファイル・システム¥usr¥lib¥jvmを選択し、OKをクリック 1.4.3.
Installed JREs:に追加された項目の中からjava1.6.0openjdkにチェッ
クを入れてOKをクリック 1.5.
マリオAIのダウンロードとインストール Eclipse上で下記の手順に従ってプロジェクトを作成する： 1.5.1.
File > New > Project > Java Project > プロジェクト名を入れる (marioAI) > JavaSE1.6を選択 >Finishボタンをクリック 1.5.2.
ダウンロード・解凍したMarioAI以下のファイル全てを、今作成した
marioAIプロジェクト直下に移動 1.6.
報告書の書き方について提出方法・内容 PandAで提出すること。提出物は以下のとおりである。・報告書本文（テキストあるいはPDF）・プログラムソースコード（.javaファイルまたは複数ファイルの場合は書庫
(zip,tar.gz等）ファイル。提出物の形式報告書本文および該当するプログラムのソースコードを提出すること。報告書の本文は、テキストあるいはPDFファイルとする。内容は、以下のようにす
ること。 ● 報告書タイトル（例、計算機科学実験２ソフトウェア報告書１、計算機科学
実験２ソフトウェア報告書２、計算機科学実験２ソフトウェア報告書３） ● 氏名・入学年度・学籍番号 ● 以下は、「実施内容、実行（実装）結果と解説、結論と考察」を記述するこ
と。課題が複数あるので、その課題数に応じて「実施内容、実行結果、結論
と考察」を書くこと。 ● 図や表などを入れてわかりやすくするよう工夫すること。 ● 考察は「うまく行った（行かなかった）」の単純な結果のみでなく、どうし
てうまく行かなかったのか、予想通り動いたのか、どういったことをすると
良くなるか、などの考えを書くこと（図はｎ個以上、文字数は各セクション
ｘ文字以上？）報告書内容の確認提出された報告書はTAがチェックする。TAから再提出されるよう指示される場合が
あるので、PandAを定期的にチェックすること。指摘された内容を修正し、再提出
すること。 2.
課題提出に関する注意事項万が一時間が足りなくて課題の提出期限までに全部出来なかった場合，全部できて
いないことを明記し，できた所までの内容で提出すること(当然，評価は下がる)．
その上で，期限に関わらず，完成させたものを提出すること．バージョン管理システムGITの使用方法とマリオAIの設定 2.1.
バージョン管理システムとはバージョン管理システムとは、コンピュータ上で作成、編集されるファイ
ルの変更履歴を管理するためのシステム。特にソフトウェア開発において
ソースコードの管理に用いられる。バージョン管理システムの最も基本的な機能は、ファイルの作成日時、変
更日時、変更点などの履歴を保管することである。これにより、何度も変更
を加えたファイルであっても、過去の状態や変更内容を確認したり、変更前
の状態を復元することが容易になる。更に、多くのバージョン管理システム
では、複数の人間がファイルの編集に関わる状況を想定している。商業的な
ソフトウェア開発やオープンソースプロジェクトなどでは、複数の人間が複
数のファイルを各々編集するため、それぞれのファイルの最新の状態が分か
らなくなったり、同一ファイルに対する変更が競合するなどの問題が生じや
すいが、バージョン管理システムは、このような問題を解決する仕組みを提
供する。ただし、バージョン管理システムを個人のファイル管理に使用する
ことも可能であるし、ソフトウェアのソースコードだけでなく、設定ファイ
ルや原稿の管理などにも使うことも可能である。バージョン管理システムでは、ファイルの各バージョンをデータベースに
保持しており、このデータベースを一般にリポジトリと呼ぶ。バージョン管
理システムの基本的な利用方法は以下の流れになる。 1. ファイルをリポジトリに登録する。 2. ファイルをリポジトリからローカル環境に取り出す（チェックアウ
ト） 3. ローカル環境で、ファイルに対し変更を行う。 4. 変更したファイルをリポジトリに書き戻す（チェックイン） 5. ファイルがチェックインされると、システムによって「いつ」「誰
が」「どんな変更を行った」等が記録され、後から参照できる。また
必要に応じて古い版を取り出すことも出来る。 (Wikipedia:バージョン管理システム)。 2.2.
2.3.
2.4.
2.5.
GITとは git（ギット）は、分散型バージョン管理システムである。Linuxカーネルの
開発者リーナス・トーバルズによって開発され、多くのプロジェクトで採用
されている。Linuxカーネルのような巨大プロジェクトにも対応できるよう
に、動作速度に重点が置かれている。gitでは、各ユーザのワーキングディレ
クトリに、全履歴を含んだリポジトリの完全な複製が作られる。したがっ
て、ネットワークにアクセスできないなどの理由で中心リポジトリにアクセ
スできない環境でも、履歴の調査や変更の記録といったほとんどの作業を行
うことができる。 Linux上でのGITの代表的なコマンドとして以下のようなものがある。 cd <dir>; git init
新たなgitレポジトリを作成する git clone <URL>
gitレポジトリのクローンを作成する git status
変更が行われたファイルを表示する git diff
変更部分をdiff形式で表示する git add
コミットするファイルを指定する git commit
変更点をコミットする git log
コミットログを表示する git reset
直接のコミットを取り消す git branch <name> 新たなブランチを作成する git branch
ブランチを表示する git checkout <name> nameであらわされたブランチで作業する git push <URL> <source name>:<dest name> ブランチをレポジトリに送信する GITレポジトリからのマリオAIのダウンロード自分のブランチを作成する（来年度以降？）マリオAIを設定する 3.
「マリオAI」によるJAVAプログラミング演習 3.1.
マリオAI概要 3.2.
マリオAIのコンパイルと実行 3.2.1.
まず、JARファイルの設定を行う： File > Properties > Java Build Path > Libraries > Add JARs… で
marioAI/lib/以下のasmall3.3.jar、judo.jar、unit4.8.2.jarの３つを選択し
てOKボタンをクリック 3.2.2.
3.2.3.
marioAI > src > ch.idsia.scenarios > Main.javaを開く。メニューのRun > Runで実行。”Errors exist in required project:...”とメッ
セージが出るが、無視して”Proceed”ボタンを押す。 3.2.4.
マリオのゲーム画面が出れば成功 3.2.5.
3.2.6.
3.3.
マリオをプレイできる。操作方法は下記：キー説明 A ファイア＆ダッシュ S ジャンプ ← 左へ移動 → 右へ移動 ↓ 下へ移動 W 終了表示の設定とデータの見方 3.3.1.
表示設定方法は下記キー説明 = ゲーム速度を上げるゲーム速度を下げるスペース一時停止／再開 C マリオが画面中央になるようカメラ
を移動 3.3.2.
G グリッド表示／非表示 Z 画面拡大／元に戻す画面表示内容画面表示内容 DIFFICULTY ステージ難易度 SEED ステージ生成のシード TYPE ステージ種類 LENGTH マリオの横方向位置 HEIGHT マリオの縦方向位置（数字が小さい
ほど上にいる）コインアイコン獲得コイン数キノコアイコン獲得キノコ数フラワーアイコン獲得フラワー数 Agent エージェント名 PRESSED KEYS 入力キー ALL KILLS 倒した敵の数 by Fire ファイアで倒した敵の数 by Shell 甲羅で倒した敵の数 by Stomp 踏みつけで倒した敵の数 TIME 残り時間 FPS ゲーム速度 3.4.
エージェントとステージパラメータの設定 3.4.1.
エージェント 3.4.1.1.
ch.idsia.scenarios.Main.javaに以下の変更を加えると、既存の”
FowardJumpingAgent”使ってゲームを実行できる import ch.idsia.tools.MarioAIOptions; の次に import ch.idsia.agents.Agent; import ch.idsia.agents.controllers.ForwardJumpingAgent; と記述する。 final MarioAIOptions marioAIOptions = new MarioAIOptions(args); の次に final Agent agent = new ForwardJumpingAgent(); marioAIOptions.setAgent(agent); と記述する。 3.4.1.1.1.
実行すると、マリオが自動的に動作する（画面に”Agent: ForwardAgent”と表示される） 3.4.1.1.2.
上記の変更を加えた後のコードがMain2.javaである。
参考にされたい。 3.4.2.
ステージパラメータ 3.4.2.1.
ch.idsia.scenarios.Main.javaでステージパラメータを設定でき
る 3.4.2.2.
ステージのランダム生成 seedの値を変更することで、ステージをランダムに変更でき
る。 int seed = 99; marioAIOptions.setLevelRandSeed(seed); 3.4.2.3.
難易度 3.4.2.3.1.
marioAIOptions.setAgent(agent); の次の行に以下を記述すると、難易度の高いステージ
となる int d = 100; marioAIOptions.setLevelDifficulty(d); 3.4.2.3.2.
dの値を変更することで、難易度を調整することができ
る。ただし、dは0以上の整数である 3.4.2.4.
敵の有無 3.4.2.4.1.
同様に marioAIOptions.setEnemies("off"); 3.4.2.4.2.
と記述すると、敵の出現しないステージになる 3.4.2.4.2.1.
ただし、キラーとパックンフラワーは出現する 3.4.2.4.3.
さらに、敵コードを使って、出現する敵の種類を細か
く制御できる 3.4.2.4.4.
敵コードクリボー g パタクリボー gw 緑ノコノコ gk 緑パタパタ gkw 赤ノコノコ rk 赤パタパタ rkw トゲゾー s 羽トゲゾー sw 3.4.2.4.5.
例： 3.4.2.4.5.1.
クリボーだけが出現するステージ： marioAIOptions.setEnemies("g"); 3.4.2.4.5.2.
クリボーと緑ノコノコだけが出現するステージ
： marioAIOptions.setEnemies("ggk"); 3.4.2.5.
その他メソッド説明 marioAIOptions.setDeadEndsCount(boolea
n var); 行き止まりの有
無 marioAIOptions.setCannonsCount(boolean var); キラー砲台の有
無 marioAIOptions.setHillStraightCount(bo
olean var); 丘の有無 marioAIOptions.setTubesCount(boolean var); 土管の有無 marioAIOptions.setGapsCount(boolean var); 落とし穴の有無 marioAIOptions.setHiddenBlocksCount(bo
olean var); 隠しブロックの
有無 marioAIOptions.setBlocksCount(boolean var); ブロックの有無 marioAIOptions.setCoinsCount(boolean var); コインの有無 marioAIOptions.setFlatLevel(boolean var); 地面を平面にす
るか否かサンプルコードがMain3.javaにある。参考にされたい。 3.5.
サンプルエージェントプログラムの説明 3.5.1.
ch.idsia.agents.controllers.ForwardJumpingAgent.javaを例に、エー
ジェントプログラムの方法を解説する。 3.5.2.
56〜61行め：reset()メソッド 3.5.2.1.
reset()メソッドは、ゲームの開始時に呼ばれるメソッドである 3.5.2.2.
まず、6次元のboolean配列を作成している action = new boolean[Environment.numberOfKeys]; 3.5.2.3.
action配列の各要素は、以下のキーに対応している。trueに設
定されると、そのキーを押していることになる。初期状態で
は、全ての要素はfalseに設定されている。 3.5.2.4.
変数対応キー action[Mario.KEY_LEFT] 左移動 action[Mario.KEY_RIGHT] 右移動 action[Mario.KEY_DOWN] しゃがむ action[Mario.KEY_JUMP] ジャンプ action[Mario.KEY_SPEED] ダッシュ＆ファイア action[Mario.KEY_UP] 上移動 ForwardJumpingAgentでは、下記のように設定されている： action[Mario.KEY_RIGHT] = true; action[Mario.KEY_SPEED] = true; 3.5.2.5.
これにより、ゲーム開始時には「右移動」と「ダッシュ＆
ファイア」ボタンが押され、マリオは右方向へダッシュす
る。 3.5.3.
getAction()メソッド 3.5.3.1.
getAction()メソッドは、ターン毎に呼ばれるメソッドである。
そのターンでのマリオの行動を決定し、出力する。 3.5.3.2.
ForwardJumpingAgentでは、下記のように設定されている： action[Mario.KEY_SPEED] = action[Mario.KEY_JUMP] = isMarioAbleToJump || !isMarioOnGround; 3.5.3.3.
これは、下記のようにしても動作は同じである action[Mario.KEY_SPEED] = isMarioAbleToJump || !isMarioOnGround; action[Mario.KEY_JUMP] = isMarioAbleToJump || !isMarioOnGround; 3.5.3.4.
isMarioAbleToJump は、マリオがジャンプ可能なときtrue、
それ以外のときfalseとなる isMarioOnGround は、マリオが地上にいるtrue、それ以外の
ときfalseとなる 3.5.3.6.
isMarioAbleToJump || !isMarioOnGround は「マリオが
ジャンプ可能なとき、または、マリオが空中にいる」場合は
trueとなり、「マリオがジャンプ不可能で、かつ、地上にい
る」場合はfalseとなる 3.5.3.7.
つまりForwardJumpingAgentは、マリオが地上にいてジャン
プできないときは「ジャンプ」と「ダッシュ＆ファイア」ボ
タンを離す。それ以外の場合は「ジャンプ」と「ダッシュ＆
ファイア」ボタンを押す。マリオの着地後に再びジャンプを
させるため、一度ジャンプボタンを離している 3.5.3.7.1.
下記のようにすると、着地後にマリオは再びジャンプ
することができない 3.5.3.5.
action[Mario.KEY_SPEED] = action[Mario.KEY_JUMP] =true; 3.6.
マップ情報へのアクセス 3.6.1.
マップの情報はLevelScene、敵の情報はEnemiesにそれぞれ格納され
ている。マップ、敵の情報はその細かさにより３つのレベル(Zoom Levels)に分類されている。それぞれのレベルでのマップ、敵の情報は
以下のように設定されている。 3.6.1.1.
Level Scene 値定数説明 24 GeneralizerLevelScene.BRICK 2 GeneralizerLevelScene.COIN_AN
IM コイン 60 GeneralizerLevelScene.BORDER
_CANNNOT_PASS_THROUGH 通過できない障害
物 62 GeneralizerLevelScene.BORDER
_HILL 通過可能な障害物
（下から通過し上
に乗れる） 85 GeneralizerLevelScene.FLOWER
_POT_OR_CANNON 土管、キラー砲台 61 GeneralizerLevelScene.LADDER はしご 5 GeneralizerLevelScene.PRINCES
S ピーチ姫ブロック 0 障害物なし 3.6.1.2.
Enemies 値定数説明 0 Sprite.KIND_NONE 敵なし 31 Sprite.KIND_MARIO マリオ 80 Sprite.KIND_GOOMBA 95 Sprite.KIND_BOOMBA_WINGED 羽クリボー 82 Sprite.KIND_RED_KOOPA 赤ノコノコ 97 Sprite.KIND_RED_KOOPA_WINGE
D 赤パタパタ 81 Sprite.KIND_GREEN_KOOPA 緑ノコノコ 96 Sprite.KIND_GREEN_KOOPA_WIN
GED 緑パタパタ 84 Sprite.KIND_BULLET_BILL 93 Sprite.KIND_SPIKY 99 Sprite.KIND_SPIKY_WINGED 91 Sprite.KIND_ENEMY_FLOWER 13 Sprite.KIND_SHELL 2 Sprite.KIND_MUSHROOM 3 Sprite.KIND_FIRE_FLOWER 25 Sprite.KIND_FIREBALL クリボーキラートゲゾー羽トゲゾーパックンフラ
ワー甲羅キノコフラワーファイアボール 3.6.2.
getAction()の中で以下のメソッドを用いることで、任意の場所のマッ
プ、敵の情報を取得することができる。 3.6.2.1.
引数で指定された場所のマップ(Level Scene)の値を返すメ
ソッド。xはマップ上の行数、yはマップ上の列数を指定す
る。 getReceptiveFieldCellValue(int x, int y) 3.6.2.2.
引数で指定された場所の敵(Enemies)の値を返すメソッド。 getEnemiesCellValue(int x, int y) 3.7.
4.
課題１ステージパラメータおよび既存エージェントを様々に変更し動作を見る。ま
た、エージェントプログラムの内容を理解する。以下の既に実装されている
エージェントの１つを選び、ソースコードから動作を説明せよ。ソースコー
ドは、ch.idsia.agents.controllers.[エージェント名].javaにある。 ● ForwardAgent ● RandomAgent ● ScaredAgent ● ScaredShootyAgent 敵のないシーンでのエージェントプログラミング 4.1.
自分のエージェントを作成・動作させる 4.1.1.
エージェントのテンプレート”OwnAgent”が
ch.idsia.agents.controllers.OwnAgent.javaに実装されている。 4.1.2.
OwnAgentの実行 4.1.2.1.
2.4と同じ方法で、OwnAgentを読み込む 4.1.2.1.1.
Main2.javaでForwardJumpingAgent となっている箇
所をOwnAgent に書き換える。サンプルコード：
MainOwn.java 4.1.2.2.
実行すると、マリオは何もしない 4.1.3.
reset()メソッドの変更 4.1.3.1.
OwnAgent.javaのreset()メソッドを以下のように書き換える public void reset() { action = new boolean[Environment.numberOfKeys]; action[Mario.KEY_RIGHT] = true; } 4.1.3.2.
実行すると、「右移動キー押しっぱなしのマリオ」となる 4.1.4.
getAction()メソッドの変更 4.1.4.1.
OwnAgent.javaのgetAction()メソッドを以下のように書き換え
る public boolean[] getAction() { Random R = new Random(); action[Mario.KEY_DOWN] = R.nextBoolean(); return action; } また、Randomをインポートする。 import java.util.Random; 4.1.4.2.
実行すると、「右移動キー押しっぱなし＆ランダムにしゃが
む」マリオとなる。サンプルコード：OwnAgent2.java 4.2.
障害物をよけながらクリアするエージェントのプログラミング 4.2.1.
getAction()メソッドを以下のようににすることで、目の前に障害物がある場合
にジャンプして避けるエージェントとなる。 public boolean[] getAction() { if(getReceptiveFieldCellValue(marioEgoRow, marioEgoCol + 1) != 0 || getEnemiesCellValue(marioEgoRow, marioEgoCol + 1) != Sprite.KIND_NONE){ action[Mario.KEY_JUMP] = isMarioAbleToJump || !isMarioOnGround; } return action; } 上記のプログラムで、if文の中は以下のようになっている。 getReceptiveFieldCellValue(marioEgoRow, marioEgoCol+1)!=0 4.2.1.1.
marioEgoRow, marioEgoColはそれぞれ、現在マリオがいるマップ上
の列数と行数である。getRecepiveFieldCellValueにより現在マリオが
いる位置から一行右のマスのマップ情報を取得している。その値が0
でなければ、つまりマリオの目の前に何かしら障害物があればtrueと
なる。 getEnemiesCellValue(marioEgoRow, marioEgoCol+1)!= Sprite.KIND_NONE 4.2.1.2.
同様にgetEnemiesCellValueにより、マリオの現在地から一行右の敵
情報を取得している。その値がSprite.KIND_NONE(0)でなければ、つ
まりマリオの目の前に敵がいれば、trueとなる。 action[Mario.KEY_JUMP]=isMarioAbleToJump || !isMarioOnGround; 4.2.1.3.
2.5で説明した、ジャンプを行うコマンドである。以上によりif文の中身がtrueのとき、つまりマリオの目の前に障害物、または
敵がいるときにジャンプを行うエージェントとなる。サンプルコード：I gnoreObstacleAgent.java 4.3.
課題２上記のアルゴリズムを拡張し（穴をジャンプでよける、ブロックで進行が止
められる状況を回避し）、与えられた敵のないシーン（MainTask2.java）でステー
ジをクリアするエージェントを実装し、クリアできることを確認せよ。どのような
プログラミングを行ったかのアイデアと実装方法をレポートで示すこと（どの程度
の面設定にするかを検討、レポート提出期限を決める（基本的には第４回ま
で））。 5.
6.
敵のあるシーンでのエージェントプログラミング 5.1.
敵を避ける動作の設定とルールベースの動作設定方法（２ブロック前にあればジャンプするルール）ー＞あるレベルが解ける
(setLevelDifficulty(0), setEnemies(“g”) → クリボーだけの面ー＞　解けないもレベルを解決するプログラム(setLevelDifficulty(2)) （平面で（穴がなく）クリボーだけが出てくる状況のみを考える）を解けるプログラムを書く getAction()を以下のように書き換えればよい。 5.2.
敵を攻撃するエージェント動作の設定方法・ファイアーの打ち方単にファイアーを打つ・踏みつける踏みつける場合のルールは？（あたり判定のルール） 5.3.
課題3 「敵を避けつつクリアする」エージェントの実装を行い、MainTask3.javaを
解けるエージェントつくれ。「敵を攻撃する」も実装できればなお良いが必要条件
ではない。どのようなプログラミングを行ったかのアイデアと実装方法をレポート
で示すこと。発展課題 6.1.
より高度な動作生成 6.1.1.
ルールベースをがんばる 6.1.1.1.
ヒューリスティックルールをいくつか考案し、実装する 6.1.2.
面固定による遺伝的アルゴリズム(GA) 6.1.2.1.
参考：https://ja.wikipedia.org/wiki/遺伝的アルゴリズム GAによる実装（電通大資料と同じ） ch.idsia.scenarios.champ.LearningTrack.javaを実行すること
で、学習を開始する。プログラム内で指定されたエージェン
ト（例えばLearningWithGA）によって学習を行う。 6.1.3.
Q学習 Q学習は強化学習の一手法である。各状態 s に対する各行動 a の価値 Qs,a を学
習し、行動選択に用いる。価値は試行を何度も繰り返しながら逐次的に学習する。ある試行
において、状態 s に対する行動 a の結果、報酬 r を得られ、次の状態 s* に移ったとする。こ
のとき、 Qs,a を次式で更新する： [0, 1] は割引率、 a* は状態 s* で取り得る行動とする。
ここで、 α ∈ [0, 1] は学習率、 γ ∈
α = 0 のときは、 Qs,a は更新されない。 α = 1 かつ γ = 1 のときは、報酬と、次の状態 s* での
最大価値の和で、 Qs,a を更新する。マリオAIでQ学習を利用する場合、状態表現と報酬設計が課題となる。状態表現は、たとえ
ばGAと同じものを利用できる。報酬設計としては、「敵を倒した場合には正の報酬を与え
る」「マリオが穴に落ちたり敵に倒された場合には負の報酬を与える」等が考えられる。 6.1.4.
その他・探索による方法 A*がMarioAIで高いパフォーマンスを発揮することが知られている。 (https://ja.wikipedia.org/wiki/A*) 6.2.
課題4 以下の基本課題および発展課題に取り組み、動作状況及び内容をレポートを
説明せよ。・基本課題（最低限、この課題が解けるようにする） MainTask4_1.javaを解くエージェントを作れ。最低限ルールベース、可能で
あればそれ以上の発展アルゴリズムを用いて実装することが望ましい。・発展課題以下で設定される複数のシーンでエージェントを動作させること。得点に応
じて成績を評価する。レポートに書かれた実装のアイデアや記述の詳細度、具体
性、発展性についても評価の対象に加える。エージェントはシーンごとに違う実装
のものでよいが、同一であれば評価対象に加える。（GAを実装してもらい、解ける
ものをみつける）（２）（オプション）MainTask4_2.java（Epoch300でクリア可能）（３）（オプション） marioAIOptions.setArgs("lde on i off ld 30 ls 133434 lhb on"); （GAじゃクリア出来ない→探索範囲を広げたらおそらくクリアできる？） [参考情報（無くてもよさそう？）] 6.3.
マップ情報へのアクセス 6.3.1.
マップの情報はLevelScene、敵の情報はEnemiesにそれぞれ格納され
ている。マップ、敵の情報はその細かさにより３つのレベル(Zoom Levels)に分類されている。それぞれのレベルでのマップ、敵の情報は
以下のように設定されている。 6.3.1.1.
Zoom Level 2(もっとも粗い情報のレベル) 6.3.1.1.1.
Level Scene 値定数説明 0 何もない 2 GeneralizerLevelScene.COIN_AINIM コイン 60 GeneralizerLevelScene.BORDER_CA
NNOT_PASS_THROUGH 通過できない障害物
(土管、キラー砲台、
ブロック) 5 GeneralizerLevelScene.PRINCESS ピーチ姫 1 その他の障害物（地
面、はてなブロック）値定数説明 1 敵あり 0 Sprite.KIND_NONE 敵なし 6.3.1.1.2.
Enemies 6.3.1.2.
Zoom Level 1(中間の細かさの情報のレベル) 6.3.1.2.1.
Level Scene 値定数説明 24 GeneralizerLevelScene.BRICK 2 GeneralizerLevelScene.COIN_ANIM 60 GeneralizerLevelScene.BORDER_CA
NNNOT_PASS_THROUGH 通過できない障害物 62 GeneralizerLevelScene.BORDER_HIL
通過可能な障害物
ブロックコイン L 85 GeneralizerLevelScene.FLOWER_PO
T_OR_CANNON 61 GeneralizerLevelScene.LADDER 5 GeneralizerLevelScene.PRINCESS 0 （下から通過し上に
乗れる）土管、キラー砲台はしごピーチ姫障害物なし 6.3.1.2.2.
Enemies 値定数説明 0 Sprite.KIND_NONE 3 Sprite.KIND_FIRE_FLOWER 2 Sprite.KIND_MUSHROOM 25 Sprite.KIND_FIREBALL ファイアボール 80 Sprite.KIND_GOOMBA 踏む、またはファ
イアで倒せる敵 93 Sprite.KIND_SPIKY 敵なしファイヤーフラ
ワーキノコ踏めない敵 6.3.1.3.
Zoom Level 0(もっとも細かい情報のレベル) 6.3.1.3.1.
Level Scene 値定数説明 20 GeneralizerLevelScene.BREAKABLE_B
RICK 壊せるブロック 22 GeneralizerLevelScene.UNBReAKABLE
_BRICK 壊せないブロック 2 GeneralizerLevelScene.COIN_ANIM 60 GeneralizerLevelScene.BORDER_CANN
NOT_PASS_THROUGH 通過できない障害
物 82 GeneralizerLevelScene.CANNON_MUZZ
LE キラー砲台(発射口) 80 GeneralizerLevelScene.CANNON_TRUN
K キラー砲台(胴体) 90 GeneralizerLevelScene.FLOWER_POT コイン土管 62 GeneralizerLevelScene.BORDER_HILL 61 GeneralizerLevelScene.LADDER 5 GeneralizerLevelScene.PRINCESS 通過可能な障害物はしごピーチ姫 6.3.1.3.2.
Enemies 値定数説明 0 Sprite.KIND_NONE 敵なし 31 Sprite.KIND_MARIO マリオ 80 Sprite.KIND_GOOMBA 95 Sprite.KIND_BOOMBA_WINGED 羽クリボー 82 Sprite.KIND_RED_KOOPA 赤ノコノコ 97 Sprite.KIND_RED_KOOPA_WINGE
D 赤パタパタ 81 Sprite.KIND_GREEN_KOOPA 緑ノコノコ 96 Sprite.KIND_GREEN_KOOPA_WIN
GED 緑パタパタ 84 Sprite.KIND_BULLET_BILL 93 Sprite.KIND_SPIKY 99 Sprite.KIND_SPIKY_WINGED 91 Sprite.KIND_ENEMY_FLOWER 13 Sprite.KIND_SHELL 2 Sprite.KIND_MUSHROOM 3 Sprite.KIND_FIRE_FLOWER 25 Sprite.KIND_FIREBALL クリボーキラートゲゾー羽トゲゾーパックンフラ
ワー甲羅キノコフラワーファイアボール

Download Report