サッカーゲームにおける味方選手の行動決定アルゴリズム 1 はじめにサッカーやバスケットボールなどの多対多で対戦するテレビゲームでは、1 つのチームを 1 人の人間 (プレイヤー) が操作する。プレイヤーのチームが攻めている時は、ボールを持っている選手をプレイヤーが操作する。この時、同じチームの他の選手（味方選手）の行動は、プレイヤーが操作している選手に合わせ、AI(コンピュータ) が決定するのが主流である。しかし、この味方選手の行動の決定方法に関する研究については、ほとんど報告されていない。サッカーの試合における行動を人工知能に学習させる手法は、RoboCup を通じて多数発表されている [1][2]。しかし、これらの論文はサッカーエージェント同士の協調行動を学習させる事が目的であり、人間との協調行動が目的ではない。サッカーゲームに適用することを考えると、プレイヤーとコンピュータが、お互いの考えを理解する必要がある。そこで本研究では、プレイヤーとコンピュータが対戦するサッカーゲームにおいて、プレイヤーが攻撃を行う時の味方選手の行動決定アルゴリズムを提案する。プレイヤーがパスをまわしながら攻める場合はパスをする行動を支援し、ドリブルで突破するような攻め方をする場合はドリブルをする行動を支援するといったように、味方選手がプレイヤーの思い通りに動くようなアルゴリズムを目指す。これによって、プレイヤーが操作していない選手もプレイヤーの考えに応じた行動を取ることになり、ゲームがより面白くなると考えられる。図 1 行動を予測するベイジアンネットワークモデル 2 解決すべき課題とアプローチ 1 つ目の課題として、「プレイヤーの思い通り」とはどのようなことなのかを理解するために、プレイヤーの考えを推測することがある。それを実現するため、プレイヤー側のチーム全体としての攻撃方法や、攻撃の結果を基に、ベイジアンネットワーク (BN) を用いて、プレイヤーの行動を予測する。 2 つ目は、「プレイヤーの思い通り」になるような行動をとることである。味方選手としての行動を実現するために、隠れマルコフモデル (HMM) を用いる。その行動をプレイヤーの思い通りにするために、BN で得られた選択確率を用いて、HMM の各確率を決定する。以上より、本稿で提案するアルゴリズムは、(1) BN を用いてプレイヤーの行動を予測し、(2) HMM を用いて行動を決定するといった手法をとる。図2 行動決定のための隠れマルコフモデル 4 プレイヤーの行動の予測プレイヤーの行動を予測するためのベイジアンネットワークモデルを図 1 に示す。このモデルから、「味方選手がある行動をとった時に、プレイヤーがある行動をとる確率」を求める。ここでいう「味方選手の行動」とは、パスによる攻撃の支援と、ドリブルによる攻撃の支援の 2 種類である。また、「プレイヤーの行動」は、パスを回しながら攻める攻撃と、パスを回さずに攻める攻撃の 2 種類である。これらの組み合わせである 4 通りの確率を求める。 5 予測結果に対する自身の行動の決定味方選手自身の行動は、階層型 HMM を用いて決定する。この階層型 HMM は、第 1 階層がどのような戦術を 3 サッカーゲームのルールとるか、第 2 階層がその戦術を取るためにはどのような今回用いるサッカーゲームは、相手選手のゴールのみ行動をとるべきかを考え、それらから、「停止」「走行」存在するハーフコートで行なう。また、人数は 1 チーム「いずれかの方向に方向転換」のうち、どの行動をとるの 3 人でゴールキーパーは存在せず、オフサイドも無いとかを決定する、といったものにする。する。プレイヤーのチームが常に攻撃を行なうものとし、また、この階層型 HMM を 2 つ用意し、それぞれ、パボールがフィールドの外に出る、ボールが相手チームのス中心の攻め方を支援する HMM、ドリブル中心の攻め選手に取られる、ボールがゴールに入るのいずれかを満方を支援する HMM として扱う。パス中心の攻め方を支たした場合、1 試合が終了する。プレイヤーが操作する援する HMM では、一番近くにいる相手選手から離れるのはボールから一番近い選手であり、それ以外の選手のように方向転換しやすいようにする。ドリブル中心の攻行動は本研究のアルゴリズムが決定する。め方を支援する HMM では、一番近くにいる相手選手のいる方向に近づくように方向転換しやすいようにする。ドリブルを中心に攻めるか、パスを中心に攻めるかの状態遷移確率は、前節で求めた、プレイヤーの選択確率を用いる。それ以外の状態遷移確率、出力確率は Baum-Welch アルゴリズムを用いて求める。なお、この HMM を実装して実験を行った結果、ドリブルを支援する行動をとった時に、味方選手が相手選手が張り付いたまま動かないことが何度かあった。そこで、相手選手との位置関係だけでなく、ボールを持っている選手の位置関係も考慮するようにした。その HMM を図 2 に示す。 6 実験 25 人の学生に、サッカーゲームをやってもらう実験を行なった。提案手法に基づいて動く選手が味方である場合と、RoboCup 向けに提案された、プレイヤーの意図に関する推論を行なわず、HMM を用いた行動決定をする手法 [2] に基づいて動く選手が味方である場合で、それぞれ 30 試合ずつ人間との対戦を行なった。30 試合終わったあとで、被験者に、 • 面白かったか (10 段階評価) • 味方選手は自分の思ったとおりに動いてくれたか (10 段階評価) • 味方選手はどのように動いたか (自由記述) の 3 つのアンケートに答えてもらった。 7 結果アンケートの 10 段階評価の結果を図 3 に示す。提案手法の方が面白かった人がわずかに多かったが、思い通り動いたかについては、どちらとも言えない結果となったと言える。次に、自由記述欄をもとに、味方選手がどのように動いたのかを調べる。提案手法の方が面白かったという被験者は、提案手法における味方選手の動きについて、「広がるように動いた」「敵選手から離れた」などと回答していた。このことから、味方選手は相手チームの選手から離れ、パス中心で攻める行動を支援するように動き、その結果、この被験者の思った通りにパスをまわしながら攻撃できたことが分かる。実際に試合中の動きを確認したところ、マークの外れた選手にパスを回し、そこからドリブルしてシュートする、という動きが確認できた。パスを回した直後の状態を図 4 に示す。既存手法の方が面白かったという被験者は、提案手法における味方選手の動きについて、「敵選手を振り切れなかった」などと回答していた。しかし、この被験者の場合でも、味方の選手から離れ、パスを受け取ろうと動いていることが確認できた。 8 おわりに本研究では BN を用いて行動を予測し、HMM を用いて行動を決定するという手法を提案した。そして、実験より、既存の手法より面白くなることが確認できた。今後の課題は、他の守備の行動パターンに対しても、本手法を用いた攻撃方法が有効であるかの検証が挙げられる。図3 図4 実験結果思った通りに動いた結果参考文献 [1] 熊田陽一郎, 植田一博:「予測能力を持つサッカーエージェントによる協調戦術の獲得」, 人工知能学会論文誌,16 巻 1 号,p120-127, 2001. [2] 野田五十樹,「HMM による協調動作の模倣学習」, 第 17 回人工知能学会全国大会, p.207-210, 2001.