Search

ターン制RPGはドラゴンクエストシリーズ等で有名なゲームジャンルで，様々な強さを持つ複数の敵グループを工夫しながら撃破していくことが中心的課題である．簡単すぎず難しすぎず，工夫や努力が報われるように敵味方のパラメータのバランス調整を行う事はゲームの面白さにとって大変重要である．近年ではプレイヤの飽きを防ぐために毎回ランダムにステージを生成することも行われ，そうなるとプロのデザイナの代わりにコンピュータにバランス調整を行わせる必要がある．従来良く使われるSearch-based PCGにはオンライン生成に向かないという制約があるため，本研究では強化学習の枠組みを試みる．未完成のステージを状態，次に戦わせる敵グループを行動として，ステージが完成したらその良さを報酬として与える．学習後は任意の未完成ステージについて良いステージを高速で完成させられるという狙いである．本論文では非常に単純化した環境において，特定の目的プレイ勝率を与えた場合に誤差5%程度のステージを作成できるような強化学習に成功した．:Turn-based RPG is a game genre which is famous as Dragon Quest series, and it has a main goal which is defeating many enemy groups with diverse strong considering many strategies. It is very important for entertainment of a game to balance the parameters of player and enemy, not so easy and not so hard or rewarding player's effort. Recently in order to keep players not be bored, some RPGs generate random stages at every playing times, to do that it is needed to adjust parameters by computer instead of pro-designers. In this research, we tested a reinforcement learning method, because Search-based PCG which is often used conventionally is not suitable for online generation. We considered reinforcement learning elements like "incomplete stage as a state", "next battle parameters as an action", "evaluation goodness of complete stage as the reward". After finishing learning, it will be possible to generate good stages quickly, when given random incomplete stages. In this paper, we succeeded to create a stage with about 5% error when giving a specific target winning rate, in very simplified environment.

日本では「不思議のダンジョン」シリーズで名高いローグライクゲームは，マップや敵配置がランダムなこと，そのため臨機応変にアイテム等を使い分ける必要があることなどを特徴とする一人用ダンジョン探索ゲームの総称である．囲碁や将棋などよりは複雑で，StarcraftやCivilizationなどよりは単純なこのゲーム群は，短期的戦術と長期的スケジューリングの両方を要するなど，高度なゲームAIを研究するうえでの良い課題をいくつも持つ．本論文では，学術用プラットフォームを共有できるようにするために，ローグライクゲームの最低限の要素を持たせたゲームのルールを提案した．そのうえで，ルールベースのコンピュータプレイヤ，短期的な戦術行動を改善するためのモンテカルロ法プレイヤ，長期的な視点での行動が取れるようにするための教師あり学習を提案した．: Roguelike Game, known as "Mystery Dungeon" in Japan, is a genre of one-player role-playing video games. In roguelike games, the map is randomly created and the monsters are randomly located every play, then the player needs to select his strategy properly according to the given situation. Roguelike games are more complex than the game of Go or Chess, and less complex than Starcraft or Civilization. They are less complex, still they have several typical problems for sophisticated game AIs, for example both of short-time strategy and long-time scheduling are necessary and the balancing is important. In this paper, we proposed a new roguelike game, for sharing an academic platform of such games among researchers. Also we presented a rule-based computer player, a Monte-Carlo based player for solving short-term combat, and a supervised learning for long-term scheduling.

囲碁における定石や将棋における定跡は,主にゲーム序盤で用いられる決まった手順の互角の応酬であり,長い時間をかけて研究・洗練された人智の結晶である.テトリスやぷよぷよなどの落下型パズルゲームの多くでも,展開を有利にするための定石形が存在し利用されている.これらのゲームを囲碁や将棋と比較すると,自分と相手双方に盤が存在し邪魔は間接的にしか行われない一方で,操作対象の与えられ方(俗にツモと呼ばれる)にランダム性があり,状況に応じて用いる定石や配置順を変えていかなければならない難しさがある.本論文では,関連性行列という形で状態と定石を表現する定石形配置法を提案し,これをぷよぷよにおける連鎖の構成に適用することでその有効性を示す. : In Go and Shogi, standard patterns and sequence of moves have been developed over the years by human players, mainly in the opening of the game. Such standard patterns, used by expert players to reach a winning position, also exist in tile-matching video games like Tetris and Puyo-Puyo. In tile-matching games, the interaction between the players is only indirect through separate boards, but the randomness of the tiles appearing in the game is a major difficulty, not found in Go or Shogi. In this paper, we propose a tile arrangement method for finding good moves in tile-matching games, through the use of a relevant matrix that represents the current situation and the knowledge of standard patterns. We show the effectiveness of the proposed method by applying it to the construction of chains in Puyo-Puyo. The resulting Puyo-Puyo AI player is significantly stronger.

ゲーム木探索手法の発展・評価関数の精度向上・計算機資源の増大に伴い，コンピュータ囲碁・将棋の棋力は多くのアマチュアにとって十分な強さに到達しつつある．一方で，人間プレイヤを楽しませたり指導するための学術研究はボードゲームではあまり行われていない．本稿では，人間プレイヤを楽しませるために必要と思われる要素技術を列挙することを第一の目標としたうえで，モンテカルロ碁を用いた場合のアプローチをいくつか紹介する． : Thanks to the continued development of tree search algorithms, of more precise evaluation functions, and of faster hardware, computer go and computer shogi have now reached a level of strength sufficient for most amateur players. However, the research about entertaining and coaching human players of board games is still very limited. In this paper, we try first to define what are the requirements for entertaining human players in computer board games. Then, we describe the different approaches that we have experimented in the case of Monte-Carlo computer go.

テレビゲームソフトウェア開発は近年大規模化しており,トライアンドエラーを繰り返しながら開発を進めることが難しくなっている.そのため開発プロジェクトでは通常スクリプト言語システムを導入するが,限られた時間で製品を開発しなければならない理由から記述システムはad hocなものになり,「新しいゲームシステムヘの適用が難しい」「プロジェクトのたびに最初から記述システムを作り直さなければならない」という問題が発生する.そこで,本論文ではアクションゲームを開発するのに適した分離性や効率の良い記述システムを開発することを目標とし,そのためのサーペイと開発している言語について述べ,有用性を実際のゲーム開発プロジェクトでの使用から評価する. As the complexity of video game software grew, it became difficult to develop them through traditional tiral-and-error processes. To overcome the problem, many farms have developed scripting languages to help game designers modify their design quickly, without help from the programmers. However, most of these languages have ad hoc design and closely tied to specific game, making it difficult to reuse the system for other games. This paper presents a survey of existing scripting language targeted to commercial video game development, and our effort toward general, game-independent scripting language. And we evaluate effectiveness of our scripting system in commercial video game development project.