Strategie-Experte

Künstliche Intelligenz spielt Pac-Man

Einen so genannten KI-Agenten (künstliche Intelligenz), der erfolgreicher als menschliche Spieler die Videospiel-Variante "Ms. Pac-Man" bestreiten kann, haben ungarische Forscher an der Fakultät für Informatik der Eötvös Loránd Universität entwickelt.

Dabei handelt es sich um den besten KI-Agenten aus einer größeren Testgruppe. Das Team von András Lörincz, Head Senior Researcher der Neural Information Processing Group, und István Szita hat dabei hochentwickelte Konzepte zu Ms. Pac-Man vorgegeben und den Agenten auf dieser Basis lernen lassen.

Die ungarischen Forscher hatten verschiedene KI-Agenten getestet, die sich durch sogenanntes "Reinforcement Learning" selbst verbessern konnten. Die KI kann für ihre Züge verschiedene situationsabhängige Regeln wählen, um über etliche Spiele eine einfache Strategie zu entwicklen.

Agent lernt mit jedem Spiel dazu
Wenn der KI-Agent im Spiel viele Punkte macht, werden die Regeln der Strategie "belohnt" und werden öfter verwendet. Auf diese Art lernt der Agent graduell, ein gutes Regel-Set zu wählen", erklärt István Szita im pressetext-Interview. Der stärkste Agent lernte nach der "Cross Entropy Method" (CEM) und konnte aus einem Pool vordefinierter Bewegungsregel-Module schöpfen, um sein optimiertes Regel-Set zu entwickeln. Er erzielte bessere Spiel-Ergebnisse als menschliche Vergleichsspieler. Das bedeute zwar nicht, dass der Computer cleverer sei als der Mensch, so Lörincz. Der deutliche bessere KI-Algorithmus sei aber ein echter Fortschritt.

Spiele mit Zufallselement als Herausforderung
Spiele gelten als allgemein gutes Umfeld, um die Lernfähigkeit künstlicher Intelligenzen zu testen. Dabei hat sich die Forschung von Klassikern wie speziell Schach aber eher abgewendet. "Es gibt sehr effiziente Computer-Algorithmen, um abstrakte, deterministische Spiele zu lösen", erklärt Szita. Spiele mit Zufallselementen wie Pac-Man sind für künstliche Intelligenzen eine deutlich größere Herausforderung. Die Forscher sehen ihren Erfolg darin, einen Algorithmus für Pac-Man entwickelt zu haben, der mit Hilfe der guten, vorgegebenen Regel-Module auch wirklich eine gute Strategie entwickeln konnte. Ähnliche Erfolge habe das Team bereits bei Tetris verbucht, nun werde an noch komplexeren Spielen wie Rollenspielen oder Titeln mit Echtzeitstrategie gearbeitet, wie Szita angibt.

Ergebnisse für Roboterbau und Aktienmärkte interessant
Das Lern-Konzept für KI-Agenten ist aber nicht nur für Spiele interessant. "Wir denken, dass der Zugang für praktisch jedes 'Problem sequentieller Entscheidungen' genutzt werden kann, also Probleme, bei denen ein Agent wiederholt Entscheidungen treffen muss, die langfristige Auswirkungen haben können", beschreibt Szita. Als Beispiele außerhalb des Spielebereichs nennt er Fahrzeug- oder Robotersteuerung sowie den Handel auf Aktienmärkten. Allerdings wäre es sehr wichtig, dass die Programmierer dem KI-Agenten auch wirklich gute Module zur Verfügung stellen. "Für Pac-Man war das leicht, aber für den Handel auf dem Aktienmarkt könnte das eine sehr schwere Aufgabe sein", meint Szita. (pte)