Eine interessante Anekdote geht aktuell durch die Medien: ChatGPT verliert selbst auf Anfängerniveau im Schach gegen eine fast 50 Jahre alte Spielkonsole. Aber warum ist das so? Spoiler: Das von ChatGPT erstellte Titelbild gibt schon einen Hinweis..
Schach ist ein komplexes Spiel, das auf viele Züge im Voraus ausgerichtete Strategien belohnt und es benötigt viel Rechenpower um auf Weltklassespieler wie Garri Kasparow oder Magnus Carlsen zu schlagen. Und nun soll ein schnöder Atari-Spielkasten aus der Steinzeit problemlos das auf leistungsstarken Rechnerverbünden laufende ChatGPT geschlagen haben?
Erklären wir doch erst einmal die Grundsituation: Ein Mitarbeiter der Softwarefirma Citrix, Robert Jr. Caruso, ließ sich von ChatGPT dazu überreden, ein Spiel zu spielen. Tatsächlich wählte die KI selbst “a game of chess with Atari”: Via Emulation ließ Caruso dann ein Schachprogramm auf einem Atari 2600 laufen und gegen ChatGPT spielen.
–> Linkedin-Beitrag von Caruso
Sonderlich überzeugen konnte das Large Language Model dabei nicht, Caruso berichtet bei Linkedin, dass ChatGPT selbst auf Anfängerniveau vernichtend geschlagen wurde. Dabei waren grundsätzliche Verständnisprobleme des LLM ursächlich: Die KI verwechselte Türme mit Läufern, Angriffe von Bauern übersehen oder ignoriert und hat generell oft den Überblick verloren.
Als Begründung gab ein zunehmend weinerliches ChatGPT zu verstehen, dass es die Symbole der Schachfiguren nicht gut erkennen könne – aber selbst eine verträglichere Darstellung in Form der üblichen Notation der Schachzüge verhalten ChatGPT nicht zu besseren Ergebnissen.
Wir kennen es, wenn wir mit ChatGPT sinnlose Diskussionen über falsche oder halluzinierte Antworten führen (das machen wir doch, oder? Ich bin da nicht mit alleine?): Die KI gibt ungerne Fehler zu und protzt mit dem Selbstbewusstsein amerikanischer Präsidenten. Immer wieder bat ChatGPT um einen Neuanfang, weil es dann ganz sicher besser werden würde.
Unterdessen machte Ataris bescheidene 8-Bit-Engine einfach ihr Ding. Kein Sprachmodell. Kein Schnickschnack. Nur Brute Force und die Hartnäckigkeit von 1977.
(Der letzte Satz könnte auch Dods Lebensmotto werden)
Wenn man ChatGPT lange genug demütigt, gibt selbst die KI auf, so auch in diesem Fall. 1:0 für den 1977 auf den Markt gekommenen Atari 2600!
Technische Daten Atari 2600:
- CPU: MOS Technology 6507 mit 1,19 MHz
- RAM: 128 Byte
- Speicher: 4 KByte via Modul
- Farben: max. 128
- Im Voraus geplante Schachzüge: 1-2
- Stromverbrauch: ca. 10 Watt
Dem gegenüber steht ChatGPT, das auf unzähligen Hochleistungsrechnern mit speziellen KI-Beschleunigern trainiert und ausgeführt wurde. Vom Stromverbrauch pro Schachzug reden wir lieber gar nicht erst.
Warum also gewinnt das mutige Atariprogramm, das auf einer Hardware läuft, die so alt ist wie der Chefredakteur von XTND gegen die aktuelle Generation fancy Mainstreamhightech?
Warum gewinnt ein Fisch kein Wettklettern gegen einen Affen?
LLMs wie ChatGPT sind zwar großartig darin, die eigenen Fähigkeiten zu überschätzen, diese liegen aber in einem eher schmalen Betätigungsfeld. Unmengen an Informationen durchsuchen, Muster bilden, Antworten finden. Vielleicht mal ein paar Pixel halbwegs sinnvoll zu einem Bild formen. Die Schachregeln liegen ChatGPT zwar vor, dem LLM fehlt aber ein Verständnis für die Zusammenhänge.
Die KI ist nicht intelligent, wie man es naiv annehmen mag. Sie kann nur einige Dinge besonders gut und wirkt damit intelligent. Eine simple Matheaufgabe kann ein billiger Taschenrechner schneller und vor allem deutlich energiesparender berechnen beispielsweise.
In gängige Schachcomputer und -Programme sind umfangreiche Datenbanken mit allen denkbaren Spielzügen hinterlegt, mit Brute Force, also schlicht massenweise Rechenpower, werden diese bei einer Partie durchsucht und es werden Strategien für viele folgende Züge erarbeitet. Zugegeben, die massive Rechenpower des Atari 2600 reicht nur um 1-2 Züge vorherzuplanen.
Aber immerhin, ChatGPT plant gar nicht erst. Es versucht ein Muster zu erkennen, hat aber keine Ahnung wie dieses Muster aussehen soll. Schachcomputer wie Alpha Zero von DeepMind beispielsweise kannte die Schachregeln und trainierte sich selbst, indem es 44 Millionen Partien gegen sich selbst spielte.
ChatGPT hat in den letzten Jahren sicherlich oft über Schach geredet und viele spannende Infos für fragende User zusammengetragen. Aber gespielt wird die KI das Spiel wohl eher selten haben. Die Schachzugbibliotheken von DeepMind? Für ChatGPT nur durchsuchbarer Text.
Das ist keine Abwertung der Fähigkeiten von ChatGPT. Es ist mehr wie damals bei PC-Games: Da musste der Generalist “Prozessor” auch noch viele Aufgaben übernehmen, die heute speziell dafür gefertigte GPUs erledigen. Eine Voodoo-Grafikkarte im PC zeigte dann, wie schlecht der Prozessor für Grafiken eigentlich geeignet war – x86-CPUs können viele Dinge und einige davon auch echt flott, Spezialisten schlagen das Universaltalent aber fast immer deutlich.
Nur, dass dieser Spezialist halt ein 1-MHz-Videogame war. Es hilft aber natürlich, die Schachregeln zu kennen und sie auch im Kontext des Spieles stringent einzusetzen.. Lassen wir ChatGPT also besser gegen ein Kleinkind antreten, das noch nie von Schach gehört hat. Später darf das Kind dann gegen ChatGPT eine Analyse eines wissenschaftliches Textes erstellen.
Disclaimer: Das Titelbild hat ChatGPT erstellt und erneut bewiesen, von Schach nur bedingt Ahnung zu haben. Und von VCS-Modulbeschriftungen.
