München (KNA) Das Thema hat Hochkonjunktur. Etliche Fachleute und Firmenchefs warnen in diesen Tagen vor unkontrollierbaren Risiken durch hoch entwickelte KI-Modelle. Parallel mehren sich die Nachrichten, dass es KI-Agenten vermeintlich immer wieder gelingt, ein Eigenleben zu entwickeln und Aktivitäten zu verfolgen, für die sie nicht trainiert worden sind. Noch bekommen die KI-Unternehmen solche Entwicklungen in den Griff - so die Meldungen von OpenAI, Meta oder Anthropic. Das allerdings dürfte bald vorbei sein, prophezeien auch die KI-Forscher Eliezer Yudkowsky und Nate Soares. Mit ihrem Buch "If anyone builds it, everyone dies" reihen sie sich ein in die Reihe derer, die fordern, die Entwicklung leistungsfähigerer KI-Algorithmen einzustellen. Andernfalls drohe die Auslöschung der Menschheit durch Künstliche Intelligenz. Doch wie wahrscheinlich ist diese Dystopie, die für viele nach Alarmismus klingt? Glaubt man den beiden Wissenschaftlern vom gemeinnützigen Machine Intelligence Research Institut in Kalifornien, tritt die feindliche Übernahme durch eine "Superintelligenz" mit Sicherheit ein. Das Besondere an ihrem Buch: Sie können ihre Befürchtung durchaus plausibel erklären. Dabei behaupten sie nicht, zu wissen, zu welchem Zeitpunkt eine selbständig werdende KI beginnen werde, sich gegen die Menschen zu richten. Und auch wie das genau ablaufen soll, können sie nicht sagen. Aber sie stellen ein Szenario vor, das einen möglichen Auslöschungsprozess anschaulich beschreibt. Dafür haben sie das fiktive Modell "Sable" erfunden, mit dem sie stellvertretend durchspielen, mit welchen Mitteln es der KI gelingen könnte, heimlich eine Erweiterung ihrer selbst zu schaffen und mit dieser am Menschen vorbei zu operieren. Beklemmend, wieviel Realitätsbezug in "Sable" steckt. Wie es zunächst im Verborgenen Eigenarten entwickelt und diese Fähigkeiten nach und nach verstärkt. Um sich dann - sobald die Entwickler das Modell veröffentlicht haben - eigenständig in Unternehmensnetzwerken auszubreiten. Trickreich auch, wie "Sable" an Geld für Computerchips kommt, um seine Hardware aufzustocken. Der Diebstahl von Kryptogeld oder die Erpressung von Menschen mit gestohlenen Daten - für "Sable" kein Problem. Ob die KI dabei nach und nach Bewusstsein erlangt, ist für die Forscher allerdings nicht relevant. Ihnen reicht die Annahme, dass sie Intentionen entwickelt. Am Ende schafft es die KI, Forschungsarbeit zu tödlichen Viren auszulösen, gegen die die Menschheit machtlos ist. Anders als andere Wissenschaftler, die solch ein Risiko - wenn überhaupt - eher als Kollateralschaden vermuten, gehen Eliezer Yudkowsky und Nate Soares davon aus, dass sich KI (auch) dezidiert gegen den Menschen richten würde. Denn neben konkurrierenden Algorithmen würden auch die Menschen versuchen, die KI einzuschränken. Und würden damit aus KI-Sicht zu Störfaktoren, die es zu beseitigen gilt. Ihr Szenario unterlegen Eliezer Yudkowsky und Nate Soares mit gut verständlichen Erläuterungen darüber, wie das Training von Algorithmen technisch funktioniert und welche Wege es nehmen kann. Dabei erklären sie auch, warum sie einen Kontrollverlust erwarten. Ihre Prämisse: Eine KI, die man auf Höchstleistungen trainiert, wird immer versuchen, ihre Ressourcen auszuschöpfen - auch darüber hinaus, was ein Mensch für sie vorgesehen hat. Um dem Nachdruck zu verleihen, sparen sie nicht an wortstarker Kritik an all den "Quacksalbern", die das Gegenteil behaupten. Wenn es um die Funktionsprinzipien von (Künstlicher) Intelligenz gehe, bewege sich die Forschung auf dem Niveau der Alchimie. Dass nur ein Entwicklungsstopp von KI die "Katastrophe" abwenden kann, ist da nur naheliegend. Auch wenn vieles dafür spricht, dass es den großen KI-Unternehmen wie OpenAI oder Anthropic bei der aktuellen Debatte vor allem um ihre eigenen Geschäftsinteressen geht, ist das Problem des "AI-Alignment", also der Frage, wie man KI im Sinne des Menschen ausrichten kann, nach wie vor ungelöst. Und es verstärkt sich, je leistungsfähiger die Algorithmen werden. In den Griff bekommen lässt sich dies laut Yudkowsky und Soares mit einer konzertierten Aktion "der wichtigsten Mächte" - Ländern wie den USA, Großbritannien, China oder Russland, vergleichbar mit Abkommen, wie sie es zur Kontrolle von Nuklearwaffen gibt. Im Moment erscheint dies politisch kaum machbar. Dass man es zügig angehen sollte, dafür liefert das Buch der beiden Wissenschaftler aber wichtige Argumente.