Kokotajlo gilt als einer der renommiertesten Fachleute für die Zukunft der künstlichen Intelligenz. Seit Jahren warnt er vor existenziellen Risiken der Technologie. Die Techindustrie plane eine Automatisierung der KI-Forschung, so Kokotajlo. Damit "überschreitet die Menschheit einen Horizont. Ab diesem Punkt könnte die KI in vielerlei Hinsicht deutlich übermenschliche Fähigkeiten entwickeln - vielleicht in jeder Hinsicht. Das ist äußerst gefährlich". Wenn eine KI die nächste trainiere, beschleunige sich das Tempo des Fortschritts erheblich. Das bedeute auch, dass es schwieriger werde, den Überblick zu behalten, und es wahrscheinlicher werde, dass Fehler nicht bemerkt würden, so der Forscher.
Er fordert daher, die KI-Entwicklung von OpenAI oder Anthropic staatlich massiv einzuschränken. "Wir müssen die KI-Entwicklung im Wesentlichen abschalten", so Kokotajlo. Der Menschheit fehle derzeit "das Verständnis und die Fähigkeit, KI mit dem Skalpell zu regulieren und zwischen dem Guten und dem Schlechten zu unterscheiden". Erst wenn ein sicherer und allgemein vorteilhafter Weg für die Entwicklung einer Superintelligenz gefunden sei, dürfe mit ihrer Entwicklung fortgefahren werden. "Dafür braucht es vollständige Transparenz, eine breitere Machtverteilung - und einen Kill-Switch", so Kokotajlo. Einen Ausschalter.
