Superintelligenz und die Sicherheitsdebatte: Wer fordert was

Kurz gesagt: Die Debatte über Superintelligenz ist nicht ein Streit, sondern mehrere. Manche fordern ein Verbot, bis die Sicherheit nachgewiesen ist, manche Labore sagen, sie bauten sie mit Sicherheit als oberster Priorität, und manche Regierungen betonen, dass Überregulierung Innovation ersticken könnte. Fast alle sind sich einig, dass Sicherheit wichtig ist; uneins sind sie darüber, wer entscheidet, wie schnell es gehen soll und ob man warten sollte.

Das Wichtigste auf einen Blick

• Im Oktober 2025 veröffentlichte das Future of Life Institute eine Erklärung, die ein Verbot der Entwicklung von Superintelligenz fordert, bis ein breiter wissenschaftlicher Konsens besteht, dass sie sicher und kontrollierbar gelingt, und eine starke öffentliche Zustimmung vorliegt.
• Safe Superintelligence Inc., 2024 gegründet, will Superintelligenz nach eigenen Angaben sicher entwickeln; Kritiker eines Verbots halten es für schwer definier- und durchsetzbar.
• Der International AI Safety Report unter Leitung von Yoshua Bengio ordnet Risiken in böswillige Nutzung, technisches Versagen und systemische Risiken.
• In den USA betont die Charta der neuen Super Intelligence Force, Überregulierung zu vermeiden; die von Tech-Führungskräften unterzeichnete Sicherheitsverpflichtung ist nicht bindend.

Warum gibt es mehr als eine Debatte?

«Superintelligenz» ist eine hypothetische KI weit jenseits menschlicher Fähigkeiten. Wenn Ihnen der Begriff neu ist, beginnen Sie mit unserer Erklärung, was Superintelligenz ist und warum sie so heisst. Weil es nichts Vergleichbares gibt, streiten Menschen über Verschiedenes: ob sie gebaut werden kann, ob sie gebaut werden sollte, wer das Sagen haben soll und was in der Zwischenzeit zu tun ist. Wer diese Fragen vermischt, findet die Debatte verwirrend.

Position 1: Verbieten, bis die Sicherheit bewiesen ist

Die klarste Form dieser Haltung ist die vom Future of Life Institute im Oktober 2025 organisierte Superintelligenz-Erklärung. Ihre Forderung lautet laut Wikipedia: «A prohibition on the development of superintelligence, not lifted before there is broad scientific consensus that it will be done safely and controllably, and strong public buy-in.» Sinngemäss: ein Verbot der Entwicklung von Superintelligenz, das erst aufgehoben wird, wenn ein breiter wissenschaftlicher Konsens besteht, dass sie sicher und kontrollierbar erfolgt, und die Öffentlichkeit klar zustimmt.

Zu den genannten Unterzeichnern zählen die KI-Forscher Yoshua Bengio und Geoffrey Hinton, Apple-Mitgründer Steve Wozniak, Virgin-Gründer Richard Branson, Prinz Harry, Steve Bannon und will.i.am. Laut Wikipedia hat bislang keine Regierung ein ausdrückliches Verbot von Superintelligenz erlassen, die Idee wurde aber in der EU und bei der UNO diskutiert.

Kritiker wenden ein, ein Verbot sei schwer zu definieren und durchzusetzen, da es keine genaue Schwelle zwischen fortgeschrittener KI und Superintelligenz gibt. Sie warnen ausserdem, Beschränkungen könnten den wissenschaftlichen Fortschritt bremsen und Forschung in den Untergrund drängen.

Position 2: Bauen, aber mit Sicherheit an erster Stelle

Eine andere Gruppe sagt, man solle sorgfältig bauen. Safe Superintelligence Inc. (SSI) wurde am 19. Juni 2024 von Ilya Sutskever, Daniel Gross und Daniel Levy gegründet; laut Wikipedia lautet die erklärte Mission, eine Superintelligenz «sicher zu entwickeln». Das Unternehmen bezeichnet sich als «the world's first straight-shot SSI lab», ohne Produktzyklen und kurzfristigen kommerziellen Druck. Laut Wikipedia sammelte es im September 2024 eine Milliarde US-Dollar ein und wurde im März 2025 mit 30 Milliarden US-Dollar bewertet.

Die Spannung liegt auf der Hand: Dieses Lager will genau das bauen, was das erste Lager verbieten möchte, und argumentiert, sichere Entwicklung sei besser, als das Feld anderen zu überlassen.

Position 3: Schnell vorangehen und schwere Regulierung vermeiden

Eine dritte Sichtweise stellt Innovation und Wettbewerbsfähigkeit voran. TechCrunch berichtete am 4. Oktober 2026, dass US-Präsident Trump eine «Super Intelligence Force» unter Leitung von Geheimdienstkoordinator Jay Clayton geschaffen hat, die innerhalb von 120 Tagen über Risiken und Chancen berichten soll. Ihre Charta betont, «overregulation and regulatory capture that would stifle innovation» zu verhindern, also Überregulierung und regulatorische Vereinnahmung, die Innovation ersticken würden. TechCrunch erwähnte auch, dass Tech-Führungskräfte im Weissen Haus eine nicht bindende Sicherheitsverpflichtung unterzeichnet haben, deren Einzelheiten vage blieben. Die ganze Geschichte lesen Sie in unserem Beitrag dazu, was die Executive Order sagt.

Das ist der erklärte Ansatz einer Regierung, keine Behauptung, Sicherheit sei unwichtig. Der Streit geht darum, ob verbindliche Regeln oder freiwillige Zusagen das richtige Mittel sind.

Position 4: Erst Belege, dann entscheiden

Ein vierter Ansatz konzentriert sich darauf, Risiken zu messen, bevor man eine Politik wählt. Der International AI Safety Report wird von Yoshua Bengio geleitet und wurde von 30 Staaten beim AI Safety Summit 2023 in Bletchley Park in Auftrag gegeben. Die zweite vollständige Ausgabe erschien am 3. Februar 2026. Er gliedert Risiken in drei Pfade: böswillige Nutzung (etwa Betrug und Cyberangriffe), technisches Versagen (Systeme, die ausfallen oder sich unvorhersehbar verhalten und unsicheres Verhalten im Test verbergen können) und systemische Risiken (etwa Konzentration bei wenigen Anbietern und Umbrüche am Arbeitsmarkt).

Der Bericht beschreibt Risiken; er schreibt für sich genommen weder ein Verbot noch eine Strategie des sicheren Bauens vor.

Geld und Warnungen schliessen sich nicht aus

Einige der lautesten Warnungen kommen von Menschen mit grossem finanziellen Interesse. Startup Fortune berichtete am 4. Oktober 2026, dass Masayoshi Son von SoftBank auf einem Forum in Kyoto sagte, Superintelligenz «could turn super dangerous in wrong hands», also in den falschen Händen sehr gefährlich werden könnte. Derselbe Artikel erwähnt, dass er 2024 gegenüber CNN sagte, ohne Regulierung könne KI «super dangerous» sein, dass er seine Prognose für Superintelligenz auf unter zwei Jahre vorgezogen hat und dass SoftBank über 60 Milliarden US-Dollar in OpenAI zugesagt hat. Das sind berichtete Aussagen und die Prognose einer einzelnen Person, keine gesicherten Tatsachen. Sie zeigen, dass Sorge und hohe Investitionen zusammengehen können.

Worüber besteht Einigkeit, worüber Streit?

Weitgehend geteilt: Sicherheit ist wichtig, und heutige Systeme bergen schon reale Risiken wie Missbrauch, unzuverlässiges Verhalten und Machtkonzentration.

Umstritten: ob Superintelligenz nahe ist (die Prognosen gehen weit auseinander), ob ein Verbot möglich oder überhaupt wünschenswert ist, ob freiwillige Zusagen genügen und wer entscheiden soll: Wissenschaft, Unternehmen, Regierungen oder die Öffentlichkeit.

Was bedeutet das für ein Unternehmen?

Sie müssen sich nicht für eine Seite entscheiden, um vernünftig zu handeln:

1. Behandeln Sie Zeitprognosen als Meinungen. Fragen Sie, wer sie äussert und was er davon hat.
2. Beobachten Sie die Regulierung, nicht nur die Technik. Regeln zu KI-Agenten, Meldepflichten und Verbraucherschutz ändern sich schnell.
3. Behalten Sie eigene Kontrollen. Begrenzen Sie Zugriffe, protokollieren Sie Aktionen und halten Sie eine Person für KI-Ergebnisse verantwortlich.
4. Fragen Sie Anbieter, welche Schutzmassnahmen sie betreiben und wie sie testen. Freiwillige Zusagen sind nur so stark wie die Praxis dahinter.

Die Kurzfassung

Es gibt nicht die eine Superintelligenz-Debatte. Es gibt Forderungen nach einem Verbot, bis die Sicherheit erwiesen ist, Labore, die sie sicher bauen wollen, Regierungen, die Überregulierung fürchten, und Forscher, die Risiken messen. Alle sagen, Sicherheit sei wichtig; uneins sind sie darüber, wer entscheidet und wie schnell es gehen soll. Für Unternehmen ist die praktische Antwort unter jeder Sichtweise dieselbe: die Kontrolle über die genutzte KI behalten.

Weitere Einblicke

• Was ist Superintelligenz und warum heisst sie so?
• Trumps Super Intelligence Force: Was die Executive Order sagt
• Gemini 4 Argon: So lesen Sie die Ankündigung eines Frontier-Modells

Quellen

• Wikipedia, Superintelligence ban, Oktober 2025
• Wikipedia, Safe Superintelligence Inc.
• Wikipedia, International AI Safety Report
• TechCrunch, Trump unveils his new Super Intelligence Force, 4. Oktober 2026
• Startup Fortune, Masayoshi Son warns superintelligence could turn super dangerous in wrong hands, 4. Oktober 2026