KI: Anthropic schlägt weltweite Pause in KI-Entwicklung vor

Das KI-Startup Anthropic hat erneut vor einer zu schnellen Entwicklung leistungsfähiger KI-Modelle gewarnt. In einem Blogbeitrag(öffnet im neuen Fenster) fordert das Unternehmen eine weltweite Pause oder zumindest Verlangsamung bei der KI-Entwicklung.

Grund ist die Sorge vor Systemen, die sich selbst entwickeln und optimieren können; Anthropic spricht von "recursive self-improvement", also rekursiver Selbstoptimierung. Die Befürchtung, dass Entwickler irgendwann KI-Modelle schaffen, die sich selbst weiterentwickeln und dabei nicht zu stoppen sind, ist unter zahlreichen KI-Wissenschaftlern verbreitet.

Anthropic sprach in der Vergangenheit wiederholt vor den Gefahren zu schneller KI-Entwicklung. Aktuell sei noch ein Zeitfenster offen, die zu schnelle Entwicklung einer zu starken, sich selbst optimierenden KI zu verhindern – oder zumindest in geordneten Bahnen verlaufen zu lassen.

Dafür ist Anthropic zufolge aber eine koordinierte Anstrengung der weltweit führenden KI-Unternehmen notwendig. Um zu verhindern, dass Nachzügler eine Entwicklungspause ausnutzten, um sich an die Spitze der Entwicklung zu schieben, müsse es wirkungsvolle Kontrollmechanismen geben.

Darin sieht Anthropic eine Herausforderung: Wenn nur ein Unternehmen eine Entwicklungspause machte, hätte dies kaum nennenswerte Auswirkungen – ein anderes Lab würde sich dann einfach an die Spitze schieben.

Anthropic verweist auf andere weltweite Kontrollmechanismen, etwa den INF-Vertrag(öffnet im neuen Fenster). Diese hätten aber Jahrzehnte für die Umsetzung gebraucht – so viel Zeit habe man aktuell nicht. In den kommenden Monaten will Anthropic mit anderen Politikern, Wissenschaftlern, Vertretern der Zivilgesellschaft und KI-Unternehmen sprechen, inwieweit die Entwicklung selbstoptimierender KI‑Systeme reguliert werden könne.

Anthropic schreibt sich eine sichere Entwicklung von KI seit jeher auf die Fahnen. Das Unternehmen weigerte sich etwa, seine Modelle für bestimmte militärische Einsatzzwecke für die US-Regierung freizugeben. Das brachte Anthropic eine Einstufung als "nationales Lieferkettenrisiko" ein. Auch Anthropic-Chef Dario Amodei warnte in der Vergangenheit vor einer sogenannten Superintelligenz.

Dabei ging es ihm wie im aktuellen Fall darum, ob die Menschheit mit einer solch mächtigen KI umgehen könne. Amodei und Anthropic denken: nein. Gleichzeitig ist Anthropic nach dem jüngsten Funding wertvoller als OpenAI (g+). Inwieweit die Vorsicht bei der Entwicklung dem Unternehmen nützen oder schaden wird, bleibt abzuwarten.