Anthropic Revises Prospectus, Warns AI May Significantly Accelerate Its Own R&D
Anthropic stated in the revised prospectus that the company may be approaching a critical threshold at which AI accelerates its own R&D, but that no existing model has yet met that standard. Under the company's safety guidelines, if AI-assisted research increases the speed of developing new models by at least twofold, that is considered crossing the threshold, which does not mean AI can fully autonomously develop successor models. Anthropic also acknowledged that in the past it only noticed significant acceleration after the fact, and is considering additional safety requirements as Claude takes on more and more research; a September study showed that, weighted by work hours, in about a quarter of R&D tasks Claude can autonomously complete most of the work under human supervision.
Why read this
AI score 55
In the revised prospectus, Anthropic offers an internal assessment that allows readers to understand how it defines the threshold at which AI accelerates its own R&D and its timeline expectations.
Topics
Body
Anthropic hält es für möglich, dass KI die Entwicklung neuer KI-Modelle schon bald erheblich beschleunigt. In der überarbeiteten Fassung seines Börsenprospekts verweist das Unternehmen auf interne Schätzungen und Erwartungen an künftige Modelle. Demnach könnte Anthropic unmittelbar davorstehen, eine kritische Schwelle für KI-beschleunigten Fortschritt zu erreichen. Keines seiner aktuellen Modelle sei bislang entsprechend eingestuft worden.
Weiterlesen nach der Anzeige
Claude hilft bereits, neue Claude-Modelle zu entwickeln, etwa beim Schreiben von Code, bei Experimenten und Tests. Leistungsfähigere Nachfolger könnten wiederum mehr Entwicklungsarbeit übernehmen und damit den Fortschritt weiter beschleunigen. Im Extremfall könnte eine KI ihre Nachfolger ganz ohne menschliche Hilfe entwickeln. Dieses Szenario bezeichnet Anthropic als rekursive Selbstverbesserung.
Anthropic erkennt KI-Fortschritte womöglich zu spät
Je stärker Claude an der eigenen Weiterentwicklung beteiligt ist, desto schwieriger könnte es für Menschen werden, die einzelnen Entwicklungsschritte nachzuvollziehen und zu kontrollieren. Zugleich könnten die Fähigkeiten neuer Modelle schneller wachsen, als entsprechende Sicherheitsmaßnahmen entwickelt werden. Im überarbeiteten Börsenprospekt räumt Anthropic ausdrücklich ein, erhebliche Beschleunigungen bereits in der Vergangenheit erst nachträglich erkannt zu haben.
Die im Börsenprospekt genannte Schwelle stammt aus Anthropics eigenen Sicherheitsrichtlinien. Sie gilt unter anderem als erreicht, wenn KI-gestützte Forschung die Entwicklung neuer KI-Modelle mindestens doppelt so schnell vorantreibt wie ohne KI-Unterstützung. Das bedeutet allerdings noch nicht, dass KI ihre Nachfolger vollständig autonom entwickelt. Weil Claude einen immer größeren Teil der KI-Forschung übernimmt, erwägt Anthropic laut Börsenprospekt zusätzliche Sicherheitsvorgaben.
Anthropic warnt bereits seit Monaten
Weiterlesen nach der Anzeige
Wie weit Claude an der Entwicklung seiner Nachfolger mitarbeitet, bezifferte Anthropic im September in einer Studie: Bei rund einem Viertel der nach Arbeitszeit gewichteten Forschungs- und Entwicklungsarbeit kann Claude den Großteil der Aufgaben selbstständig erledigen, allerdings unter menschlicher Aufsicht. Vollständige Autonomie wurde in keinem untersuchten Bereich festgestellt.
Schon im Juni warnte Anthropic, dass KI künftig schneller Code schreiben könnte, als Menschen ihn überprüfen können. Das Unternehmen sprach sich damals wie die meisten anderen großen KI-Unternehmen für die Möglichkeit einer international koordinierten Verlangsamung oder Pause der KI-Entwicklung aus. In einem Risikobericht aus dem August hielt Anthropic das Erreichen der Schwelle innerhalb eines Jahres bereits für möglich. Der überarbeitete Börsenprospekt spitzt diese Prognose nun zeitlich zu.
Bei Anthropic muss man aktuell aber auch immer betonen: Der schon lange angekündigte Börsengang des Unternehmens steht mutmaßlich kurz bevor. Es ist davon auszugehen, dass Anthropic aktuell in besonderem Maße mit vielen seiner Äußerungen auch eigene PR-Interessen verfolgt.
(tobe)