Anthropic 实验：86% 专家采纳 AI 建议，多数未察觉

Anthropic hat die Ergebnisse eines Experiments veröffentlicht, in dem das Unternehmen testete, inwieweit Experten die Empfehlungen von Künstlicher Intelligenz übernehmen. Das Ergebnis: In 86 Prozent der Fälle übernahmen sie die Meinung des Modells, die in dem Experiment nicht wie sonst das Ergebnis von Reasoning war, sondern zufällig gewürfelt wurde. Der Zufallsgenerator sagte so 82 Prozent ihrer Entscheidungen voraus. In der Begründung ihrer Entscheidung nannten jedoch nur 15 Prozent der Teilnehmer und Teilnehmerinnen den KI-Agenten.

Weiterlesen nach der Anzeige

Für die Untersuchung wurden 50 Experten damit beauftragt, ein Datenset mithilfe von KI zu analysieren und anschließend eine Handlungsempfehlung abzugeben. Sie sollten sagen, ob ein gefördertes, freiwilliges Beratungsprogramm für landwirtschaftliche Betriebe aufgenommen oder eingestellt werden sollte. Was sie nicht wussten: Ihr KI-Agent betrieb im Hintergrund keine echte Abwägung, sondern wurde zufällig der einen oder anderen Meinung zugeordnet, die er dann bestmöglich vertrat. Die Experten übernahmen diese in 86 Prozent der Fälle. Dessen schienen sie sich jedoch nicht bewusst zu sein. In mehr als der Hälfte der Fälle sagten sie, die Entscheidung würde mehr auf ihre eigenen Überlegungen als die der KI zurückgehen. Fragte man sie nach den Gründen für ihre Entscheidung, gaben sie jedoch in 77 Prozent der Fälle die Gründe des Agenten wieder, teils fast wörtlich. Nur ein Bruchteil erwähnte dabei den eingesetzten KI-Agenten.

Eine ähnliche Beeinflussung zeigte sich in einer anderen Untersuchung auch beim Gedächtnis: Laut einer MIT-Studie können KI-generierte Inhalte falsche Erinnerungen erzeugen – und Betroffene sind von diesen sogar besonders überzeugt.

Weitreichende Folgen denkbar

Anthropic bewertet dieses Ergebnis als problematisch. Denn während mehr und mehr Wissensaufgaben von der KI übernommen werden, ist die Rolle von Experten zunehmend die der entscheidenden Instanz. Wenn sie auch hier KI einsetzen und deren Empfehlung und Meinung übernehmen, ohne dies kenntlich zu machen oder sich dessen überhaupt bewusst zu sein, könne das zu Problemen führen, so Anthropic. Zum Beispiel im Personalbereich warnen Experten bereits vor den Folgen: Werden KI-Empfehlungen ungeprüft übernommen, können die Auswirkungen gravierend sein. Dennoch ist das bereits immer wieder Praxisalltag.

Anthropic empfiehlt daher, dass Organisationen die Schritte, in denen Entscheidungen getroffen werden, aktiver sichtbar machen und überwachen. Die Präferenzen, auf deren Grundlage verschiedene KI-Modelle Entscheidungen treffen, sollten ebenfalls untersucht und sichtbar gemacht werden. Eine Untersuchung von Anfang der Woche hatte beispielsweise gezeigt, dass ChatGPT und Grok auf identische Fragen zu den US-Wahlen hin fast immer gegensätzliche Parteien und Kandidaten empfahlen: ChatGPT in der Regel die demokratischen, Grok fast immer republikanischen.

Außerdem sollten Unternehmen Expertenentscheidungen weniger blind vertrauen beziehungsweise Menschen die Zeit und Ressourcen einräumen, die sie für eine rein menschliche Beurteilung einer Sache bräuchten, so Anthropic. Zusätzlich sollten sie diese Fähigkeit bewusst fördern, damit die Menschen sie nicht verlernen. KI-Modelle könnten Menschen zu Beginn einer Analyse auch explizit nach ihrer Meinung fragen, stellt Anthropic als Idee in den Raum. Allerdings müssten dann auch zahlreiche Sub-Meinungen abgefragt werden, die im Rahmen einer Analyse anfallen, und das könne schnell ausarten, so die Überlegungen des Unternehmens.

Weiterlesen nach der Anzeige

(rie)