AnythingLLM：用 AI 在本地分析自己的文档

AnythingLLM liest Dokumente ein und gibt mit einem KI-Chat Antworten dazu. Dabei bleiben Daten und LLM lokal und so vollständig unter Ihrer Kontrolle.

(Bild: KI / heise medien)

Andreas Dumont

AnythingLLM: Eigene Dokumente mit KI lokal auswerten

So funktioniert AnythingLLM; AnythingLLM installieren; AnythingLLM verwenden; Mit Agenten arbeiten; Fazit

Auf dem PC gibts oft Ordner, die man gar nicht mehr öffnen möchte: Da finden sich Dutzende Rechnungen, Handbücher oder ein Haufen Excel-Tabellen – alles über mehrere Jahre gesammelt, reingeworfen und so gar nicht strukturiert. Wer da eine Information sucht, benötigt viel Geduld. Oder man fragt in einem Chatfenster einfach: „Wie hoch war mein Stromverbrauch im letzten Quartal, und wie viel muss ich im Januar nachzahlen?“ Das geht mit AnythingLLM.

AnythingLLM: Dokumente mit KI lokal auswerten; KI am Arbeitsplatz: So bewahren Sie Kreativität und Urteilsvermögen; KI-Bilder lokal generieren: Stable Diffusion auf dem Raspberry Pi einsetzen; Plaud Note im Test: KI-Diktiergerät im Kreditkartenformat; Kommentar: Das Zeitalter der technischen Dekadenz ist angebrochen; Sprachmodelle: Deutschlands Aufholjagd gegenüber den USA und China; Interview mit DeepL-Gründer Jaroslaw Kutylowski; Video-KI Sora: 3 Dinge, die man beachten sollte; KI im Unternehmen: Microsoft 365 Copilot einführen; Automatische Foto-Verschlagwortung mit Grafikkartenunterstützung beschleunigen

AnythingLLM ist ein lokales Tool, das Dokumente über Retrieval Augmented Generation (RAG) einliest und mit einem lokalen Sprachmodell, etwa über Ollama, datenbankgestützt auswertet; Das Tool unterteilt den Inhalt in thematisch getrennte Workspaces, in denen es Dokumente in Textfragmente zerlegt, als Vektoren speichert und abfragt; Durch integrierte Agenten und aktivierbare Skills lassen sich neben lokalen Text- und Tabellendateien auch erweiterte Funktionen wie Live-Websuchen oder Dateisystemzugriffe nutzen

Die Firma hinter AnythingLLM heißt Mintplex Labs und ist ein kleines amerikanisches Unternehmen. AnythingLLM selbst ist kein Large Language Model (LLM), sondern fungiert als Brücke: Es lädt Dateien und Dokumente in Workspaces, wandelt sie in Vektoren um und zieht dann ein separates LLM für Antworten auf Prompts heran. Die Antworten basieren dann dokumentenübergreifend auf dem Inhalt der angegebenen Quellen.

In diesem Artikel zeigen wir, wie Sie AnythingLLM zusammen mit dem lokalen Open-Source-Werkzeug Ollama und einem leistungsstarken KI-Modell wie Gemma auf Ihrem Rechner einrichten. Dabei erklären wir Schritt für Schritt, wie Sie Dokumente lokal auswerten. Durch den Einsatz von Agenten sowie spezifischen Optimierungen können Sie das System zusätzlich an Ihre Bedürfnisse anpassen.

Alle exklusiven Tests, Ratgeber & Hintergründe; Ein Abo für alle Magazine: c't, iX, Mac & i, Make, c't Fotografie im Browser lesen und als PDF speichern; Wöchentlich schon ab 2,99 €. Rabatt für Magazin-Abonnenten und junge Leute

Immer mehr Wissen. Das digitale Abo für IT und Technik.

HTTPS im Heimnetz: So sichern Sie lokale Dienste ab

Selbst gehostete Dienste lassen sich dank DNS-01-Challenge mit Let's-Encrypt-Zertifikaten absichern, ohne aus dem Internet erreichbar sein zu müssen.