Vor der Preisfrage steht eine andere: Wollen Sie etwas benutzen oder etwas bauen? Die Antwort entscheidet, welcher Teil des Marktes für Sie überhaupt in Frage kommt – und ob Sie sich mit Datenbanken befassen müssen oder nicht.
Zwei Kategorien, die man auseinanderhalten sollte
In Produktbeschreibungen verschwimmt eine wichtige Unterscheidung:
- Fertige Assistenten – Software, die Sie installieren und benutzen. Sie laden Dokumente hoch und stellen Fragen.
- Bausteine – Datenbanken und Bibliotheken, aus denen Entwickler eine Lösung bauen.
Wer einen Assistenten für seine Dokumente sucht, braucht die erste Kategorie. Die Datenbank steckt dann schon drin, und Sie müssen darüber nicht entscheiden.
Die beiden Kategorien sind kein Entweder-oder. Dazwischen liegen Programmier-Baukästen, die einen Großteil der Arbeit abnehmen, und gehostete Dienste, bei denen der Anbieter das Nachschlagen komplett übernimmt. Für die Einordnung genügen die beiden Pole; in der Praxis landen viele Lösungen dazwischen.
Fertige Assistenten
Eine Auswahl gängiger Vertreter, keine vollständige Marktübersicht:
- Nextcloud Assistant mit Context Chat – für alle, die Nextcloud bereits einsetzen. Auswertung und Datenbank laufen in der eigenen Installation, der Zugriff lässt sich auf einzelne Ordner begrenzen; für gute Geschwindigkeit wird eine Grafikkarte im Server empfohlen (Nextcloud, Autoize).
- AnythingLLM – quelloffen, kostenlos, auf eigener Hardware zu betreiben. Bringt die Datenbank mit, hat eine Rechteverwaltung je Arbeitsbereich und läuft mit lokalen wie mit Cloud-Modellen (gewusst:KI).
- Open WebUI – ebenfalls quelloffen und kostenlos, breiter aufgestellt: mehr Modell-Anbindungen, stärkere Nutzerverwaltung, Dokumentensuche als eine Funktion unter mehreren (Local AI Master).
- Microsoft 365 Copilot – liegen Ihre Dokumente ohnehin in SharePoint und OneDrive, ist das der Weg mit dem geringsten Einrichtungsaufwand. Die Auswertung findet beim Anbieter statt.
- Google NotebookLM – gut für einzelne Recherchesammlungen, weniger für einen dauerhaften Firmenbestand; läuft ausschließlich bei Google (ki-rundschau).
Bei fertigen Assistenten entscheidet vor allem der Ort, an dem Ihre Dokumente ausgewertet werden. Die Funktionslisten ähneln sich stärker als die Antwort auf die Frage, wessen Server rechnet.
Bei Nextcloud, AnythingLLM und Open WebUI bleiben Ihre Dokumente auf Ihrer eigenen Infrastruktur – was bei Personal- und Kundendaten regelmäßig den Ausschlag gibt. Bei Copilot und NotebookLM liegen sie beim Anbieter; das ist nicht per se schlecht, gehört aber vertraglich sauber geregelt.
Bausteine für eigene Lösungen
Relevant, wenn individuell entwickelt wird. Nach Einsatzzweck sortiert:
Für die Stichwortsuche brauchen Sie oft gar nichts Neues. PostgreSQL, MySQL und praktisch jedes gängige System bringen eine Volltextsuche mit; wer mehr Komfort will, nimmt OpenSearch oder Solr. Diese Werkzeuge sind seit Jahrzehnten im Einsatz und günstig im Betrieb.
Für die Bedeutungssuche kommen Vektordatenbanken ins Spiel. Auch hier eine Auswahl – der Markt ist größer und in Bewegung:
| Werkzeug | Einordnung |
|---|---|
| LanceDB | Läuft eingebettet – wie eine Datei neben der Anwendung, ohne eigenen Server und ohne Docker. Quelloffen unter Apache 2.0, mit Anbindungen für Python, JavaScript und Rust (LanceDB). Der einfachste Einstieg für eine lokale Wissensbasis. |
| Qdrant | Eine ausgewachsene Suchdatenbank: Bedeutungs-, stichwortartige und hybride Suche plus umfangreiche Filter, quelloffen unter Apache 2.0 (Qdrant). Lässt sich lokal starten und später auf einen Server heben. |
| pgvector | Erweiterung für PostgreSQL. Wenn Sie ohnehin PostgreSQL betreiben, liegen Volltext- und Bedeutungssuche im selben System. |
| Chroma | Beliebt für Prototypen, schneller Einstieg. |
| FAISS | Keine vollständige Datenbank, sondern eine sehr schnelle Bibliothek für Ähnlichkeitssuche von Meta Research (FAISS). Zerlegen, Metadaten, Speicherung und Aktualisierung bauen Sie selbst – für neue Projekte deshalb selten die erste Wahl. |
Eine mögliche Reihenfolge für den Einstieg: einfach und lokal → LanceDB, soll später produktiv tragen → Qdrant, alles selbst kontrollieren → FAISS. Wer PostgreSQL ohnehin betreibt, fängt sinnvollerweise bei pgvector an.
Wie so etwas an einen KI-Assistenten angebunden wird
Für Eigenentwicklungen hat sich ein sauberes Muster etabliert: Der Assistent bekommt keinen direkten Datenbankzugriff, sondern ein klar umrissenes Werkzeug – etwa „durchsuche die Wissensbasis“. Dahinter liegt ein kleiner Dienst, der das Nachschlagen erledigt und die Fundstellen zurückgibt. Bei Claude Code ist der offizielle Weg dafür MCP, eine standardisierte Schnittstelle für externe Werkzeuge und Datenquellen (Anthropic: MCP).
Der Vorteil: Der Assistent kann nur suchen, nicht beliebig in der Datenbank arbeiten. Rechte, Filter und Protokollierung liegen an einer Stelle.
Was keine Lizenz kostet
Bis auf Microsoft 365 Copilot und Google NotebookLM sind alle oben genannten Werkzeuge quelloffen: auf eigener Hardware fällt für die Software keine Gebühr an. Dazu kommen dauerhaft kostenlose Cloud-Tarife (Stand 08/2026), etwa bei Qdrant Cloud ein Cluster mit 0,5 vCPU, 1 GB RAM und 4 GB Speicher – laut Anbieter genug für rund 1 Million Vektoren mit 768 Dimensionen (Qdrant Cloud) – oder Pinecone Starter mit bis zu 2 GB Speicher und 5 Indizes (Pinecone).
Auch die Fingerabdrücke setzen keinen kostenpflichtigen Dienst voraus: Embeddings lassen sich mit freien Modellen lokal auf der eigenen CPU berechnen, Qdrant und LanceDB unterstützen das ausdrücklich (Qdrant-Client, LanceDB Embeddings). Damit bleibt der komplette Weg vom Dokument bis zur Antwort im eigenen Haus.
Was Sie trotzdem einkalkulieren sollten
- Rechenleistung für die Fingerabdrücke – auf eigener Hardware Rechenzeit, beim Anbieter eine Gebühr. Entfällt bei reiner Stichwortsuche.
- Das Sprachmodell für die Antwort – je Anfrage oder als eigener Server mit Grafikkarte.
- Arbeitszeit für Einrichtung und Pflege. Erfahrungsgemäß der größte Posten.
- Hardware und Strom, wenn alles im eigenen Haus läuft. Je nach Modellgröße ist eine Grafikkarte im Server nötig.
Je nach Vorhaben kommen weitere Posten dazu, etwa Schulung oder ein externer Datenschutz-Check.
Unsere Empfehlung
Der erste Schritt ist Ordnung, nicht Retrieval (siehe Teil 3): aufräumen, damit arbeiten, und beobachten, wo es hakt.
Wenn dann Retrieval nötig wird, beginnen Sie klein: ein abgegrenzter Bereich, in dem oft dieselben Fragen gestellt werden – Arbeitsanweisungen, Produktunterlagen, Verträge. Nicht „alle Dokumente der Firma“. Prüfen Sie die Antworten stichprobenartig gegen die genannten Quellen; so merken Sie schnell, ob Aufteilung und Suchmethode taugen.
Und wer Nextcloud oder PostgreSQL bereits betreibt, hat einen guten Teil des Baukastens schon im Haus.
Die Serie im Überblick
Damit ist die Reihe komplett – von der Frage, was RAG überhaupt ist, bis zu den Werkzeugen und den Posten, die dabei anfallen.
Quellen
- Nextcloud Admin Manual: Context Chat · Deep Dive Nextcloud Context Chat (Autoize) – lokale Auswertung, Ordnerbegrenzung
- AnythingLLM (gewusst:KI) · AnythingLLM vs Open WebUI (Local AI Master) · RAG lokal bauen (ki-rundschau) – Fertiglösungen, Einordnung NotebookLM
- LanceDB: FAQ zur OSS-Fassung – eingebettet, Apache 2.0, Python/JavaScript/Rust (abgerufen 14.08.2026)
- Qdrant (Projektseite) · Qdrant Cloud: Cluster anlegen · Qdrant Python-Client – Suchformen, kostenloses Cluster, lokale Embeddings
- FAISS (Meta Research) – Bibliothek für Ähnlichkeitssuche
- LanceDB: Embeddings – Unterstützung lokaler Embedding-Modelle
- Anthropic: Claude Code mit Tools über MCP verbinden – Anbindung externer Datenquellen
- Pinecone Pricing – kostenloser Starter-Tarif (abgerufen 14.08.2026)