RAG erklärt, Teil 3: Ab wann lohnt sich der Aufwand?

Die zentrale Frage lautet anders: Findet die KI zuverlässig die richtige Stelle, ohne große Teile des Bestands lesen zu müssen? Solange die Antwort „ja“ ist, brauchen Sie meist kein RAG. Woran Sie merken, dass sich das ändert, sehen Sie in diesem Beitrag – an zwei Ablagen, die gleich viel Wissen enthalten und trotzdem völlig verschieden zu handhaben sind.

Warum die Mengenfrage in die Irre führt

Ein Grund dafür ist neu: Moderne KI-Modelle lesen erstaunlich viel auf einmal. Aktuelle Spitzenmodelle verarbeiten rund eine Million Token je Anfrage (Anthropic) – das sind überschlagen etwa 1.500 Seiten.

Was in dieses Fenster passt, können Sie im Grundsatz einfach mitschicken. Deshalb gilt als Ausgangspunkt: Für kleine und mittlere Bestände brauchen Sie meist kein RAG. „Meist“, weil die Menge nicht allein entscheidet: Kosten je Anfrage, Zugriffsrechte und Antwortzeit können auch bei kleinen Beständen dagegen sprechen. Darauf kommen wir weiter unten zurück.

Aber die Zahl allein trägt nicht weit. Zwei Bestände gleicher Größe können völlig verschieden zu handhaben sein.

Der eigentliche Faktor: Wie geordnet ist Ihr Bestand?

Stellen Sie sich zwei Ablagen nebeneinander, die dasselbe Wissen enthalten:

Schaubild „Gleich viel Wissen, völlig verschiedener Aufwand“ mit zwei Karten nebeneinander. Links „Geordnet – ein Thema je Datei, sprechende Namen“ mit einem Verzeichnisbaum: dokumentation/ mit zutrittskontrolle.md, abrechnung.md, datensicherung.md und einem Unterordner entscheidungen/ mit 001-postgres.md und 002-redis.md; darunter „Nachschlagen ist fast trivial. Kein RAG nötig.“ Rechts „Gewachsen – alles drin, nichts auffindbar“ mit protokolle/ 8.000 Besprechungsnotizen, chatverlaeufe/ Jahre an Nachrichten, support/ 80.000 Anfragen; darunter „Die Antwort steht mitten in einem langen Text. Hier hilft Retrieval.“ Fußzeile: 2.000 saubere Fachdokumente sind leichter zu handhaben als 100 lange Protokolle. — Beide Ablagen enthalten dasselbe Wissen. Den Aufwand für Retrieval erzeugt allein die rechte.

In der geordneten Ablage ist Nachschlagen fast trivial: Schon der Dateiname sagt, wo etwas steht. Eine KI mit Dateizugriff findet das Richtige, ohne dass Sie Technik darum herum bauen. In der gewachsenen steht dieselbe Antwort irgendwo in einem Absatz mitten in einem langen Protokoll, ohne dass ein Dateiname einen Hinweis gäbe. Genau dafür ist Retrieval gemacht.

Der Unterschied hat einen Namen: Informationsdichte. Zweitausend kleine, sauber benannte Fachdokumente sind für eine KI leichter zu handhaben als hundert lange, unstrukturierte Besprechungsprotokolle – obwohl der zweite Bestand nach Dateizahl viel kleiner wirkt.

Eine praktische Heuristik

Gezählt wird dabei in Dokumenten, nicht in Datenmenge:

Schaubild „Ab wann lohnt sich RAG?“, gekennzeichnet als Erfahrungsregel, gezählt in Dokumenten statt in Megabyte. Vier Stufen untereinander: 10–50 gut strukturierte Dateien – kein RAG, Dokumente direkt mitschicken; 50–200 Dateien – Struktur und Suche genügen, sprechende Namen, ein Thema je Datei; 200–1.000 Dateien – kommt auf den Inhalt an, geordnete Fachdokumente ja, lange Protokolle eher nicht; ab einigen tausend Dokumenten – RAG wird interessant, ab 10.000 sehr wahrscheinlich nötig. Fußzeile: Erfahrungsregel, keine technischen Grenzwerte – die Zeile ist ein Hinweis, kein Urteil. — Gezählt in Dokumenten statt in Megabyte – und die Stufe allein entscheidet nichts, solange der Ordnungsgrad nicht dazu passt.

Grob gesagt: Unterhalb von etwa 200 gut strukturierten Dateien lohnt sich der Aufwand selten, ab einigen tausend Dokumenten wird Retrieval interessant, ab 10.000 ist es sehr wahrscheinlich nötig. Das sind keine technischen Grenzwerte, sondern eine Erfahrungsregel.

Signale, die für RAG sprechen

Aussagekräftiger als jede Stufe ist, ob mehrere dieser Punkte auf Sie zutreffen. Die Liste ist nicht vollständig, sie nennt häufige Signale:

Viele lange, unstrukturierte Texte – Protokolle, Chatverläufe, Supportanfragen, E-Mail-Ketten.
Wissen liegt an mehreren Orten und niemand weiß sicher, wo die aktuelle Fassung steht.
Der Bestand ändert sich häufig, sodass Handpflege nicht hinterherkommt.
Es wird umschreibend gefragt, nicht mit festen Begriffen (siehe Teil 2).
Filter sind wichtig – nur dieses Projekt, nur dieses Jahr, nur was dieser Mitarbeiter sehen darf.
Die normale Suche liefert zu viele Treffer, oder die KI verbringt spürbar Zeit und Geld damit, die Information überhaupt erst zu finden.

Das letzte Signal ist das verlässlichste. Wenn Sie beobachten, dass die KI regelmäßig nicht die richtige Stelle findet – dann ist der Zeitpunkt gekommen.

Solange das Richtige ohne Technik gefunden wird, ist RAG eine Lösung für ein Problem, das Sie nicht haben. Erst wenn das Suchen selbst zum Engpass wird, lohnt der Aufwand.

Fragen zur Wirtschaftlichkeit

Selbst wenn die Menge für RAG spricht, entscheidet die Nutzung, ob es sich rechnet. Vier Fragen bringen dabei erfahrungsgemäß am meisten – je nach Betrieb kommen weitere dazu, etwa Auflagen aus Branche oder Zertifizierung:

Wie oft wird gefragt? Bei jeder Frage den ganzen Bestand mitzuschicken kostet Geld – jedes Mal. Bei zehn Fragen am Tag fällt das nicht auf, bei tausend schon (SitePoint, KeepMyPrompts).
Wächst der Bestand? Ein Archiv, das monatlich zunimmt, wächst irgendwann aus jedem Kontextfenster heraus.
Darf jeder alles sehen? Wenn nicht, führt kaum ein Weg an einer Lösung mit Rechteverwaltung vorbei.
Wie schnell muss es gehen? Fünf gezielt gefundene Abschnitte sind in Sekunden verarbeitet, tausend Seiten nicht.

Unsere Empfehlung: erst aufräumen, dann aufrüsten

Der wirksamste erste Schritt ist selten technisch. Bevor Sie ein Retrieval-Projekt starten, lohnt sich fast immer die einfachere Übung:

Struktur schaffen – sprechende Dateinamen, ein Thema je Dokument, klare Ordner.
Einen Wegweiser anlegen, der auf einer Seite sagt, wo welches Wissen liegt.
Damit arbeiten und beobachten, wo es hakt.
Erst dann Retrieval ergänzen – dort, wo das Suchen nachweislich das Problem ist.

Bemerkenswert ist, dass professionelle KI-Werkzeuge selbst nach diesem Muster arbeiten: eine kompakte Übersichtsdatei als Einstieg, ausführliche Themendateien werden bei Bedarf nachgeladen (Anthropic: Claude Code Memory).

Ein aufgeräumter Bestand macht jedes spätere RAG-Projekt besser – und manchmal überflüssig.

Wie es weitergeht

Im nächsten Teil geht es um die Werkzeuge: was es gibt, was davon kostenlos ist und welche Posten trotzdem Geld binden.

Quellen

Modellübersicht Anthropic – Kontextfenster aktueller Modelle (1 Mio. Token)
Long Context vs RAG (SitePoint) · 1M Context Windows Are a Trap (KeepMyPrompts) – Kosten je Anfrage, Latenz, Berechtigungen
Claude Code: How Claude remembers your project – kompakte Übersichtsdatei als Einstieg, Detaildateien bei Bedarf
Die Dokumenten-Heuristik und die Signal-Liste folgen einer Engineering-Einschätzung aus der Praxis (Recherche Wolfgang Duttlinger, 14.08.2026) – bewusst als Erfahrungsregel gekennzeichnet, nicht als Messwert.