Der Trick dabei ist nicht, dass die KI mehr weiß. Der Trick ist, dass sie weniger auf einmal lesen muss: Sie sucht sich aus Ihrem Bestand die paar Stellen heraus, die zur Frage passen, und arbeitet nur mit denen. Was das im Alltag bedeutet, sehen Sie in diesem Beitrag – am Beispiel einer ganz gewöhnlichen Frage.
Das Problem
Sie fragen einen KI-Assistenten: „Welche Kündigungsfrist haben wir mit der Firma Müller vereinbart?“ Der Assistent kennt Ihren Vertrag nicht. Er kennt allgemeines Wissen aus seinem Training – und formuliert im schlechtesten Fall eine plausibel klingende, falsche Antwort.
Die naheliegende Lösung: Sie hängen den Vertrag an die Frage an. Das funktioniert hervorragend, solange es um ein paar Dokumente geht. Bei fünfhundert Verträgen wird es unpraktisch, denn Sie wissen vorher nicht, in welchem die Antwort steht. Genau hier setzt RAG an.
Was RAG bedeutet
RAG steht für Retrieval-Augmented Generation – sinngemäß: „Antworten erzeugen, angereichert durch gezieltes Nachschlagen“. Im Kern sind es zwei Schritte:
- Nachschlagen (bei jeder Frage): Das System sucht die passenden Stellen heraus – typischerweise fünf bis zwanzig Abschnitte.
- Antworten: Nur diese Abschnitte gehen zusammen mit Ihrer Frage an die KI. Sie formuliert die Antwort und kann sagen, aus welchem Dokument sie stammt.
Und die Vorbereitung?
In vielen Erklärungen steht davor noch ein dritter Schritt: Dokumente zerlegen, „Fingerabdrücke“ berechnen, in eine Datenbank laden. Das ist kein Bestandteil von RAG, sondern hängt davon ab, wie Sie suchen lassen:
| Wie gesucht wird | Vorbereitung nötig? |
|---|---|
| Bedeutungssuche (semantisch) | Ja. Die inhaltlichen Fingerabdrücke müssen vorab berechnet und abgelegt werden. |
| Stichwortsuche (Volltext) | Meist nicht. Ein Suchindex ist oft schon vorhanden und pflegt sich selbst; teils wird direkt in den Dateien gesucht. |
| Datenbankabfrage | Nein. Die Daten liegen bereits strukturiert vor. |
Wichtig ist deshalb, was RAG nicht ist: keine bestimmte Software, kein Produkt, das man kauft, und nicht zwingend eine Datenbank, die man erst befüllt.
RAG ist das Prinzip „erst nachschlagen, dann antworten“. Womit nachgeschlagen wird, ist eine freie Entscheidung – dazu mehr in Teil 2.
Der eigentliche Gewinn: die KI muss weniger lesen
Hier liegt der Punkt, der oft untergeht. Ein Rechenbeispiel: Angenommen, Ihr Wissensbestand umfasst 10 Millionen Token – das entspricht grob einigen zehntausend Seiten. Sie möchten diese Menge nicht bei jeder einzelnen Frage an die KI schicken. Mit RAG passiert stattdessen Folgendes:
| Schritt | Umfang |
|---|---|
| Wissensbestand insgesamt | 10.000.000 Token |
| davon nachgeschlagen | 5 bis 20 Abschnitte |
| was tatsächlich an die KI geht | rund 5.000 Token |
Größenordnungen zur Veranschaulichung, keine gemessenen Werte. Der Effekt daraus ist mehrfach:
- Weniger Kosten, weil bei jeder Frage nur ein Bruchteil verarbeitet wird – und Sie zahlen pro verarbeiteter Menge.
- Schnellere Antworten, weil wenige Abschnitte in Sekunden gelesen sind.
- Bessere Antworten, weil weniger Irrelevantes im Weg steht. Eine KI, die fünf passende Absätze liest, antwortet präziser als eine, die zehntausend Seiten überfliegt.
- Beliebig große Bestände, weil die Menge im Archiv nicht mehr begrenzt, was in einer Anfrage Platz hat.
Was Sie im Alltag davon haben
- Antworten aus Ihrem Wissen, nicht aus dem Internet. Der Assistent kennt Ihre Preisliste, Ihre Verträge, Ihre Arbeitsanweisungen.
- Deutlich weniger erfundene Antworten. Eine KI erfindet vor allem dort, wo sie nichts weiß. Liegt die richtige Textstelle vor ihr, sinkt dieses Risiko erheblich (Wikipedia, Atlan).
- Nachvollziehbarkeit. Gute Lösungen nennen die Fundstelle. Das ist der Unterschied zwischen „nett“ und „belastbar“.
- Immer aktuell. Ein neues Dokument ist sofort auffindbar – je nach Verfahren unmittelbar oder nach dem Einlesen. Das KI-Modell selbst muss dafür nie angefasst werden.
- Berechtigungen bleiben möglich. Jeder Abschnitt kann mit Zugriffsrechten versehen werden, sodass Buchhaltungsunterlagen nicht im Assistenten der Werkstatt landen (SitePoint, KeepMyPrompts).
Wo die Grenzen liegen
RAG macht Fehler nicht unmöglich. Findet das Nachschlagen die falsche Stelle, klingt die Antwort sicher und ist trotzdem falsch. Deshalb bleibt der Mensch Teil des Verfahrens: Wer die genannte Quelle im Zweifel aufschlägt, merkt sofort, ob die Antwort trägt. Genau dafür ist die Quellenangabe da.
Ebenso wenig ersetzt RAG gepflegte Dokumente. Ein Assistent, der veraltete Arbeitsanweisungen zuverlässig findet, ist keine Hilfe.
Wie es weitergeht
Wenn Sie vorab besprechen möchten, ob sich Ihr Dokumentenbestand dafür eignet: Wir freuen uns auf Ihre Kontaktaufnahme.
Quellen
- Retrieval-augmented generation (Wikipedia, engl.) · What Is RAG? (Atlan) – Definition, Funktionsweise, Reduktion erfundener Antworten
- Long Context vs RAG (SitePoint) · 1M Context Windows Are a Trap (KeepMyPrompts) – selektiver Kontext, Kosten, Berechtigungen