Kurz erklärt
RAG ist ein Verfahren, bei dem ein Sprachmodell vor dem Antworten passende Inhalte aus eigenen Datenquellen abruft und seine Antwort auf diese Inhalte stützt – statt nur auf sein trainiertes Wissen.
Wie RAG funktioniert
Ein RAG-System arbeitet in zwei Schritten. Zuerst sucht es zur Frage die relevanten Textstellen – etwa aus Handbüchern, Verträgen, Produktdaten oder dem Intranet. Dafür werden die Dokumente vorab in Abschnitte zerlegt und meist als Vektoren in einer Datenbank abgelegt, sodass die Suche nach Bedeutung statt nur nach Stichworten funktioniert. Im zweiten Schritt bekommt das Sprachmodell die gefundenen Stellen zusammen mit der Frage und formuliert daraus die Antwort.
Warum Unternehmen RAG einsetzen
- Aktuelles und internes Wissen: Das Modell kennt Inhalte, die nach seinem Training entstanden sind oder nie öffentlich waren.
- Nachvollziehbarkeit: Antworten lassen sich mit Quellenangaben versehen und prüfen.
- Weniger Halluzinationen: Das Modell stützt sich auf belegte Inhalte statt zu raten.
- Kein eigenes Training nötig: Neue Dokumente sind sofort nutzbar, sobald sie im Index stehen.
Typische Anwendungen
Interne Wissensassistenten, Kundenservice-Chatbots mit Zugriff auf die Produktdokumentation, Recherche in Verträgen oder Richtlinien und KI-Agenten, die vor einer Entscheidung Fakten nachschlagen.