Rechte übernehmen
Die KI durchsucht nur Dokumente, die die fragende Person auch in der Ablage öffnen dürfte. Die Berechtigungen werden aus dem Quellsystem übernommen, nicht nachgebaut.
Ratgeber · Firmenwissen
Firmenwissen per KI abfragen: RAG erklärt und wie du Halluzinationen eindämmst
Mit RAG (Retrieval-Augmented Generation) sucht eine KI vor jeder Antwort die passenden Stellen in deinen eigenen Dokumenten und formuliert die Antwort auf dieser Grundlage, statt nur aus ihrem allgemeinen Training. Halluzinationen verschwinden dadurch nicht vollständig, lassen sich aber mit Zugriffsrechten, Quellenangaben, gepflegten Dokumenten, Testfragen und menschlicher Freigabe deutlich eindämmen. Hey2Ai erklärt in diesem Ratgeber, wie das in der Praxis funktioniert.
So funktioniert RAG
RAG in drei Schritten erklärt
- Retrieval
Suchen
Die Frage wird mit deinen Dokumenten abgeglichen, etwa Handbüchern, Verträgen oder Prozessbeschreibungen. Das System findet die inhaltlich passendsten Abschnitte, auch wenn andere Wörter verwendet werden.
- Augmentation
Ergänzen
Die gefundenen Abschnitte werden zusammen mit der Frage an das Sprachmodell übergeben, mit der Anweisung, nur auf dieser Grundlage zu antworten.
- Generation
Antworten
Das Modell formuliert die Antwort und verweist auf die verwendeten Dokumente. Findet es nichts Passendes, sollte es das sagen, statt zu raten.
Halluzinationen
Warum KI trotz RAG halluzinieren kann
Auch mit RAG kann eine KI falsche Antworten geben, weil Suche und Formulierung je eigene Fehlerquellen haben. Eine Übersichtsarbeit von Huang und weiteren Autoren beschreibt Halluzinationen als plausibel klingende, aber nicht faktentreue Inhalte und untersucht ausdrücklich die Grenzen, auf die retrieval-gestützte Sprachmodelle bei ihrer Bekämpfung stoßen.
In der Praxis zeigen sich vor allem drei Muster:
- Falsche Fundstelle. Die Suche liefert einen veralteten oder unpassenden Abschnitt, und das Modell antwortet korrekt auf falscher Grundlage.
- Lücke im Bestand. Die Antwort steht in keinem Dokument, und das Modell füllt die Lücke mit allgemeinem Wissen.
- Freie Ergänzung. Das Modell gibt die Quelle sinngemäß wieder, fügt aber Details hinzu, die dort nicht stehen.
Maßnahmen
Fünf Maßnahmen gegen Halluzinationen
Keine Maßnahme allein reicht. Zusammen machen sie Antworten nachvollziehbar und Fehler sichtbar.
Quellen anzeigen
Jede Antwort nennt die Dokumente und Abschnitte, auf denen sie beruht. Mitarbeitende können mit einem Klick prüfen, ob die Aussage dort wirklich steht.
Dokumente pflegen
Veraltete Fassungen, Dubletten und widersprüchliche Vorlagen führen zu widersprüchlichen Antworten. Lege fest, wer welche Bestände aktuell hält, und archiviere Altes.
Mit Testfragen prüfen
Sammle 30 bis 50 typische Fragen mit geprüften Antworten. Nach jeder Änderung an Dokumenten oder Einstellungen läuft dieser Satz erneut und zeigt, ob die Qualität hält.
Menschliche Freigabe einplanen
Wo eine Antwort nach außen geht oder Entscheidungen auslöst, prüft ein Mensch. Rückmeldungen zu falschen Antworten fließen in Dokumente und Testfragen ein.
Praxis
Datenkultur entscheidet über die Antwortqualität
Ein RAG-System ist nur so gut wie der Dokumentenbestand dahinter. KfW Research betont in einer Analyse zur KI im Mittelstand vom Juli 2026, dass Unternehmen für anspruchsvollere KI-Anwendungen eine Datenkultur aufbauen müssen, von der Erfassung über die Verwaltung bis zu Schutz und Analyse von Daten.
Für den Start reicht ein klar abgegrenzter Bestand, etwa das Qualitätshandbuch oder die Vorlagen einer Abteilung. Wie ein solcher Assistent mit Hosting in Deutschland und ohne Training auf deinen Daten aussieht, zeigt die eigene KI-Plattform von Hey2Ai. Begriffe wie Embedding oder Sprachmodell erklärt das Glossar.
Was ist RAG einfach erklärt?
RAG steht für Retrieval-Augmented Generation. Die KI sucht zuerst passende Stellen in deinen Dokumenten und formuliert die Antwort dann auf dieser Grundlage. So antwortet sie mit Firmenwissen statt nur mit allgemeinem Trainingswissen.
Verhindert RAG Halluzinationen vollständig?
Nein. RAG senkt das Risiko, weil die Antwort auf konkreten Dokumenten beruht, aber Suche und Formulierung können weiterhin Fehler machen. Quellenangaben, Testfragen und menschliche Freigabe bleiben nötig.
Kann ein Mitarbeiter über den KI-Chat Dokumente sehen, die er sonst nicht sehen darf?
Das darf nicht passieren und muss technisch ausgeschlossen sein. Ein gutes System übernimmt die Berechtigungen aus Ablage oder Dokumentenmanagement und durchsucht nur, was die fragende Person auch selbst öffnen dürfte.
Wie teste ich, ob meine Firmen-KI richtig antwortet?
Lege einen Satz typischer Fragen mit geprüften Antworten an und lass ihn regelmäßig durchlaufen, besonders nach Änderungen an Dokumenten oder Einstellungen. Bewerte, ob die Antwort stimmt und ob die genannte Quelle sie trägt.
Welche Dokumente eignen sich für den Start?
Ein überschaubarer, gepflegter Bestand mit klarer Zuständigkeit, etwa ein Handbuch, Prozessbeschreibungen oder Vorlagen einer Abteilung. Ungepflegte Laufwerke mit vielen alten Fassungen führen zu unsicheren Antworten.
30 Minuten, kostenlos
Welcher Vorgang kostet dein Team täglich Zeit?
In der kostenlosen KI-Analyse benennen wir den Vorgang, der sich zuerst lohnt, mit Werkzeug, Kennzahl und Größenordnung. Und du bekommst eine ehrliche Einschätzung, auch wenn sie Nein heißt.
Kostenlose KI-Analyse buchen
Weiterlesen