Lernt das Sprachmodell dabei unsere Firmendaten?

Nein, bei RAG wird das Sprachmodell nicht mit Ihren Daten trainiert. Ihre Dokumente bleiben in Ihrem eigenen Suchindex. Bei jeder Frage werden nur die passenden Textstellen herausgesucht und dem Modell für diese eine Antwort mitgegeben.

Welche Dokumente kann eine KI-Wissensdatenbank verarbeiten?

Typisch sind Word- und PDF-Dateien, Präsentationen, Tabellen, Mails und Inhalte aus Ablagen wie SharePoint oder dem Netzlaufwerk. Eingescannte Dokumente brauchen vorher eine Texterkennung. Technische Zeichnungen aus CAD oder PDM lassen sich meist nur über ihre Metadaten und Beschreibungen erschließen.

Wie aktuell sind die Antworten?

So aktuell wie der Suchindex. Neue oder geänderte Dokumente müssen erneut erschlossen werden. Das lässt sich automatisieren, etwa nächtlich oder bei jeder Änderung. Wie oft das sinnvoll ist, hängt davon ab, wie schnell sich Ihre Unterlagen ändern.

Was passiert, wenn die Antwort nicht in den Dokumenten steht?

Ein gut eingerichtetes System sagt dann, dass es keine passende Stelle gefunden hat, statt eine Antwort zu erfinden. Das muss bewusst so eingestellt und getestet werden.

Was ist RAG? KI-Wissensdatenbank verständlich erklärt

Eine KI-Wissensdatenbank klingt nach etwas Großem. Im Kern ist sie eine sehr gute Suchfunktion für Ihre eigenen Unterlagen, die nicht nur Dokumente auflistet, sondern die Frage direkt beantwortet und dazu sagt, wo die Antwort steht. Die Technik dahinter heißt Retrieval Augmented Generation, kurz RAG. Auf Deutsch etwa: Antworterzeugung mit vorgeschalteter Suche.

Dieser Artikel erklärt, wie das funktioniert, ohne Fachchinesisch. Er richtet sich an Geschäftsführer und Abteilungsleiter, die verstehen wollen, was sie kaufen, bevor sie es kaufen.

Das Problem, das eine KI-Wissensdatenbank löst

Dienstagnachmittag, ein Kunde ruft an. Er fragt, welches Schmiermittel für eine Maschine aus dem Baujahr 2014 freigegeben ist. Die Kollegin im Service weiß, dass es dazu irgendwo eine Information gibt. Vielleicht in der Betriebsanleitung, vielleicht in einer Service-Mitteilung, vielleicht in einer Mail des Konstrukteurs, der inzwischen in Rente ist.

Sie sucht auf dem Netzlaufwerk, findet vier Dokumente mit „Schmierstoff“ im Namen, öffnet drei davon und ruft schließlich einen Kollegen an. Zwanzig Minuten später hat der Kunde seine Antwort.

Das Wissen ist vorhanden, es ist nur nicht auffindbar. Genau hier setzt eine KI-Wissensdatenbank an.

Warum ein normales Sprachmodell dafür nicht reicht

Allgemeine KI-Assistenten wie ChatGPT haben aus riesigen Mengen öffentlicher Texte gelernt. Ihre Betriebsanleitungen, Service-Mitteilungen und internen Mails kennen sie nicht. Fragt man sie trotzdem, bekommt man eine Antwort, die plausibel klingt, aber erfunden sein kann.

Man könnte ein Sprachmodell mit den eigenen Daten nachtrainieren. Das ist aufwendig, teuer und hat einen Haken: Jede Änderung in den Unterlagen erfordert neues Training, und das Modell kann nicht sagen, woher eine Aussage stammt.

RAG geht einen anderen Weg. Das Sprachmodell bleibt, wie es ist. Bei jeder Frage wird zuerst in Ihren eigenen Unterlagen gesucht, und nur die gefundenen Stellen werden dem Modell mitgegeben, mit der Anweisung: Antworte ausschließlich auf Basis dieser Texte.

So funktioniert RAG in drei Schritten

Schritt 1: Erschließen

Zuerst werden Ihre Unterlagen eingelesen. Das können Word- und PDF-Dateien sein, Präsentationen, Tabellen, Mails oder Inhalte aus einer Ablage wie SharePoint. Jedes Dokument wird in kleinere Abschnitte zerlegt, etwa einzelne Absätze oder Kapitel.

Für jeden Abschnitt wird eine Art inhaltlicher Fingerabdruck berechnet. Er beschreibt nicht die einzelnen Wörter, sondern die Bedeutung. Dadurch erkennt das System später, dass „Schmierstoff“, „Öl“ und „Fett für die Lagerung“ inhaltlich zusammenhängen, auch wenn die Wörter verschieden sind.

Alle Abschnitte, ihre Fingerabdrücke und Angaben zur Herkunft (Dokument, Seite, Datum, Berechtigung) landen in einem Suchindex. Dieser Index ist der Kern der Wissensdatenbank.

Schritt 2: Suchen

Stellt jemand eine Frage, berechnet das System auch für die Frage einen Fingerabdruck und sucht im Index nach den Abschnitten, die inhaltlich am besten passen. Oft wird das mit einer klassischen Stichwortsuche kombiniert, damit etwa Artikelnummern oder Maschinentypen exakt gefunden werden.

Ergebnis dieses Schritts sind einige wenige Textstellen, zum Beispiel die fünf bis zehn passendsten Abschnitte aus Ihren Dokumenten.

Schritt 3: Antworten mit Fundstelle

Jetzt kommt das Sprachmodell ins Spiel. Es bekommt die Frage und die gefundenen Textstellen und formuliert daraus eine verständliche Antwort. Entscheidend ist, dass es zu jeder Antwort angibt, aus welchem Dokument und von welcher Stelle die Information stammt.

Die Kollegin im Service sieht also nicht nur „Freigegeben ist Schmierstoff X“, sondern auch den Verweis auf die Service-Mitteilung von 2019, Seite 2. Ein Klick, und sie kann es selbst nachprüfen.

Die drei Schritte auf einen Blick

Schritt	Was passiert	Worauf es ankommt
Erschließen	Dokumente einlesen, zerlegen, im Suchindex ablegen	Vollständige, aktuelle Quellen, Texterkennung bei Scans
Suchen	passende Textstellen zur Frage finden	Mischung aus Bedeutungs- und Stichwortsuche
Antworten	Antwort aus den Fundstellen formulieren	Quelle zu jeder Aussage, kein Erfinden

Berechtigungen: Nicht jeder darf alles sehen

Eine Wissensdatenbank, die alles für alle durchsuchbar macht, ist ein Risiko. Gehaltsdaten, Personalakten, vertrauliche Kundenverträge oder Kalkulationen gehören nicht in die Antwort für jeden Mitarbeiter.

Deshalb muss die Wissensdatenbank die bestehenden Berechtigungen übernehmen. Jeder sieht nur Antworten aus Dokumenten, die er auch sonst öffnen dürfte. Technisch wird dafür beim Erschließen festgehalten, wer auf welches Dokument zugreifen darf, und bei der Suche nur in diesem erlaubten Bereich gesucht.

Das setzt voraus, dass die Berechtigungen in Ihren Ablagen sauber gepflegt sind. Ist das nicht der Fall, ist das der erste Punkt, der vor der Einführung geklärt werden sollte. Dazu kommen die üblichen Anforderungen an Datenschutz: Server in Deutschland, ein Auftragsverarbeitungsvertrag und eine klare Regel, welche Daten überhaupt erschlossen werden.

Grenzen einer KI-Wissensdatenbank

Eine ehrliche Erklärung gehört dazu. RAG ist leistungsfähig, aber kein Wundermittel.

Halluzinationen

Sprachmodelle können Aussagen erfinden, die gut klingen, aber falsch sind. RAG reduziert das deutlich, weil das Modell an die gefundenen Textstellen gebunden ist. Ausschließen lässt es sich nicht. Deshalb gilt: Antwort ohne Quelle ist keine Antwort. Wichtige Aussagen sollten anhand der Fundstelle geprüft werden, besonders bei Sicherheitsfragen, Preisen oder vertraglichen Zusagen.

Aktualität

Die Wissensdatenbank weiß nur, was im Index steht. Ändert sich ein Dokument, muss es neu erschlossen werden. Das lässt sich automatisieren, muss aber eingerichtet und überwacht werden.

Qualität der Unterlagen

Liegen drei Versionen einer Anleitung vor, findet das System möglicherweise die falsche. Widersprechen sich Dokumente, kann auch die Antwort widersprüchlich sein. Eine Wissensdatenbank ist nur so gut wie die Unterlagen, auf denen sie aufbaut. Deshalb beginnt jedes solche Vorhaben mit dem Ordnen der Quellen.

Wissen, das nirgends steht

Erfahrungswissen, das nur in Köpfen existiert, findet keine Suche. Wenn Sie dieses Wissen sichern wollen, muss es zuerst aufgeschrieben werden, etwa in Form von kurzen Notizen, Serviceberichten oder Interviews mit erfahrenen Kollegen.

Wofür sich eine KI-Wissensdatenbank im Betrieb eignet

Typische Einsatzfelder im Mittelstand:

Unternehmenswissen durchsuchbar machen: Anleitungen, Spezifikationen, Prozessbeschreibungen
Einarbeitung neuer Mitarbeiter mit einem Wissensassistenten, der Fragen rund um die Uhr beantwortet
Ersatzteil- und Serviceanfragen schneller beantworten, weil technische Informationen sofort auffindbar sind
Dokumentation, Prüfprotokolle und Serviceberichte auswertbar machen

Weniger geeignet ist sie, wenn Ihre Unterlagen überwiegend aus Papier bestehen, wenn sich das relevante Wissen ständig ändert und niemand es pflegt oder wenn es eigentlich um strukturierte Daten geht, die im ERP besser aufgehoben sind. Dann ist eine klassische Auswertung oft die bessere Wahl.

Wenn Sie wissen möchten, wie viel Zeit in Ihrem Betrieb mit Suchen verloren geht, hilft der Rechner auf der Seite zum Unternehmenswissen. Und wie sich KI-Anwendungen dieser Art rechtlich einordnen, lesen Sie in EU AI Act: Was mittelständische Unternehmen jetzt wissen müssen.

So läuft die Einführung ab

Eine KI-Wissensdatenbank entsteht nicht auf Knopfdruck, aber auch nicht in einem Großprojekt. Bewährt hat sich ein schrittweises Vorgehen:

Einen Bereich auswählen. Zum Beispiel den Service oder die Arbeitsvorbereitung, wo häufig dieselben Fragen gestellt werden.
Quellen festlegen und ordnen. Welche Ablagen gehören dazu, welche Dokumente gelten, was ist veraltet und wird ausgeschlossen?
Berechtigungen prüfen. Stimmen die Zugriffsrechte in den Ablagen? Wenn nicht, zuerst dort nachbessern.
Erschließen und testen. Mit einer Liste echter Fragen aus dem Alltag prüfen, ob die Antworten stimmen und die Fundstellen passen.
Mit wenigen Nutzern starten. Rückmeldungen sammeln, Lücken in den Unterlagen schließen, dann erweitern.
Pflege regeln. Wer sorgt dafür, dass neue Dokumente aufgenommen und veraltete entfernt werden?

Der wichtigste Schritt ist der zweite. Die meiste Arbeit steckt nicht in der Technik, sondern im Ordnen der Quellen. Dafür bleibt das Ergebnis Ihnen erhalten, auch unabhängig von der eingesetzten Software.

Fazit

Eine KI-Wissensdatenbank mit RAG ist im Kern eine Suchfunktion, die antwortet. Sie erschließt Ihre Unterlagen, sucht zu jeder Frage die passenden Textstellen und formuliert daraus eine Antwort mit Fundstelle. Ihre Daten bleiben dabei in Ihrem eigenen Index, das Sprachmodell wird nicht damit trainiert. Berechtigungen, Aktualität und die Qualität der Unterlagen entscheiden über den Nutzen, und Halluzinationen lassen sich verringern, aber nicht ganz ausschließen. Wer zuerst seine Quellen ordnet und jede Antwort mit Quelle versieht, bekommt ein Werkzeug, das Suchzeit spart und Wissen im Betrieb hält.

Wie eine KI-Wissensdatenbank funktioniert (RAG verständlich erklärt)