The form has been successfully submitted.
Please find further information in your mailbox.
Einstellen
Über unsLeistungenTechnologienPortfolio
Wenn Sie bereits einen LLM-Chatbot bei der Arbeit ausprobiert haben, kennen Sie die Sollbruchstelle: Er klingt zuversichtlich, dann fragt jemand nach einem Detail der Richtlinie, einer Produktregel oder dem neuesten internen Prozess, und die Antwort ist falsch oder vage. Ihr Team muss dann alles noch einmal überprüfen, PDFs und Wikis durchsuchen und sich Gedanken darüber machen, wer was im Chat gerade gesehen hat.
Ein RAG-Chatbot verbindet einen LLM mit Ihrem bewährten Unternehmenswissen zur Fragezeit. Er zieht die richtigen Passagen aus Ihren Dokumenten, verwendet sie als Grundlage für die Antwort und kann den Quelltext anzeigen, damit die Mitarbeiter ihn überprüfen können. Zugriffsregeln können Teil der Einrichtung sein, so dass der Bot keine sensiblen Inhalte an die falsche Person weiterleitet.
In diesem Leitfaden erkläre ich die RAG-Chatbot-Definition, wie Retrieval-Augmented Generation funktioniert, wo sie am besten eingesetzt werden kann und wie man sie Schritt für Schritt implementiert, einschließlich der Funktionen und Sicherheitsprüfungen, die Teams in der Regel in realen Umgebungen benötigen.
Ein RAG-Chatbot, oder Abfrage Augmented Generation Chatbot, ist ein Chat-Assistent, der mit Ihren Daten antwortet, die direkt vor ihm liegen. Bevor er antwortet, durchsucht er Ihre Dokumente, Datenbanken oder APIs nach den wichtigsten Informationen und schreibt dann die Antwort unter Verwendung des gewonnenen Kontexts. Der Unterschied ist einfach. Ein einfacher LLM antwortet auf der Grundlage dessen, woran er sich erinnert (aus zuvor eingegebenen Daten). A RAG KI Chatbot antwortet nach Es prüft Ihre Quellen, wodurch Halluzinationen vermieden werden, und fügt Zitate hinzu, um seine Behauptungen zu belegen.
Zum Verständnis der RAG-Chatbot Bedeutung ohne Fachjargon, stellen Sie sich Folgendes vor. Montagmorgen. Sie buchen einen 9-Stunden-Flug für eine Kundenreise und wollen (natürlich) schnell vorankommen, also schreiben Sie eine Nachricht im Chat, um zu erfahren, ob Ihr Unternehmen Premium Economy für Flüge über 6 Stunden abdeckt. Der einfache Bot antwortet sofort mit Ja. Sie buchen den Flug. Erledigt.
Zwei Wochen später wird Ihr Kostenantrag abgelehnt. Sie wissen nicht, dass die Richtlinie im letzten Quartal geändert und ein neuer Genehmigungsschritt hinzugefügt wurde. Jetzt haben Sie ein Hin und Her mit der Finanzabteilung, Ihr Vorgesetzter wird hinzugezogen, und Sie wühlen sich durch das Wiki, um zu beweisen, was die Regel überhaupt ist.
Eine RAG-gesteuerter Chatbot behandelt die gleiche Frage, indem er zuerst die Reiserichtlinien überprüft, die genaue Regelung nennt und den Link fallen lässt. Entweder man bucht das Richtige oder man holt vorher die Genehmigung ein. In beiden Fällen gibt es später keine Überraschungen.
Die Unterschiede sind leichter zu verstehen, wenn wir uns gemeinsame Beispiele ansehen:
In der Regel kann man schon in der ersten Woche feststellen, ob ein Chatbot Bestand haben wird. Wenn die Leute den Antworten nicht trauen können, hören sie auf, sie zu benutzen. Wenn sie die Quelle nicht überprüfen können, hören sie noch schneller auf. RAG gibt ihnen etwas Solides, auf das sie sich stützen können. Hier sind die Erfolge, die ich am häufigsten sehe, wenn es funktioniert:
Wir haben eine Menge dokumentenlastiger Systeme für interne Teams entwickelt: Richtlinien, Wissensdatenbanken, Portale, der ganze Kram. Wir wissen also, was zuerst kaputt geht. Wenn Sie einen RAG-Chatbot für ein Unternehmen planen, sind dies die Funktionen, nach denen die Teams am meisten fragen. Nicht, weil sie cool klingen. Sondern weil sie Sie retten, wenn echte Benutzer auftauchen.
Wenn ein Bot antwortet, ohne seine Quelle anzugeben, zögern die Leute, weil sie ihm nicht ganz trauen können. Die Quellenangabe fügt einen Link oder einen Hinweis auf das genaue Dokument und den Abschnitt hinzu, aus dem die Antwort stammt. Wenn also jemand fragt: “Woher stammt das?”, kann der Bot auf die Quittung verweisen, anstatt die Leute zu zwingen, sich durch das Wiki zu wühlen.
Einige Fragen sind Schlüsselwortsuchen wie Fehler 0x801c03f3, eine Teilenummer oder eine Richtlinien-ID. Bei anderen geht es einfach darum, wie die Leute reden, z. B. “Warum funktioniert das nach dem Update nicht mehr?” Die hybride Suche deckt beides ab. Sie führt die Schlüsselwortsuche (BM25) zusammen mit der Vektorsuche aus, so dass der Bot die exakte Zeichenfolge abgleichen und dennoch die Absicht hinter der Frage erfassen kann. Ohne diese Funktion erhalten Sie die lästigen Fehler. Sie fragen nach einem genauen Code oder einer ID, das Dokument enthält genau diesen Code, und der Bot ruft trotzdem die falsche Seite auf oder sagt, er habe nichts gefunden.
Menschen sprechen mit Bots nicht wie mit einer Suchleiste. Sie tippen schnell, übergehen Details und lassen vage Folgefragen fallen. Das Umschreiben von Suchanfragen behebt diese Probleme, bevor die Suche überhaupt beginnt. Es bereinigt Tippfehler, ergänzt fehlenden Kontext, wo es kann, und verwandelt eine unklare Frage in etwas, das das System tatsächlich nachschlagen kann. Auf diese Weise vermeiden Sie die LLM RAG Chatbot das falsche Dokument aus dem ersten Schritt zu nehmen.
Die Suche liefert selten eine perfekte Übereinstimmung. Sie liefert Ihnen einen Stapel naheliegender Treffer. Und das Modell neigt dazu, das Erste, was es sieht, zu nehmen und die Antwort darauf aufzubauen. Die Neueinstufung behebt dieses Problem. Es nimmt diese Top-Ergebnisse, bewertet sie erneut und setzt die besten an die erste Stelle, bevor das Modell mit dem Schreiben beginnt. Der Unterschied ist in der Praxis offensichtlich. Sie erhalten weniger seltsame Umwege und weniger Antworten, die auf dem falschen Absatz basieren.
Die meisten Unternehmensdokumente sind lang, und der nützliche Teil steht selten im ersten Absatz. Ohne Komprimierung zieht der Bot ganze Absätze ein, und die Antwort beginnt zu schweifen. Dank der Komprimierung wird der Quelltext auf die wenigen Zeilen reduziert, die für die Frage wirklich wichtig sind, und der Rest entfällt. So erhalten Sie eine saubere Antwort.
Ein Link zum Zitieren ist zwar besser als gar nichts, aber man landet trotzdem in einer riesigen PDF-Datei und verbringt fünf Minuten mit der Suche nach einem einzigen Satz. Die Zitiervorschau erspart Ihnen diese Mühe. Sie bewegen den Mauszeiger über das Zitat, und die LLM RAG Chatbot zeigt die genauen Zeilen an, die verwendet wurden. Sie können es in zwei Sekunden überprüfen und weitergehen.
Ein echter Chat ist eine Kette, nicht eine einzelne Frage. Sie fragen etwas, erhalten eine Antwort und machen weiter. Das Gesprächsgedächtnis sorgt dafür, dass der Bot den roten Faden nicht verliert, so dass er versteht, worauf Sie sich beziehen, und ohne Zurücksetzen fortfahren kann. Ohne dieses Gedächtnis vergisst der Bot, dass Sie alles neu formulieren müssen, und der Chat wirkt wie ein Formular mit zusätzlichen Schritten.
Teams halten wichtige Informationen in Tabellen, Diagrammen, Screenshots und gescannten PDFs fest. Ein reiner Text-Bot kann diese Inhalte nicht lesen, so dass ihm Details entgehen können, die für die Antwort entscheidend sind. Dank der multimodalen Unterstützung kann der Bot diese Formate lesen und in der Antwort verwenden. Diese Funktion ist besonders wichtig bei Handbüchern und Finanzberichten, wo die Antwort oft in einer einzigen Tabellenzelle zu finden ist.
Der Chatbot mit RAG muss Ihre Zugriffsregeln befolgen, genau wie jeder andere Mitarbeiter auch, einschließlich der unübersichtlichen Fälle, in denen ein Dokument offene und gesperrte Abschnitte hat. Wenn Sie das falsch machen, wird die Einführung blockiert. Wenn Sie es richtig machen, können die Mitarbeiter den Chat nutzen, ohne sich Sorgen machen zu müssen, dass sie etwas verschütten, das sie nicht verschütten sollten.
Einige Umgebungen benötigen strengere Kontrollen in Bezug auf Integrität und Missbrauch. Ein Ansatz, den ich in einer Referenzimplementierung gesehen habe, ist das Hinzufügen einer Blockchain-Ebene für die Governance. Die Blockchain kann Datensätze nur als Anhang speichern, während Smart Contracts Governance-Regeln mithilfe von Abstimmungen und Konsens für die Durchsetzung der Regeln ausführen. Dies ist jedoch nicht für jedes Projekt erforderlich. Ziehen Sie es in Betracht, wenn Sie eine stärkere Kontrolle darüber wünschen, wie sich Inhalte und Berechtigungen im Laufe der Zeit ändern.
RAG-Systeme werden auf besondere Weise angegriffen. Prompt Injection und vergiftete Inhalte sind üblich. Sie können eine Überwachung hinzufügen, die Chat-Protokolle auf riskante Muster überprüft, Dokumente auf Anzeichen von Vergiftungen scannt und den Datenfluss auf ungewöhnliche Aktivitäten überwacht. Wenn etwas ungewöhnlich aussieht, wird es markiert und an einen Reaktionspfad weitergeleitet, z. B. Blockieren der Quelle, Alarmieren der Sicherheit oder Erzwingen eines Überprüfungsschritts.
Sie brauchen keinen ausgefallenen Grund, um dies zu bauen. Wenn Ihr Team immer wieder die gleichen Fragen stellt und die Antwort bereits irgendwo aufgeschrieben ist, zahlen Sie die Suchsteuer. Mit einem Bot, der die Quelle zitieren kann, lässt sich dieses Problem schnell lösen. Ich habe die Anwendungsfälle zusammengetragen, in denen diese Lücke am häufigsten auftritt.
Wählen Sie zunächst einen Schwerpunktbereich aus, z. B. Support-Dokumente, interne Richtlinien oder IT-Runbooks. Schreiben Sie die wichtigsten Fragen auf, die Sie abdecken möchten, und legen Sie fest, was als richtige Antwort gilt. Legen Sie fest, was der Bot tun soll, wenn die Quellen eine Antwort nicht zulassen. Verweisen Sie den Benutzer z. B. auf den richtigen Dokumentabschnitt oder stellen Sie eine Folgefrage, um die Anfrage einzugrenzen.
Beginnen Sie mit der Auflistung aller Quellen, die Sie für die LLM RAG Chatbot zu verwenden, wem sie gehören, wie aktuell sie sind und wie die Zugriffsregeln lauten. Bereinigen Sie dann die Daten, die später nicht mehr abgerufen werden können:
Wenn sich die Richtlinien häufig ändern, sollten Sie sich auf eine einfache Versionsregel einigen, damit alte Entwürfe nicht immer wieder zum Zuge kommen. Speichern Sie außerdem Berechtigungen mit den Dokumenten und setzen Sie sie jedes Mal durch, wenn der Bot Inhalte abruft.
Die Qualität des Abrufs hängt von zwei Dingen ab: wie Sie den Inhalt aufteilen und wie Sie ihn kennzeichnen. Unterteilen Sie Richtlinien und Verfahren in Abschnitte und Überschriften, so dass der abgerufenen Text für sich allein lesbar ist. Fügen Sie eine kleine Überlappung ein, damit Sie eine Regel nicht über zwei Abschnitte hinweg ausschneiden. Deduplizieren Sie Wiederholungen, damit kopierte Absätze den Abruf nicht dominieren. Nach der Zerlegung und Bereinigung durchlaufen diese Textblöcke ein Einbettungsmodell, um sie in Vektornummern umzuwandeln, die es der Datenbank ermöglichen, später nach Bedeutung und Kontext zu suchen.
Fügen Sie Metadaten hinzu, nach denen Sie später filtern wollen (Titel, Abschnitt, Datum, Team, Region, Produkt, Version). Legen Sie Auslöser für die Neuindizierung fest, z. B. eine Dokumentenaktualisierung, eine neue Version oder eine Änderung der Berechtigung. Führen Sie bei PDFs und Scans eine Textextraktion und Qualitätsprüfung durch, damit Sie keinen fehlerhaften Text indizieren.
Wie Sie bereits wissen, muss ein RAG-Chatbot aus mehreren Teilen zusammengesetzt sein:
Jetzt haben Sie die Qual der Wahl: Entweder Sie entscheiden sich für ein fertiges System oder Sie bauen einen eigenen Stack auf.
Mit einer Ein-Klick-Einrichtung erhalten Sie schnell eine Demo. Spätere Änderungen sind dann aber nur schwer möglich. Ein Stack, den Sie kontrollieren, gibt Ihnen Spielraum für Änderungen. Bei einer React-Benutzeroberfläche mit dahinter liegenden Python-Diensten können Sie beispielsweise den LLM-Anbieter oder die Abrufschicht austauschen, ohne alles neu aufbauen zu müssen.
Hier empfehle ich die zweite Option, wenn Sie die Kontrolle behalten wollen, wenn sich die Dinge ändern.
Das Durchsickern von Erlaubnissen ist ein Fehler, der nur schwer zu beheben ist. Ein Beispiel: Ein jüngerer Mitarbeiter stellt eine harmlos klingende Frage zu Gehältern. Die RAG-gesteuerter Chatbot geht auf die Suche, holt sich eine Zeile aus dem privaten Ordner des Geschäftsführers und stellt sie in den Chat. Jetzt ist es ein Unternehmensproblem.
Deshalb müssen Berechtigungen Teil des Abrufs sein. Filtern Sie während des Abrufs anhand von Zugriffslisten für Dokumente, Gruppenmitgliedschaft und Metadaten-Tags. Führen Sie die gleichen Prüfungen erneut durch, wenn der Benutzer einen Quelllink öffnet.
Planen Sie auch einen teilweisen Zugriff ein. Manche Benutzer können einen Abschnitt eines Dokuments sehen, einen anderen aber nicht, und das wirkt sich auf Chunking und Metadaten aus. Wenn Nutzer nach exakten Codes, IDs oder Policennummern fragen, funktioniert ein hybrides Retrieval (semantisch plus Schlüsselwort) oft besser als eine reine Einbettung.
Nachdem der Abruf und die Berechtigungen festgelegt sind, entscheiden Sie, was in der Antwort angezeigt wird. Die Leute wollen zwei Dinge: die Antwort und den Beweis direkt darunter.
Ein solider Standard sieht so aus:
Legen Sie dann die "No-guess"-Regel fest. Wenn das, was der Bot herausgefunden hat, nicht der Antwort entspricht, sollte der Bot das sagen und entweder eine gezielte Folgefrage stellen oder den Nutzer zum Quellenbereich schicken.
Testen Sie vor dem Start die RAG-gesteuerter Chatbot mit echten Fragen von echten Benutzern. Achten Sie auf Schwachstellen, z. B. wenn die Suche den falschen Abschnitt findet, das richtige Dokument übersehen wird oder die Antwort über das hinausgeht, was in der Quelle steht. Nutzen Sie diese Erkenntnisse, um die Größe der Chunks, die Abrufeinstellungen, die Metadatenfilter und die Eingabeaufforderungen anzupassen.
Vereinfachen Sie den Bewertungsprozess, indem Sie ihn in zwei Teile aufteilen. Prüfen Sie zunächst, ob die Abfrage die richtige Stelle gefunden hat. Als Nächstes prüfen Sie, ob die Antwort innerhalb dieser Passage geblieben ist. Verfolgen Sie die Trefferquote beim Abruf, die Abdeckung der Zitate und die Anzahl der Antworten, die von der Quelle unterstützt werden, um den Fortschritt im Laufe der Zeit zu messen.
Fügen Sie Überprüfungen für Prompt Injection hinzu, zeichnen Sie auf, wer was gefragt hat, und speichern Sie die für jede Antwort verwendeten Quellen. Wenn Ihre Umgebung einem höheren Risiko ausgesetzt ist, achten Sie auf schädliche Inhalte und merkwürdige Datenströme, die ungewöhnlich erscheinen. Redacten Sie bei Bedarf Geheimnisse und persönliche Daten, legen Sie klare Aufbewahrungsregeln für Chat-Protokolle und abgerufene Snippets fest und führen Sie Audit-Protokolle, die den Benutzer, die abgerufenen Quellen und die endgültige Antwort zeigen.
Liefern Sie in kleinen Versionen. Beginnen Sie mit einer Pilotversion, lesen Sie echte Chats, beheben Sie Fehler, und erweitern Sie dann den Zugang. Nach dem Start benennen Sie Besitzer für Inhaltsaktualisierungen, Abrufoptimierung und Berechtigungsänderungen. Ohne Besitzer ändern sich Dokumente, Ordner werden verschoben und der Bot gibt langsam Antworten, denen die Leute nicht mehr vertrauen.
Meiner Erfahrung nach ist ein kleines Pilotprojekt in der Regel in 4 bis 8 Wochen abgeschlossen. Es geht um eine Domäne, einen durchgängig funktionierenden Chatverlauf, Quellen und Zitate sowie grundlegende Zugangsprüfungen. Das reicht aus, um zu beweisen, dass der Bot Antworten geben und seine Arbeit zeigen kann. Nicht genug, um daraus ein ganzes Nebenprojekt zu machen.
Eine breitere Einführung dauert normalerweise 10 bis 16 Wochen. Diese zusätzliche Zeit wird benötigt, um aus mehr Quellentypen zu schöpfen, strengere Berechtigungen zu handhaben, Überwachung und Protokolle hinzuzufügen und mit den chaotischen Fragen zu testen, die die Leute tatsächlich eingeben.
Das Team sieht normalerweise folgendermaßen aus:
Sie können auch einen ML-Sicherheitsingenieur hinzuziehen, wenn Prompt Injection und vergiftete Inhalte echte Risiken darstellen. Oder fügen Sie Blockchain-Kenntnisse hinzu, aber nur, wenn Governance mit einem "Append-Only"-Datensatz Teil des Plans ist.
Wenn ein RAG-Chatbot in Betrieb genommen wird, können Teams einen Produktivitätssprung von bis zu 41% und einen Sprung von 20% bei der Erkennung von Einbruchsversuchen erreichen. Ziemlich wild.
Natürlich kann ich nicht versprechen, dass Sie dieselben Zahlen sehen werden. Diese Ergebnisse stammen von bestimmten Builds, und die Details sind wichtig. Zumindest nicht, bevor wir Ihren Anwendungsbereich überprüft haben. Der Punkt bleibt aber bestehen. Wenn der Bot aus genehmigten Quellen antwortet und die Zugriffsregeln strikt eingehalten werden, geht die Arbeit schneller vonstatten, und riskante Aktivitäten werden früher erkannt.
Wenn Sie prüfen wollen, ob ein RAG-Chatbot zu Ihrem Team passt, zeigen wir Ihnen was ein RAG-basierter Chatbot ist, Wir tauschen uns über ähnliche Fälle aus, prüfen Ihre Anwendungsfälle und Datenquellen und helfen Ihnen bei der Entwicklung eines Builds, das Ihren Anforderungen entspricht.
Dabei können interne Dokumente, Knowledge-Base-Artikel, Wiki-Seiten, Support-Inhalte und andere von Ihnen genehmigte Textquellen verwendet werden. Das Wichtigste ist, dass Sie die Quellen und die Zugriffsregeln kontrollieren.
Ein gängiges Beispiel ist ein Chatbot in einem internen Kollaborationstool, in dem Mitarbeiter nach Zusammenfassungen fragen, Klauseln extrahieren und Dokumente vergleichen, während der Bot Quellensnippets zurückgibt und die Anzeigebeschränkungen durchsetzt.
Nicht immer. Viele Builds verwenden vorhandene Modelle für die Einbettung und Generierung und konzentrieren sich dann auf die Datenvorbereitung, die Abrufqualität, die Berechtigungen und die Überwachung.
Häufige Probleme sind das Abrufen des falschen Chunks, fehlender Schlüsselkontext und die Steuerung des Modells durch Prompt Injection. Sicherheitsüberprüfungen und -überwachung sowie Antwortformate, die auf den Ausgangstext verweisen, helfen dabei.
