Volle Transparenz bei KI-Kundengesprächen — Chat Agent Run Detail

Das Blackbox-Problem bei KI-Chatbots

Einen KI-Chatbot für den Kundenservice bereitzustellen ist der einfache Teil. Die eigentliche Herausforderung besteht darin zu wissen, ob er Ihren Kunden tatsächlich hilft.

Wenn ein Kunde Ihrem KI-Agenten eine Frage stellt, müssen Sie mehrere kritische Fragen beantworten können: Hat der Agent korrekt geantwortet? Welchen Kontext hat er für die Antwort verwendet? War der Kunde mit der Antwort zufrieden? Hat der Agent eskaliert, als er sollte — oder hat er es versäumt zu eskalieren, als es nötig war?

Die meisten Plattformen bieten bestenfalls ein Chat-Protokoll. Sie können sehen, was gesagt wurde, aber nicht warum. Keine Lösungsdetails, keine Konfidenzwerte, keine Möglichkeit die Antwortqualität über die Zeit zu verfolgen. Wenn etwas schiefgeht, bleibt nur Rätselraten. Für Teams, die Compliance-Anforderungen oder Kundenservice-SLAs erfüllen müssen, ist Rätselraten keine Option.

Jedes Gespräch ist jetzt ein Run

Die neue Chat Agent Run Detail-Seite von JieGou behandelt jede KI-Kundeninteraktion als erstklassigen „Run” — genauso wie wir Recipe-Ausführungen und Workflow-Runs behandeln. Jedes Gespräch wird protokolliert, ist überprüfbar und nachvollziehbar.

Chat Agent Runs erreichen Sie über Monitor > Activity > Chat Agent Runs. Jeder Run ist anklickbar und öffnet eine dedizierte Detailseite mit einem Zwei-Spalten-Layout für schnelle Überprüfung.

Linke Spalte — Gesprächsverlauf. Der vollständige Nachrichtenverlauf als Chat-Blasen dargestellt, zeigt den kompletten Dialog zwischen Kunde und KI-Agent. Jede Nachricht enthält ein Quell-Badge, das anzeigt, wie die Antwort generiert wurde — ob durch Regelabgleich, eingebettete FAQ, RAG-Abruf, direkte LLM-Generierung oder menschliche Eskalation.

Rechte Spalte — Lösungsdetails. Eine strukturierte Zusammenfassung, wie der Agent das Gespräch bearbeitet hat:

• Quelle: Regelabgleich, eingebettete FAQ, RAG, LLM oder Eskalation
• Konfidenzwert: Wie sicher sich der Agent bei seiner Antwort war
• Modell: Welches LLM-Modell verwendet wurde (z.B. Claude, GPT)
• Token-Verbrauch: Verbrauchte Eingabe- und Ausgabe-Tokens
• Dauer: Gesamte Antwortzeit
• Zustellstatus: Ob die Nachricht erfolgreich an den Kanal des Kunden zugestellt wurde

Diese geteilte Ansicht ermöglicht es Ihnen, sowohl die Kundenerfahrung als auch die technischen Details auf einen Blick zu überprüfen — kein Durchklicken durch mehrere Bildschirme oder Durchsuchen von Logs nötig.

Sehen Sie genau, was die KI gesehen hat

Eine der häufigsten Debug-Fragen lautet: „Warum hat der Agent das gesagt?” Die Run Detail-Seite beantwortet dies mit einklappbaren Kontextpanels, die genau offenlegen, welche Informationen der KI bei der Generierung jeder Antwort zur Verfügung standen.

FAQ-Kontext. Wenn der Agent im eingebetteten FAQ-Modus arbeitet, zeigt dieses Panel das vollständige FAQ-Dokument, das in den Prompt injiziert wurde. Sie können genau sehen, welche Fragen und Antworten der KI zur Verfügung standen, sodass Sie leicht feststellen können, ob eine falsche Antwort auf einen fehlenden FAQ-Eintrag oder eine Fehlinterpretation zurückzuführen ist.

Abgeglichene Regel. Wenn die Antwort durch eine Regel ausgelöst wurde, zeigt dieses Panel die Kategorie der Regel, die Abgleichmuster und die erwartete Antwort. Dies ist unverzichtbar für die Prüfung regelbasierter Antworten und um sicherzustellen, dass Ihre Regeln korrekt auslösen.

System-Prompt. Die vollständigen Persona-Anweisungen des Agenten — der System-Prompt, der Ton, Grenzen und Verhalten definiert. Wenn ein Agent unerwartet antwortet, ist die Überprüfung des System-Prompts oft der schnellste Weg zur Ursache.

Qualitätsfeedback, das Antworten tatsächlich verbessert

Jede Antwort im Gesprächsverlauf enthält einen einfachen Daumen-hoch/Daumen-runter-Feedback-Mechanismus mit einem optionalen Notizfeld. Dies dient nicht nur der Zufriedenheitsverfolgung — es schafft eine Feedbackschleife, die die Leistung Ihrer KI direkt verbessert.

So nutzen Teams es:

Antwortqualität über die Zeit verfolgen. Feedback-Scores über alle Gespräche hinweg aggregieren, um zu sehen, ob sich Ihr KI-Agent verbessert oder verschlechtert. Trends erkennen, bevor sie zu Kundenbeschwerden werden.

FAQ-Lücken identifizieren. Wenn die KI bei einem bestimmten Thema durchgehend negative Bewertungen erhält, ist das ein Signal, dass Ihre FAQ-Inhalte aktualisiert werden müssen. Die Kontextpanels machen es einfach zu sehen, was fehlt.

Schnell den Kreis schließen. Schlechte Antwort? FAQ-Kontextpanel öffnen, sehen was fehlt, FAQ-Dokument aktualisieren, und der nächste Kunde mit derselben Frage erhält eine bessere Antwort. Kein Retraining, kein Redeployment — die Verbesserung wirkt sofort.

Warum Unternehmensteams dies brauchen

Für Organisationen, die unter Compliance-Frameworks wie SOC 2 arbeiten, muss jede KI-Entscheidung, die Kundendaten berührt, auditierbar sein. Die Chat Agent Run Detail-Seite bietet einen vollständigen Audit-Trail für jede Interaktion:

• Nachvollziehbarkeit: Jede Antwort ist mit ihrer Quelle verknüpft (Regel, FAQ, RAG-Dokument oder LLM-Generierung) mit Zeitstempeln und Modell-Metadaten
• Governance-Alignment: Run-Details integrieren sich in JieGous 10-Schichten-Governance-Framework, sodass KI-Kundeninteraktionen denselben Richtlinienkontrollen unterliegen wie alle anderen automatisierten Workflows
• SLA-Monitoring: Die Verfolgung von Dauer und Zustellstatus ermöglicht es zu messen, ob KI-Agenten ihre Antwortzeitverpflichtungen einhalten
• Compliance-Nachweis: Exportierbare Run-Details dienen als Auditnachweise und zeigen genau, wie Kundenanfragen bearbeitet wurden

Dieses Maß an Transparenz verwandelt KI-Kundenservice von einem „Bereitstellen und Hoffen”-Ansatz in einen verwalteten, messbaren Betrieb.

Jetzt starten

Chat Agent Run Detail ist ab sofort für alle JieGou-Konten mit aktivierten Chat Agents verfügbar. Navigieren Sie zu Monitor > Activity, filtern Sie nach Chat Agent Runs und klicken Sie auf ein beliebiges Gespräch, um die vollständige Detailansicht zu sehen.

Wenn Sie KI-Kundenservice-Plattformen evaluieren, starten Sie mit JieGou — vollständige Observability ist von Anfang an eingebaut, nicht nachträglich angehängt.