KI-Automatisierungsplattformen treffen Entscheidungen, die reale Geschäftsprozesse betreffen. Wenn ein Recipe eine Kunden-E-Mail generiert, ein Workflow eine Bestellung genehmigt oder ein Agent Aufgaben abteilungsübergreifend delegiert — das Ergebnis zählt. Hat die Plattform Fehler, hat das Unternehmen Fehler.
Deshalb führt JieGou 24.000+ automatisierte Tests mit 99,18 % Code-Abdeckung durch. Jede Nacht. Über alle 4 LLM-Anbieter hinweg. Inklusive Barrierefreiheits-Audits, visueller Regressionstests und RBAC-Durchsetzungsüberprüfung.
Keine andere KI-Automatisierungsplattform veröffentlicht diese Zahlen. Die meisten haben sie gar nicht.
Warum Testen bei KI-Plattformen wichtiger ist
Traditionelles SaaS-Testen ist unkompliziert: Bei Eingabe X erwarte Ausgabe Y. KI-Automatisierungsplattformen fügen drei Komplexitätsebenen hinzu:
- Nicht-deterministische Ausgaben — LLMs liefern nicht zweimal dieselbe Antwort. Tests müssen Struktur, Einschränkungen und Qualität validieren statt exakter Zeichenketten.
- Multi-Provider-Variabilität — JieGou unterstützt 4 LLM-Anbieter (Anthropic, OpenAI, Google und jeden OpenAI-kompatiblen Endpunkt). Jeder hat unterschiedliche Fähigkeiten, Fehlermodi und Antwortformate.
- Orchestrierungskomplexität — Workflows verketten mehrere Schritte mit bedingter Logik, paralleler Ausführung, Genehmigungsschritten und Konvergenzschleifen. Ein Fehler in Schritt 3 kann die Ausgabe von Schritt 7 durch gemeinsamen State korrumpieren.
Genau diese Herausforderungen sind der Grund, warum Testdisziplin wichtig ist. Ohne sie liefern Sie Fehler aus, die Sie nicht reproduzieren können, weil sie nur bei bestimmten LLM-Antwortmustern auftreten.
Was 24.000+ Tests abdecken
Unit-Tests (Vitest)
Der Großteil unserer Test-Suite — serverseitige Logik, Datentransformationen, Validierungsregeln und Geschäftslogik:
- LLM-Schicht: Provider-Routing, BYOK-Schlüsselauflösung, Circuit-Breaker-Zustandsmaschinen, Nebenläufigkeitsbegrenzung, Token-Verbrauchsverfolgung
- Workflow-Engine: Schrittausführung (Recipe, Bedingung, Schleife, Parallel, Genehmigung, LLM, Eval, Router, Aggregator), DAG-Ausführung, Konvergenzschleifen, Checkpoint/Resume
- Sicherheit: RBAC-Durchsetzung (20 Berechtigungen über 5 Rollen), Auth-Guard, API-Schlüssel-Verschlüsselung/-Entschlüsselung, Session-Management
- SOC-2-Nachweise: Zugriffsüberprüfungsgenerierung, Verschlüsselungsinventar, Anbieterregister, Incident-Response-Runbook, Audit-Log-Zusammenfassungen
- Datenschicht: Firestore-CRUD, Redis-Caching, Rate-Limiting, Dead-Letter-Queue
E2E-Tests (Playwright)
Vollständige Browser-Automatisierungstests, die die echte Anwendung durchlaufen:
- User-Journeys: Admin-Onboarding, Abteilungsleiter-Review, Entwickler-Workflow-Erstellung
- Routenabdeckung: Jede Route in der Anwendung (Bundles, Entitäten, Gruppen, Integrationen, Wissensdatenbanken, Aufzeichnungen, Preise, Weiterleitungen)
- RBAC-Durchsetzung: Negativtests, die verifizieren, dass unautorisierte Benutzer 403-Fehler erhalten
- Datenkonsistenz: API-Antwort ↔ UI-Rendering-Verifizierung, Behandlung gleichzeitiger Operationen
Barrierefreiheits-Audits (@axe-core/playwright)
WCAG-2.1-AA-Konformitätsprüfung auf wichtigen Seiten:
- Farbkontrastverhältnisse
- ARIA-Attribut-Korrektheit
- Tastaturnavigation
- Screenreader-Kompatibilität
Visuelle Regressionstests
Playwright-Screenshot-Vergleich zur Erkennung unbeabsichtigter UI-Änderungen:
- Komponentenrendering über verschiedene Viewport-Größen
- Theme-Konsistenz (hell/dunkel)
- Layout-Stabilität nach Abhängigkeitsupdates
LLM-Mock-Tests
Deterministische Test-Doubles für alle 4 LLM-Anbieter über llm-mock.ts (818 Zeilen):
- Das Antwortformat jedes Anbieters wird präzise gemockt
- Tool-Calling, strukturierte Ausgabe und Streaming sind vollständig abgedeckt
- Tests verifizieren das Verhalten bei Timeout-, Rate-Limit- und Fehlerbedingungen
- Mocking benutzerdefinierter OpenAI-kompatibler Endpunkte für selbstgehostete LLM-Tests
Performance-Baselines
Seitenladezeiten werden als Testassertionen verfolgt:
- Time to Interactive
- Largest Contentful Paint
- Bundle-Size-Schwellenwerte
Der n8n-Kontrast
Während wir 24.000+ Tests nächtlich durchführen, hat die Open-Source-Automatisierungsplattform n8n 8 kritische CVEs angesammelt — mehrere erfordern nur Workflow-Editor-Zugriff (nicht Admin) für Remote Code Execution. Censys identifizierte 26.512 exponierte n8n-Instanzen im öffentlichen Internet.
Selbst-gehostet bedeutet nicht selbst-gesichert. Testdisziplin schon.
Wie Tests in SOC 2 einfließen
Unsere Test-Suite dient nicht nur der Fehlerfindung. Sie ist Teil unserer SOC-2-Nachweissammlung:
- CC5.2 (Kontrollaktivitäten): Die Test-Suite selbst ist Nachweis für Qualitätskontrollen
- CC6.2 (Zugriffskontrollen): RBAC-Durchsetzungstests beweisen, dass Zugriffskontrollen funktionieren
- CC7.1 (Systembetrieb): Nächtliche CI beweist kontinuierliche Überwachung
- CC8.1 (Änderungsmanagement): Jeder PR durchläuft die vollständige Test-Suite vor dem Merge
Der SOC-2-Nachweisaggregator (/api/soc2-evidence) referenziert die Testabdeckung als Schlüsselmetrik. Wenn unser Auditor fragt „Wie stellen Sie sicher, dass Änderungen keine Sicherheitsregressionen verursachen?”, haben wir eine konkrete Antwort: 24.000+ Tests, 99,18 % Abdeckung, bei jedem Commit.
Die nächtliche CI-Pipeline
Jede Nacht durchläuft unsere CI-Pipeline:
- Die vollständige Vitest-Unit-Test-Suite (~9.500 Tests)
- Playwright-E2E-Tests (~500 Tests) gegen ein frisches Deployment
- Barrierefreiheits-Audits auf 20+ Schlüsselseiten
- Visuelle Regressionsvergleiche
- Abdeckungsbericht an das Team
Wenn ein Test fehlschlägt, wird das Team vor dem nächsten Arbeitstag benachrichtigt. Wenn die Abdeckung unter 98 % fällt, schlägt der Build fehl.
Überzeugen Sie sich selbst
JieGou steht zur kostenlosen Evaluierung bereit. Jede hier erwähnte Funktion — die 4-Provider-LLM-Unterstützung, die Workflow-Engine, die SOC-2-Nachweissammlung — ist in Enterprise-Tarifen verfügbar.
Kostenlose Testversion starten oder kontaktieren Sie unser Team, um Compliance-Anforderungen zu besprechen.