Wiederholung mit Backoff bei Rate Limits
Standardmäßig aktivMeldet ein Anbieter ein Rate Limit oder ein ausgeschöpftes Kontingent, wird der Aufruf bis zu dreimal wiederholt, mit Wartezeiten von 1, 2 und dann 4 Sekunden.
Fehlerbehandlung und Wiederherstellung
Modellanbieter laufen in Timeouts, APIs liefern Fehler, Tools fallen aus. Die Plattform erkennt solche Störungen und fängt sie ab, ohne dass jemand einen neuen Versuch anstoßen muss. Meist merkt der Kunde gar nicht, dass etwas schiefgelaufen ist.
Bei jeder Funktion ist angegeben, ob sie standardmäßig aktiv ist oder sich pro Assistent, Workflow oder Mandant konfigurieren lässt. Standards, die Kundendaten betreffen, lassen sich abschalten, wo Regulierung oder Ihre eigene Richtlinie es verlangt.
Wenn ein Modell ausfällt
Modellaufrufe sind die häufigste Fehlerquelle. Deshalb gibt es für sie mehrere Ebenen der Wiederherstellung.
Timeouts und automatische Wiederholungen
Standardmäßig aktivModellanfragen werden automatisch wiederholt und nach 90 Sekunden abgebrochen, Embedding-Anfragen nach 30 Sekunden. Ein hängender Anbieter kann ein Gespräch so nicht blockieren.
Wechsel zu einem anderen Anbieter
Standardmäßig aktivFällt ein Anbieter aus, bevor das erste Wort der Antwort erzeugt ist, übernimmt ein Modell eines anderen Anbieters, und der Wechsel wird im Trace festgehalten. Der Betreiber kann das pro Umgebung abschalten, wenn Daten nur an freigegebene Anbieter gehen dürfen.
Guardrail-Prüfungen mit Absicherung
Standardmäßig aktivEin Guardrail-Modell hat 15 Sekunden Zeit. Schlägt es fehl oder läuft in einen Timeout, wird die Prüfung noch einmal bei einem anderen Anbieter ausgeführt und nicht übersprungen.
Wenn ein Tool oder System ausfällt
Agenten arbeiten mit Systemen, die langsam oder nicht erreichbar sind. Die Plattform fängt das innerhalb des Laufs ab.
Fehler gehen an den Agenten zurück
Standardmäßig aktivSchlägt in einem Workflow ein Tool-Aufruf fehl, erhält das Modell den Fehler als Tool-Ergebnis. Der Agent entscheidet dann, wie es weitergeht: mit anderen Argumenten, einem anderen Tool oder einem anderen Weg zum Ziel.
Ein Zeitbudget für Tools
Standardmäßig aktivAlle Tool-Aufrufe innerhalb einer Antwortrunde teilen sich ein Budget von 45 Sekunden. Ein einzelnes langsames System kann das Gespräch so nicht aufhalten.
MCP-Verbindungen werden neu aufgebaut
Standardmäßig aktivBei einem Verbindungsfehler verbindet sich die Plattform neu mit dem MCP-Server und versucht es erneut. Sie kann dasselbe Tool auch auf einem anderen MCP-Server aufrufen. Den Zustand der MCP-Server prüft sie stündlich.
Leere Ergebnisse werden wiederholt
Standardmäßig aktivLiefert das Modell in einem Workflow eine leere Antwort, wird der Schritt bis zu zweimal wiederholt.
Validierung und Wiederholung pro Workflow-Schritt
KonfigurierbarBesteht die Ausgabe eines Workflow-Schritts die Validierung nicht, wird er je nach Einstellung eine festgelegte Anzahl von Malen mit Pause zwischen den Versuchen wiederholt, oder der Lauf wird beendet.
Wenn eine Antwort nicht gut genug ist
Auch eine technisch erfolgreiche Antwort kann falsch sein. Diese Prüfungen fangen das ab, bevor der Kunde sie liest.
Neu generieren unter einem Qualitätsschwellenwert
KonfigurierbarDie Qualitäts-Guardrail bewertet jede Antwort. Liegt sie unter dem Schwellenwert, schreibt der Agent eine neue Antwort, bis zu einer maximalen Zahl von Versuchen.
Durchgesickertes Reasoning wird erkannt
Standardmäßig aktivLandet das interne Reasoning eines Modells in der Antwort, wird die Antwort vor dem Versand neu generiert.
Kein stiller Abbruch
Standardmäßig aktivScheitert eine Antwortrunde trotz dieser Schritte, erhält der Kunde die Fallback-Nachricht, die für diesen Assistenten konfiguriert ist, und der Fehler wird zusammen mit dem Gespräch protokolliert.
Nachvollziehen, was passiert ist
Wiederherstellung nützt nur, wenn Sie sie im Nachhinein prüfen können.
Traces pro Gespräch
Standardmäßig aktivTraces zeichnen für jede Antwortrunde Tool-Aufrufe, Retrieval, ausgelöste Guardrails, Anbieterwechsel und Neugenerierungen auf.
Pro Assistent abschaltbar, wo Regulierung oder Ihre eigene Richtlinie es verlangt.
Geplante Monitore
KonfigurierbarTestsuiten laufen nach Zeitplan, von alle 5 Minuten bis einmal täglich, und alarmieren per E-Mail oder Webhook, wenn die Ergebnisse schlechter werden.
Entscheidungsprotokoll
Standardmäßig aktivJeder Wiederherstellungsschritt, vom Anbieterwechsel bis zur neu generierten Antwort, erscheint im Entscheidungsprotokoll des Gesprächs. Es lässt sich als JSON exportieren oder über OpenTelemetry übertragen.
Pro Assistent abschaltbar, wo Regulierung oder Ihre eigene Richtlinie es verlangt.
Fehlerbehandlung: häufige Fragen
So funktioniert die Plattform
Sie möchten das mit Ihren eigenen Systemen sehen?
Wir arbeiten gemeinsam an Ihrem Anwendungsfall, mit Ihren Daten und den Modellen Ihrer Wahl.
Gespräch vereinbaren