Im vergangenen märz brach ein leises modellupdate einen unserer bleiaufnahme-workflows, und wir brauchten neun tage, um es zu bemerken. Keine Fehler. Keine gescheiterten Hinrichtungen. Der Workflow lief die ganze Zeit grün und führte fröhlich etwa ein Drittel unserer neuen Leads in die falsche Warteschlange.

Der Deal, den wir darüber verloren haben, war es wert €4200. Der Interessent bekam eine Antwort vier Tage zu spät, von der falschen Person, und unterzeichnete höflich mit einem Konkurrenten statt. Das war der tag, an dem prompts nicht mehr in meinem kopf config waren und zu code wurden. Code bekommt Tests. Prompts, bis zu diesem punkt, hatten vibes bekommen.

Dieser Beitrag ist das Setup, auf dem wir nach diesem Durcheinander gelandet sind: eine prompte Regressionssuite innerhalb von n8n, die uns nichts extra kostet. Es nimmt die gleiche Disziplin, die wir bereits anwenden Workflow-Zuverlässigkeit auf API-Seite und richtet sie auf den unscharfen, probabilistischen Teil des Stapels. Der ganze Trick, ehrlich gesagt, ist die Annahme, dass eine grüne Ausführung nichts darüber aussagt, ob die Ausgabe korrekt war.

Warum prompte Regressionen so gut verstecken (und so viel kosten)

Ein Code Bug kündigt sich von selbst an. Etwas wirft, etwas wird rot, Sie erhalten eine Warnung um 2 Uhr morgens. Eine prompte Regression bewirkt das Gegenteil. Der Workflow ist abgeschlossen, der JSON analysiert und die Ausgabe kommt fließend, zuversichtlich, grammatikalisch perfekt und völlig falsch zurück.

Nicht-Determinismus macht es noch schlimmer. Sie können die Antworten der letzten Woche nicht gegen die dieser Woche diffen, da das Modell sowieso nie zweimal den gleichen Output produziert. Vielleicht fühlte es sich am Dienstag einfach anders an. Es gibt keine stapelspur für ein modell, das plötzlich entscheidet, dass "ich mein abonnement kündigen möchte" eine verkaufsanfrage ist.

So wird Ihre Überwachung zu Ihren Kunden, was die schlechteste Vereinbarung ist. Diejenigen, die es bemerkten, bekamen seltsame Antworten. Diejenigen, die es nicht bemerkten, gingen einfach woanders hin. Neun Tage davon.

Die Korrektur der Aufforderung nach der Tatsache war einfach. Zu glauben, dass der Fix für immer halten würde, war der eigentliche Fehler, und es ist die gleiche Falle, über die ich geschrieben habe. Warum Teams weiterhin promptes Engineering für KI-Ausfälle verantwortlich machenAnbieter versenden Point Updates. Sie optimieren eine System-Prompt. Jemand fügt "nur noch ein" paar schüsse beispiel hinzu. Drift ist normal. Was normalerweise fehlt, ist alles, was es bemerkt.

Auch die Einsätze steigen weiter. Die meisten der KI-Automatisierung bauen wir für KMU-Kunden beginnt mit einem unschuldigen kleinen Klassifizierungsschritt. Sobald sich die Kunden bewegen Agenten, die Maßnahmen ergreifen, anstatt nur Dinge zu kennzeichnen, ein drifted prompt nicht falsch ein Ticket mehr. Es schickt die falsche Person oder zitiert den falschen Preis. Ich wollte ein Tor davor, keine Entschuldigung dahinter.

Das Geschirr: n8ns Evaluate Node und eingefrorene Input/Output-Paare

Wir selbst hosten n8n auf einer kleinen hetzner-box, für die wir bereits bezahlt haben, was ein großer teil davon ist, warum die suite bei. $0 Grenzkosten. Wenn Sie immer noch Plattformen wiegen, die Vergleich halten wir aktualisiert zwischen Zapier, Make und n8n deckt den Kostenwinkel ab, und es spielt eine doppelte Rolle beim Testen: Die aufgabenbasierte Preisgestaltung wird schnell teuer, wenn eine Suite vor dem Frühstück ein paar hundert Hinrichtungen abfeuert.

Das setup ist wirklich langweilig, was ich als kompliment meine.

Die gefrorenen Paare

Unsere goldenen Beispiele leben in einem Google Sheet. Achtzehn Zeilen, die jeweils den Rohinput, die erwartete Klassifizierung und zwei oder drei „muss enthalten-Sätze enthalten. Warum ein Blatt? Da es kostenlos ist, können Nicht-Ingenieure es bearbeiten, und n8n liest es nativ. Die "eingefrorene" Idee begann mit den angehefteten Daten von n8n im Editor, was immer noch der schnellste Weg ist, eine seltsame Eingabe von Hand wiederzugeben, und wuchs zu einem vollständigen Datensatz heran, sobald wir Abdeckung anstelle von Neugier brauchten.

Der Run selbst

Der Test-Workflow zieht das Blatt, schleift die Zeilen und speist jede Eingabe an den genauen Produktions-Workflow, nicht an eine Kopie. Das ist wichtiger als es klingt. Eine Weile haben wir gegen eine duplizierte Version getestet, und es stellt sich heraus, dass die Kopie leise von der realen Sache abdriftet. Testen Sie, was Sie versenden, oder Sie testen eine Lüge.

n8ns Evaluation Framework macht das schwere Heben. Der Knoten Bewerten führt jede eingefrorene Eingabe durch den Workflow aus und bewertet, was herauskommt, und Sie können den Datensatz direkt aus früheren Ausführungsvorgängen aussenden. So begann unser goldenes Set tatsächlich: Ich habe die zehn seltsamsten echten Leads aus dem Ausführungsprotokoll gezogen und sie so eingefroren, wie sie sind.

Scoring geschieht auf zwei Ebenen. Harte Behauptungen in einem Code-Knoten: Enthält die Ausgabe die erwartete Kategorie, analysiert die JSON, vermeidet sie die Liste der verbotenen Phrasen (Dinge wie vielversprechende Rückerstattungen, die unser Einnahme-Bot nicht zu tun hat). Dann eine weiche Punktzahl von einem LLM-Richter mit einer engen Rubrik: Bewerten Sie angesichts dieser Eingabe und dieser erwarteten Antwort, ob die tatsächliche Ausgabe die gleiche Absicht vermittelt. Alles unter 0.8 scheitert die Reihe.

Ich war skeptisch gegenüber LLM-as-Richter, und ehrlich gesagt bin ich immer noch ein bisschen. Für ton ist es mush. Für die Klassifizierung mit einem festen Antwortschlüssel und einer strengen Rubrik ist es konsistent genug, dass ich gut schlafe. Wenn Sie diese Woche eine v1 wollen, fangen die harten Behauptungen allein die meisten Regressionen und kosten nichts zu streiten.

Die goldene Satzregel: Sie brauchen weniger Beispiele, als Sie denken

Stellungnahmezeit. Für einen SMB-Workflow ist alles, was über 20 goldene Beispiele hinausgeht, hauptsächlich eine Zeremonie. Wir laufen 18Irgendwo auf dem Weg begannen die Teams darauf zu bestehen, dass Sie Hunderte von Evals brauchen, und vielleicht tun Sie das für einen Verbraucher-Chatbot mit einer Million Benutzern. Ein Lead Intake Flow für ein 40-Personen-Unternehmen nicht. Es braucht die seltsamen Fälle.

Unsere: die Botschaft mit zwei Absichten, die in einen Satz eingeklemmt sind. Der wütende All-Caps One. Die niederländische, weil grenzüberschreitende Leads passieren. Die out-of-scope "ist das auch für mich" frage. Die Nachricht, die nur ein Emoji und eine Telefonnummer ist. Zwölf der achtzehn kamen von Dingen, die in der Produktion irgendwann schief gelaufen sind.

Mein erster Versuch war ein 200-reihiges Monster, das ich über ein Wochenende gebaut habe, weil ein Blogbeitrag sagte, dass mehr Daten bessere Evals bedeuten. Die Hälfte der Reihen waren fast doppelt so hoch, ein Drittel hatte innerhalb eines Monats veraltete erwartete Ergebnisse, und jeder Suitenlauf dauerte dreimal länger. Ich löschte das Ganze und begann mit zwölf handverlesenen Beispielen. Ich ärgere mich immer noch ein bisschen über dieses Wochenende. Und ich bin mir wirklich nicht sicher, ob die aktuelle 18 die richtige 18 ist; immer wieder rutscht ein Edge Case durch und ich muss mich entscheiden, ob es einen goldenen Schlitz verdient oder ob ich nur den Test beibringe, um die Vergangenheit nachzuplappern. Noch keine saubere Antwort.

Verdrahtung in Deployments, ohne etwas zu kaufen

Die integrierte Quellensteuerung von n8n ist eine Enterprise-Funktion, so dass der freie Pfad leicht manuell ist, aber es funktioniert. Wir exportieren den Workflow JSON mit der CLI, bewahren ihn in einem einfachen GitHub-Repo auf und behandeln jede Eingabeaufforderung oder jeden Knotenwechsel als Commit. Bevor eine Änderung live geht, läuft die Suite gegen die aktualisierte Version. Wenn ein goldenes fehlschlägt, wird die Änderung nicht Schiff. Das ist die gesamte Pipeline, und es ist so ziemlich die gleiche Billig-Gate-Philosophie hinter der idempotenzprüfungen, die wir vor datenpipelines durchführen.: eine kleine Wand, bevor sich die Dinge bewegen, damit Geld und Nachrichten nicht durchsickern.

Die ergebnisse landen in einem slack-kanal über webhook, und slacks kostenlose tier ist reichlich. Gesamtausgaben für Werkzeuge: €0. Totale neue Infrastruktur: ein Unterordner in einem Git-Repo und ein zusätzlicher Workflow. Wenn Ihre aktuelle Deploy-Pipeline "Damian erinnert sich daran, Dinge zu testen" lautet, handelt es sich um ein strenges Upgrade. Obwohl ich zugeben werde, dass wir ein paar Wochen damit verbracht haben, als "Damian sich erinnert, die Suite zu betreiben", bevor der Cron es automatisch machte, was für ein Unternehmen, das Automatisierung verkauft, ein bisschen peinlich ist.

Die 5-minütige Morgenroutine

Provider-seitige Drift wartet nicht auf Ihre Bereitstellungen, so dass die Suite auch auf einem Cron läuft 6:50 Uhr jeden MorgenWenn der Kaffee fertig ist, gibt es eine Slack-Nachricht, die entweder "18/18 grün" oder etwas wie "3 fehlgeschlagen" lautet: # 7, # 12, # 15. Stornieren Sie mein Abonnement, das als Verkaufsanfrage eingestuft ist.

An einem Dienstag im April rettete uns diese Botschaft. Der Anbieter hatte leise über Nacht ein Punktupdate verschickt, keine E-Mail, keinen Changelog-Eintrag, den wir finden konnten, und der Klassifikator driftete damit. Ich sah den Fehler um 6:54, reproduzierte ihn um 6:58, passte die Systemaufforderung um 7:15 an und hatte die Suite vor 7:30 wieder grün. Customer Exposure: Null, weil der Drift gefangen wurde, bevor der erste echte Vorsprung des Tages den Workflow berührte.

Neun Tage stille Fehlplanung im März gegenüber vier Minuten Diagnose im April. Ein Full Suite Run kostet ungefähr $0,02 in API-Token, und ja, ich habe es überprüft, weil ich die '$0 'anspruch, den kontakt mit einer rechnung zu überleben. Die Werkzeuge sind kostenlos. Die Token sind ein Rundungsfehler neben dem Kaffee, den ich beim Lesen des Berichts trinke.

Was dieses Setup nicht beheben wird

Eine Regressionssuite wird keine schlechte prompt gut machen. Es hält eine gute Aufforderung davon ab, leise zu verrotten, was ein anderer und unterschätzter Job ist. Es kann auch nicht fangen Anforderungen, die Sie nie aufgeschrieben. Wir erfuhren, dass im juni, als sich ein kunde über einen reaktionsstil beschwerte, keiner unserer 18 goldens abgedeckt wurde, weil stil nie etwas war, was wir an erster stelle behaupteten. Dieser ist immer noch offen, für das, was es wert ist.

Dennoch fühlt sich die Mathematik zu unseren Gunsten einseitig an. Eine verlorene €4.200 Deal bezahlte für diese Suite ein paar tausend Mal, und die ganze Sache dauerte einen Nachmittag, als ich aufhörte, es zu kompliziert zu machen. Wenn Sie KI-Workflows für ein Unternehmen ausführen, stehlen Sie es. Golden Sheet, Bewerten Knoten, harte Behauptungen, ein optionaler Richter, Cron, Slack. Das ist die vollständige Liste der Materialien.

Wenn du neu hier bist, Diese Seite erklärt, wer ich bin und was StartMit macht.

Sprich bald,
Damian

Verwandtes Lesen

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder werden markiert *