Im vergangenen märz, auf halbem weg durch eine live-demo für das ops-team eines kunden, erreichte der openai-schlüssel eine harte ausgabenobergrenze und der workflow starb vor neun leuten. Finance hatte die Kappe auf $20 pro Monat. Wir hatten verbrannt $18,40 davon während der Testläufe in der Nacht zuvor, und um 2:15 an einem Dienstagnachmittag die Lead-Scoring-Demo 401'd auf dem Projektor, Mitte Satz.
Diese Geschichte ist normalerweise eine Warnung vor der Abrechnung von Governance. Aber als n8n v2.36 mit dem n8n AI Gateway ausgeliefert hat, wurde mir klar, dass es genauso eine Geschichte über Setup-Friktion ist. Der Pitch: Credits innerhalb von n8n kaufen, Modelle aus einem Katalog über eine Abrechnungsbeziehung anrufen, die Anbieterkonten, die Prepaid-Rechnungen und die Demütigung am Dienstag-Nachmittag überspringen.
Wir bauen die meisten Client-Stacks auf n8n und unsere Vergleich von Zapier, Make und n8n wird nach diesem Release ein Update benötigen. Anstatt also zehn Minuten lang an das Feature zu stoßen, haben mein Team und ich es richtig getestet. 2.400 produktionsförmige Aufforderungen. Drei Modellfamilien. Zwei Parallelitätsstufen. Direct API Keys als Kontrollgruppe.
Dies ist die ehrliche Aufschlüsselung, einschließlich der Teile, in denen Credits leise mehr kosten.
Welche n8n AI Gateway Credits erhalten Sie in v2.36
Die Mechanik braucht dreißig Sekunden, um es zu erklären. Fügen Sie die Gateway-Anmeldeinformationen hinzu, kaufen Sie einen Eimer Credits und jeder LLM-Knoten oder AI-Agent-Knoten in Ihren Workflows kann im Gateway-Katalog ausgeführt werden. Kein OpenAI-Konto, kein Anthropic-Konto, kein Mistral-Konto, keine vier separaten Rechnungen, die das Finanzteam eines Kunden in vier separaten Meetings genehmigen muss. Wir stützen uns ständig auf Agenten (mehr dazu) Wie KI-Agenten tatsächlich in der Produktion arbeiten), und eins zu drehen, ohne einen einzigen anbieter anzumelden, ist wirklich attraktiv.
Für kleine und mittlere Unternehmen löst dies ein echtes Problem. Die Hälfte unserer Kunden hat genau eine Person, die das OpenAI-Konto "besitzt", und diese Person macht Urlaub.
Ab dem Build, den wir getestet haben, deckte der Katalog das ab, was Sie erwarten würden: GPT-4o und GPT-4o mini, Claude 3.5 Sonnet und Haiku, Gemini, Llama 3.1 70B und 405B über Hosting-Partner sowie Mistral und DeepSeek. Caveat, bevor ich weiter gehe: n8n Schiffe schnell, und ich wette Geld Teile dieser Liste haben sich bereits geändert. Überprüfen Sie die aktuellen Dokumente, bevor Sie meinen Snapshot planen.
Was Sie immer noch nicht durch das Gateway erreichen können
Kein Azure OpenAI. Keine AWS Bedrock, keine Vertex AI, keine privaten Endpunkte, nichts selbst gehostetes wie Ollama oder vLLM und keine fein abgestimmten Modelle. Wenn Ihre Architektur von einer davon abhängt, ist das Gateway keine Option, Punkt. Erinnern Sie sich an diese Lücke. Es kommt später in diesem Post mit Zähnen zurück.
Unser Test-Setup: 2.400 Aufforderungen, drei Familien, zwei Parallelitätsstufen
Faire Warnung: Dies war kein Labor. Wir haben vier Aufgabentypen aus echten Kundenjobs gezogen und anonymisiert: Support-Ticket-Klassifizierung, Lead-Message-Extraktion, Dokumentenzusammenfassung und Kurzformgenerierung. Die durchschnittliche Eingabeaufforderung lief etwa 750 Eingangstoken und 180 Ausgangstoken. 800 Aufforderungen pro Familie über GPT-4o, Claude 3.5 Sonnet und Llama 3.1 70B, und jede Aufforderung wurde zweimal ausgeführt, einmal durch Gateway-Credits und einmal durch unsere eigenen Schlüssel, im identischen Workflow, in dem nur die Anmeldeinformationen ausgetauscht wurden.
Die Hälfte der Läufe ging seriell aus. Die andere Hälfte lief mit 10 parallelen Hinrichtungen, was ungefähr das ist, was ein beschäftigter SMB-Workflow an einem Montagmorgen macht. Für den kontext sind wir ein zwei-personen-shop und die längere version von. Wer schreibt das und wie wir mit Kunden arbeiten Leben auf der About Page.
Jetzt ein Geständnis, denn sonst bedeuten die Zahlen nichts. Die ersten 400 Hinrichtungen hatten ein promptes Caching auf der direkten Seite, aber nicht auf der Gateway-Seite, da ich die beiden Anmeldeinformationen an verschiedenen Tagen mit unterschiedlichen Mengen Kaffee konfiguriert habe. Direct API kam zurück und sah etwa 30% billiger aus als die Realität. Mein Fehler, ganz und gar. Ich warf den Batch raus und wiederholte ihn, dann saß ich eine Weile da und fragte mich, wie viele Benchmark-Posts im Internet genau diese Art von Drift tragen und es nie bemerken.
Noch eine Beichte. Ich ging in Rooting für das Gateway zum Scheitern. Ich halte einen Anmeldeordner mit 40-ungerade sorgfältig beschrifteten API-Schlüsseln und nehme einen seltsamen Stolz darauf. Eine Sache zu verlieren zu wollen, ist schlechte Wissenschaft, also ließ ich meine Kollegin Miriam die Kostenrechnung überprüfen, ohne ihr zu sagen, welche Kolumne welche war. Sie fand einen arithmetischen Fehler. Auch meine.
Kostenrechnung: Credits vs. direkte API-Abrechnung
Über alle 2.400 Eingabeaufforderungen hinweg hat uns das Gateway aufgeladen $13.87. Die identische Arbeitsbelastung unserer eigenen Schlüssel kostet $11.42. Das ist eine Prämie von 21,4%, die, wie sich herausstellt, niedriger ist, als ich erwartet hatte.
| Modellfamilie | Direkte API (800 Aufforderungen) | Gateway Credits (800 Aufforderungen) | Premium |
|---|---|---|---|
| GPT-4o | $5.90 | $6.95 | +18% |
| Claude 3.5 Sonnet | $4.10 | $5.05 | +23% |
| Llama 3.1 70B | $1.42 | $1.87 | +32% |
Das Muster, das es wert ist, angeschaut zu werden: Je billiger das Modell, desto größer der Prozentsatz. Meine vermutung ist, gibt es eine feste pro-call-routing-overhead in kreditpreise gebacken, die proportional härter auf billige modelle landet. Das kann ich nicht beweisen. n8n veröffentlicht keine Pricing Interna, also bleibt es eine Vermutung.
Wo die Prämie tatsächlich landet, hängt vom Volumen ab. Wenn Sie dies auf die Nutzungsstufen in unser AI Automation Playbook für KMUsDie Klammern sehen so aus:
- Geringes Volumen (etwa 5.000 Aufforderungen pro Monat): interne Tools, Prototypen, Sologründer. Die Prämie funktioniert in etwa $5 pro Monat, etwa $61 pro Jahr. Das ist weniger als die Stunde des Anbieter-Onboardings, die Sie sonst verbringen würden. Credits gewinnen leicht.
- Mittleres Volumen (rund 60.000 pro Monat): Produktions-SMB-Workflows. Die Prämie landet in der Nähe $61 pro Monat, ungefähr $735 pro Jahr. Borderline. Wenn der Client seine eigene Instanz verwaltet und Sie eine Null-Abrechnungsverschränkung wünschen, ist dies vertretbar. Wenn Sie die Kosten in einem festen Retainer essen, sticht es ein wenig.
- Hohes Volumen (400.000 + pro Monat): die Prämienkreuze $400 pro Monat, fast $4.900 pro Jahr. Bringen Sie Ihre eigenen Schlüssel, kein Wettbewerb. Direct APIs entsperren auch Batch-Preise in dieser Größenordnung, 50% Rabatt auf OpenAI und Anthropic Batch-Endpunkte, und soweit wir wissen, gibt das Gateway diese Rabatte nicht durch. Ich würde mich gerne irren, denn billige batch plus null setup wäre schön, aber unsere batch läuft durch das gateway mit vollen raten abgerechnet.
Latenz Realität: die 1,4-Sekunden-Steuer auf jedem Gateway-Anruf
Jeder Gateway-Anruf kam langsamer zurück als sein direkter Zwilling. Median Overhead war 1,4 Sekunden pro Anruf, ziemlich konsistent über Familien hinweg, von 1,1 Sekunden auf GPT-4o bis 1,7 auf Llama. Die Antwortzeit von GPT-4o auf p50 ging von 2,3 Sekunden direkt auf 3,7 durch das Gateway. Bei 10 gleichzeitigen Hinrichtungen ballte der p95-Overhead auf 4,1 Sekunden, was nach Warteschlangen auf der Routing-Schicht riecht.
Die Fehlerraten blieben auf beiden Seiten gering: 11 fehlgeschlagene Anrufe von 2.400 auf dem Gateway im Vergleich zu 5 auf Direktschlüsseln, die alle beim Wiederholen wiederhergestellt wurden. Ärgerlich, nicht alarmierend.
Wo 1,4 Sekunden tatsächlich weh tun
Eine nächtliche Bereicherung Job kaut durch 400 Aufzeichnungen kaum bemerkt. Sie fügen etwa neun Minuten zu einem Job hinzu, den niemand sieht. Interne Werkzeuge, bei denen ein Mensch auf einen Knopf klickt und wartet, auch in Ordnung.
Zwei Orte, an denen es wirklich beißt. Erstens, alles, was dem benutzer zugewandt ist: ein kundenorientierter chatbot benötigt bereits 1,5 bis 3 sekunden bis zum ersten token, und weitere 1,4 oben fühlen sich kaputt an. Zweitens, agentische Workflows. Mehrstufige Agenten führen fünf bis acht Modellaufrufe pro Lauf durch, so dass ein Sechs-Call-Agent bei jedem einzelnen Lauf 8,4 Sekunden Routing-Verzögerung aufnimmt. Langsame Anrufe sitzen auch näher an Timeout-Decken, und wenn Sie jemals an einem Montagmorgen Retries-Kaskade gesehen haben, wissen Sie, dass Latenz ein Zuverlässigkeitsproblem ist, wenn Sie ein Kostüm tragen. Unsere Notizen zu Workflow Reliability Engineering Gehen Sie tief in diesen Fehlermodus.
Der Data Residency Caveat, der einen EU-Piloten getötet hat
Dieser eine gestochen.
Ein deutscher Versicherungsmakler, etwa 40 Mitarbeiter, stellte uns für einen Piloten ein: Triage und Zusammenfassung eingehender Schadens-E-Mails, bevor sie die Einsteller erreichen. Zwei Wochen Bauzeit. Alles funktionierte. Den Justierern gefielen die Zusammenfassungen. Dann stellte ihr Datenschutzbeauftragter eine Frage zum Überprüfungsaufruf: "Wo genau werden diese Aufforderungen verarbeitet, sobald sie unsere n8n-Instanz verlassen, und können Sie das schriftlich schreiben?"
Mit direkten Schlüsseln ist die Antwort einfach. Azure OpenAI in Schweden oder Bedrock in Frankfurt, regionale Verarbeitungsgarantien, die in die Verträge aufgenommen wurden. Mit Gateway Credits, zumindest als unsere Tests, war es nicht. Die Dokumente konnten keine verbindliche EU-Verarbeitungsgarantie für kreditgeroutete Anrufe geben, und als wir direkt um Unterstützung baten, belief sich die Antwort auf ein von den USA verwaltetes Routing mit EU-Residency, das noch nicht vertraglich zugesagt wurde. Der DPO sagte nein. Pilot tot, ungefähr €6.000 des geplanten Bereichs geparkt, bis wir es auf Azure-Schlüssel neu erstellen.
Um fair zu sein, nichts davon ist n8n schuld in irgendeinem dramatischen sinne. Das Routing eines anderen bedeutet die Regionen eines anderen; das sind die strukturellen Kosten der Bequemlichkeit. Aber es ist genau die Art von Vorbehalt, die niemals die Startankündigung macht, und für jeden Kunden unter DSGVO mit sensiblen Daten ist es das ganze Ballspiel. Das Gateway ist gleichzeitig der schnellste Weg, um mit dem Bau zu beginnen, und das langsamste Ding im Raum während einer Sicherheitsüberprüfung.
Urteil: Wenn Credits gewinnen und wenn Bring-Your-Eigenschlüssel nicht verhandelbar sind
Nach drei Wochen Tabellenkalkulation, hier ist mein Split.
Verwenden Sie Gateway Credits für: Prototypen, Client-Demos, Workshops, interne Tools unter etwa 10.000 Eingabeaufforderungen pro Monat und alles, wo Setup-Reibung der eigentliche Feind ist. Das Dienstag-Nachmittag-Demo-Versagen vom Intro? Eine Abrechnungsbeziehung, eine Low-Balance-Warnung, und es passiert nicht. Für einen Solo-Gründer, der lieber bauen würde, als Verkäufer-Onboarding zu tun, sind Credits irgendwie großartig.
Bringen Sie Ihre eigenen Schlüssel mit, wenn: Die Daten sind reguliert oder benötigen einen vertraglichen EU-Aufenthalt, der Workflow ist benutzerorientiert und latenzsensibel, das Volumen kreuzt 50.000 Eingabeaufforderungen pro Monat oder Sie benötigen fein abgestimmte Modelle und Azure, Bedrock oder private Endpunkte. In der Produktion für zahlende Kunden sind wir die meiste Zeit.
Ich erwartete, dies als Hit-Stück zu schreiben, und ehrlich gesagt, ich werde das besitzen. Das Gateway hat meine Erwartungen an die Kosten für kleine Nutzung übertroffen, und die Prämie ist oft billiger als die nicht berechneten Einrichtungsstunden, die es ersetzt. Die unbequeme Wahrheit für meinen Anmeldeordner: Für das meiste, was KMUs tatsächlich bauen, sind Credits gut genug. Ich habe bereits zwei unserer internen Tools auf sie verschoben. Client-orientiertes Zeug bleibt auf Schlüsseln.
Oh, und ich habe endlich einen richtigen Saldo-Alarm auf diesem OpenAI-Konto eingestellt. Es dauerte nur ein Jahr.
Sprich bald,
Damian

2 Antworten