Die E-Mail vom Datenschutzbeauftragten unseres Kunden war drei Zeilen lang, sehr höflich und beendete im Grunde unsere GPT-4o Mini-Ära.
Der Kunde, ein Hamburger Logistikunternehmen, schiebt monatlich etwa 1.800 Lieferantenrechnungen durch n8n: Extraktion, Klassifizierung und eine Handvoll hartnäckiger Randfälle, die wir zu GPT-4o geleitet hatten. Ihre Oktober OpenAI Rechnung kam zu €212. Nicht katastrophal. Aber die Frage des DPO blieb mir trotzdem: Mussten Lieferantennamen, IBANs und Zahlungsbedingungen wirklich den Atlantik überqueren, um so langweilig zu arbeiten?
Schneller Kontext, falls Sie hier neu sind. Ich bin Damian und Gebäudeautomationspipelines für kleine und mittlere Unternehmen Das ist so ziemlich mein ganzer Job. Wir betreiben fast alles auf n8n (wenn Sie immer noch eine Plattform auswählen), unser detaillierter Vergleich von Zapier, Make und n8n deckt die Kompromisse ab), so dass die Frage schnell konkret wurde: Könnten die gleichen Workflows auf ein selbst gehostetes Qwen 2.5-Modell anstelle einer US-API für unter fünfzig Dollar pro Monat hinweisen?
Warum wir aufgehört haben, zuerst nach der API zu greifen
Ehrliche Meinung vor allem anderen: GPT-4o mini ist billig. Wenn Token-Kosten bei geringem Volumen Ihr einziges Problem sind, bleiben Sie bei der API. Unsere Gründe, woanders zu suchen, waren drei, und die Kosten waren ehrlich gesagt die schwächsten von ihnen.
- Datenaufenthalt. Deutsche Rechnungen sind voller persönlicher und finanzieller Daten, und sobald ein US-Anbieter in die Kette eintritt, befinden Sie sich in Standardvertragsklauseln, DPAs und einem DPO mit unbequemen Fragen. Ein Modell auf einem deutschen Server beendet dieses Gespräch.
- Vorhersagbarkeit. Wir berechnen feste monatliche Retainer. Eine abgemessene API-Rechnung ist ein Geschäftsrisiko; ein flacher 30-etwas-Euro-Server ist ein Posten.
- Batch-Jobs interessieren sich nicht für Latenz. Die Rechnungspipeline läuft nachts gegen eine Schlange. Ein Modell, das vierzig Sekunden pro Dokument dauert, ist in Ordnung, wenn niemand wartet.
Ich gebe auch zu, dass ich schon einmal versucht hatte, mich selbst zu hosten und gescheitert bin. Ein Jahr zuvor drückte ich ein 7B-Modell auf meinen alten Turm mit seiner alternden GTX 1060, beobachtete, wie er mit schreienden Fans einstellige Token pro Sekunde ausschliff und kam zu dem Schluss, dass dies Hobbygebiet war. Es stellte sich heraus, dass ich gerade die falsche Hardware ausgewählt hatte. Dedizierte Serverkerne mit schnellem RAM sind eine ganz andere Geschichte, die ich nur gelernt habe, weil diese dreizeilige E-Mail mich wieder aussehen ließ.
Und Qwen 2.5 ist speziell keine Randwette. Alibaba lässt diese Modelle in einem Maßstab produzieren, von dem die meisten westlichen Labore nur träumen können, die Gewichte sind offen und die 14B-Instruct-Version behandelt Deutsch besser als viele Modelle doppelt so groß. Das war jedenfalls die Hypothese. Also haben wir es getestet.
Die $47/Monat Hetzner Setup
Specs, und warum zwei kleine Boxen eine große schlagen
Unser erster Instinkt war ein großer Server. Falscher Instinkt. Das Modell will RAM; n8n will eine Datenbank. Co-Lokalisierung bedeutet, dass jede Extraktion die Workflow-Engine zum Stottern bringt, und ein 14B-Modell plus Postgres auf 16 GB ist ein enger Druck. Also teilten wir die Arbeit auf:
- Musterkasten: Hetzner CCX23, 4 dedizierte vCPU, 16 GB RAM, €24.29. führt Ollama mit
qwen2.5:14b-instruct-q4_K_M, eine ungefähr 9 GB Quantisierung, die Headroom für den Kontext lässt. - Workflow-Box: Hetzner CX22, 2 vCPU, 4 GB RAM €3.79. Läuft n8n und Postgres.
- Backups: eine kleine Lagerbox, €3.81.
Darum geht es €32 netto, €38 mit Mehrwertsteuer, die überall landet $44 bis $47 abhängig vom Wechselkurs und der Woche, die der Dollar hat. Der Dollar könnte immer noch einen Lügner aus mir machen, aber nicht viel.
Die Docker-Compose Dateien
Auf dem Modellfeld ist die Compose-Datei fast peinlich kurz:
services: ollama: image: ollama/ollama ports: - 11434:11434 volumes: - ollama:/root/.ollama restart: unless-stopped volumes: ollama:Dann ziehen Sie das Modell einmal und Sie sind fertig: docker compose exec ollama ollama pull qwen2.5:14b-instruct-q4_K_M.
Die Workflowbox ist das Standard-N8n-plus-Postgres-Setup, zugeschnitten auf die Teile, die wichtig sind:
services: n8n: image: n8nio/n8n:latest ports: - 5678:5678 environment: - DB_TYPE=postgresdb - DB_POSTGRESDB_HOST=postgres - DB_POSTGRESDB_DATABASE=n8n - DB_POSTGRESDB_PASSWORD=${PG_PASSWORD} volumes: - n8n:/home/node/.n8n depends_on: - postgres postgres: image: postgres:16 environment: - POSTGRES_PASSWORD=${PG_PASSWORD} volumes: - pg:/var/lib/postgresql/data volumes: n8n: pg:Zeigen des n8n HTTP-Knotens auf das Modell
Innerhalb von n8n ist es ein einzelner HTTP-Request-Knoten. Methode POST, URL http://YOUR_MODEL_BOX_IP:11434/api/chat, JSON-Gremium:
{ "model": "qwen2.5:14b-instruct-q4_K_M", "messages": [ { "role": "system", "content": "You extract structured invoice data. Output JSON only." }, { "role": "user", "content": "={{ $json.documentText }}" } ], "format": "json", "stream": false, "options": { "temperature": 0, "num_ctx": 8192 } }Drei Einstellungen sind wichtiger als sie aussehen. format: json Ollama zwingt, gültiges JSON zurückzugeben, das leise eine ganze Kategorie von Parsing-Fehlern tötet. temperature: 0, weil wir die langweilige Antwort wollen, keine kreative. und num_ctx Ollamas Standardkontext ist klein, eine dichte deutsche Rechnung mit einer 30-zeiligen Artikeltabelle bläst direkt daran vorbei, und das Modell kürzt dann leise die Mitte des Dokuments und extrahiert aus einer Rechnung, die es nur halb sehen kann. Das hat mich ein Wochenende gekostet. Lerne es stattdessen von mir.
Stellen Sie den Node-Timeout großzügig ein (wir verwenden 120 Sekunden) und schalten Sie Retry-on-Fail ein, da ein CPU-gebundenes Modell langsame Tage hat.
Benchmarking Qwen 2.5 gegen GPT-4o mini auf 200 deutschen Rechnungen
Wir zogen 200 Rechnungen aus dem Kundenarchiv, fütterten beide Modelle mit dem identischen extrahierten Text und überprüften fünf Felder pro Dokument: Rechnungsnummer, Rechnungsdatum, Lieferant, IBAN und Bruttobetrag. Das sind 1.000 Feldprüfungen, nur exakte Übereinstimmungen, kein Teilkredit.
| Feld | GPT-4o mini | Qwen 2.5 14B, erster Durchgang | Qwen 2.5 14B, nach prompter Korrektur |
|---|---|---|---|
| Rechnungsnummer | 198/200 | 195/200 | 197/200 |
| Rechnungsdatum | 197/200 | 191/200 | 197/200 |
| Lieferant | 195/200 | 191/200 | 194/200 |
| IBAN | 199/200 | 197/200 | 198/200 |
| Bruttobetrag | 187/200 | 164/200 | 185/200 |
| Insgesamt | 97.6% | 93.8% | 97.1% |
Die Bruttobetrag-Reihe ist im Grunde die ganze Geschichte dieses Beitrags.
Geschwindigkeit, für Vollständigkeit: GPT-4o mini beantwortet in einem Median von 1,3 Sekunden pro Rechnung. Qwen auf dem CCX23 dauerte einen Median von 41 Sekunden, so dass die volle 200-Rechnungscharge etwa zweieinhalb Stunden dauert. Für einen 3am Warteschlangenjob, der irrelevant ist. Für alles Interaktive ist es disqualifizierend.
Ich möchte ehrlich sein, in welcher Reihenfolge die Dinge passiert sind. Diese 93,8% First-Pass-Punktzahl, mit Beträgen von 82%, landete an einem Donnerstag, und für etwa zwei Tage war ich bereit, das gesamte Experiment zu verwerfen. Ich war derjenige, der dem kunden gesagt hatte, dass das selbst-hosting einen schuss wert war, und die ersten harten daten sagten etwas anderes. Ich lasse es über das wochenende sitzen, ohne etwas zu berühren, was meine version von nicht in panik ist. Am Montag hörte ich auf, auf das Aggregat zu starren und begann, einzelne Fehler zu lesen. Da änderte sich das Bild.
Die vier Fehlermodi (und die prompte Lösung, die drei von ihnen löste)
Lesen Sie eins nach dem anderen, die Fehler fielen in vier Muster:
1. Das Dezimalkommamassaker. Deutsche Beträge sehen aus wie 1,234,56. Qwen wiederholte dieses Format manchmal direkt in JSON, manchmal halbkonvertierte es, also kamen 1.234,56 als 1234,56 auf einer Rechnung und 1.234 auf der nächsten heraus, und unser Downstream-Float-Parsing tat, was immer es sich anfühlte. Einundzwanzig der sechsunddreißig Betrag Fehler waren genau das.
2. Tag/Monat Flips. Gefragt nach ISO-Daten ohne Anweisung las Qwen gelegentlich 05.06.2025 als 5. Juni, die amerikanische Interpretation. Fünf Rechnungen kamen mit Tag und Monat getauscht zurück.
3. Das Phantom IBAN. Auf gescannten Rechnungen, bei denen die IBAN unleserlich war, produzierte Qwen manchmal sowieso eine plausibel aussehende. Mein am wenigsten bevorzugter Moment des gesamten Projekts: Ich habe einen auf der Rechnung eines Landschaftsversorgers erwischt, das gleiche PDF durch GPT-4o mini laufen lassen und eine ebenso halluzinierte IBAN zurückbekommen. Ich fühlte mich etwas besser und deutlich paranoider.
4. Ermordete Umlaute. Die meisten Lieferantenfehler waren Müller statt Müller, Grunwald statt Grünwald. Prompte Änderungen taten nichts, was der Hinweis war. Der Täter war unsere OCR-Schicht, Tesseract, die mit dem Standard-Englisch-Sprachpaket ausgeführt wurde, was mein Fehler war und mein Wochenende zu beheben. Deutsch Sprachpaket, Problem weg. Ich hatte zwei tage damit verbracht, ein ki-modell für eine config-flagge verantwortlich zu machen.
Der Fix für die ersten drei war die langweiligste Aufforderung, die ich je geschrieben habe. Keine Persona, keine Wenige-Schuss-Magie, nur Regeln und ein Beispiel:
You extract data from German invoices. - Input dates use the German format DD.MM.YYYY. Output dates as YYYY-MM-DD. - Output amounts as plain numbers: period as decimal separator, no thousand separators. Example: 1.234,56 becomes 1234.56. - If a field is not visible in the document, output null. Never guess, never infer, never complete patterns. Return JSON with this schema: {invoice_number, invoice_date, supplier, iban, gross_amount}Das brachte die Gesamtpunktzahl von 93,8% auf 97,1% und legte Beträge innerhalb von zwei Rechnungen von GPT-4o mini. Was einen Punkt unterstützt, den ich den Kunden immer wieder mache: Die meisten "Modellfehler" in der Produktion sind Spezifikationsfehler. Das Modell tat etwas Vertretbares mit mehrdeutigen Anweisungen. Prompts beheben das, bis sie es nicht tun, weshalb Sie die Schicht nach der Aufforderung immer noch wollen.
Unsere Human-in-the-Loop-Regel, bevor Qwen das CRM berührt
Unsere Regel, klar gesagt, weil ich denke, dass jedes Team, das ein Modell selbst hostet, es kopieren sollte: Kein selbst gehostetes Modell schreibt direkt an das CRM des Kunden. Qwen füllt einen Draft Record, dann entscheidet eine Kette von dummen Validatoren, was damit passiert.
- IBAN-Prüfsumme (der Mod-97-Test, etwa fünf Zeilen Code)
- MwSt.-ID-Formatprüfung (DE plus neun Stellen)
- Datumssicherheit (nicht in der Zukunft, innerhalb des üblichen Datumsbereichs des Lieferanten)
- Arithmetik: Bruttobetrag entspricht Nettobetrag plus USt, innerhalb von einem Cent
- Nullprüfung: jedes erforderliche Feld null bedeutet Überprüfung, keine Ausnahmen
Übergeben Sie alles und der Workflow schreibt selbst an Pipedrive. Fail anything, und die Rechnung landet in einer Google Sheets-Review-Warteschlange mit der Extraktion daneben, und ein Mensch genehmigt oder korrigiert mit einem Klick. Etwa 11% der Rechnungen nehmen derzeit die Überprüfungsroute ein, und das Clearing kostet den Büroleiter des Kunden etwa fünfzehn Minuten am Tag.
Sind 11% ärgerlich? Ein bisschen. Aber es ist der Unterschied zwischen dem Vertrauen in ein Modell und der Überprüfung eines, und nach der Phantom-IBAN gehe ich nicht zur ersten Option zurück. Dies ist die gleiche Validierung-erste Denkweise hinter allem, was wir bauen, richtig geschrieben in unserem Workflow Reliability GuideDas Modell ist eine Komponente. Die Pipeline ist das Produkt.
Wenn ein Qwen n8n Workflow sinnvoll ist (und wenn nicht)
Hängt vom Job ab, ehrlich. Wenn Sie Antworten in Sekundenschnelle benötigen oder fünfzig Dokumente pro Monat verarbeiten, verwenden Sie eine API und machen Sie Ihr Leben nicht schwieriger. Wenn Sie großvolumige Batch-Jobs, EU-Datenaufenthaltsanforderungen oder Festpreisverträge haben, bei denen eine gemessene Rechnung ein Geschäftsrisiko darstellt, ist dieser Stack wirklich produktionsbereit. Wir sind drei Monate in: null Vorfälle, ein Schrecken, der sich als eine vollständige Festplatte herausstellte, die durch n8n-Ausführungsprotokolle verursacht wurde.
Neuere Qwen-Versionen gibt es inzwischen, sicher. Das ist der Punkt der offenen Gewichte: Wenn ein besserer fällt, ziehen wir ihn und führen den Benchmark erneut durch, und der Pipeline ist es egal, welches Modell antwortet.
Eine Einschränkung, die es wert ist, erwähnt zu werden: Dies ist absichtlich kein agentisches Setup. Es ist ein Extraktionsmodell innerhalb eines deterministischen Workflows, und für die Dokumentenarbeit denke ich, dass dies die richtige Form ist. Wenn du das andere Ende des Spektrums beäugst, Wie Multi-Agent-Systeme tatsächlich funktionieren Es lohnt sich zu lesen, bevor etwas Autonomes in die Nähe eines CRM kommt. Und wenn Sie immer noch abbilden, wo KI überhaupt in ein kleineres Unternehmen passt, unsere No-Hype AI Automation Playbook für KMU ist ein besserer Ausgangspunkt als jede Serverbereitstellung.
Die OpenAI-Rechnung des Kunden ist vom €212 bis ca. €19 Der Server ist eine Wohnung $47, der dpo ist glücklich, und ich habe endlich zahlen, auf die ich zeigen kann, wenn jemand fragt, warum wir chatgpt nicht nur für alles verwenden. Gut genug für mich.
Mehr aus dem Serverraum bald,
Damian

Ein Kommentar