Heise hat kürzlich lokale Sprachmodelle als Schreibhilfe getestet: Qwen, Llama und Mistral direkt auf dem eigenen Rechner, angedockt an LibreOffice und Obsidian. Das Fazit fiel ungefähr so aus: für kurze Texte brauchbar, für längere eher zäh, und Datenschutz gibt’s gratis dazu. Ich hab den Test dreimal gelesen und dann den Laptop zugeklappt.
Nicht, weil der Test schlecht wäre. Sondern weil er eine Frage beantwortet, die sich im Mittelstand kaum jemand wirklich stellt. Die eigentliche Frage ist nicht, welches Modell meine Sätze am schönsten poliert. Sondern: Kennt das Ding die Preise aus dem ERP, die Zahlen aus DATEV, die Konditionen aus der E-Mail von vor drei Monaten? Wenn nicht, poliert es Sätze über ein Geschäft, von dem es nichts weiß. Genau auf diesem Holzweg bewegen sich gerade jede Menge mittelständischer IT-Projekte, und in unserem No-Hype-Playbook für KI-Automatisierung gehen wir der Sache systematisch auf den Grund. Hier geht’s um den konkreten Anlass.
Was Heise getestet hat: Lokale LLMs in LibreOffice, Obsidian und Co.
Die Idee ist verlockend: ein Sprachmodell, das auf dem eigenen Rechner läuft und nirgendwo hin funkt. Keine Cloud, keine Datenweitergabe, keine Sitzgebühren. Modelle über Ollama oder LM Studio installiert, per Erweiterung in LibreOffice angedockt, über Plugins wie Copilot in Obsidian eingebunden. Heise hat sich angeschaut, was da realistisch geht.
Das Ergebnis war nüchtern, soweit ich mich erinnere: Rechtschreibung und Stil für kurze Texte okay, Zusammenfassungen okay, längere Dokumente zäh, und die Modelle dichten gern dazu. Ab 16 GB RAM läuft ein 7- oder 8-Milliarden-Parameter-Modell ordentlich, für die größeren brauchst du 32 GB und eine anständige GPU. Für Privatleute, Studierende und alle mit sensiblen Unterlagen: ehrlich gesagt eine feine Sache.
Ich hab den Aufbau nachgebaut. Ollama plus Qwen 2.5 7B auf meinem ThinkPad mit 32 GB RAM, das Copilot-Plugin in Obsidian, eine LibreOffice-Erweiterung, die auf den lokalen Endpunkt zeigt. Setup: knapp zwei Stunden. Das Modell belegt 4,7 GB und liefert rund 12 Token pro Sekunde, genug für Textarbeit. Meeting-Notizen zusammenfassen: gut. Angebots-E-Mails glattziehen: gut. Ein Angebot aus meinen eigenen Notizen entwerfen lassen: Grusel. Das Modell hat einen Stückpreis von 4.800 € erfunden, der nirgends stand, und zwar mit so ruhiger Überzeugung, dass ich beim ersten Drüberlesen fast gedacht hätte, ich hätte ihn selbst notiert.
Das Problem: Schreibhilfe ohne Prozesskontext ist für den Mittelstand nur Spielzeug
Hier wird’s unangenehm, und zwar für alle Beteiligten.
Ein Angebot im Mittelstand besteht zu einem winzigen Teil aus Schreiben. Der Rest ist Suchen und Übertragen: Kundennummer aus dem CRM, Preise aus dem ERP, Konditionen aus der Mail von vor vier Monaten, Zahlen für den Monatsbericht aus DATEV. Das lokale Modell in Obsidian kennt davon nichts. Es optimiert die letzten zehn Minuten einer 45-minütigen Aufgabe und lässt die 35 davor unberührt.
Ich hab das selbst lange nicht sehen wollen. Zwei Jahre lang hab ich Schreib-Tools getestet, verglichen, empfohlen, dabei ging meine eigene Zeit nie fürs Formulieren drauf. Sie ging fürs Suchen drauf. Wo steht der Preis? Was hatten wir dem Kunden beim letzten Mal zugesagt? Das einzugestehen war unangenehm, und ich hab auch keine rückwirkende Lösung dafür. Die zwei Jahre Newsletter über bessere Formulierungen sind einfach weg.
Der Heise-Test ist trotzdem nicht falsch, er stellt nur die falsche Frage für Unternehmen. Für eine Romanautorin ist eine lokale Schreibhilfe ein echtes Werkzeug. Für einen Betrieb mit 40 Leuten, der täglich Angebote, Mahnungen und Reports produziert, ist sie ein Gadget, solange sie nicht weiß, worüber sie schreibt.
Warum der Mittelstand mehr braucht: KI, die aus SAP, DATEV und E-Mails liest
Der eigentliche Grund, warum lokale KI für den Mittelstand überhaupt interessant ist, steht im Heise-Test eher am Rand: Datenschutz. Buchhaltungsdaten, Kundenstamm, Verträge, das Zeug geht vielen Unternehmern nicht in irgendeine Cloud. Zurecht, würde ich sagen. Nur folgt daraus nicht „lokales Modell in die Textverarbeitung“, sondern „lokales Modell an die eigenen Datenquellen“.
Die Anschlüsse dafür existieren. DATEV liefert Schnittstellen, SAP Business One hat die Service Layer, Outlook und Exchange reden über die Graph-API, und auch Lexware und Konsorten lassen sich anbinden. Dazwischen sitzt eine Integrationsplattform, die alles verbindet. Wer wissen will, wie so ein Agenten-Setup jenseits der Hype-Schlagzeilen aussieht, liest am besten nach, wie Multi-Agenten-Systeme im Arbeitsalltag tatsächlich funktionieren.
Und die Modelle? Reichen, und das wird gern falsch eingeschätzt. Ein 8B-Modell kann keine komplizierte Vertragsklausel interpretieren, aber es sortiert eine E-Mail zuverlässig als Anfrage, Reklamation oder Spam ein. Es zieht Positionen aus einer Bestellung und schreibt sie in ein sauberes Format. Bei uns landen solche Klassifikationen bei 93 bis 96 Prozent Trefferquote, und die Grenzfälle sieht ein Mensch, bevor irgendetwas rausgeht. Für Sacharbeit mit Kontext brauchst du keinen 600-Milliarden-Moloch. Du brauchst einen kleinen Sachbearbeiter mit Blick auf die Akten.
Praxisbeispiel: Wie ein 40-Mitarbeiter-Betrieb aus Schwaben lokalen Text plus Daten-Workflow baut
Namen und Details geändert, der Fall ist echt. Ein Maschinenbauer aus dem Schwäbischen, 40 Mitarbeiter, Sonderanfertigungen. Auf den Desktops läuft LibreOffice, das Rechnungswesen liegt in DATEV, Artikel und Preise in SAP Business One, der Kundenkontakt läuft über Outlook.
65 Angebote im Monat, je rund 45 Minuten Arbeit. Die Sachbearbeiterin sucht Artikelnummern, tippt Preise aus SAP ab, kramt Konditionen aus alten Mails und füllt dann die LibreOffice-Vorlage. Der eigentliche Schreibanteil: fünf Minuten. Der Rest ist Übertragen.
Der Umbau: eine gebrauchte Workstation mit RTX 3090 für rund 2.300 €, darauf Qwen 2.5 14B über Ollama. AnythingLLM als Wissenslager für Maschinenblätter, alte Angebote und AGB. Dazu n8n auf einem Hetzner-VPS für etwa 15 € im Monat, das Outlook, die SAP-B1-Schnittstelle und das Modell verbindet.
Klingt unspektakulär. War es auch.
Der Ablauf heute: Die Anfrage-Mail kommt rein, ein Agent klassifiziert und extrahiert Artikel, Menge und Wunschtermin. n8n holt die aktuellen Preise aus SAP B1. Das Wissenslager zieht passende frühere Angebote. Das lokale Modell schreibt den Entwurf in die Vorlage. Die Sachbearbeiterin prüft und verschickt.
Eine Regel hat den Ausschlag gegeben, und die klingt banal: Das Modell darf formulieren, aber keine Zahl erzeugen. Preise, Mengen, Termine kommen aus dem System oder gar nicht. Damit ist die 4.800-€-Halluzination von oben konstruktiv ausgeschlossen, jedenfalls überall dort, wo es zählt.
Nach drei Monaten: rund 10 Minuten Restaufwand pro Angebot statt 45. Bei 65 Angeboten sind das gut 35 Stunden im Monat, fast eine halbe Stelle. Die Hardware hat sich in unter drei Monaten amortisiert. Der erste Monat war trotzdem holprig, mit falsch zugeordneten Artikeln und einer abgestürzten DATEV-Schnittstelle mittendrin. Wer solche Ausfälle ernst nehmen will, sollte sich Workflow-Zuverlässigkeit anschauen, denn Wiederholungen und Monitoring sind kein Nerd-Thema, wenn Angebote dein Umsatz sind.
Die 3 Werkzeuge, die wirklich funktionieren (und was sie monatlich kosten)
Wenn ich heute einen Betrieb berate, der lokal starten will, sind es drei Bausteine. Keiner davon ist spektakulär. Alle drei zusammen sind mehr wert als jedes Schreib-Plugin.
1. Ollama als Modell-Server, LibreOffice und Obsidian als Frontend
Kosten: 0 € Software, einmalig 1.200 € für eine gebrauchte Workstation mit 7- bis 8B-Modellen oder 2.500 € für eine Kiste mit RTX 3090 und 14B und darüber. Läuft offline, Datenschutz gratis dazu. Für den reinen Textteil ist das die Basis. Genau das hat Heise getestet, und genau das ist der Anfang, nicht das Ziel.
2. n8n als Klebstoff zwischen Postfach, ERP und Modell
Kosten: 0 € Lizenz bei Self-Hosting, dazu ein VPS für 15 bis 20 € im Monat. Wer nicht hosten will, nimmt n8n Cloud ab rund 20 € oder Make ab 9 €. Welches Tool zu welchem Betrieb passt, ist eine eigene Frage, in unserem Plattform-Vergleich von Zapier, Make und n8n steht die ehrliche Antwort. Wichtig ist nur: Ohne diese Schicht bleibt deine lokale KI ein Textveredelungsgerät.
3. AnythingLLM oder Open WebUI als Wissenslager
Kosten: 0 €, läuft per Docker auf derselben Kiste. Alte Angebote, AGB, Maschinenblätter und Handbücher reinwerfen, und das Modell antwortet mit Bezug auf deine Dokumente statt aus vagem Trainingsgedächtnis. Ab ein paar zehntausend Dokumenten lohnt pgvector oder Qdrant, aber so weit sind die meisten erst mal nicht.
Gesamtrechnung: unter 40 € im Monat plus einmalig Hardware. Zum Vergleich: Ein Cloud-Schreibtool kostet schnell 25 € pro Nutzer und Monat und kennt deine DATEV-Zahlen genauso wenig wie das lokale Modell. Dann bezahlst du denselben blinden Sachschreiber, nur eben mit Rechnung.
Ehrlichkeitshalber: Lokal ist nicht automatisch besser. Bei komplizierten Verträgen und wirklich harter Denkarbeit greife ich selbst zu großen Cloud-Modellen, nachdem ich deren Datenschutz gelesen habe. Ich bin kein Local-Only-Ideologe. Ich finde nur, dass die lokale Variante für Standard-Sacharbeit im Mittelstand ausreicht und dabei drei Probleme auf einmal löst: Datenschutz, laufende Kosten, Abhängigkeit.
Wenn du gerade überlegst, deinen Leuten ein Schreib-Tool in LibreOffice oder Obsidian einzurichten: Mach es. Ist billig, ist schnell drin, macht das Textleben leichter. Erwarte nur keine Wende, denn die kommt erst, wenn die KI deine Systeme lesen kann. Das ist Fleißarbeit, keine Zauberei. Und falls du ausrechnen willst, ob sich der Daten-Anschluss bei dir lohnt: Schreib mir, ich rechne das gern mit dir zusammen. Wer hier schreibt, steht auf dieser Seite. Bis zum nächsten Mal, Damian.
