Letzte Woche sah ich, wie der Support-Agent eines Kunden langsamer und teurer wurde, je länger er lief. Mit dem Modell war nichts falsch. Das Problem war die Gedächtnishygiene: Jedes Mal, wenn der Agent einen neuen Schritt unternahm, zahlte es sich aus, das gesamte Gespräch von oben zu lesen.
Wenn das bekannt klingt, sind einige neue Forschungen aus Tsinghua zehn Minuten Ihrer Zeit wert. Ein team von der Tsinghua University und der Chinese University of Hong Kong open-source ein system namens AKV Damit können KI-Agenten die Speicherkosten durchschnittlich senken 27.7% — Während sie bei den Aufgaben etwas besser abschneiden, nicht schlechter. Hier ist, was es tut, warum es für den Mittelstand wichtig ist und was Sie heute tatsächlich verwenden können.
Das Problem: Agenten zahlen Miete für ihre eigene Geschichte
Die meisten ki-agenten verschwenden geld, indem sie den gesamten chat-verlauf jedes mal neu lesen, wenn sie einen neuen schritt machen. Wenn diese Geschichte zu lang wird, besteht die übliche Lösung darin, alte Daten in einer komprimierten Zusammenfassung zusammenzufassen. Das hilft bei der Token-Anzahl, aber es hat zwei echte Kosten: Zusammenfassen selbst brennt Token und Latenz, und der Agent verliert feine Details — den genauen Zollcode, das genaue Datum, an dem sich der Kunde beschwert hat, die genaue Nummer aus dem Betreiberportal.
Agentenforscher nennen diesen Kontext oder Speicherverwaltung, und es ist eines der ruhigen Linienelemente, das einen "automatisierten" Workflow teurer macht als die Tabellenkalkulation, die es ersetzt hat. Ich schreibe über die Was ein KMU eigentlich für die KI-Automatisierung einplanen sollte Vorher, und Speicherhandling ist genau die Art von versteckten Kosten, die Budgets rutschen lassen.
Was AKV anders macht
Die Einsicht des Tsinghua-Teams: Anstatt zusammenzufassen, lassen Sie den Agenten Entwickeln Sie Ihren eigenen CacheZwei Bewegungen:
- Tropfen — Der Agent markiert KV-Cache-Einträge, die er nicht mehr benötigt (sagen wir, die Rohausgabe einer Suche, die er bereits verdaut hat) und entfernt sie aus der Aufmerksamkeit. Die Texthistorie bleibt unberührt auf der Festplatte.
- Repogeschäfte — die verbleibenden Cache-Einträge werden neu positioniert, so dass der Kontext kompakt und positionsgültig bleibt. Retained Memory wird as-is ohne Re-Prefilling wiederverwendet.
Das System ist als Serving Engine (AKV, Open Source unter Apache-2.0 auf SGLang) mit einer OpenAI-kompatiblen API aufgebaut. In ihrem Papier — "Cache Engineering für Agenten" — In drei Modellen und vier Agenten-Benchmarks fielen die durchschnittlichen Kosten 27.7% im Vergleich zur Schwellenwert-getriggerten Zusammenfassung und den durchschnittlichen Benchmark-Scores Rose 1,7 Punkte. Auf SWE-bench Verified sanken die Kosten pro Aufgabe für ein Modell von 20,0 auf 9,7 Cent, während die Punktzahl stieg.
Die Latenz verbesserte sich ebenfalls: Bei der Gleichzeitigkeit 16 sank die Anforderungslatenz des 95. Perzentils von etwa 230 Sekunden auf etwa 31 Sekunden, und der Ausgabedurchsatz gewann bis zu 1,2x. Agenten, die ihr eigenes Gedächtnis verwalten, haben auch lange Tool-Calling-Läufe schneller abgeschlossen — Weniger Zeit für die Wiederverdauung veralteter Geschichte bedeutet mehr Zeit für die eigentliche Arbeit.
Warum dies für ein 12-Personen-Logistikunternehmen wichtig ist
Stellen Sie sich ein 12-Personen-Logistikunternehmen vor, das komplexe Versandstreitigkeiten verwaltet. Ein Agent muss sich bestimmte Zollcodes, Daten und Kundenbeschwerden über einen langen Thread erinnern. Nach dem alten Ansatz wird dieser Thread alle paar Schritte zusammengefasst: Zollcodes verschwimmen in "Versanddokumente", die Beschwerde vom 3. März wird "der Kunde war verärgert über Verzögerungen".
Mit Cache Engineering bleiben die teuren Fakten im Cache verbatim. Der Agent behandelt den Streit mit Präzision — Zitiert den richtigen Code, das richtige Datum, die richtige Rechnungszeile — Während der Besitzer sinnvoll weniger für die API zahlt. Nichts an diesem Szenario ist exotisch: mehrtägige Threads, Dutzende von Tool-Aufrufen, eine hartnäckige Tatsache, die den ganzen Lauf überleben muss. Das ist genau die Arbeitsbelastung, wo summieren-und-vergiss ruhig bricht Dinge und wo die 27,7% Zahl würde Compound.
Deshalb sage ich auch immer wieder, dass Agenten sollten Arbeiten Sie wie Mitglieder Ihres Teams, nicht ChatbotsEin guter Mitarbeiter liest nicht die gesamte Fallakte vor jeder E-Mail erneut. Sie halten die operativen Fakten zur Hand und lassen den Rest fallen.
Die Paarung, die Agenten sicher genug macht, um zu vertrauen
Billig und präzise ist die halbe Gleichung. Die andere Hälfte handelt in Ihrem Namen, ohne Ihre Anmeldeinformationen zu riskieren — und hier passt die zweite Nachricht von letzter Woche: 1Password startet 1Password für Agenten.
Der Flow funktioniert so: Wenn ein Agent ein Anmeldeformular erreicht, präsentiert er einen einzigartigen digitalen Schlüssel für 1Password. Sie sehen, welche Berechtigung es braucht und warum, und Sie genehmigen. 1Passwort — Nicht der Agent — füllt die Anmeldeinformationen in das Formular und entfernt sie dann, so dass der Agent sie niemals lesen oder wiederverwenden kann. Der Agent erhält das Ergebnis (eine angemeldete Sitzung), ohne jemals das Geheimnis zu behalten.
Kombiniert mit Tools wie diesem und mit dem Muster, das wir bereits verwenden, um Agenten davon abzuhalten, Schurken zu werden — das Prinzip, dass ein Agent nur so sicher ist wie seine API-Berechtigungen — Diese Bots können endlich in Ihrem Namen sicher handeln. Der Agent besitzt eine Berechtigung, kein Passwort. Das ist der Unterschied zwischen Automatisierung, die Sie auditieren, und Automatisierung, auf die Sie hoffen.
Die ehrlichen Grenzen (weil es immer gibt)
Bevor jemand die Rechnungen an einen neuen Posten überträgt:
- AKV ist Infrastruktur, kein Plug-in. Es ist ein dienender Motor. Sie können es nicht auf einer gehosteten API wie OpenAI oder Anthropic-Endpunkten in Ihrem n8n-Flow installieren. — Es gilt, wenn Sie betreiben den Modellserver selbst (selbstgehostetes Qwen, GPT-OSS oder MiniMax-M2 heute auf SGLang).
- Die Modellunterstützung ist eng. Drop and Repos umfassen derzeit Textmodelle von Qwen, GPT-OSS und MiniMax-M2. Diese Liste wird wachsen oder nicht.
- Nicht universell besser. Eine Benchmark-Kombination lag unter dem bisherigen Stand der Technik in den eigenen Tabellen der Zeitung (58,9 vs. 62,3 bei BrowseComp-Plus für ein Modell). Lesen Sie die Tabellen, nicht die Überschrift.
- Dies sind die Zahlen der Autoren in ihren Setups. Sie sind nicht direkt mit anderen veröffentlichten Cache-Systemen vergleichbar. Ich habe sie als richtungsweisend glaubwürdig behandelt, nicht als Garantie für Ihren Stapel. Wenn Sie selbst gehostete Agenten auf Ihrer eigenen Hardware betreiben, ist die Qwen-in-n8n-Setup, das ich zuvor dokumentiert habe Ist die Klasse des Einsatzes, wo AKV-Stil Engineering schließlich landet.
Was ein KMU heute damit machen sollte
Drei praktische Takeaways, in der Reihenfolge der Anstrengung:
- Design-Agenten Cache-freundlich jetzt. Bevorzugt Tool-Designs, die den Zustand (eine Cache-Tabelle, ein CRM-Feld, eine Datenbankzeile) über lange Threads speichern, die das Modell erneut lesen muss. Holen sie sich die beiden fakten, die sie brauchen, anstatt die konversation zu wiederholen. Dies liefert 80% des Nutzens mit null Forschungscode.
- Verwenden Sie Credential Broker, nicht eingefügte Passwörter. Wenn sich Ihre Agenten bei etwas anmelden, leiten Sie sie durch 1Password für Agenten oder ein gleichwertiges Vault-Broker-Muster. Wenn ein anbieter sie auffordert, einen api-schlüssel in ein chat-fenster einzufügen, behandeln sie dies als rote flagge.
- Sehen Sie sich die AKV-Modell-Support-Liste an. In dem Moment, in dem Ihr selbst gehosteter Agentenstack auf der unterstützten Liste steht und Ihre monatliche Token-Rechnung dies rechtfertigt, wird das Fallenlassen und Neupositionieren statt Zusammenfassen zu einer echten Option. Für die meisten Mittelstand-Teams ist das ein Gespräch im Jahr 2027, nicht in diesem Quartal.
Also, meine übliche Frage, angepasst: Wie viele Stunden pro Woche verbringt Ihr Team damit, den gleichen Kontext mit einer KI zu wiederholen — Und wie viel von Ihrer API-Rechnung ist Geschichte Miete?
Verwandtes Lesen
- KI-Agenten bei der Arbeit: Die Agentic Workforce
- AI Automation Kosten: Was ein KMU eigentlich im Jahr 2026 budgetieren sollte
- Wir liefen 2.400 Prompts durch n8n AI Gateway: Wenn Credits API Keys schlagen
P.S. Wir bauen diese praktischen Setups für den Mittelstand in Regensburg — und ja, wir werden Ihnen sagen, wann die Forschung Ihr Geld noch nicht wert ist. Das ist die meiste Zeit, und das zu sagen, ist der Job.
Quellen: Tsinghua/CUHK-Papier · MarkTechPost Analyse · TechCrunch auf 1Password für Agenten
