Ein Kunde hat mir letzten Monat einen Vorschlag für einen "autonomen KI-Agenten" übermittelt, der sein gesamtes Kunden-Follow-up durchführen würde. 14 Seiten. Wunderschöne Rutschen. Das Wort "Harness" erschien nullmal. Weder "wiederholen", "Erlaubnisse" noch "was passiert, wenn dies fehlschlägt". Auf ungefähr jeder dritten Seite zeigte sich, welches Modell das Ding antreibt.
Dieser Vorschlag ist der Grund, warum ich dies schreibe. Wenn Sie einen KI-Agenten für Ihr kleines Unternehmen kaufen, kaufen Sie in einem seltsamen Moment ein: Microsoft hat gerade sein Agentengeschirr allgemein verfügbar gemacht, und Google hat innerhalb weniger Tage ein schnelleres Arbeitspferdmodell ausgeliefert. Lesen Sie die beiden Ankündigungen zusammen und Sie erhalten die wirklichen Nachrichten, den Teil, den niemand in eine Pressemitteilung stellt. Das Modell wird zum Warenteil eines Agenten. Das Geschirr, dh die Ebene, die Schritte plant, Werkzeuge auswählt, Kontext hält und Berechtigungen erzwingt, ist der Teil, der entscheidet, ob das Ding funktioniert.
Die meisten KMU-Käufer, die ich treffe, bewerten immer noch das Modell und ignorieren das Geschirr, das so ist, als würde man ein Auto testen, indem man den Motor auf dem Parkplatz dreht. Ich habe geschrieben über Was einen Agenten von einem Chatbot trennt vorher, aber die Käuferseite braucht eine eigene Checkliste. Fünf Fragen, Klartext. Bringt sie zur Demo.
Warum das Modell der billigste Teil Ihres Agenten ist
Ich gebe zuerst etwas Peinliches zu. Der erste "KI-Agent", den ich jemals bezahlt habe $240 pro Monat und entpuppte sich als Chatbot in einem Trenchcoat: eines dieser Docs-Such-Tools, das in Ihren Notion eingesteckt wird, Fragen zu Ihrem Wiki beantwortet und sich auf der Preisseite als Agent bezeichnet. Es konnte sich an nichts zwischen den Sitzungen erinnern. Es konnte keine einzige aktion außer der antwort nehmen. Ich habe es zwanzig Minuten lang vorgeführt, wurde bezaubert, wischte meine Karte und brauchte sechs Wochen, um zu bemerken, was ich tatsächlich gekauft hatte. Ich wollte einen Agenten so sehr, dass ich einen sah, wo es keinen gab.
Das war 2023. Ich würde dir gerne sagen, dass ich jetzt immun bin. Meistens bin ich es, aber die Anbieter sind viel besser darin geworden, die Linie zu verwischen, und die Unschärfe verbirgt immer die gleiche Schicht.
Schnelle Definitionen. Das Modell ist die Sache, die Text liest und Text schreibt: GPT-4o, Claude, Gemini, was auch immer. Es ist schlau, es wird jedes Quartal billiger, und wenn Sie unterschreiben, ist es wahrscheinlich nicht Ihr Unterscheidungsmerkmal, weil der Anbieter Ihres Konkurrenten den gleichen mietet. Das Geschirr ist alles um das Modell gewickelt. Es plant die Schritte, wählt die Werkzeuge aus, trägt den Kontext, erzwingt die Berechtigungen. Motor im Vergleich zum Rest des Autos, außer dass jeder auf diesem Markt den gleichen Motor zum gleichen fallenden Preis mietet.
Einige Zahlen von einem Bake-off lief ich letzten Herbst für eine 16-Personen-Fracht-Brokerage. Zwei Anbieter, die beide "KI-Agenten" verkaufen, um die Rechnungen der Spediteure abzustimmen, und die beide das gleiche Modell darunter verwenden (GPT-4o, was es wert ist, was genau der Punkt ist). Ich lud 220 echte Rechnungen in jede: drei Dezimalformate, zwei PDF-Vorlagen und ein Carrier, der Fotos von handschriftlichen Lieferscheinen per E-Mail schickt, weil sie es natürlich tun.
Vendor A Agent fertig 131 sauber. Dann kam ein OCR-Anruf leer zurück, der Agent fragte das Modell, was es dagegen tun sollte, und das Modell beschloss, die Zeile zu überspringen und weiterzumachen. Vendor B traf den gleichen OCR-Ausfall und fiel auf eine Regel zurück, die sein Gurtzeug durchgesetzt hat: Parken Sie die Reihe, markieren Sie sie, benachrichtigen Sie einen Menschen. Es beendete 214 von 220 unberührt, sechs zur Überprüfung markiert. Gleiches Modell, gleiche Aufgabe, dreiundachtzig Rechnungen der Differenz, alles in der Ebene weder Pitch Deck erwähnt.
Frage 1: Wer plant die Schritte, das Modell oder den Gurt?
Bitten Sie sie in der Demo, eine Aufgabe mit mindestens zehn Schritten auszuführen. Dann stoppen Sie die Show: Wer hat Schritt vier entschieden? Existiert ein Plan irgendwo außerhalb des Kopfes des Models, oder hat das Model seinen Weg dorthin frei gemacht?
Beide Antworten können legitim sein, ehrlich. Einige der besten Agenten, die ich gesehen habe, lassen das Modell planen, aber der Plan wird überprüft: Jeder Schritt wird gegen eine Erlaubnisliste verifiziert, Zustände zwischen den Schritten aufgeschrieben, seltsames Verhalten, das Mitte des Laufs gefangen wurde. Die Antwort, die Sie beunruhigen sollte, ist das Achselzucken. Ein Verkaufsingenieur sagte mir einmal fröhlich: "Das Modell findet es einfach so heraus, wie es geht, das ist die Schönheit." Er glaubte es. Sein Produkt, durch sein eigenes Eingeständnis in demselben Aufruf, hatte überhaupt kein Konzept eines Schrittes. Ein Modell, ein Menü mit Werkzeugen und Hoffnung.
Modellgeplante Schritte sind flexibel und gelegentlich brillant und inkonsistent: Der Agent, der Ihre seltsame Rechnung heute bearbeitet, kann sie morgen überspringen, weil die Würfel anders gelandet sind. Harness-geplante Schritte sind langweilig und wiederholbar, und langweilig ist, was Sie in zahlbaren Konten wollen. Die gleiche Logik gilt, wenn Sie im Haus bauen, anstatt zu kaufen, übrigens. Wenn ich Vergleichte Zapier, Make und n8n auf ihren SanitäranlagenDie unterschiede, die wichtig waren, zählten nicht. Sie waren, wie jede Plattform Sequenzen, Verzweigungen und Retries Schritte.
Frage 2: Was passiert, wenn ein Tool Call fehlschlägt?
APIs scheitern ständig. Tariflimits, Timeouts, ein SaaS-Anbieter versendet an einem Freitagnachmittag eine Schemaänderung. Demo wifi zeigt ihnen nie etwas davon, was für alle außer ihnen bequem ist.
Also fragen sie, um einen misserfolg zu sehen, live. Widerrufen Sie ein Token Mid-Demo oder fragen Sie einfach: "Zeigen Sie mir, was eine 429 tut." Ein Chatbot mit angeschraubten Tools wird entweder den gesamten Lauf zum Absturz bringen oder, schlimmer noch, das Modell an dem Misserfolg vorbei improvisieren lassen. Ich habe beobachtet, wie ein Agent fröhlich bestätigt hat: "Ihre E-Mail wurde gesendet!", Während der API-Anruf dort tot saß. Das Modell hat nicht gelogen, genau. Es tat, was Modelle tun, was plausiblen Text produziert.
Ein echtes Geschirr hat die Antwort, bevor Sie mit der Frage fertig sind: Wiederholungen mit Backoff, Idempotenz, so dass ein Wiederholungsversuch nicht doppelt feuern kann, eine Warteschlange mit toten Buchstaben, eine Warnung, wenn ein Lauf stirbt. Der größte Teil meines Tagesjobs ist näher dran Workflow Reliability Engineering als zu schreiben, und dieses Verhältnis ist kein Unfall.
Mein lieblings-narbengewebe, so dass sie die lektion billiger kaufen können als ich. Anfang 2024 habe ich einen Agenten aufgebaut, der Angebote über das HubSpot-CRM eines Kunden gesendet hat. Eines nachmittags begann die api 429er zu werfen, und mein geschirr wurde dreimal in schneller folge getestet, weil ich das backoff nicht konfiguriert hatte. Meine Schuld, alle meine. Es stellte sich heraus, dass der erste Anruf gelandet war, nur langsam. Ein paar Kunden bekamen das gleiche Angebot zweimal, einer bekam es dreimal, weil ein Webhook, den ich vergessen hatte, auch im Hintergrund wiederholt wurde. Das Modell war den ganzen Tag perfekt. Das Geschirr verteilte sowieso doppelte Zitate. Während der acht Monate, die der Workflow lief, benahm sich das Modell zweimal schlecht. Die Sanitäranlagen benahmen sich Dutzende Male schlecht.
Frage 3: Wo leben eigentlich Berechtigungen?
Fragen Sie diesen direkt: "Wenn ich dem Agenten gesagt habe, dass er einen Kundendatensatz löschen soll, was stoppt ihn?" Wenn die antwort beinhaltet, dass das modell nicht wählt, wird ihnen ein chatbot mit guten manieren verkauft. Prompts sind beratend. Modelle driften, benutzer jailbreak und eine ausreichend kreative anfrage können sich an einem absatz mit anweisungen vorbeireden, die sagen, dass sie nur x machen dürfen.
Berechtigungen gehören in den Code: Umfangs-API-Token, Per-Schritt-Tool-Erlaubnislisten, destruktive Aktionen, die einen menschlichen Klick erfordern, und ein Audit-Protokoll, das Sie tatsächlich lesen können. Das Geschirr sollte es dem Agenten unmöglich machen, etwas zu berühren, das ihm nie gewährt wurde, nicht nur entmutigt. Dies ist die Frage, die Anbieter meiner Erfahrung nach am härtesten ausweichen, weil die ehrliche Antwort oft ein bisschen peinlich ist. Wir haben ein ganzes Stück über Warum Ihre Agentenstrategie leise zu einer Sicherheitsverpflichtung werden kann, und nicht ein Fehlermodus kommt aus dem Modell. Sie kommen alle aus dem Wrapper.
Für ein kleines Unternehmen ist dies keine Paranoia, es ist Arithmetik. Ihr Agent hält Ihre Stripe-Schlüssel, Ihr CRM und die Posteingänge Ihrer Kunden. Ein schlechter Nachmittag mit Schreibzugriff kostet mehr als ein Jahr mit leicht dummen Antworten.
Frage 4: Wie überlebt der Kontext länger als ein Chat?
Schließen sie das chat-fenster und ein chatbot vergisst, dass sie existieren. Ein Agent soll anders sein, und hier rutscht der Trenchcoat am sichtbarsten ab.
Der Test ist fast zu einfach. E-mail an den agenten an einem montag, schließen sie alles, kommen sie donnerstag in einer neuen sitzung zurück und fragen sie, worüber sie beide gesprochen haben. Dann fragen Sie, wo diese Erinnerung lebt. "Im Chat" ist eine Chatbot-Antwort. Eine Datenbank, eine Jobwarteschlange, eine Kundenaufzeichnung, die der Agent liest, bevor er handelt: Das sind Antworten des Agenten. Das Gesprächsgedächtnis ist auch nur die Hälfte davon. Wenn der Agent eine Aufgabe am Dienstag startet und der Server am Mittwoch neu startet, wird der Job wieder aufgenommen oder verflüchtigt?
Ein Kunde, der vor drei Wochen geschrieben hat, ist kein Fremder, und ein Agent, der sie so behandelt, wird sich auf eine Weise fühlen, die Kunden nicht benennen können, sich aber erinnern werden. Ich habe mir Demos angesehen, bei denen sich der Agent schön an die Demo-Konversation erinnerte, was nichts bewies, weil die Erinnerung die Demo-Konversation war. Es stellt sich heraus, dass das Erinnern an etwas für fünfzehn Minuten und das Erinnern an es für fünfzehn Tage unterschiedliche technische Probleme sind, und nur eines von ihnen erscheint bei einem Verkaufsgespräch.
Frage 5: Was kostet es, wenn es falsch ist?
Verkäufer lieben es, die Frage zu beantworten, die Sie nicht gestellt haben. Fragen Sie nach Ausfallkosten und Sie werden Genauigkeitsraten hören. "Es ist 95% genau" ist eine Ablenkung, keine Antwort, und ehrlich gesagt ist die Zahl irgendwie bedeutungslos, bis Sie wissen, was die anderen 5% kosten.
Die Mathematik zu fragen
Lass sie die Arithmetik mit dir in der Versammlung machen. Wenn der Agent 300 Sendungen pro Monat durchführt und Ihnen 20 Stunden spart, was kostet ein schlechter Lauf? Eine falsche Rechnung, eine E-Mail an den falschen Kunden, eine doppelte Gebühr: Setzen Sie eine Dollarzahl darauf und fragen Sie dann, wie das Kabelbaum diesen Explosionsradius enthält. Wie viele Läufe erhalten eine menschliche Überprüfung, bevor der Agent vollständig autonom wird? Was wird protokolliert, und können Sie einen Lauf nach der Tatsache rückgängig machen? Ein Anbieter, der echte Agenten ausgeliefert hat, hat Antworten oder zumindest ein ernstes Gesicht, während Sie Ihre Frage aufschreiben. Ein Anbieter, der einen Chatbot verkauft, lenkt jedes Mal zum Modell zurück.
Ein unbequemes Eingeständnis: Ich weiß immer noch nicht genau, wie ich das Modellrisiko für jeden Anwendungsfall mit dem Risiko von Gurten bewerten kann, und ich habe aufgehört, so zu tun, als würde ich es tun. Low-Stakes-Arbeit wie das Erstellen von Social Posts? Lassen Sie das Modell wandern. Alles, was Geld berührt, legal oder den Posteingang eines Kunden? Das Geschirr macht das schwere Heben, und ich muss in der Lage sein zu erklären, warum in einem Satz am Tag etwas bricht.
Der billige Teil und der Teil, der Schiffe
Nichts davon bedeutet, dass Modelle keine Rolle spielen. Ein tolles Geschirr um ein schlechtes Modell herum produziert immer noch einen mittelmäßigen Agenten, und ich habe gesehen, wie starre Geschirre brillante Modelle in sehr teure Formfüller verwandeln. Aber wenn zwei Anbieter Sie in derselben Woche aufstellen, werden die Modelle ziemlich gleich sein und die Gurte nicht, und nur einer dieser Unterschiede zeigt sich in der Rechnung so, wie es sollte.
Bringen Sie also die fünf Fragen zur Demo, nicht zur Vertragsverhandlung. Fragen Sie sie früh, während der Verkaufsingenieur immer noch denkt, dass Sie ein einfaches Meeting sind. Beobachten Sie das Gesicht, wenn Sie fragen, was passiert, wenn ein Tool Call fehlschlägt. Dieser Ausdruck sagt Ihnen, dass mehr als vierzehn Seiten Dias jemals werden.
Wenn Sie die Build-Seite Version dieses Denkens wollen, unsere No-Hype-Playbook für KI-Automatisierung in kleinen Unternehmen deckt ab, was zuerst automatisiert werden soll und was vorerst in Ruhe gelassen werden soll. Und da du es so weit geschafft hast: Ich bin DamianIch baue und zerbreche diese Systeme für kleine Unternehmen, und das Zerbrechen ist die nützlichste Hälfte.
Verwandtes Lesen
- Schritt für Schritt: Aufbau einer ausfallsicheren Datenpipeline mit API idempotency
- Das Ende des Chatbots: Der Aufstieg der Agentic Workforce
- Hören Sie auf promptes Engineering, um Ihre KI-Fehler zu beheben
Sprich bald,
Damian

3 Antworten