Der Kampf mit dem "Memory Reset"

Es gibt nichts, was die Stimmung eines Kunden schneller tötet, als seine Bestellnummer dreimal an drei verschiedene Bots wiederholen zu müssen. Wir waren alle dort. Für eine Weile fühlte sich der Aufbau von Multiagentensystemen an, als würde man eine Gruppe von Mitarbeitern verwalten, die sich weigern, miteinander zu sprechen. Sie hätten eine triage-agent-hand von einem benutzer an einen abrechnungsspezialisten, und der abrechnungsspezialist würde das gespräch mit hallo beginnen. Wie kann ich dir heute helfen?, als ob die letzten fünf minuten des chattens nicht passiert wären.

Amazon Bedrock AgentCore behauptet, dies mit einem gemeinsamen Speicher zu beheben. Im Grunde ist es eine Schicht, mit der verschiedene Agenten in dasselbe Kontextfenster tippen können. Ich wollte sehen, ob das tatsächlich funktioniert oder ob es nur eine ausgefallene art ist, eine textdatei hin und her zu übergeben.

Erste Eindrücke von Shared Memory

Die Einrichtung der AgentCore-Umgebung fühlte sich zunächst etwas klobig an. Ich verbrachte etwa 45 minuten damit, nur mit iam-berechtigungen zu kämpfen, bevor ich überhaupt eine "hallo world" -antwort bekommen konnte. Aber sobald die Sanitärinstallation sortiert war, fühlte sich der gemeinsame Speicher anders an als die Standard-Sitzungs-IDs, die wir in der Vergangenheit verwendet haben.

Normalerweise müssen Sie Variablen manuell von einem Agenten zum anderen abbilden. Mit AgentCore ist das Gedächtnis nur ... da. Es ist ein zentralisierter Staat. Ich versuchte einen Test, bei dem ich dem ersten Agenten sagte, dass mein Name "Dave" sei, und ich beschwerte mich über einen kaputten Toaster. Als das System mich an den "Technical Support" -Agenten übergab, fragte es nicht nach meinem Namen. Es sagte nur: sorry für den toaster, dave. Schauen wir uns Ihre Garantie an.

Es fühlte sich fast zu einfach an. Ich vermutete tatsächlich für eine sekunde, dass es nur die gesamte chat-geschichte in einer weise zwischenspeicherte, die schließlich die tokenzahl aufblähen und mich ein vermögen kosten würde.

Der Triage vs. Specialist Showdown

Um dies wirklich zu betonen, haben wir einen kleinen Prototyp für einen Kunden mit Claude 3.5 Sonnet gebaut. Wir hatten einen Triage-Agenten und drei Spezialisten: Billing, Technical und Sales. In unserem alten Setup mit einem benutzerdefinierten Lambda-basierten Router sahen wir eine Ausfallrate von 15%, bei der der spezialisierte Agent die Absicht des Benutzers während der Übergabe verlieren würde.

Mit AgentCore fiel diese Fehlerrate in unseren ersten 100 Testaufforderungen auf fast Null. Der Triage-Agent konnte die Stimmung und das spezifische Problem identifizieren, und der spezialisierte Agent erbte diese "Vibe" sofort. Es ging nicht nur um Daten; es ging um den Kontext der Konversation.

Aber ich habe eine seltsame Wand getroffen. Ich habe versucht, die Agenten zu spezifisch zu machen. Ich gab dem billing-agenten eine sehr strenge anweisung, die einigen der allgemeinen informationen widersprach, die der triage-agent gesammelt hatte. Das Ergebnis war eine Schleife, in der sich die Agenten immer wieder darüber streiten, wer die richtigen Informationen hat. Ich habe die Anweisungen wahrscheinlich überarbeitet, aber es hat mir gezeigt, dass geteiltes Gedächtnis widersprüchliche Anweisungen tatsächlich verstärken kann, wenn Sie nicht vorsichtig sind.

Einrichtungszeit: Die ehrliche Wahrheit

Traditionelle Bot-Flows sind ein Albtraum von Wenn-Dann-Aussagen. Wenn Sie so etwas wie Voiceflow oder Old-School-Dialogflow verwendet haben, kennen Sie den Schmerz, eine Million Zeilen auf einer Leinwand zu zeichnen. Es dauert ewig, jeden möglichen Pfad abzubilden.

AgentCore reduziert das. Ich würde schätzen, dass wir etwa 60% weniger Zeit mit der tatsächlichen Flusslogik verbracht haben. Anstatt Linien zu zeichnen, schrieben wir Beschreibungen dessen, was jeder Agent tut. Es ist eine Verschiebung von "Architektur einer Karte" zu "Manage eines Teams".

Allerdings ist das Debugging schwieriger. Wenn ein herkömmlicher Bot ausfällt, können Sie genau sehen, auf welchem Knoten er ausgelöst wurde. Wenn ein AgentCore-System ausfällt, liegt es oft daran, dass der LLM beschlossen hat, ein Stück gemeinsamen Speichers ohne ersichtlichen Grund zu ignorieren. Ich habe mich gestern zwei Stunden lang gefragt, warum ein Agent eine Postleitzahl vergessen hat, nur um zu erkennen, dass ich versehentlich das Speicherfenster in der Konfiguration zu niedrig gedeckelt hatte. Mein Fehler. Ich fühlte mich wie ein Idiot, als ich es fand.

Ist es für die kleinen Jungs erschwinglich?

Die Preise für Bedrock sind im Allgemeinen fair, aber AgentCore fügt eine weitere Komplexitätsschicht hinzu. Für ein kleines unternehmen, das 500 chats pro monat abwickelt, werden sie die kosten nicht bemerken. Aber für ein mittelständisches Unternehmen, das 50.000 macht, können sich diese zusätzlichen Token, die zur Aufrechterhaltung des gemeinsamen Staates verwendet werden, summieren.

Es ist nicht gerade "billig", aber im vergleich zu den kosten eines menschlichen agenten, der 3 minuten pro anruf nur die kontodetails überprüft, ist es ein stehlen. Ich denke, die wirkliche Barrierefreiheit Hürde ist nicht die monatliche Rechnung, es ist die technische Fähigkeit, es einzurichten. Sie können nicht einfach "plug and play" dies. Sie brauchen jemanden, der versteht, wie man prompt reagiert und wie AWS mit dem Zustand umgeht.

Das Urteil

Lohnt sich der Hype? Meistens, ja. Die Fähigkeit, einen Benutzer über mehrere spezialisierte Agenten zu bewegen, ohne dass er das Gefühl hat, von vorne anzufangen, ist ein großer Gewinn. Es löst den größten Reibungspunkt im KI-Kundenservice.

Es ist nicht perfekt. Die Unvorhersehbarkeit, wie das Gedächtnis gewichtet wird, kann frustrierend sein. Manchmal klammert sich der Agent an eine Information von vor zehn Minuten, die nicht mehr relevant ist, und es dauert ein paar Aufforderungen, um die Luft zu reinigen. Aber im Vergleich zur manuellen Alternative ist es ein großer Schritt nach vorne.

Wenn Sie einen einfachen FAQ-Bot ausführen, ist dies ein Overkill. Wenn Sie jedoch versuchen, einen tatsächlichen Geschäftsprozess mit mehreren Schritten zu automatisieren, ist dies wahrscheinlich der richtige Schritt.

Wie auch immer, das ist meine Sicht darauf. Ich bastele immer noch an den prompten Gewichten, um zu sehen, ob ich die Agenten davon abhalten kann, gelegentlich den gemeinsamen Kontext zu halluzinieren.

Fang dich später,
StartMit.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder werden markiert *