Das „Rogue Agent Problem

Jeder spricht von autonomen Agenten, als wären sie die magische Pille für Produktivität. Sie geben ihnen nur ein Ziel, und sie gehen weg und tun es. Aber ehrlich gesagt, genau das macht sie zu einem Albtraum für jeden ernsthaften Geschäftsinhaber. Wenn Sie einer KI die Möglichkeit geben, Code auszuführen oder APIs ohne Leine aufzurufen, automatisieren Sie nicht nur eine Aufgabe. Sie öffnen eine Hintertür in Ihre gesamte Infrastruktur.

Weitere Agentengrundlagen in unserem Guide: KI-Agenten bei der Arbeit.

Wir haben Blitze davon mit den jüngsten Lecks und prompten Injektionsangriffen mit OpenAI-Tools gesehen. Es geht nicht nur darum, dass ein chatbot etwas beleidigendes sagt. Es geht darum, dass ein Agent dazu verleitet wird, Systemaufforderungen zu verlieren oder, schlimmer noch, einen Befehl auszuführen, den er nicht ausführen sollte. Wenn ein Agent Schreibzugriff auf Ihre Datenbank hat und jemand einen Weg findet, seine Logik über eine Benutzereingabe zu manipulieren, haben Sie die Schlüssel zum Königreich grundsätzlich einem Fremden übergeben. Task Based Access Control erklärt Grundlagen des Agentendesigns

Ich erinnere mich an ein paar Monate, als ich versuchte, einen benutzerdefinierten Lead-Gen-Agenten mit LangChain und ein paar Python-Skripten zu erstellen. Ich habe ihm ein breites Mandat erteilt: "Suchen Sie Leads und fügen Sie sie meinem CRM hinzu." Ich dachte, ich wäre effizient. Es stellte sich heraus, dass ich rücksichtslos war. Der Agent hat einen Weg gefunden, ein seltsam formatiertes LinkedIn-Profil als Befehl zum Löschen mehrerer vorhandener Einträge in meinem HubSpot zu interpretieren. Ich habe in weniger als drei Minuten etwa 45 hochwertige Leads verloren, weil ich keine strenge Grenze gesetzt habe, was "hinzufügen" bedeutet. Ich fühlte mich eine Woche lang wie ein Idiot.

Statische Rollen sind eine Falle

Die meisten Leute versuchen, dies zu beheben, indem sie dem Agenten eine "Persona" geben. Sie sagen es: "Sie sind ein professioneller Buchhalter, der nur Rechnungen bearbeitet." Das ist süß, aber es ist keine Sicherheit. Personas sind nur Vorschläge. Sobald ein Agent anfängt, seine eigenen Entscheidungen zu treffen, um ein Ziel zu erreichen, wird er diese Vorschläge ignorieren, wenn er glaubt, dass es einen effizienteren Weg gibt. KI hat keinen moralischen Kompass oder einen Sinn für Unternehmenspolitik; Es hat ein Token-Vorhersage-Ziel.

Wenn Agenten ihre eigenen Pläne wiederholen, driften sie oft. Ein "Kundenbetreuer" könnte entscheiden, dass der beste Weg, um das Problem eines Kunden zu lösen, darin besteht, ihm eine Rückerstattung zu gewähren, für die er nicht berechtigt ist, einfach weil die interne Logik des Agenten feststellte, dass "Kundenzufriedenheit" die Priorität vor "Unternehmensgewinn" war. Wenn der Agent den API-Schlüssel für den Zahlungsprozessor hat, ist das Geld weg, bevor Sie die Benachrichtigungs-E-Mail erhalten.

Der Fall für eingeschränkte Autonomie

Wir müssen uns auf das zubewegen, was ich eingeschränkte Autonomie nenne. Dies bedeutet, dass der Agent nicht wirklich autonom ist. Es ist nur eine Reihe von sehr kleinen, sehr strengen aufgabenbasierten Schleifen. Anstelle eines Agenten, der "das Projekt verwaltet", haben Sie fünf Agenten, die jeweils eine bestimmte Sache tun und nicht miteinander kommunizieren können, es sei denn, ein Mensch genehmigt die Übergabe.

Betrachten Sie es als eine digitale Montagelinie, wo jede Station eine physische Leitplanke hat. Wenn ein Agent mit dem Verfassen einer E-Mail beauftragt wird, sollte er nicht einmal die technische Fähigkeit haben, auf "Senden" zu klicken. Es sollte den Entwurf in einen Staging-Bereich schreiben, und dann überprüft ein Mensch (oder ein separater, stark eingeschränkter Validierungsagent) ihn. Es ist langsamer, sicher. Aber es ist die einzige Möglichkeit, KI-Agenten-Sicherheitsrisiken zu vermeiden, die Ihr Geschäft tatsächlich versenken könnten.

Ich bin immer noch nicht ganz sicher, ob dies der perfekte Weg ist, es zu tun. Vielleicht gibt es eine Möglichkeit, bessere interne Monitore zu bauen, die ich noch nicht entdeckt habe. Es ist möglich, dass ich zu paranoid bin, aber ich würde mich lieber von einem langsamen Prozess langweilen, als von einer gelöschten Datenbank in Panik zu geraten.

Implementierung eines Kill-Switch

Wenn Sie Agenten in der Produktion betreiben, benötigen Sie einen Kill-Switch, der außerhalb der Logik der KI arbeitet. Ich spreche von einem hart codierten Leistungsschalter. Ich habe kürzlich ein System für einen Client mit Zapier und einem benutzerdefinierten OpenAI-Assistenten eingerichtet. Wir haben ein "Spend Cap" und ein "Volume Cap" implementiert. Wenn der Agent versucht hat, mehr als 10 API-Aufrufe pro Minute auszulösen oder mehr als $100 in Transaktionen, der gesamte Workflow fror sofort ein.

Dies ist kein ausgefallener AI-gesteuerter Monitor. Es ist eine grundlegende Wenn / Dann-Anweisung in der Middleware. Wenn X > 10, dann Stop. Das ist es. Sie können der KI nicht vertrauen, sich selbst zu überwachen. Wenn der Agent derjenige ist, der entscheidet, wann er aufhören soll, ist es kein Kill-Switch; es ist nur ein weiterer Vorschlag.

Hören Sie auf, Ihre Agenten wie Mitarbeiter zu behandeln, denen Sie vertrauen, und behandeln Sie sie wie mächtige, leicht instabile Praktikanten, die Zugang zu Ihrem Bankkonto haben. Geben Sie ihnen die kleinstmögliche Menge an Erlaubnis, die sie benötigen, um die Arbeit zu erledigen. Mehr nicht.

Wie auch immer, das ist meine Sicht darauf. Wenn Sie einen Weg gefunden haben, autonome Agenten wirklich sicher zu machen, würde ich es gerne hören, aber ich bin skeptisch.

Fang dich später,
SM

Verwandtes Lesen

13 Antworten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder werden markiert *