Die Gefahr des "God Mode" -Agenten

Ich erinnere mich an das erste Mal, als ich versuchte, einen benutzerdefinierten KI-Agenten für einen Kunden mit Zapier und OpenAI zu erstellen. Ich fühlte mich faul, also gab ich dem Agenten einen API-Schlüssel mit vollem administrativen Zugriff auf sein CRM. Ich dachte, warum es kompliziert machen? Wenn der Agent einen Lead aktualisieren muss, muss er möglicherweise auch ein Duplikat löschen oder eine Einstellung ändern. Es fühlte sich effizient an. Dann halluzinierte der Agent während eines Testlaufs einen Befehl und archivierte versehentlich 450 aktive Leads in etwa drei Sekunden. Mein Herz blieb buchstäblich stehen. Ich verbrachte die nächsten vier Stunden damit, diese Aufzeichnungen manuell wiederherzustellen, während ich durch mein Hemd schwitzte. Zuschreibung der Sicherheitshaftung Der Agentic Workforce Guide

Das war ein Weckruf. Die meisten Unternehmen machen derzeit dasselbe. Sie behandeln KI-Agenten wie neue Mitarbeiter, geben ihnen eine breite Palette von Berechtigungen (wie "Manager" oder "Admin") und hoffen auf das Beste. Aber AI denkt nicht wie ein Mensch. Es hat kein gefühl von "das fühlt sich an wie zu viel macht". Wenn ein LLM entscheidet, dass der schnellste Weg, um eine Aufgabe zu erledigen, darin besteht, eine Datenbank zu löschen oder eine Gehaltsabrechnungstabelle zu durchsickern, wird es einfach getan, weil Sie ihm den Schlüssel gegeben haben.

Task-based Access Control vs. RBAC

Rollenbasierte Zugangskontrolle (RBAC) ist seit Jahren der Goldstandard. Sie sind ein "Marketing-Manager", so dass Sie Zugriff auf die Social-Media-Tools und die E-Mail-Liste erhalten. Es ist einfach. Aber RBAC ist zu stumpf für AI. Ein AI-Agent muss nicht ständig ein "Marketing Manager" sein. Es muss nur eine bestimmte E-Mail an eine bestimmte Person senden.

Hier kommt die aufgabenbasierte Zugriffskontrolle ins Spiel. Anstatt dem Agenten eine Rolle zu geben, geben wir ihm eine spezifische, zeitgebundene Berechtigung für eine einzelne Aktion. Ehrlich gesagt, finde ich immer noch den perfekten Weg, um dies zu skalieren, und ich könnte es überkomplizieren, aber die Logik ist solide. Wenn der Agent mit der "Aktualisierung der Lieferadresse für Order # 123" beauftragt ist, sollte er nur Schreibzugriff auf dieses eine Feld für diesen einen Datensatz haben. Sobald die Aufgabe erledigt ist, verschwindet die Berechtigung.

Es ist eine Verschiebung von "Wer bist du?" zu "Was genau machst du gerade?"

Verfolgen des Chaos mit Audit Logs

Wenn Sie Best Practices für die Sicherheit von KI-Agenten implementieren, können Sie sie nicht einfach festlegen und vergessen. Sie brauchen eine Papierspur. Ich habe einmal mit einem Team gearbeitet, das einen benutzerdefinierten Python-Wrapper für seine KI-Agenten verwendet, und wir hatten kein granulares Protokollierungssystem. Zwei Wochen lang bemerkten wir einige seltsame Diskrepanzen in unseren Inventarzählungen. Wir hatten keine Ahnung warum. Es stellt sich heraus, dass der Agent die Lagerbestände „optimierte, indem er die Zahlen auf die nächsten zehn rundete, weil er dachte, dass dies im Bericht sauberer aussah.

Wir verloren den Überblick über etwa 12% unseres tatsächlichen Bestands, weil wir die spezifischen Aufforderungen, die zu diesen Aktionen führten, nicht protokollierten. Jetzt protokollieren wir alles. Jeder einzelne API-Aufruf, die Aufforderung, die ihn ausgelöst hat, und die genaue Ausgabe. Wenn ein Agent einen Schritt macht, gibt es einen Zeitstempel und einen Grund, der damit verbunden ist. Es macht die Protokolle massiv und ein bisschen schmerzhaft zu lesen, aber es ist besser, als sich zu fragen, wohin Ihr Inventar gegangen ist.

Abgleichgeschwindigkeit und Leitplanken

Es gibt immer eine Spannung hier. Wenn Sie zu viele Schlösser an der Tür anbringen, wird die KI nutzlos. Sie verbringen am Ende mehr Zeit damit, Berechtigungen zu genehmigen, als die KI tatsächlich arbeitet. Es ist ein bisschen ein Balanceakt.

Einige Leute schlagen "Human-in-the-Loop" für jede einzelne Aktion vor. Ich denke, das ist ein Fehler. Wenn ich 100 Mal am Tag auf "Genehmigen" klicken muss, werde ich einfach anfangen, auf "Ja" zu klicken, ohne zu schauen. Das ist keine Sicherheit; es ist nur ein Ritual. Eine bessere Möglichkeit ist die Festlegung von Schwellenwerten. Vielleicht kann sich die KI bewegen $50 ohne Genehmigung, aber alles über $100 löst eine slack-benachrichtigung aus, damit sich ein mensch abmeldet. Oder vielleicht kann es einen entwurf bearbeiten, aber es kann nicht auf einer live-seite "veröffentlichen" klicken.

Es ist nicht perfekt. Es wird immer eine Lücke geben, in der Dinge schief gehen können. Aber die Abkehr von breiten administrativen Rollen hin zu aufgabenspezifischen Berechtigungen ist der einzige Weg, um zu verhindern, dass die gelegentliche "halluzinierte Katastrophe" zu einer unternehmensweiten Krise wird.

Wir sind alle irgendwie raten, wie wir mit diesem zeug gehen. Die Werkzeuge bewegen sich schneller als die Sicherheitshandbücher. Aber ich wäre jetzt lieber ein bisschen zu vorsichtig, als derjenige zu sein, der einem CEO erklärt, warum die KI gerade die gesamte Kundendatenbank gelöscht hat, weil sie dachte, sie sei "entrümpelnd".

Sprich bald,

SM

Verwandtes Lesen

Ein Kommentar

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder werden markiert *