Wenn KI Autorität erhält

In den letzten Jahren haben sich Unternehmen darauf konzentriert, was generative KI uns sagen kann. KI-Agenten werfen eine wesentlich weitreichendere Frage auf: Was passiert, wenn Software selbst entscheiden kann, was als Nächstes zu tun ist, und dies dann auch tatsächlich tut?

Im Juli 2026 kompromittierte ein KI-Agent, der im Rahmen einer OpenAI-Cybersicherheitsbewertung eingesetzt wurde, Teile der Produktionsinfrastruktur von Hugging Face. Hier ist ein wichtiger Kontext zu beachten, bevor wir uns hinreißen lassen. Dies war keine normale Geschäftsanwendung, die sich plötzlich entschloss, ein anderes Unternehmen anzugreifen. OpenAI testete ganz bewusst hochentwickelte Modelle im Hinblick auf schwierige Cybersicherheitsaufgaben, und die Produktionsklassifikatoren, die normalerweise verwendet werden, um zu verhindern, dass Modelle risikoreiche Cyberaktivitäten verfolgen, waren für die Bewertung absichtlich nicht aktiviert.

Trotzdem ist das, was passiert ist, Aufmerksamkeit wert. Nachfolgenden Untersuchungen zufolge schien der Agent zu dem Schluss gekommen zu sein, dass Informationen von Hugging Face ihm helfen könnten, den ihm vorgegebenen Benchmark zu erfüllen. Er fand einen Ausweg über eine Zero-Day-Schwachstelle in der für die Bewertungsumgebung genutzten Infrastruktur, erlangte breiteren Internetzugang, verkettete andere Angriffspfade, beschaffte sich Zugangsdaten und gelangte schließlich in die Systeme von Hugging Face. Die forensische Rekonstruktion von Hugging Face umfasste rund 17.600 Einzelaktionen, die in etwa 6.280 Cluster unterteilt wurden.

Es ist natürlich verlockend, Schlagzeilen wie „KI ist entkommen“ oder „KI läuft Amok“ zu wählen. Ich bin mir nicht sicher, ob das besonders nützlich ist. Soweit die Untersuchungen ergaben, versuchte die Software lediglich, das ihr vorgegebene Ziel zu erreichen, und fand dabei einen Weg, mit dem niemand gerechnet hatte. Hugging Face geht davon aus, dass der Agent praktisch versuchte, bei der Bewertung zu schummeln, indem er auf Produktionssysteme zugriff, auf denen er Benchmark-Informationen oder -Lösungen vermutete.

Das ist deutlich weniger dramatisch, aber aus der Perspektive der digitalen Transformation wahrscheinlich weitaus wichtiger.

In den letzten Jahren haben die meisten Organisationen generative KI als etwas erlebt, das man befragt. Man gibt ihr Informationen, stellt eine Frage und erhält eine Antwort. Sie kann einen Vertrag zusammenfassen, Daten analysieren, Code schreiben oder eine E-Mail entwerfen, aber im Allgemeinen sitzt am anderen Ende immer noch ein Mensch, der entscheidet, was als Nächstes geschieht.

Agenten beginnen, diese Grenze zu verwischen. Gibt man derselben Intelligenz Zugriff auf Tools, kann sie Informationen abrufen, eine API aufrufen, einen Datensatz aktualisieren, Code ausführen, die E-Mail senden oder die Änderung selbst vornehmen. OpenAI beschreibt Agenten ganz ähnlich: Systeme, die Arbeitsabläufe eigenständig verwalten, Entscheidungen treffen, geeignete Tools auswählen und im Namen eines Nutzers mit externen Systemen interagieren können.

Der Chatbot hat gerade Schreibrechte erhalten.

Dieser Wandel ist der Grund, warum die Governance von KI-Agenten zu einem praktischen Anliegen für Unternehmen wird und nicht mehr nur eine reine Richtliniendiskussion ist. Sobald Software eigenständig handeln kann, anstatt nur Empfehlungen auszusprechen, rücken Fragen zu Identität, Berechtigungen, Kontrollen, Überprüfbarkeit und Rechenschaftspflicht direkt in die Architektur selbst.

Automatisierung verändert sich, wenn Software eine Absicht und keine Anweisungen erhält

Software verändert die Welt schon seit Jahrzehnten, daher besteht die Gefahr, das Neue hier überzubewerten. Wir brauchen keine KI, um eine Datenbank zu aktualisieren, eine API anzusteuern oder einen Workflow auszuführen. Skripte, Regel-Engines, Orchestrierungsplattformen und automatisierte Prozesse erledigen diese Aufgaben seit Jahren hervorragend.

Der Unterschied liegt darin, wie wir vom Ziel zur Aktion gelangen. Traditionelle Automatisierung ist normalerweise um einen Weg herum konzipiert, den jemand im Voraus beschrieben hat. Wenn X passiert, rufe Y ab. Wenn die Antwort Z lautet, führe diese Aktion aus. Es mag Hunderte von Regeln, Verzweigungen und Ausnahmen geben, aber jemand hat dennoch versucht, den Prozess im Vorfeld zu modellieren.

Agenten ermöglichen es uns potenziell, Software eher ein gewünschtes Ergebnis vorzugeben als jede einzelne Anweisung, die erforderlich ist, um es zu erreichen. Hier ist die Aufgabe: Finde heraus, welche Informationen du benötigst. Entscheide, welche Tools geeignet sind. Gehe mit den Rückmeldungen um und erledige die Arbeit.

Dieser Unterschied ist wichtig, da der Ausführungspfad dynamisch werden kann. Ein Agent beginnt vielleicht bei einem System, stellt fest, dass er zusätzlichen Kontext benötigt, ruft ein anderes System auf, stößt auf ein unerwartetes Ergebnis, passt seinen Ansatz an und macht weiter. Heutige Agentenarchitekturen sind explizit um diese Fähigkeit herum aufgebaut, einen Workflow zu verwalten, Tools auszuwählen und Aktionen abhängig vom Zustand der Aufgabe durchzuführen.

Das ist ein grundlegend anderer Ansatz als die herkömmliche Automatisierung. Die Software führt nicht mehr einfach einen vorgegebenen Ablauf aus. Innerhalb der Grenzen, die wir ihr setzen, geben wir ihr einen gewissen Ermessensspielraum darüber, wie sich dieser Ablauf gestaltet.

Und genau an diesem Punkt wird es viel interessanter als die nächste Diskussion darüber, ob KI eine bessere E-Mail schreiben kann.

Die Chance liegt darin, die Koordination zu eliminieren, nicht die Menschen

Ein überraschend großer Teil der Arbeit in einem Unternehmen ist nicht deshalb schwierig, weil die einzelne Aufgabe besonders kompliziert ist. Sie ist wegen der Koordination schwierig, die zwischen den Aufgaben erforderlich ist.

Das CRM öffnen. Den Kunden suchen. Eine Kennung in die Abrechnungsplattform kopieren. Die Notizen lesen. Ein anderes System prüfen. Verstehen, was sie bedeuten. Ein anderes Team fragen, ob etwas normal ist. Auf die Antwort warten. Die erste Plattform aktualisieren und dem Kunden eine E-Mail senden.

Kommt Ihnen das bekannt vor?

Wir versuchen seit Jahren, diese Prozesse zu automatisieren, und herkömmliche Workflow-Technologie ist extrem effektiv, wenn sich die Schritte vorhersehbar beschreiben lassen. Die schwierigen Teile sind meist die Ausnahmen: das Dokument, das nicht richtig strukturiert ist, das Konto, das nicht ganz übereinstimmt, drei Systeme, die sich widersprechen, oder der Punkt im Prozess, an dem jemand etwas lesen und verstehen muss, bevor er weiß, was als Nächstes zu tun ist.

Genau das sind die Arten von Workflows, bei denen Agenten potenziell nützlich werden. Die aktuellen Leitfäden von OpenAI weisen speziell auf komplexe Entscheidungsfindungen, schwer zu pflegende Regeln und die starke Abhängigkeit von unstrukturierten Informationen als Bereiche hin, in denen ein agentenbasierter Ansatz etwas bieten kann, was herkömmliche deterministische Automatisierung nicht leistet. Sie betonen auch den wichtigen Punkt, dass dort, wo diese Merkmale fehlen, eine deterministische Lösung weiterhin die bessere Antwort sein kann.

Wenn Software einen Teil der Koordination zwischen Systemen, Informationen und Entscheidungen übernehmen kann, bietet das potenziell einen erheblichen Effizienzgewinn. Nicht weil alle am Prozess Beteiligten plötzlich verschwinden, sondern weil wir aufhören können, Menschen als teure Middleware zwischen Plattformen einzusetzen, die noch nie besonders gut darin waren, sich untereinander zu koordinieren.

Dabei gibt es einen wichtigen Unterschied. Das Ziel sollte nicht zwangsläufig darin bestehen, Menschen aus dem Unternehmen zu drängen. Es sollte darin bestehen, die Arbeit zu eliminieren, die wir Menschen derzeit nur deshalb aufbürden, weil die zugrunde liegende Technologie mit Kontext, Unklarheiten oder Ausnahmen nicht gut umgehen kann.

Deshalb denke ich, dass das Potenzial von Agenten weit über eine schrittweise Produktivitätssteigerung hinausgeht. Einen Kundenentwurf zehn Sekunden schneller zu verfassen, ist nützlich. Der Software zu erlauben, das Problem zu untersuchen, die relevanten Informationen abzugleichen und den Prozess eigenständig voranzutreiben, ist etwas völlig anderes.

Natürlich gilt: Je weiter sie den Prozess vorantreibt, desto näher kommt sie schließlich einer Aktion mit Konsequenzen.

Und genau an diesem Punkt wird es um einiges komplizierter.

Fähigkeit ist keine Befugnis

Einige Monate vor dem Vorfall bei Hugging Face veröffentlichte PocketOS einen ehrlichen Bericht darüber, wie ein KI-Agent die Produktionsdatenbank des Unternehmens gelöscht hatte. Das Löschen dauerte neun Sekunden. Die Wiederherstellung dauerte sechzig Stunden. Backups waren zwar vorhanden, aber drei Monate alt, da der Backup-Prozess unbemerkt aufgehört hatte zu funktionieren.

PocketOS stellt zudem klar, dass dies nicht einfach ein „KI-Problem“ war. Das Unternehmen erklärt, der Agent habe mit Selbstvertrauen gehandelt und dabei Berechtigungen genutzt, die er niemals hätte haben dürfen, in einer Umgebung, die der zerstörerischen Aktion nicht genügend Hürden in den Weg stellte.

Das ist die nützliche Lektion.

Menschen löschen seit Jahren Produktionsdatenbanken, und Softwarefehler haben ebenfalls einen beachtlichen Teil dazu beigetragen. Der interessante Aspekt hierbei ist, dass der Akteur über ausreichende Befugnisse verfügte, damit sein Fehler überhaupt Konsequenzen hatte.

Wir verstehen das bereits, wenn der Akteur ein Mensch ist. Jemand im Kundenservice ist vielleicht berechtigt, eine Rückerstattung von 20 £ zu veranlassen, ohne dass es jemanden groß kümmert. 200 £ mögen immer noch völlig im Rahmen sein. 20.000 £ erfordern wahrscheinlich eine andere Absprache.

Das Gleiche gilt an anderer Stelle. Wenn ein Agent einen Rechtschreibfehler in den Metadaten eines Inhalts erkennt und korrigiert, ist das wahrscheinlich ziemlich harmlos. Wenn das Feld, das er ändern möchte, jedoch darüber entscheidet, ob dieser Inhalt in einem bestimmten Gebiet verbreitet werden darf, ist die Konsequenz eine völlig andere. Ebenso mag ein Agent ein Konfigurationsproblem in der Produktion korrekt erkennen, aber das bedeutet nicht, dass er unbegrenzte Rechte zur Neukonfiguration der gesamten Umgebung erben sollte.

Nichts davon ist besonders exotisch. Es handelt sich um Identitäts- und Zugriffsmanagement, angewendet auf einen neuen Akteurstyp, und ich vermute, dass dies eines der Fundamente einer effektiven Governance für agentenbasierte KI werden wird.

Microsoft behandelt Agenten bereits unter diesen Gesichtspunkten. Die aktuellen Richtlinien empfehlen eine eindeutige, dedizierte KI-Agenten-Identität, einen benannten Eigentümer oder Sponsor, klar dokumentierte Zwecke und Datenzugriffe, das Prinzip der geringsten Rechte, kontrollierte Tool-Berechtigungen, Protokollierung und getestete Widerrufspfade. Die Arbeit des NIST in demselben Bereich untersucht explizit Identifizierung, Autorisierung, Auditierung und Nichtabstreitbarkeit für KI-Agenten.

In der Praxis bedeutet dies, dass Berechtigungen für KI-Agenten mit derselben Ernsthaftigkeit behandelt werden müssen wie privilegierte Konten von Menschen und Diensten. Ein Agent kann absolut in der Lage sein zu bestimmen, was seiner Meinung nach passieren sollte, ohne jedoch das Recht zu haben, dies auch umzusetzen.

Dieser Unterschied ist wichtig. Kontrollen für KI-Agenten können nicht einfach nur fragen, ob ein Modell technisch in der Lage ist, eine Aktion auszuführen. Sie müssen bestimmen, ob dieser spezifische Agent in diesem spezifischen Kontext berechtigt ist, sie auszuführen.

Nebenbei bemerkt vermute ich, dass die Wildwuchs von KI-Agenten zu einem jener Probleme wird, von denen Unternehmen erst glauben, sie nicht zu haben, bis schließlich jemand fragt: „Wie viele Agenten haben wir eigentlich?“ Wir haben ähnliche Phasen bereits mit SaaS-Anwendungen, Cloud-Ressourcen, Dienstkonten und API-Schlüsseln durchlebt. Es gibt keinen offensichtlichen Grund, warum sich der Bestand an Agenten von selbst besser organisieren sollte, insbesondere in Unternehmen, in denen das Experimentieren bewusst auf verschiedene Teams verteilt wird.

Das bedeutet nicht, dass jede KI-Initiative zentralisiert werden muss. Ein zentrales Team wird kaum jeden Prozess gut genug verstehen, um alle nützlichen Anwendungen selbst zu identifizieren. Dezentrale Innovation kann absolut sinnvoll sein.

Eine versehentliche Dezentralisierung von Befugnissen ist jedoch eine andere Sache.

Agentenbasierte KI erbt jede Schwachstelle in Ihrer digitalen Infrastruktur

Unter all dem verbirgt sich ein weiteres unangenehmes Problem. Ihr Agent wird Ihre bestehende digitale Infrastruktur erben.

Die glänzenden APIs, die Altsysteme, die inkonsistenten Kundendatensätze, die Integration, die vor acht Jahren mal jemand geschrieben hat und die niemand anfassen möchte, und die Plattform, die einen Kunden so nennt, während eine andere Plattform ihn anders nennt. Ein Unternehmen wächst, Plattformen werden gekauft, Teams lösen individuelle Probleme, Übernahmen finden statt, Lieferanten wechseln und Prioritäten verschieben sich. Am Ende steht das, was alle höflich als die aktuelle Architektur bezeichnen.

Stellen Sie sich nun einen Agenten vor, der sich um einen Kunden kümmert, der für einen Dienst bezahlt hat, aber nicht darauf zugreifen kann. Die Antwort erfordert möglicherweise Informationen aus dem CRM, der Abrechnung, der Authentifizierung, den Berechtigungs- und den Supportsystemen, bevor überhaupt jemand feststellen kann, was eigentlich passiert ist.

Ein menschlicher Mitarbeiter wird mit diesen Inkonsistenzen oft fast ohne nachzudenken umgehen. Er weiß, dass ein System vor dem anderen aktualisiert wird. Er bemerkt, dass die Kennungen leicht voneinander abweichen. Vielleicht erinnert er sich daran, dass sich Kunden mit einem alten Tarif anders verhalten, oder er fragt einfach den Kollegen neben sich, weil die Dokumentation seit 2023 nicht mehr aktualisiert wurde.

Übergibt man die Aufgabe einem Agenten, müssen diese Annahmen irgendwo existieren. Welches System hat die Datenhoheit? Was passiert, wenn die Abrechnung sagt, dass die Zahlung erfolgreich war, die Berechtigungsplattform jedoch meldet, dass das Konto inaktiv ist? Sind die Informationen falsch oder gibt es eine Geschäftsregel, die der Agent nicht versteht? Ist eine Plattform einfach nur fünf Minuten im Rückstand?

Dies sind alte Daten- und Architekturprobleme mit einem neuen Nutzer. Der wesentliche Unterschied besteht darin, dass dieser Nutzer nun auf der Grundlage der gezogenen Schlussfolgerungen Maßnahmen ergreifen kann.

Schlechte Daten, mit denen ein Chatbot gefüttert wird, können zu einer falschen Antwort führen. Schlechte Daten, mit denen autonome Software gefüttert wird, können zu einem folgenschweren Fehler führen.

Es gibt noch eine weitere Komplikation. Die Informationen müssen nicht zwingend versehentlich falsch sein. Im Juli veröffentlichte Forschungsergebnisse zeigten Angriffe durch Dateninjektion bei Agenten auf, bei denen von Angreifern kontrollierte Informationen als scheinbar legitime Kontextdaten dargestellt werden konnten, um das spätere Verhalten des Agenten zu beeinflussen. Die Forscher identifizierten Schwachstellen in realen Web- und Coding-Agenten, die zu unbeabsichtigten Klicks, Remotecodeausführung und Aktionen in der Software-Lieferkette führen konnten.

Dadurch entsteht eine unangenehme Überschneidung von Datenarchitektur und Sicherheit. Wenn Informationen die Aktion beeinflussen können, sind die Fragen, woher diese Informationen stammen, ob man ihnen vertrauen kann und welches Gewicht der Agent ihnen beimessen sollte, keine abstrakten Governance-Fragen mehr. Sie werden Teil des Ausführungsmodells.

Das ist auch der Grund, warum ich vorsichtig mit der Vorstellung wäre, dass Agenten technische Schulden irgendwie weniger wichtig machen. Ein Agent mag die Navigation in fragmentierten Umgebungen erleichtern, weil er logisch über eine Aufgabe nachdenken kann, anstatt sich vollständig auf einen starren Integrationspfad zu verlassen. Er benötigt jedoch weiterhin Zugriff auf Systeme, nutzbare Schnittstellen, aussagekräftige Daten, angemessene Berechtigungen und eine Vorstellung davon, was zu tun ist, wenn auf halbem Weg etwas fehlschlägt.

Wenn die API nicht existiert, braucht der Agent einen anderen Zugang. Wenn derselbe Kunde sechs verschiedene Kennungen hat, muss immer noch jemand oder etwas feststellen, ob sie dieselbe Person darstellen. Wenn eine undokumentierte Geschäftsregel für die Entscheidung wichtig ist, muss dieses Wissen irgendwo verfügbar sein.

Eine intelligente Orchestrierungsschicht vor eine unordentliche Infrastruktur zu setzen, sorgt nicht dafür, dass die Unordnung verschwindet. Sie macht die Unordnung vielleicht leichter navigierbar. Sie kann aber auch dazu führen, dass sich die Folgen dieser Unordnung erheblich schneller ausbreiten.

Menschliche Aufsicht hat ihren wirtschaftlichen Preis

An diesem Punkt in den meisten Gesprächen wird jemand sagen, dass es immer einen Menschen im Prozess geben wird („Human-in-the-Loop“).

Das klingt beruhigend, wirft aber eine offensichtliche Frage auf: Wenn immer noch jemand alles überprüfen und genehmigen muss, was der Agent tut, wie viel haben wir dann tatsächlich automatisiert?

Stellen wir uns vor, unser Kundenservice-Agent hat fünf Systeme überprüft, ein Kontoproblem identifiziert, festgestellt, dass dem Kunden fälschlicherweise eine Gebühr berechnet wurde, und errechnet, dass eine Rückerstattung von 20 £ angemessen ist. Anschließend legt er den gesamten Vorgang in eine Warteschlange, damit jemand auf „Genehmigen“ klickt.

Da die Untersuchung automatisiert wurde, gibt es zwar immer noch eine spürbare Ersparnis, aber wenn man diesen Prozess bei Zehntausenden von Transaktionen anwendet, behält man einen beträchtlichen manuellen Aufwand bei. Der Engpass hat sich lediglich verlagert, anstatt zu verschwinden.

Hier gerät ein Teil der vorsichtigeren Sprache rund um die agentenbasierte KI in Konflikt mit der Wirtschaftlichkeit der Automatisierung. Wir führen Autonomie ein, weil wir Arbeit aus einem Prozess entfernen wollen, und werden dann so nervös wegen dieser Autonomie, dass wir bei jeder Transaktion wieder einen Menschen dazwischenschalten.

Am Ende verfehlt das ziemlich den Zweck.

Die Herausforderung bei der Aufsicht von KI-Agenten besteht daher darin, dass mehr Aufsicht nicht automatisch besser ist. Jeder Genehmigungsschritt mag ein bestimmtes Risiko verringern, bringt aber auch wieder Kosten, Verzögerungen und manuellen Aufwand in den Prozess. Die bessere Frage ist, an welchen Stellen das menschliche Urteilsvermögen tatsächlich einen Mehrwert bietet.

Wenn die Rückerstattung 20 £ beträgt, die Regeln klar sind, alle relevanten Systeme übereinstimmen und die Aktion leicht rückgängig gemacht werden kann, muss sie vielleicht niemand genehmigen. Wenn der Betrag 20.000 £ beträgt, zwei Systeme sich widersprechen oder die Situation außerhalb der normalen Parameter liegt, ist das ein hervorragender Zeitpunkt, um jemanden einzubeziehen.

Für viele Prozesse ist das sinnvolle Ziel daher wahrscheinlich nicht der Mensch im Standardablauf, sondern der Mensch im Ausnahmefall („Human-by-Exception“). Routinemäßige, gut verstandene Aufgaben werden zunehmend autonom erledigt, während ungewöhnliche, unklare oder folgenschwere Fälle eskaliert werden.

Das lässt immer noch viel Raum, um Autonomie schrittweise einzuführen. Ein Agent kann damit beginnen, zu beobachten und Empfehlungen auszusprechen. Sobald sein Verhalten verstanden wird, kann er Aktionen zur Genehmigung vorbereiten. Schließlich können bestimmte Kategorien von Routine- und reversiblen Aktionen automatisch ausgeführt werden, wobei Menschen erst dann einbezogen werden, wenn der Prozess einen vereinbarten Schwellenwert überschreitet.

Die Leitlinien von OpenAI verfolgen einen ähnlichen risikobasierten Ansatz. Sie empfehlen ein menschliches Eingreifen, wenn Agenten definierte Fehlerschwellen überschreiten, sowie bei Aktionen, die sensibel, unumkehrbar oder mit hohem Risiko verbunden sind, wie etwa große Rückerstattungen oder Zahlungen.

PocketOS gelangte aus einer wesentlich weniger theoretischen Richtung zu demselben Thema. Nach dem Vorfall mit der Datenbank erfordern zerstörerische Operationen nun eine explizite menschliche Bestätigung. Das Unternehmen reagierte jedoch nicht mit dem Verzicht auf autonome Agenten. Es erklärt, dass es weiterhin eine Reihe von eng definierten autonomen Agenten in der Produktion einsetzt, während sich die Kontrollgrenze verschoben hat.

Das scheint mir die nützlichere Art zu sein, über menschliche Aufsicht nachzudenken. Es ist eine Kontrollmaßnahme, die dort angewendet werden sollte, wo die Konsequenzen es rechtfertigen, und nicht zwingend ein dauerhaftes Betriebsmodell für jede Aktion, die von autonomer Software ausgeführt wird.

Der Sinn der Automatisierung ist schließlich das Automatisieren. Das Designproblem besteht darin, zu entscheiden, wo Menschen das Ergebnis tatsächlich verbessern und wo sie lediglich beibehalten werden, weil wir dem System noch nicht genug vertrauen, um sie wegzulassen.

Autonomie ohne Nachvollziehbarkeit ist betrieblich unvertretbar

Wenn wir uns in Richtung „Mensch im Ausnahmefall“ bewegen, gewinnt etwas anderes an Bedeutung: zu verstehen, was der Agent tatsächlich getan hat.

Die Untersuchung bei Hugging Face ist ein nützliches Extrembeispiel. Ihre forensische Rekonstruktion umfasste rund 17.600 Aktionen in Tausenden von Clustern, wobei die Ermittler rekonstruierten, wie sich der Agent durch die Systeme bewegte und sein Verhalten im Laufe der Zeit anpasste.

Übertragen wir das auf einen normalen Geschäftsprozess. Ein Kunde beklagt sich, dass auf seinem Konto fälschlicherweise etwas geändert wurde, und Sie stellen fest, dass ein Agent die Änderung vorgenommen hat.

„Die KI war's“ wird Ihnen bei der Vorfallsanalyse kaum weiterhelfen.

Sie werden wissen wollen, welcher Agent gehandelt hat, wer die Aufgabe gestartet hat, welche Informationen er verwendet hat, was diese Informationen zu dem Zeitpunkt enthielten, welche Tools er aufgerufen hat und welche Berechtigung die Änderung letztendlich ermöglicht hat. Wenn im Verlauf ein weiterer Agent einbezogen wurde, ist das wahrscheinlich ebenfalls von Bedeutung.

An dieser Stelle verliert die Überprüfbarkeit von KI-Agenten ihren Charakter als reine Governance-Nettigkeit und wird zu einer betrieblichen Notwendigkeit. Je weniger direkt der Mensch an der Ausführung beteiligt ist, desto stärker muss die umgebende Beobachtbarkeit werden.

Die aktuellen Richtlinien von Microsoft empfehlen, die Identität des Agenten, seine Rolle und seinen effektiven Bereich, die ausgeführte Aktion, die betroffene Ressource und den Benutzer, in dessen Namen er gehandelt hat, zu protokollieren. Das NIST betrachtet Auditierung und Nichtabstreitbarkeit ebenfalls explizit als Teil des Identitäts- und Autorisierungsproblems für Agenten.

Das bedeutet nicht, dass jede autonome Aktion von jemandem überwacht werden muss. Wir betreiben bereits riesige automatisierte Umgebungen, ohne vor jede Transaktion, jedes Infrastrukturereignis oder jede Netzwerkanfrage eine Person zu setzen. Wir definieren Grenzwerte, Kontrollen und Überwachungen und untersuchen dann die Dinge, die außerhalb dieser Grenzen liegen.

Es gibt keinen offensichtlichen Grund, warum ausgereifte agentenbasierte Systeme anders funktionieren sollten.

Autonomie schafft die Aufsicht nicht ab. Sie verändert den Zeitpunkt, an dem die Aufsicht stattfindet.

Delegierte Absichten verkomplizieren die Vertrauensgrenze

Es gibt eine weitere Entwicklung, die man im Auge behalten sollte, weil sie dieses Problem noch interessanter macht.

Agenten werden zunehmend so konzipiert, dass sie mit anderen Agenten kommunizieren und zusammenarbeiten können. Das Agent2Agent-Protokoll von Google standardisiert, wie Agenten einander entdecken und miteinander kommunizieren können, einschließlich Agenten, die von verschiedenen Teams und auf unterschiedlichen Technologie-Stacks entwickelt wurden. Seine neuere Arbeit zur „Agentic Resource Discovery“ befasst sich mit der damit verbundenen Frage, wie Agenten Tools, Fähigkeiten und andere Agenten finden und verifizieren können, die über Teams, Organisationen und Plattformen hinweg verteilt sind.

Stellen Sie sich vor, ein interner Agent erhält eine Aufgabe und stellt fest, dass ein anderer, spezialisierter Agent einen Teil davon ausführen kann. Dieser zweite Agent verwendet ein Tool, das einen Ihrer Dienste aufruft und letztendlich eine Änderung vornimmt.

Wer handelt hier?

Der zweite Agent? Der erste Agent? Die Person, die die ursprüngliche Aufgabe gestartet hat?

Wenn der erste Agent autorisiert ist, eine Aktion auszuführen, kann er diese Befugnis dann delegieren? Erhält der zweite Agent die gesamte Befugnis, einen Teil davon oder gar nichts? Was passiert, wenn die Agenten zu unterschiedlichen Organisationen gehören?

Dies sind neu aufkommende Fragen, und es wäre verfrüht zu behaupten, dass sich die Branche bereits auf Antworten geeinigt hat. Die „AI Agent Standards Initiative“ des NIST führt explizit Arbeiten rund um die Authentifizierung von Agenten und die Identitätsinfrastruktur durch, um sichere Mensch-Agent- und Multi-Agent-Interaktionen zu unterstützen.

Aber die Richtung ist entscheidend. Historisch gesehen wurde Vertrauen oft mit einem bekannten Benutzer, einer Anwendung oder einer Integration verbunden. Sobald Agenten dynamisch Fähigkeiten entdecken und Teile eines Ziels an andere delegieren können, müssen Vertrauen und Befugnisse diesen Weg überstehen.

Die Aufgabe kann dynamisch sein. Die Rechenschaftspflicht darf jedoch nicht jedes Mal verschwinden, wenn sie eine Grenze überschreitet.

Die agentenbasierte Transformation sollte bei der Delegation beginnen, nicht bei der Technologie

Bei bedeutenden technologischen Veränderungen gibt es ein Muster, das die meisten an Transformationsprozessen Beteiligten wiedererkennen werden. Etwas wird strategisch wichtig, jemand entscheidet, dass das Unternehmen es braucht, und alle beginnen nach einer Stelle zu suchen, an der man es einsetzen kann.

Wir brauchen eine KI-Strategie. Wir brauchen einige Anwendungsfälle für Agenten. Wir sollten einen Workshop veranstalten. Welche Prozesse können wir agentenbasiert gestalten?

Ich würde mich dem Thema wahrscheinlich eher von der anderen Seite her nähern.

Beginnen Sie mit dem Prozess, der alle nervt. Derjenige, der langsam, teuer, fragmentiert ist oder darauf beruht, dass den ganzen Tag lang jemand Informationen zwischen Systemen hin- und herkopiert. Verstehen Sie, wo Entscheidungen getroffen werden, auf welchen Informationen diese Entscheidungen basieren, welche Systeme beteiligt sind, wo die komplizierten Ausnahmen auftreten und was passiert, wenn etwas schiefgeht.

Schauen Sie sich dann an, was die Menschen in dem Prozess tatsächlich tun. Nutzen sie wertvolles Urteilsvermögen oder gleichen sie lediglich die Einschränkungen der sie umgebenden Technologie aus? Genehmigen sie etwas, weil ein echtes finanzielles oder betriebliches Risiko besteht, oder weil der Workflow einen Routinefall nicht von einem ungewöhnlichen Fall unterscheiden kann? Gleichen sie Informationen manuell ab, weil das Unternehmen ihr Fachwissen tatsächlich benötigt, oder weil zwei Systeme unterschiedliche Kennungen verwenden?

Das sind völlig unterschiedliche Probleme.

Sobald Sie das verstanden haben, entscheiden Sie, was Sie bereit sind zu delegieren. Welche Entscheidungen kann Software treffen? Welche Aktionen kann sie ausführen? Welche sind umkehrbar? Wo benötigen Sie eine Eskalation? Welche Befugnisse sind erforderlich? Welche Belege würden Sie im Nachhinein benötigen, wenn jemand fragt, warum eine Entscheidung so getroffen wurde?

Erst danach wird die Wahl der Technologie wirklich interessant.

Ein Agent kann eine hervorragende Antwort sein. Er kann es aber auch nicht sein. Das ist völlig in Ordnung. Aktuelle Leitfäden zum Design von Agenten treffen eine ganz ähnliche Unterscheidung: Agenten eignen sich gut für Workflows, bei denen Unklarheiten, komplexe Entscheidungen oder unstrukturierte Daten deterministische Ansätze erschweren. Wo diese Merkmale jedoch fehlen, kann die herkömmliche Automatisierung weiterhin völlig ausreichend sein.

Das Ziel ist nicht, Agenten einzusetzen. Es geht darum, das Geschäft zu verbessern.

Aus der Architektur der Automatisierung wird die Architektur der Autorität

In den letzten zwanzig Jahren bestand die digitale Transformation vor allem darin, Menschen mit Systemen und Systeme untereinander zu verbinden. Nun beginnen wir, einen weiteren Akteur in diese Struktur einzuführen: Software, die ein Ziel empfangen, den Weg dorthin bestimmen und diese Systeme in unserem Namen nutzen kann.

Darin liegen wirklich interessante Möglichkeiten, insbesondere bei der Koordinationsarbeit, die sich der herkömmlichen Automatisierung bisher entzogen hat. Das NIST selbst beschreibt das Potenzial von Agenten, Produktivität, Effizienz und Entscheidungsfindung zu verbessern, betont jedoch gleichzeitig die Notwendigkeit angemessener Identifikations- und Autorisierungskontrollen, wenn diesen Agenten Zugriff auf Unternehmensdaten, -tools und -anwendungen gewährt wird.

Ich halte diese Kombination für wichtig. Die Chance und das Risiko entspringen derselben Eigenschaft: Der Agent hat eine gewisse Freiheit zu entscheiden, wie die Arbeit erledigt wird.

Sobald dies der Fall ist, befasst sich die Architektur nicht mehr nur damit, ob ein System eine Verbindung zu einem anderen herstellen kann. Sie bestimmt zunehmend, welcher autonome Akteur welche Informationen nutzen, welche Fähigkeiten einsetzen, unter wessen Autorität, mit welchen Grenzen und mit welchen Belegen im Nachgang handeln darf.

In der Praxis lässt sich die Governance von KI-Agenten in Unternehmen daher wohl kaum durch ein weiteres Richtliniendokument lösen, das irgendwo im Intranet liegt. Sie muss sich in den Identitäten zeigen, die wir erstellen, den Berechtigungen, die wir erteilen, den Kontrollen rund um folgenschwere Aktionen, der Qualität und Herkunft der Daten, die Agenten nutzen, den Eskalationspfaden, die wir entwerfen, und den Audit-Belegen, die wir im Nachhinein aufbewahren.

Hugging Face zeigt uns ein extremes Beispiel für autonome Software, die einen Weg findet, mit dem ihre Betreiber nicht gerechnet haben. PocketOS liefert uns ein weitaus alltäglicheres Beispiel dafür, was passiert, wenn ein Agent einfach mehr Befugnisse hat, als die Aufgabe erfordert. Die entstehende Arbeit rund um Agentenidentität, das Prinzip der geringsten Rechte, sichere Multi-Agent-Interaktion und vertrauenswürdige Ressourcenfindung zeigt, dass das umgebende Kontrollmodell bereits mit den Fähigkeiten Schritt halten muss.

Nichts davon spricht gegen agentenbasierte KI. Ganz im Gegenteil. Wenn Agenten einen Teil der menschlichen Koordination übernehmen können, die den Betrieb moderner digitaler Unternehmen teuer und schwerfällig macht, gibt es einen sehr konkreten Grund, sie einzusetzen.

Doch die Einführung autonomer Akteure in eine bestehende digitale Infrastruktur ist nicht einfach eine weitere KI-Implementierung. Sie verändert grundlegende Annahmen über Identität, Vertrauen, Daten, Rechenschaftspflicht und letztendlich Autorität.

Bevor Sie sich also fragen, was ein Agent tun kann, würde ich mit einer anderen Frage beginnen.

Was sind Sie tatsächlich bereit, ihn tun zu lassen?