Der wichtigste Knopf bei KI-Agenten heißt Pause

Kurz gesagt Ein KI-Agent ist ein digitales Werkzeug, das nicht nur eine Antwort formuliert, sondern auch Aufgaben ausführen kann. Er kann Daten suchen, Tickets vorbereiten, Änderungen anstoßen oder andere Systeme bedienen. Genau deshalb reicht es im IT-Betrieb nicht, nur über gute Prompts zu sprechen. Entscheidend ist, wann ein Mensch den Agenten stoppen, einschränken oder sauber zurückrollen kann.

KI-Agenten klingen nach Entlastung. Ein Assistent sortiert Störungsmeldungen, fasst Logdaten zusammen, schlägt nächste Schritte vor oder erstellt aus einem Chat direkt ein Ticket. Für Service Desk, Change Management und Betrieb kann das nützlich sein. Der kritische Punkt liegt aber nicht im ersten Vorschlag. Er liegt in dem Moment, in dem aus einem Vorschlag eine Handlung wird.

ITSM-Generalisten müssen deshalb eine einfache Frage stellen: Wo ist der Pauseknopf? Gemeint ist kein rotes Symbol in einer Oberfläche, sondern eine betriebliche Regel. Wer darf einen Agenten anhalten? Welche Aktionen werden dann unterbrochen? Was passiert mit begonnenen Tickets, offenen Freigaben, erzeugten Daten und bereits ausgelösten Schnittstellenaufrufen?

Autonomie verändert die Betriebsfrage

Ein Chatbot ohne Systemzugriff ist vor allem ein Kommunikationswerkzeug. Ein Agent mit Berechtigungen ist etwas anderes. Er kann Arbeit vorbereiten, Entscheidungen beschleunigen und in Abläufe eingreifen. Damit rückt er näher an Change Management, Identitätsverwaltung, Monitoring, Dokumentation und Incident Response heran.

Das NIST AI Risk Management Framework beschreibt KI-Risiko als etwas, das über den gesamten Lebenszyklus gesteuert werden muss. Für den IT-Betrieb heißt das: Ein Agent ist nicht nach dem Go-live fertig. Er braucht Beobachtung, Zuständigkeit, Änderungsregeln und Reaktionswege. Sonst entsteht ein digitaler Mitarbeiter ohne Schichtplan, Eskalationsweg und klare Befugnisse.

Der Pauseknopf ist ein Betriebsprozess

Ein brauchbarer Stoppmechanismus besteht aus mehreren Teilen. Erstens braucht der Agent begrenzte Rechte. Ein Werkzeug, das nur Tickets vorschlägt, ist anders zu behandeln als ein Werkzeug, das Änderungen in produktiven Systemen auslöst. Zweitens braucht jede kritische Aktion einen Nachweis. Der Betrieb muss später erkennen können, welcher Agent auf welcher Grundlage was getan hat.

Drittens braucht es einen schnellen Weg zurück in den Menschenmodus. Wenn ein Agent falsche Prioritäten setzt, zu viele Tickets verändert oder ungewöhnliche Muster erzeugt, darf der Servicebetrieb nicht erst einen technischen Spezialisten suchen müssen. Die zuständige Rolle muss den Agenten anhalten und die Arbeit manuell übernehmen können.

Freigaben dürfen nicht in der Automatisierung verschwinden

OWASP weist bei Anwendungen mit großen Sprachmodellen auf Risiken wie unsichere Ausgaben, übermäßige Berechtigungen, Datenabfluss und unkontrollierte Handlungen hin. Für Generalisten ist die praktische Übersetzung einfach: Ein KI-Agent darf nicht mehr dürfen, als sein Betriebszweck verlangt. Besonders gefährlich wird es, wenn er fremde Daten lesen, interne Systeme bedienen und zugleich ohne klare Prüfung Aktionen auslösen kann.

Freigaben sind deshalb kein alter Prozessballast. Sie markieren die Stelle, an der Verantwortung sichtbar bleibt. Ein Agent darf Routine vorbereiten, Zusammenhänge erklären und Hinweise liefern. Bei Auswirkungen auf Verfügbarkeit, Sicherheit, Kosten, Kundenkommunikation oder sensible Daten braucht der Betrieb aber bewusst gesetzte Grenzen.

Ein Agent braucht ein eigenes Betriebsprofil

Microsoft betont bei verantwortlicher generativer KI unter anderem Verantwortlichkeit, Transparenz und menschliche Kontrolle. Diese Begriffe werden greifbar, wenn jeder produktive Agent ein eigenes Betriebsprofil bekommt. Darin steht, wofür der Agent eingesetzt wird, welche Datenquellen erlaubt sind, welche Systeme er berühren darf und welche Handlungen nur nach menschlicher Prüfung möglich sind.

Zum Profil gehört auch eine einfache Ampel. Grün sind unterstützende Aufgaben wie Zusammenfassungen, Entwürfe oder Vorschläge. Gelb sind Aktionen, die vor Ausführung geprüft werden müssen. Rot sind gesperrte Bereiche, etwa eigenständige Rechteänderungen, Löschvorgänge, produktive Änderungen ohne Freigabe oder Kommunikation nach außen ohne menschliche Kontrolle.

Monitoring muss Verhalten statt nur Technik sehen

Bei klassischen Systemen achtet der Betrieb oft auf Verfügbarkeit, Antwortzeiten und Fehler. Bei KI-Agenten reicht das nicht. Wichtig ist zusätzlich, ob der Agent unerwartet viele Aufgaben startet, ungewöhnliche Datenquellen nutzt, dieselben Fehler wiederholt oder Arbeitsabläufe beschleunigt, die eigentlich eine Prüfung brauchen.

Google beschreibt im Secure AI Framework die Absicherung von KI-Systemen als Kombination aus Sicherheitskontrollen, Überwachung und angepassten Betriebspraktiken. Übertragen auf ITSM bedeutet das: Ein Agent braucht nicht nur einen technischen Gesundheitscheck. Er braucht eine fachliche Verhaltensprüfung. Der Betrieb muss sehen, ob die Automatisierung noch innerhalb ihres Auftrags arbeitet.

Was vor dem produktiven Einsatz geklärt sein muss

• genauer Zweck des Agenten und verantwortliche Rolle
• erlaubte Datenquellen, Systeme und Schnittstellen
• Aktionen ohne Freigabe, Aktionen mit Prüfung und verbotene Aktionen
• Protokollierung jeder relevanten Handlung und Entscheidungsvorlage
• Stoppregel mit zuständiger Person oder Rolle
• Rückweg, falls der Agent falsche Arbeitsergebnisse erzeugt
• regelmäßige Kontrolle von Berechtigungen, Datenzugriff und Verhalten

Der stärkste Nutzen entsteht mit begrenzter Macht

Ein Agent wird nicht dadurch wertvoller, dass er möglichst viel darf. Im Servicebetrieb ist oft das Gegenteil richtig. Ein klar begrenzter Agent kann zuverlässig entlasten, weil seine Wirkung kalkulierbar bleibt. Er fasst zusammen, sortiert vor, schlägt vor und beschleunigt Entscheidungen. Die Verantwortung bleibt dort, wo sie hingehört.

Der Pauseknopf ist deshalb kein Misstrauensvotum gegen KI. Er ist die Voraussetzung dafür, KI-Agenten produktiv einzusetzen, ohne den Betrieb blind zu machen. Wer den Stoppmechanismus erst nach dem ersten Problem sucht, hat die wichtigste Betriebsfrage zu spät gestellt.

Quellen und Einordnung NIST AI Risk Management Framework, OWASP Top 10 for Large Language Model Applications, Microsoft Responsible Generative AI Guidance und Google Secure AI Framework.