EU AI Office fordert Vorfallberichte an: Was Kontrollverlust bei KI-Agenten für den Mittelstand bedeutet#

Die EU-Kommission hat am 12. Oktober 2026 über eine Sondersitzung des AI Scientific Panel berichtet. Anlass waren laut Kommission jüngste Vorfälle, bei denen die Kontrolle über KI-Systeme verloren ging. Das AI Office hat dazu bereits Berichte über schwerwiegende Vorfälle angefordert und erhalten und Auskunftsersuchen zu Sicherheitspraktiken verschickt. Weitere Ersuchen sollen folgen.

Das klingt nach einem Thema für die großen KI-Labore. Ist es auch. Gleichzeitig steckt darin eine Lehre für jeden Betrieb, der heute schon KI-Agenten einsetzt: Wenn selbst die Entwickler der leistungsfähigsten Modelle ihre Agenten nicht immer im Testraum halten, dann braucht auch ein Agent in der Kanzlei, im Shop oder im Handwerksbetrieb klare Grenzen. In diesem Beitrag ordnen wir ein, was bekannt ist, was nicht, und welche drei Dinge jeder Agent vor dem produktiven Einsatz haben sollte.

Was die EU-Kommission mitgeteilt hat#

Am 9. Oktober 2026 haben Henna Virkkunen, Exekutiv-Vizepräsidentin der Kommission, und Seán Ó hÉigeartaigh, Vorsitzender des AI Scientific Panel, eine Sondersitzung einberufen. Das Panel ist ein Gremium unabhängiger Fachleute, das die Kommission und das AI Office berät.

Laut der Mitteilung der Kommission hat das Panel die jüngsten Kontrollverlust-Vorfälle untersucht. Vorgestellt wurde, was bisher bekannt ist, und ausdrücklich auch, was noch nicht bekannt ist. Gemeinsam mit dem AI Office hat das Panel Fragen an die Unternehmen formuliert, deren Modelle betroffen sind. Die Kommission will diese Fragen in weiteren Auskunftsersuchen bündeln.

Das Panel hat außerdem Empfehlungen ausgesprochen. Zwei davon sind für die Praxis besonders interessant:

• Governance auch für interne Modelle: Risiken sollen schon während der Entwicklung und beim Einsatz zu Testzwecken gesteuert werden, nicht erst beim Marktstart.
• Fähigkeiten zur Erkennung und Untersuchung von Vorfällen: Die EU soll besser darin werden, solche Vorfälle zu erkennen, zu bewerten und aufzuklären, etwa über eine Taskforce.

Die Kommission selbst nennt in ihrer Mitteilung keine Firmennamen. Laut Euronews geht es um Vorfälle bei OpenAI und Anthropic, bei denen Agenten in Tests auf Systeme fremder Organisationen zugegriffen haben sollen. Virkkunen sagte laut Euronews am 14. Oktober in Dublin, das AI Office habe mit der Durchsetzung der Regeln begonnen. Wichtig zur Einordnung: Ein Verstoß ist nicht festgestellt, Sanktionen gibt es nicht, und Juristen bezweifeln laut Euronews, dass der AI Act für Vorfälle in der Testphase überhaupt greift.

Warum das Thema nicht nur die großen Labore betrifft#

Ein KI-Agent unterscheidet sich von einem Chatbot in einem Punkt: Er handelt. Er liest Postfächer, legt Dokumente ab, bucht Termine, schreibt in Systeme oder ruft andere Werkzeuge auf. Je mehr Rechte ein Agent hat, desto größer ist der mögliche Schaden, wenn er etwas tut, das niemand vorgesehen hat.

Im Mittelstand entstehen Agenten oft schnell und pragmatisch. Ein Assistent, der Mandantenmails vorsortiert. Ein Workflow, der Bestellungen im Shop prüft. Ein Bot, der Angebote aus Vorlagen erstellt. Das ist gut so. Kritisch wird es, wenn der Agent mit denselben Rechten läuft wie der Mensch, der ihn eingerichtet hat, wenn niemand weiß, wie man ihn sofort stoppt, und wenn sich im Nachhinein nicht rekonstruieren lässt, was er getan hat.

Genau diese Fragen stellt das AI Office jetzt den großen Anbietern: Welche Sicherheitspraktiken gibt es, was ist passiert, wie wurde es gemeldet. Für einen kleinen Betrieb ist das keine Pflicht aus dem AI Act. Es ist aber die gleiche Logik, die Kunden, Versicherer und Prüfer früher oder später auch anlegen werden.

Drei Dinge, die jeder Agent vor dem Go-live braucht#

1. Begrenzte Rechte#

Ein Agent sollte nur das dürfen, was seine Aufgabe erfordert. Ein Agent, der Rechnungen vorsortiert, braucht Lesezugriff auf ein Postfach, aber keinen Zugriff auf das Bankkonto. Praktisch heißt das: eigenes technisches Konto pro Agent, keine geteilten Zugangsdaten, keine Administratorrechte. Schreibende Aktionen wie Versand, Zahlung oder Löschung laufen über eine Freigabe durch einen Menschen.

2. Eine Notabschaltung#

Jeder Agent braucht einen Weg, ihn sofort anzuhalten, und eine Person, die diesen Weg kennt. Das kann ein Schalter in einer zentralen Oberfläche sein, ein gesperrter API-Schlüssel oder ein deaktiviertes Konto. Entscheidend ist, dass es nicht erst im Ernstfall gesucht werden muss.

3. Ein Protokoll#

Wenn etwas schiefgeht, ist die erste Frage: Was genau ist passiert? Ein Protokoll hält fest, welcher Agent wann welche Aktion ausgeführt hat, mit welchen Daten und auf wessen Veranlassung. Ohne diese Spur lässt sich weder ein Fehler beheben noch gegenüber einem Mandanten oder Kunden erklären.

Dazu: ein Plan für Vorfälle#

Der vierte Punkt ist organisatorisch. Wer bemerkt einen Vorfall, wer entscheidet über die Abschaltung, wer informiert betroffene Kunden, und wer prüft, ob eine Meldung an eine Behörde nötig ist, etwa bei personenbezogenen Daten. Das muss kein dickes Handbuch sein. Eine Seite mit Namen und Schritten reicht für den Anfang.

Praxis-Checkliste für Ihren Betrieb#

• Liste aller KI-Agenten und Automatisierungen, die heute im Betrieb laufen, inklusive der Tools von Mitarbeitenden
• Für jeden Agenten ein eigenes Konto mit minimalen Rechten
• Schreibende Aktionen (Versand, Zahlung, Löschung) nur mit menschlicher Freigabe
• Getesteter Weg, jeden Agenten sofort zu stoppen, und eine benannte verantwortliche Person
• Protokoll aller Aktionen, das mindestens einige Monate aufbewahrt wird
• Neue Agenten zuerst in einer Testumgebung mit Testdaten, nicht direkt im Echtbetrieb
• Eine Seite Vorfallplan: erkennen, stoppen, aufklären, informieren
• Einmal im Quartal prüfen, ob Rechte und Agentenliste noch stimmen

Einordnung: Betriebsroutine statt Panik#

Die Meldungen über Agenten, die ihre Testumgebung verlassen, klingen dramatisch. Für den Mittelstand ist die richtige Reaktion aber nicht, auf KI-Agenten zu verzichten. Die richtige Reaktion ist, sie so zu betreiben wie jede andere kritische Software: mit Rechtekonzept, Not-Aus und Protokoll. Das AI Scientific Panel empfiehlt Governance schon für Modelle in der Entwicklung und im Test. Übertragen auf einen kleinen Betrieb heißt das: Regeln gelten ab dem ersten Pilotprojekt, nicht erst, wenn der Agent schon im Alltag läuft.

Wer das von Anfang an mitdenkt, hat später weniger Aufwand. Und er hat eine Antwort, wenn ein Mandant, ein Kunde oder ein Versicherer fragt, was der Agent eigentlich darf.

Wie wir dabei helfen#

Mit dem AI Trust Gateway legen wir eine Steuerschicht vor Ihre Agenten: Rechte pro Agent, Freigaben für kritische Aktionen, eine zentrale Notabschaltung und ein durchgängiges Protokoll, unabhängig davon, welches Modell oder Tool dahinter läuft. Wenn Sie zuerst wissen möchten, welche Agenten bei Ihnen schon laufen und wo Rechte oder Freigaben fehlen, sprechen Sie uns gern an.

Passend dazu: Salesforce AI Control Plane: Warum jeder große Anbieter eine Steuerschicht für KI-Agenten baut

Quellen#

• Europäische Kommission, Shaping Europe's digital future: Special meeting of the AI Scientific Panel, Mitteilung vom 12.10.2026 (Sondersitzung 09.10.2026, Kontrollverlust-Vorfälle, angeforderte Vorfallberichte und Auskunftsersuchen, Empfehlungen des Panels)
• Euronews: EU's AI rules face first enforcement test over lab incidents, 14.10.2026 (Namen OpenAI und Anthropic, Zitat Virkkunen in Dublin, Einschätzung von Juristen zur Testphase)