EU-Verbotsvorschlag für sexuelle Deepfakes: Was die neue Ratslinie zur AI-Act-Überarbeitung für Unternehmen bedeutet

Ausgangslage: Vom Transparenzgebot zum expliziten Verbotsregime

Bisher behandelte der AI Act Deepfakes primär über Transparenzpflichten: Inhalte mussten kenntlich gemacht werden, bestimmte missbräuchliche Anwendungen galten als „inakzeptables Risiko“. Mit dem am 10. März 2026 bekannt gewordenen Schritt des zyprischen Ratsvorsitzes ändert sich die Tonlage deutlich: In den finalen Entwurf des Verhandlungsmandats der Mitgliedstaaten zur Überarbeitung von Teilen des AI Act im Rahmen des digitalen Vereinfachungspakets (Omnibus) wurde eine explizite Untersagung von KI-Modellen aufgenommen, die voraussichtlich nicht‑einvernehmliche sexuelle Deepfakes und ähnliche Inhalte erzeugen können.

Auslöser war ein Druckaufbau insbesondere durch Frankreich und Spanien; Unterstützung kam u. a. aus Deutschland und der Slowakei. Ohne diesen Nachschlag drohte die Blockade des gesamten AI‑Teils des Vereinfachungspakets.

Was ist inhaltlich neu?

1. Fokus auf das Modell, nicht nur auf den Output

Neu ist, dass sich der Vorschlag explizit auf Modelle bezieht, „die voraussichtlich“ zur Erzeugung von

• nicht‑einvernehmlichen sexuellen Deepfakes,

• nicht‑einvernehmlichen intimen Bildern

• und mutmaßlich auch von Inhalten mit sexuellem Kindesmissbrauch

verwendet werden können.

Bislang zielte die Regulierung stärker auf bestimmte Anwendungsszenarien (Use Cases) und Inhalte. Nun gerät die Architektur und Konfiguration des Modells selbst in den Fokus der Unzulässigkeit.

2. Von weichen Leitlinien zu harter Regulierung

Zuvor wurden sexuelle Deepfakes überwiegend durch:

• Plattformrichtlinien,

• Selbstverpflichtungen der Industrie,

• nationale Strafrechtsnormen zu Bildmissbrauch und

• Datenschutzrecht (etwa DSGVO)

adressiert. Der neue Ansatz verlagert den Schwerpunkt Richtung harmonisierte EU‑Verbotsnorm, eingebettet in ein bereits etabliertes Sanktionssystem des AI Act.

3. Kopplung an das Vereinfachungspaket – kein „Deregulierungsprojekt“

Bemerkenswert ist, dass der Passus im Kontext eines Vereinfachungs- und Entlastungspakets aufgenommen wurde. Für Unternehmen ist wichtig zu verstehen: Die geplante „Vereinfachung“ reduziert an dieser Stelle nicht Pflichten, sondern schärft sie. Rechtsunsicherheit mag in Details sinken, das materielle Schutzniveau steigt jedoch.

Praktische Implikationen für unterschiedliche Akteursgruppen

A. Anbieter von generativen Modellen (Bild, Video, Avatare)

Unternehmen, die Foundation‑ oder spezialisierte Generativ‑Modelle entwickeln, müssen damit rechnen, dass:

1. Risikobewertung und Modell-Design

- Nachweis, dass das Modell technisch und organisatorisch so ausgerichtet ist, dass sexuelle Deepfakes „vernünftigerweise“ nicht erzeugt werden können.

- Dokumentation von Trainingsdaten, Filtern, Safety‑Schichten und Guardrails.

1. Stärkere Inhaltskontrollen

- obligatorischer Einsatz und regelmäßige Aktualisierung von:

- Prompt‑Filtern (Erkennung von sexualisiertem, nicht‑einvernehmlichem Kontext),

- Output‑Klassifizierern und Moderationsmodellen,

- Face‑/Body‑Matching-Sperren (z. B. Abgleich mit missbrauchsgefährdeten Datenbanken, sofern rechtlich zulässig).

1. Wasserzeichen und Nachverfolgbarkeit

- robustes, möglichst manipulationsresistentes Wasserzeichen oder Signalisierung synthetischer Inhalte,

- Logging‑Konzepte zur nachträglichen Nachvollziehbarkeit von Generierungen (unter Beachtung der DSGVO).

1. Haftungs- und Vertragsstruktur

- Anpassung von AGB und Enterprise‑Verträgen (Freistellungsklauseln, Zusicherungen zur Nicht‑Erzeugung bestimmter Inhalte, Audit‑Rechte der Kunden).

B. Plattformen, Marktplätze und Social‑Media‑Dienste

Betreiber, die KI‑generierte Bilder/Videos hosten oder deren Nutzung ermöglichen, stehen vor:

1. Pflicht zur Modell‑ und Tool‑Selektion

- Nutzung nur solcher KI‑Tools, die regulatorisch zulässig sind,

- vertragliche Zusicherung der Anbieter, dass ihre Modelle nicht unter das Verbot fallen.

1. Upload‑Moderation und Erkennung

- Ausbau automatisierter Erkennungspipelines für sexuelle Deepfakes,

- Priorisierung von Meldungen Betroffener (Notice‑and‑Action),

- garantierte schnelle Entfernung, Beweissicherung und Unterstützung der Strafverfolgung.

1. Schnittstelle zu bestehenden Regelwerken

- Verzahnung mit DSA‑Pflichten (Risikobewertungen, Mitigation Measures, Transparenzberichte),

- Abstimmung mit nationalem Strafrecht zu Bild‑ und Sexualdelikten.

C. Enterprise‑Nutzer und Werbetreibende

Unternehmen, die Generativ‑KI in Marketing, HR, Schulung oder Produktvisualisierung einsetzen, sollten:

1. Tool‑Auswahl dokumentieren

- Due‑Diligence‑Check der genutzten KI‑Dienste,

- schriftliche Bestätigung der Anbieter, dass ihre Modelle die künftigen Verbotsnormen einhalten.

1. Interne Policies schärfen

- klare Verbote für jede Form von Deepfake‑Experimenten mit realen Personen ohne explizite Zustimmung,

- Schulungen zu Reputations‑, Compliance‑ und arbeitsrechtlichen Risiken.

1. Vertrags- und Haftungsfragen

- Aufnahme von Klauseln zu Gewährleistung, Freistellung und incident response bei rechtswidriger Content‑Generierung.

Konkrete Umsetzungsschritte für die nächsten 6–12 Monate

1. Gap‑Analyse gegen bestehende AI‑Act‑Pflichten

Auch wenn der endgültige Wortlaut noch verhandelt wird, können Unternehmen bereits jetzt:

• eine Mapping‑Übung durchführen: Welche eigenen Modelle oder integrierten Third‑Party‑Modelle können heute sexuelle Deepfakes erzeugen?

• prüfen, ob diese Systeme ohnehin als Hochrisiko‑ oder GPAI‑Modelle unter den AI Act fallen,

• bestehende Risk‑Management‑Prozesse (Art. 9 ff. AI Act) um das spezifische Risiko nicht‑einvernehmlicher sexueller Deepfakes ergänzen.

2. Technische Hardening‑Maßnahmen

Je nach Rolle sind u. a. folgende Maßnahmen sinnvoll:

• Implementierung oder Verschärfung von Safety Layers (z. B. kombinierte Prompt‑ und Output‑Filter),

• Einführung von Content‑Signaturen bei allen generierten Medien,

• robuste Abuse‑Detection‑Pipelines (inkl. menschlicher Review‑Eskalation),

• klar definierte Abschalt‑Mechanismen für Modell‑Features, die sich regulatorisch als unzulässig erweisen.

3. Governance, Dokumentation, Auditierbarkeit

Um gegenüber Aufsichtsbehörden und Geschäftspartnern bestehen zu können, sollten Unternehmen:

• Verantwortlichkeiten in AI Governance‑Gremien (z. B. AI Steering Committee) festlegen,

• interne Richtlinien zur zulässigen Content‑Generierung verabschieden,

• Audit‑fähige Dokumentation zu Trainingsdaten, Modellversionen, Filtern und Änderungen führen,

• Prozesse zur Meldung und Bearbeitung von Missbrauchsfällen etablieren (inkl. Zeitvorgaben und Kommunikationsleitfäden).

Strategische Einordnung: Risiko, Reputationsschutz und Marktchancen

Für Unternehmen ist der neue Ratsansatz nicht nur eine Compliance‑Frage, sondern auch eine Reputations- und Vertrauensfrage:

• Anbieter, die nachweislich robuste Schutzmechanismen gegen sexuelle Deepfakes implementieren, können dies gegenüber Kunden, Aufsichtsbehörden und der Öffentlichkeit als Qualitätsmerkmal positionieren.

• Plattformen, die proaktiv in Erkennung, Moderation und Opferunterstützung investieren, reduzieren nicht nur Haftungsrisiken, sondern auch das Risiko massiver PR‑Krisen.

• Für Enterprise‑Nutzer ist eine konsequente Tool‑Auswahl und Governance ein Baustein in einer breiteren Digital‑Ethik‑Strategie.

Gleichzeitig ist absehbar, dass die Aufsichtsbehörden insbesondere bei Grenzfällen – etwa künstlerischer Satire, fiktionalen Inhalten oder Privacy‑by‑Design‑Ansätzen – Nachjustierungen und Leitlinien nachliefern müssen. Unternehmen sollten deshalb ausreichend Flexibilität in ihren technischen Architekturen und Verträgen vorsehen, um auf Klarstellungen reagieren zu können.

Fazit

Die Aufnahme eines ausdrücklichen Verbots von KI‑Modellen für nicht‑einvernehmliche sexuelle Deepfakes in das Ratsmandat zur Überarbeitung des AI Act markiert einen deutlichen Regulierungs­schritt: Sexuelle Deepfakes wandern von der Grauzone weicher Leitlinien in den Kernbereich harter EU‑Verbote. Für alle, die Generativ‑KI entwickeln, bereitstellen oder geschäftlich nutzen, ist jetzt der Zeitpunkt, Modelle, Prozesse und Verträge so auszurichten, dass das Risiko solcher Inhalte technisch minimiert und organisatorisch beherrscht wird.

Häufig gestellte Fragen (FAQ)

Was genau sieht der EU-Verbotsvorschlag zu sexuellen Deepfakes im Rahmen der AI-Act-Überarbeitung vor?

Der neue Ratsvorschlag zielt auf ein ausdrückliches Verbot von KI-Modellen ab, die voraussichtlich nicht‑einvernehmliche sexuelle Deepfakes und ähnliche Inhalte erzeugen können. Anders als bisherige Transparenzpflichten geht es damit nicht nur um Kennzeichnung des Outputs, sondern um die grundsätzliche Unzulässigkeit bestimmter Modelltypen.

Worin unterscheidet sich der neue Ansatz von den bisherigen Regelungen zu Deepfakes im AI Act?

Bisher standen Transparenzpflichten und die Regulierung konkreter Anwendungsfälle im Vordergrund, etwa Kennzeichnungspflichten oder Einstufung bestimmter Szenarien als inakzeptables Risiko. Der neue Ansatz rückt das Modelldesign selbst in den Fokus und etabliert ein hartes EU-weites Verbotsregime für Modelle, die sexuelle Deepfakes ermöglichen.

Welche praktischen Auswirkungen hat das geplante Verbot für Anbieter von generativer KI?

Anbieter müssen nachweisen können, dass ihre Modelle technisch und organisatorisch so gestaltet sind, dass nicht‑einvernehmliche sexuelle Deepfakes vernünftigerweise nicht erzeugt werden können. Dazu gehören dokumentierte Safety-Layer, Filter, Wasserzeichen, Logging-Konzepte sowie angepasste AGB und Vertragsklauseln mit Kunden.

Wie sind Plattformen und Social‑Media‑Dienste von der neuen Ratslinie betroffen?

Plattformen müssen sicherstellen, dass sie nur zulässige KI-Modelle integrieren und vertraglich zusichern lassen, dass diese nicht unter das Verbot fallen. Zusätzlich sind stärkere Upload‑Moderation, Deepfake-Erkennung, priorisierte Bearbeitung von Meldungen Betroffener und eine enge Verzahnung mit DSA- und Strafrechtsvorgaben erforderlich.

Was sollten Enterprise‑Nutzer und Werbetreibende jetzt konkret tun?

Unternehmen sollten eine dokumentierte Tool‑Auswahl (Due Diligence) durchführen, sich die Konformität der Modelle vertraglich bestätigen lassen und interne Richtlinien zur Content‑Generierung schärfen. Ergänzend sind Schulungen, klare Verbote von Deepfake-Experimenten mit realen Personen ohne Einwilligung sowie angepasste Haftungs- und Incident-Response-Klauseln ratsam.

Wie können Unternehmen sich in den nächsten 6–12 Monaten strategisch auf die neuen Vorgaben vorbereiten?

Sinnvoll ist eine Gap‑Analyse gegen bestehende AI‑Act‑Pflichten, um risikobehaftete Modelle zu identifizieren und Risk‑Management‑Prozesse gezielt um das Deepfake-Risiko zu ergänzen. Parallel sollten technische Hardening‑Maßnahmen (Safety-Layer, Signaturen, Abuse-Detection) und eine belastbare Governance- und Dokumentationsstruktur aufgebaut werden.

Warum bietet die neue Regulierung zu sexuellen Deepfakes auch Chancen für Unternehmen?

Unternehmen, die früh robuste Schutzmechanismen, klare Governance und transparente Dokumentation etablieren, können dies als Qualitäts- und Vertrauensmerkmal im Markt positionieren. Sie reduzieren zugleich regulatorische, haftungsrechtliche und Reputationsrisiken und stärken ihre Rolle in einer verantwortungsvollen, ethisch ausgerichteten Digitalstrategie.