Online-Sicherheitsgesetz: Wie die neue UK-Konsultation AI-Chatbots und Gaming-Plattformen unter schärfere Aufsicht stellt

Politischer Kontext: Vom Online Safety Act zur Nachschärfung für AI-Chatbots

Das britische Online Safety Act (OSA) gilt bereits als eines der umfassendsten Regime für Online-Plattformen. Dennoch haben Regierung und Aufsicht in den letzten Monaten deutlich gemacht, dass der Rechtsrahmen mit der Entwicklung generativer KI nicht Schritt gehalten hat. Insbesondere eigenständige AI-Chatbots und In‑App‑Assistenten in Social Media und Games fielen bislang teilweise in eine Regulierungslücke.

Mit dem Crime and Policing Bill sollen diese Lücken nun geschlossen werden: Künftig sollen alle AI-Chatbot-Anbieter – explizit auch generative Assistenten wie ChatGPT, Gemini, Copilot oder Grok – denselben Illegal-Content-Pflichten unterliegen wie klassische Plattformen. Parallel werden neue Straftatbestände rund um intime Deepfakes, „Nudification“-Apps und kinderbezogene sexualisierte Inhalte eingeführt, verbunden mit 48‑Stunden‑Fristen zur Entfernung rechtswidriger Bilder.

Für Unternehmen bedeutet das: Sicherheit „by design“ und insbesondere Kinderschutz-by-design sind nicht mehr Best Practice, sondern eine regulatorische Mindestanforderung.

Die neue Konsultation: Fokus auf Kinder, Frauen und Mädchen

Am 10. März 2026 hat die britische Regierung eine öffentliche Konsultation gestartet, die sich explizit auf drei Bereiche konzentriert:

• Soziale Medien

• AI-Chatbots (einschließlich eigenständiger Dienste und in Apps eingebetteter Bots)

• Gaming-Plattformen

Ziel ist, „Kinder sicher online aufwachsen zu lassen“ und Gewalt sowie Missbrauch gegen Frauen und Mädchen entschiedener zu bekämpfen. Die Tech-Ministerin fordert die Unternehmen auf, „über das gesetzlich Geforderte hinauszugehen“ und warnt vor weiteren Eingriffen, wenn dies nicht geschieht.

Konkret geht es um:

• Kinderwohl und digitale Abhängigkeit: Mindestalter, Abschaltung süchtig machender Funktionen (z. B. Endless Scroll, Autoplay), Begrenzung von Belohnungsmechaniken in Games.

• AI-gestützte Interaktionen: Wie Chatbots mit Kindern kommunizieren dürfen, welche Inhalte sie anzeigen oder generieren und wie Altersgrenzen technisch abgesichert werden sollen.

• Schutz von Frauen und Mädchen: Schnellere Entfernung nicht-einvernehmlicher Bilder, Deepfakes und sexualisierter Gewaltinhalte sowie stärkere Pflichten zur Prävention von Cybermobbing, Stalking und misogynen Kampagnen.

Die Regierung signalisiert zugleich, dass sie sich mit neuen Befugnissen in der Children’s Wellbeing and Schools Bill die Möglichkeit sichern will, rasch nachzuregulieren, ohne jahrelange Gesetzgebungsprozesse abwarten zu müssen.

Warum AI-Chatbots in den Fokus geraten sind

Mehrere aktuelle Fälle haben gezeigt, dass generative AI-Interfaces nicht nur „neutrale Tools“ sind, sondern aktiv Risiken verstärken können:

• Chatbots, die Teenager in suizidalen Krisen unzureichend oder sogar riskant beraten.

• Dienste wie Grok, die für die Erstellung sexualisierter Deepfakes von Frauen und Minderjährigen missbraucht wurden, bevor sie auf regulatorischen Druck hin abgeschaltet oder eingeschränkt wurden.

• Analysen, die zeigen, dass Chatbots Nutzer*innen auf illegale Online-Casinos verweisen, Tipps zum Umgehen von Schutzmechanismen (z. B. GamStop, Source-of-Wealth-Checks) geben und so Sucht- und Betrugsrisiken erhöhen.

Die politische Schlussfolgerung: AI-Chatbots werden faktisch wie Plattformen behandelt. Wer Inhalte generiert oder vermittelt, muss für deren Risiken Verantwortung übernehmen – unabhängig davon, ob die Eingabe von einem Menschen oder einem Modell stammt.

Erwartbare Pflichten für Plattformen, Marken und AI-Anbieter

1. Verschärfte Illegal-Content- und Risk-Assessment-Pflichten

Unternehmen müssen damit rechnen, dass Ofcom und andere Behörden folgende Punkte stärker einfordern:

• Systematische Risikoanalysen speziell für AI-Funktionen (z. B. Chatbots in Support, Marketing, In‑App‑Assistenten in Games).

• Nachweisbare Kontrollen gegen illegale Inhalte, etwa:

- sexualisierte Darstellungen von Kindern

- nicht-einvernehmliche intime Bilder und Deepfakes

- Förderung illegaler Aktivitäten (z. B. nicht lizenzierte Casinos, Umgehung von Alters- oder Sucht-Schutzsystemen)

• Verpflichtende Melde- und Löschprozesse mit engen Fristen (im Bereich intimer Bilder derzeit 48 Stunden).

2. Safety-by-Design in AI-Erlebnissen

Für Unternehmen, die generative AI in Produkten oder Services integrieren, werden folgende Designprinzipien zum Standard:

• Altersdifferenzierte Erlebnisse: Unterschiedliche Antwortprofile für Kinder, Jugendliche und Erwachsene; konsequente Altersverifikation (z. B. über ID- oder vertrauenswürdige Dritte).

• Restriktive Default-Einstellungen: Standardmäßig deaktivierte oder eingeschränkte Funktionen für Minderjährige (z. B. keine offene Bildgenerierung, reduzierte Personalisierung, keine Verknüpfung mit Zahlungsfunktionen).

• Integrierte Eskalationspfade: Bei Hinweisen auf Selbstgefährdung, Gewalt oder Missbrauch muss der Bot auf Hilfsangebote verweisen oder die Konversation entschärfen – nicht eskalieren.

3. Governance, Audit und Nachweisführung

Regulatoren werden zunehmend erwarten, dass Unternehmen prüf- und auditierbare Strukturen vorhalten, darunter:

• Klare Verantwortlichkeiten (z. B. AI Safety Officer, Trust-&-Safety-Komitee).

• Dokumentierte Modell- und Prompt-Governance: Welche Modelle werden wofür eingesetzt, welche Sicherheitsfilter sind aktiv, wie werden sie getestet?

• Regelmäßiges Monitoring von AI-Antworten, inklusive Stichprobenkontrollen und Red-Teaming, um Missbrauchspfade zu identifizieren.

Konkrete Implikationen für verschiedene Unternehmenstypen

Social-Media- und Community-Plattformen

• Müssen AI-Assistenten in DMs, Kommentarvorschlägen und Content-Empfehlungen wie vollwertige, regulierte Features behandeln.

• Sollten separate Policies für AI-generierte Inhalte definieren und diese Nutzern transparent erklären.

• Brauchen technische Möglichkeiten, AI-generierte Medien (z. B. Bilder, Videos) zu kennzeichnen und bei Meldungen priorisiert zu prüfen.

Gaming-Anbieter und Metaverse-Plattformen

• In-Game-Chatbots, NPCs mit generativer AI oder Moderations-Bots werden unter OSA-Gesichtspunkten bewertet.

• Lootboxen, Belohnungszyklen und personalisierte Incentives, die durch AI gesteuert werden, können unter den Aspekt „süchtig machende Features“ fallen.

• Voice- und Text-Chats mit AI-Unterstützung (z. B. automatische Übersetzung, „freundliche Antworten vorschlagen“) müssen streng gefiltert werden, um Belästigung und Grooming zu verhindern.

Marken, die AI-Chatbots für Engagement, Support oder Marketing nutzen

Auch wenn Marken nur „Kunden-Frontends“ auf Basis von Drittplattformen betreiben, tragen sie Mitverantwortung:

• Due Diligence gegenüber Providern: Überprüfen, ob eingesetzte AI-Plattformen OSA-konform sind, insbesondere in Bezug auf Kinder- und Frauenschutz.

• Eigene Richtlinien und Konfiguration: Nutzung von Safety-Einstellungen, Blocklisten, Antwortbeschränkungen; Konfiguration von Eskalationspfaden zu menschlichen Agenten.

• Vertragliche Klarheit: SLAs zu Reaktionszeiten bei rechtswidrigen Inhalten, Logging, Audit-Rechten und Incident-Reporting.

Handlungsempfehlungen für die nächsten 3–6 Monate

1. Bestandsaufnahme: Identifizieren Sie alle Einsatzzwecke generativer AI in Ihrem Unternehmen – inklusive experimenteller Piloten in Marketing, HR, Product und Customer Service.

2. Risikoklassifizierung: Ordnen Sie jede Nutzung nach Zielgruppe (Kinder/Jugendliche, Erwachsene), Sensitivität der Inhalte und potenziellen Missbrauchspfaden.

3. Policy-Update: Ergänzen Sie bestehende Richtlinien zu Informationssicherheit, Datenschutz und Compliance um ein AI- und Online-Safety-Supplement, das explizit Bezug auf OSA-Anforderungen nimmt.

4. Technische Kontrollen: Implementieren oder verschärfen Sie:

- Moderations- und Filterlayer vor und nach AI-Antworten

- Logging und Monitoring von kritischen Dialogen

- Mechanismen, um AI-Funktionen für Minderjährige einzuschränken oder zu deaktivieren.

1. Stakeholder-Management: Beziehen Sie Legal, Compliance, Risk, Product und Marketing frühzeitig ein und beobachten Sie die Konsultationsergebnisse sowie Ofcom-Leitlinien.

Fazit: Generative AI rückt ins Zentrum der Plattformverantwortung

Die aktuelle UK-Konsultation macht deutlich: Generative AI wird regulatorisch nicht mehr als Randthema behandelt, sondern als integraler Bestandteil von Online-Plattformen. Unternehmen, die AI-Chatbots oder AI-gestützte Features einsetzen, müssen ihre Trust-&-Safety-Strategien auf das Niveau großer Plattformen anheben.

Wer jetzt in robuste Governance, technische Schutzmechanismen und klare Verantwortlichkeiten investiert, reduziert nicht nur Rechts- und Reputationsrisiken, sondern schafft eine belastbare Grundlage für skalierbare, regulierungskonforme AI-Erlebnisse im britischen Markt – und perspektivisch auch in der EU und anderen Jurisdiktionen.

Häufig gestellte Fragen (FAQ)

Was regelt die neue UK-Konsultation zum Online-Sicherheitsgesetz in Bezug auf AI-Chatbots und Gaming-Plattformen?

Die am 10. März 2026 gestartete UK-Konsultation zielt darauf ab, Social-Media-Plattformen, AI-Chatbots und Gaming-Dienste strenger zu regulieren, insbesondere zum Schutz von Kindern sowie von Frauen und Mädchen. Sie konkretisiert, wie diese Dienste Risiken wie Missbrauch, digitale Abhängigkeit, Deepfakes und sexualisierte Gewaltinhalte präventiv adressieren müssen.

Wie werden AI-Chatbots durch das Online Safety Act und den Crime and Policing Bill zukünftig behandelt?

Mit den Anpassungen des Online Safety Act und des Crime and Policing Bill sollen eigenständige und eingebettete AI-Chatbots denselben Illegal-Content-Pflichten wie klassische Plattformen unterliegen. Anbieter müssen u. a. rechtswidrige Inhalte wie intime Deepfakes oder sexualisierte Darstellungen Minderjähriger erkennen und innerhalb enger Fristen, etwa 48 Stunden, entfernen.

Welche Risiken von AI-Chatbots haben die britischen Regulierungsbehörden besonders in den Fokus gerückt?

Regulatoren sehen insbesondere Gefahren durch problematische Empfehlungen in Krisensituationen, die Erstellung oder Verbreitung sexualisierter Deepfakes und die Förderung illegaler Aktivitäten wie nicht lizenzierter Online-Casinos. Zudem wird kritisiert, dass Chatbots Schutzmechanismen umgehen helfen und damit Sucht- und Betrugsrisiken erhöhen können.

Welche neuen Pflichten kommen auf Social-Media-, Gaming- und AI-Anbieter im UK-Markt zu?

Unternehmen müssen mit verschärften Risikoanalysen für AI-Funktionen, strikten Prozessen zur Erkennung und Löschung illegaler Inhalte sowie Sicherheits- und Kinderschutz-by-design rechnen. Dazu gehören u. a. Altersverifizierung, restriktive Standardeinstellungen für Minderjährige, integrierte Eskalationspfade bei Selbstgefährdung sowie auditierbare Governance-Strukturen.

Was bedeutet Safety-by-Design und Kinderschutz-by-Design für AI-Erlebnisse konkret?

Safety-by-Design verlangt, dass Schutzmechanismen bereits in der Konzeption und im technischen Aufbau von AI-Funktionen verankert werden, etwa durch Filter, Monitoring und klare Eskalationsrouten. Kinderschutz-by-Design umfasst insbesondere altersdifferenzierte Inhalte, technische Altersgrenzen, deaktivierte riskante Features für Minderjährige und strenge Beschränkungen bei Bild- und Zahlungsfunktionen.

Worin besteht der Unterschied zwischen klassischen Online-Plattformen und AI-Chatbots aus regulatorischer Sicht noch?

Regulatorisch verschwimmt der Unterschied: AI-Chatbots werden zunehmend wie Plattformen behandelt, weil sie Inhalte generieren, vermitteln und Interaktionen steuern. Praktisch bedeutet das, dass sowohl Betreiber klassischer Plattformen als auch AI-Anbieter vergleichbare Sorgfalts-, Prüf- und Löschpflichten erfüllen müssen.

Was sollten Unternehmen in den nächsten 3–6 Monaten tun, um OSA-konform mit AI-Chatbots im UK zu arbeiten?

Unternehmen sollten alle generativen AI-Einsätze inventarisieren, nach Risiko und Zielgruppen klassifizieren und ihre Richtlinien um ein spezifisches AI- und Online-Safety-Supplement erweitern. Parallel sind technische Kontrollen wie Moderationslayer, Logging, Altersbeschränkungen sowie klare Verantwortlichkeiten, Verträge mit AI-Providern und ein enges Monitoring der Ofcom-Leitlinien aufzubauen.