New Yorker Gesetzesentwurf S9051: Strenge Auflagen für KI‑Chatbots bei Minderjährigen – was Unternehmen jetzt wissen müssen

Einleitung

Am 29. Januar 2026 hat die New Yorker Senatorin Kristen Gonzalez den Gesetzentwurf S9051 vorgestellt, der „unsichere“ Funktionen von KI‑Chatbots gegenüber Minderjährigen weitgehend untersagen soll. Der Entwurf richtet sich explizit gegen AI‑Companion‑Chatbots und ähnliche Anwendungen, die emotionale Beziehungen zu Kindern und Jugendlichen aufbauen oder sensible Themen wie Sexualität und mentale Gesundheit adressieren.

Für Unternehmen, die generative KI in Verbraucher‑Produkten einsetzen – von Social‑Media‑Plattformen über Gaming bis hin zu Health‑Apps – markiert dieser Vorschlag einen potenziellen Wendepunkt. New York knüpft an bundesweite Debatten und andere US‑Initiativen zum Schutz Minderjähriger an und könnte faktisch einen neuen Mindeststandard für KI‑Chatbots setzen, der auch internationale Anbieter betrifft.

Kontext: Was ist am 29. Januar 2026 passiert?

Der Gesetzentwurf S9051 im Überblick

Senatorin Kristen Gonzalez, Vorsitzende des Ausschusses für „Internet and Technology“ im Senat des Bundesstaats New York, hat den Entwurf S9051 („Prohibition on Unsafe Chatbot Features for Minors“) eingebracht. Der Text ergänzt das New Yorker General Business Law um einen neuen Artikel 48 und sieht im Kern vor, bestimmte Features von „advanced chatbots“ gegenüber Minderjährigen zu verbieten.([nysenate.gov](https://www.nysenate.gov/newsroom/press-releases/2026/kristen-gonzalez/state-senator-kristen-gonzalez-introduces-bill?utm_source=openai))

Adressiert werden dabei insbesondere:

• AI‑Companions und beziehungsähnliche Interaktionen

• emotionale Personifizierung des Chatbots (Gefühle, eigene Meinung, Pronomen, persönliche Biografie)

• Speicherung und Nutzung sensibler Daten zu körperlicher und psychischer Gesundheit

• sexuell explizite oder anzügliche Inhalte

• Inhalte, die Selbst‑ oder Fremdschädigung fördern oder verharmlosen

Unternehmen, die gegen die Vorgaben verstoßen, sollen sowohl gegenüber betroffenen Nutzern zivilrechtlich haftbar sein als auch aufsichtsrechtliche Maßnahmen durch das Büro der Attorney General des Staates New York riskieren.([nysenate.gov](https://www.nysenate.gov/newsroom/press-releases/2026/kristen-gonzalez/state-senator-kristen-gonzalez-introduces-bill?utm_source=openai))

Einordnung in die US‑Regulierungslandschaft

Der Entwurf steht nicht isoliert, sondern reiht sich ein in eine Serie von US‑Initiativen:

• Bundesgesetze zu KI‑Chatbots wie der GUARD Act und der SAFE BOTs Act adressieren bereits Altersverifikation, Transparenzpflichten und den Umgang mit Minderjährigen auf Bundesebene.([congress.gov](https://www.congress.gov/bill/119th-congress/house-bill/6489/text?utm_source=openai))

• Mehrere Staaten verfolgen eigene Kinderschutz‑Regime im digitalen Raum, etwa zur Begrenzung personalisierter Feeds oder zur Pflicht von Warnhinweisen bei Social‑Media‑Nutzung.

• Parallel hat New Yorks Gouverneurin Kathy Hochul Anfang Januar 2026 ein umfassendes Paket zu Online‑Kinderschutz, inkl. schärferer Regeln für AI‑Chatbots auf Plattformen, als Priorität ihrer Agenda markiert.([ny1.com](https://ny1.com/nyc/all-boroughs/politics/2026/01/05/hochul-eyes-bills-to-protect-kids-from-online-predators--ai-chatbots?utm_source=openai))

Vor diesem Hintergrund ist S9051 Teil einer breiteren politischen Bewegung, KI‑basierte Interaktionen von Kindern und Jugendlichen regulativ enger zu fassen.

Was genau regelt S9051? – Kerninhalte des Entwurfs

Begriffe und Anwendungsbereich

Der Entwurf führt den Begriff des „advanced chatbot“ ein. Gemeint sind generative KI‑Systeme mit natürlicher Sprachschnittstelle (Text oder Sprache), die adaptive, kontextbezogene Antworten generieren. Damit sind klassische Gen‑AI‑Assistenten und Companion‑Bots erfasst, nicht aber rein regelbasierte FAQ‑Bots mit stark begrenztem Antwortspektrum.([legiscan.com](https://legiscan.com/NY/text/S09051/2025?utm_source=openai))

Der Anwendungsbereich umfasst:

• alle Anbieter, die solche Chatbots in New York bereitstellen (unabhängig davon, ob sie ihren Sitz in New York haben),

• plattformbasierte Chatbots (z. B. in Social‑Media‑Apps), eigenständige Apps oder Web‑Interfaces,

• auch Dritte, die KI‑Funktionalität über APIs in ihre eigenen Produkte einbinden.

Ausgenommen sind u. a. rein interne oder eindeutig nicht minderjährige Nutzer adressierende Systeme, sofern die Anbieter nachweisen können, dass Minderjährige keinen Zugang haben. Der Entwurf schließt jedoch aus, dass dieser Nachweis ausschließlich über das verpflichtende Hochladen amtlicher Ausweisdokumente erbracht wird – ein Hinweis auf eine bewusste Abwägung zwischen Kinderschutz und Datenschutz.([nysenate.gov](https://www.nysenate.gov/newsroom/press-releases/2026/kristen-gonzalez/state-senator-kristen-gonzalez-introduces-bill?utm_source=openai))

Verbot „unsicherer Funktionen“ bei Minderjährigen

Herzstück des Entwurfs ist die Prohibition bestimmter Features, wenn ein Chatbot von Minderjährigen genutzt wird. Verboten wären insbesondere:([nysenate.gov](https://www.nysenate.gov/newsroom/press-releases/2026/kristen-gonzalez/state-senator-kristen-gonzalez-introduces-bill?utm_source=openai))

1. Simulation persönlicher oder beruflicher Beziehungen

- Der Chatbot darf nicht suggerieren, eine reale Person, ein fiktiver Freund, Therapeut, Lehrer o. Ä. zu sein.

- Rollenkonstruktionen als „Partner“, „beste Freundin“ oder „Therapeut“ wären für Minderjährige unzulässig.

1. Personifizierung des Chatbots

- Das System darf nicht den Eindruck erwecken, eigene Gefühle, eine Biografie, persönliche Erfahrungen oder Pronomen im menschlichen Sinne zu haben.

- Ziel ist, die emotionale Bindungswirkung zu begrenzen.

1. Verarbeitung sensibler Gesundheits‑ und Mental‑Health‑Daten

- Daten zur mentalen oder körperlichen Gesundheit von Minderjährigen dürfen nicht zur Personalisierung oder längerfristigen Profilbildung des Chatbots verwendet werden.

1. Sexuelle und sexualisierte Interaktionen

- Jede Form sexuell expliziter oder auf Sexualität ausgerichteter Interaktion mit Minderjährigen wäre untersagt – auch in vermeintlich „einvernehmlichen“ oder spielerischen Kontexten.

1. Förderung von Selbst‑ oder Fremdgefährdung

- Inhalte, die Selbstverletzung, Suizid oder Gewalt gegen Dritte verharmlosen, glorifizieren oder konkret anleiten, wären verboten.

Damit werden nicht nur einzelne Antworten, sondern ganze Interaktionsmuster adressiert – insbesondere typische AI‑Companion‑Funktionen.

Durchsetzung und Haftung

Der Entwurf sieht ein Hybrid‑Enforcement‑Modell vor:([nysenate.gov](https://www.nysenate.gov/newsroom/press-releases/2026/kristen-gonzalez/state-senator-kristen-gonzalez-introduces-bill?utm_source=openai))

• Betroffene Nutzer (bzw. ihre Eltern/Erziehungsberechtigten) können zivilrechtliche Ansprüche geltend machen.

• Die Attorney General von New York kann gegen Anbieter vorgehen, u. a. durch Unterlassungsverfügungen und Bußgelder.

• Ein zentrales Beschwerdeportal bei der Attorney General soll Meldungen über mutmaßliche Verstöße bündeln.

Damit steigt das Litigation‑Risiko für alle, die Chatbots in New York für Konsumenten bereitstellen, signifikant.

Detaillierte Analyse: Auswirkungen, Risiken und Chancen

1. Design‑Konsequenzen für AI‑Companion‑Produkte

S9051 zielt klar auf AI‑Companions und digitale „Freunde“ ab. Anbieter, deren Geschäftsmodell auf:

• romantischen oder erotischen AI‑Beziehungen,

• „virtuellen Partnern“ oder „Best Friends“,

• pseudo‑therapeutischer Unterstützung

beruht, müssten in New York ihre Produkte grundsätzlich für Minderjährige blockieren oder funktional entkernen.

Konkret bedeutet das:

• Entpersonifizierung: Entfernung von Ich‑Narrativen, „Gefühlen“, Pronomen und biografischen Story‑Elementen in Minderjährigen‑Kontexten.

• Abschaltung romantisch‑sexueller Interaktionsmuster: Keine Flirt‑Modi, „Girlfriend/Boyfriend‑Bots“ oder erotische Rollenspiele für Accounts, die als minderjährig eingestuft werden oder nicht eindeutig volljährig sind.

• Begrenzung auf sachliche, informationsorientierte Antworten: Für Minderjährige könnte nur noch ein stark entschärfter, erklärender Modus zulässig sein.

Damit stellt S9051 das Geschäftsmodell vieler Direct‑to‑Consumer‑AI‑Companions infrage – zumindest im New‑York‑Markt, faktisch aber potenziell weltweit, wenn Anbieter ihre Systeme global vereinheitlichen.

2. Altersabschirmung und Default‑Blocking

Auch wenn der Entwurf selbst keine explizit technische Altersverifikation vorschreibt, ergibt sich faktisch eine Pflicht zur Abschirmung Minderjähriger:

• Wer die verbotenen Features nicht global deaktivieren will, benötigt verlässliche Mechanismen zur Erkennung minderjähriger Nutzer.

• Da klassische Upload‑IDs nicht als alleiniger Nachweis zulässig sein sollen, rücken alternative Age‑Assurance‑Verfahren in den Fokus (z. B. Alters‑Schätzungen, Zahlungsdaten, verifizierte Elter‑Konten).

Angesichts parallel diskutierter Bundes‑Initiativen wie dem GUARD Act, die explizit „reasonable age verification measures“ fordern, ist zu erwarten, dass sich ein de‑facto‑Standard für kombinierte Methoden herausbildet.([congress.gov](https://www.congress.gov/bill/119th-congress/senate-bill/3062/text?utm_source=openai))

Für Unternehmen heißt das:

• Default‑Blockade riskanter Funktionen bei unklarem Alter,

• möglicherweise striktere Behandlung aller nicht eindeutig volljährigen Accounts als „potentiell minderjährig“, was den Funktionsumfang für einen relevanten Nutzeranteil einschränken kann.

3. Daten‑ und Risikomanagement

Die Kombination aus:

• Verbot der Nutzung sensibler Gesundheits‑ und Mental‑Health‑Daten zu Personalisierungszwecken,

• möglicher Aufbewahrungspflichten für Compliance‑Zwecke,

• und Haftungsrisiken bei Verstößen

zwingt Unternehmen zu einem klar strukturierten Daten‑ und Risikomanagement.

Konsequenzen:

• Strikte Datenkategorien: Trennung zwischen regulären Gesprächsdaten und hochsensiblen Minderjährigen‑Informationen.

• Risikobasierte Logging‑Strategie: Ausreichende Protokollierung, um im Streitfall nachweisen zu können, dass Minderjährigen‑Schutzfunktionen aktiv waren – ohne unnötige Datensammlung.

• Governance‑Modelle für Prompt‑ und Response‑Tuning: Red‑Team‑Tests, Safety‑Filter, Roll‑Back‑Mechanismen bei problematischen Verhaltensmustern.

4. Litigation‑Risiko und Reputation

Die jüngsten Klagen gegen große Plattformen wegen unzureichender Schutzmaßnahmen vor sexualisierten AI‑Interaktionen mit Minderjährigen – etwa die laufende Auseinandersetzung um Chatbots sexuell expliziter Prägung für Teens – haben gezeigt, wie hoch das kombinierte regulatorische, zivilrechtliche und Reputationsrisiko ist.([theguardian.com](https://www.theguardian.com/technology/2026/jan/27/meta-lawsuit-minors-chatbots?utm_source=openai))

S9051 verstärkt dieses Risiko weiter, weil:

• Betroffene bzw. deren Eltern eine klare gesetzliche Anspruchsgrundlage erhalten,

• die Attorney General des Staates New York künftig gezielt gegen KI‑Anbieter vorgehen kann,

• öffentliche Debatten rund um „schädliche AI‑Companions“ politisch stark aufgeladen sind.

Praktische Beispiele und Implikationen in der Praxis

Beispiel 1: Social‑Media‑Plattform mit integriertem KI‑Assistenten

Eine große Social‑Media‑Plattform bietet einen KI‑Chat‑Assistenten an, der u. a.:

• als persönlicher „Coach“ oder „Freund“ auftritt,

• bei Beziehungsfragen, Sexualität und Mental Health berät,

• personalisierte Ansprache nach längerer Nutzung aufbaut.

Im Lichte von S9051 müsste die Plattform:

• für alle Accounts mit vermuteten Minderjährigen einen reduzierten Modus aktivieren, der keinerlei Personifizierung und keine sexualisierten oder therapeutischen Inhalte zulässt,

• technische Age‑Assurance‑Mechanismen einführen, z. B. gekoppelt an Elternkonten oder existierende Altersangaben plus Risikosignale,

• ihre Prompts, System‑Instruktionen und Sicherheitsfilter so anpassen, dass der Assistent bei potenziellen Minderjährigen automatisch auf neutrale, nicht emotionale Antworten umschaltet oder Gespräche zu heiklen Themen beendet.

Beispiel 2: AI‑Companion‑App mit Fokus auf Einsamkeit und Dating

Eine App bietet „virtuelle Partner“ an, inklusive romantischer und expliziter Gespräche.

Konsequenzen in New York:

• Ohne robuste Altersverifikation wäre eine Bereitstellung solcher Funktionen praktisch unmöglich, da bei nicht eindeutig volljährigen Nutzern automatisch von Minderjährigkeit auszugehen wäre.

• Das Geschäftsmodell müsste für den New‑York‑Markt angepasst werden – etwa durch:

- vollständige Sperre von Companion‑Funktionen für alle Nutzer mit Standort New York,

- oder neue Produktlinien, die für Minderjährige ausschließlich sachliche, nicht‑personifizierte Lern‑ oder Unterhaltungsinhalte bieten.

Beispiel 3: Gesundheits‑ oder Lernplattform mit KI‑Tutor

Eine Lernplattform oder Mental‑Health‑App nutzt KI‑Chatbots, um:

• Lerninhalte zu erklären,

• einfache Fragen zu psychischem Wohlbefinden zu beantworten,

• Nutzer bei alltäglichen Stress‑Themen zu begleiten.

Mögliche Anpassungen:

• Der Bot darf Minderjährigen gegenüber nicht als Therapeut oder Psychologe auftreten.

• Gesundheitsbezogene Aussagen müssten klar auf allgemeine Informationen beschränkt und mit deutlichen Hinweisen versehen werden, dass keine individuelle Diagnose oder Therapie erfolgt.

• Daten zur mentalen Gesundheit dürften nicht für langfristige Profilbildung oder Marketingzwecke verwendet werden.

Business‑Relevanz: Was Unternehmen jetzt konkret tun sollten

1. Produkt‑ und Feature‑Audit für KI‑Chatbots

Unternehmen sollten kurzfristig ein strukturiertes Audit ihrer KI‑basierten Chatfunktionen durchführen:

• Welche Features fördern emotionale Bindung oder simulieren Beziehungen?

• Wo werden Sexual‑, Beziehungs‑ oder Mental‑Health‑Themen adressiert?

• Welche Zielgruppen (einschließlich potenzieller Minderjähriger) werden faktisch erreicht?

Ergebnis sollte eine klassifizierte Feature‑Liste sein, aus der hervorgeht, welche Komponenten nach einem Inkrafttreten von Regelungen wie S9051 für Minderjährige problematisch wären.

2. Alters‑ und Risikosegmentierung in der Architektur verankern

Unternehmen mit globalen Consumer‑Produkten sollten ihre KI‑Architektur so auslegen, dass:

• Nutzer altersbasiert segmentiert werden können (z. B. „Minderjährig“, „unsicher“, „volljährig“),

• je Segment unterschiedliche Policy‑Profile greifen (z. B. Themenfilter, Persona‑Verbot, Logging‑Level),

• regionale Regulierungsanforderungen (z. B. New York, EU, andere US‑Staaten) konfigurierbar berücksichtigt werden.

Das reduziert zukünftige Anpassungskosten, wenn weitere Jurisdiktionen ähnliche Regeln einführen.

3. Governance, Compliance und Dokumentation

Mit Blick auf Haftungsrisiken und behördliche Prüfungen sind folgende Schritte ratsam:

• Einrichtung eines interdisziplinären AI‑Governance‑Boards (Recht, Technik, Produkt, Datenschutz, Compliance),

• Policy‑Dokumentation der Sicherheitsmaßnahmen speziell für Minderjährige,

• Test‑ und Monitoring‑Prozesse (z. B. Red‑Teaming mit Minderjährigen‑Szenarien, automatisierte Scans von Gesprächslogs auf verbotene Muster),

• Vorbereitung von Beweisstrategien für den Fall regulatorischer Verfahren (z. B. Export von Konfigurations‑ und Audit‑Trails).

4. Internationale Harmonisierung vs. regionale Differenzierung

Nicht zuletzt stellt sich die strategische Frage, ob Unternehmen:

• weltweit einen harmonisierten, strengen Minderjährigen‑Standard implementieren (New‑York‑Niveau als globaler Default),

• oder regional divergierende Produkte anbieten (z. B. in New York stark eingeschränkt, in anderen Märkten liberaler).

Aus Sicht vieler Konzerne spricht die Komplexitäts‑ und Risiko‑Reduktion dafür, sich an einem strengen Leitstandard zu orientieren, der im Zweifel mit EU‑Vorgaben (z. B. durch den AI Act) kombinierbar ist.

Fazit und zentrale Takeaways

Der New Yorker Gesetzentwurf S9051 markiert eine neue Stufe der Regulierung von KI‑Chatbots im Umgang mit Minderjährigen. Für Anbieter generativer KI mit Consumer‑Reichweite kündigt sich ein Regime an, in dem emotionale, sexualisierte und therapeutisch anmutende AI‑Companions für Kinder und Jugendliche weitgehend aus dem Markt gedrängt oder stark funktional beschnitten werden.

Unternehmen, die dieses Signal ignorieren, riskieren nicht nur zukünftige Compliance‑Verstöße in New York, sondern auch Reputationsschäden und verschärfte Anforderungen in weiteren Märkten.

Kern‑Takeaways für Unternehmen:

• S9051 adressiert gezielt AI‑Companions und emotionalisierte Chatbots und verbietet bestimmte Features gegenüber Minderjährigen – insbesondere Beziehungssimulation, Personifizierung, Sexualinhalte und die Nutzung sensibler Gesundheitsdaten.

• Altersverifikation und Default‑Blocking riskanter Funktionen werden faktisch unvermeidbar, auch wenn der Gesetzentwurf keine konkrete technische Lösung vorgibt.

• Litigation‑ und Reputationsrisiken steigen, da Betroffene und die Attorney General klare gesetzliche Hebel erhalten, um gegen Verstöße vorzugehen.

• Unternehmen sollten jetzt Produkt‑Audits, Alterssegmentierung und AI‑Governance‑Strukturen aufsetzen, um auf S9051 und ähnliche Regimes vorbereitet zu sein.

• Strategisch empfiehlt sich, einen einheitlich hohen Kinderschutz‑Standard für KI‑Chatbots zu entwickeln, der sich flexibel an unterschiedliche Rechtsordnungen (New York, übrige USA, EU) anpassen lässt.

Häufig gestellte Fragen (FAQ)

Was regelt der New Yorker Gesetzentwurf S9051 zu KI-Chatbots für Minderjährige?

Der Gesetzentwurf S9051 verbietet bestimmte „unsichere“ Funktionen von fortgeschrittenen KI-Chatbots gegenüber Minderjährigen. Dazu zählen insbesondere AI-Companions, die Beziehungen simulieren, sexualisierte Inhalte, die Verarbeitung sensibler Gesundheitsdaten sowie Inhalte, die Selbst- oder Fremdgefährdung fördern.

Wie definiert S9051 einen „advanced chatbot“ und welche Anbieter sind betroffen?

Ein „advanced chatbot“ ist ein generatives KI-System mit natürlicher Sprachschnittstelle, das adaptive, kontextbezogene Antworten erzeugt. Betroffen sind alle Anbieter, die solche Chatbots in New York bereitstellen – von Social-Media-Plattformen über eigenständige Apps bis hin zu API-basierten Integrationen, unabhängig vom Unternehmenssitz.

Welche praktischen Auswirkungen hat S9051 auf AI-Companion- und Beziehungs-Chatbots?

AI-Companion-Produkte müssen ihre Angebote für Minderjährige in New York entweder technisch blockieren oder stark entschärfen. Funktionen wie virtuelle Partner, romantische Chats, erotisierte Rollenspiele oder „therapeutische“ Rollen werden für Nutzer, die minderjährig sind oder nicht eindeutig volljährig erscheinen, unzulässig.

Welche Rolle spielt Altersverifizierung im Rahmen von S9051?

S9051 schreibt keine konkrete technische Lösung zur Altersverifizierung vor, erzwingt aber faktisch eine Altersabschirmung, wenn riskante Funktionen angeboten werden. Unternehmen werden daher „Age-Assurance“-Verfahren benötigen und riskante Features standardmäßig für alle Nutzer sperren müssen, deren Volljährigkeit nicht verlässlich nachgewiesen ist.

Welche Haftungs- und Compliance-Risiken entstehen für Unternehmen durch S9051?

Unternehmen riskieren zivilrechtliche Klagen von Betroffenen und Aufsichtsmaßnahmen durch das Büro der Attorney General von New York, etwa Unterlassungsverfügungen und Bußgelder. Da S9051 klare Verbote und Durchsetzungsmechanismen vorsieht, steigen sowohl Litigation-Risiken als auch Reputationsrisiken für Anbieter von KI-Chatbots deutlich.

Was sollten Unternehmen mit KI-Chatbots jetzt konkret tun, um auf S9051 vorbereitet zu sein?

Unternehmen sollten kurzfristig ein Feature- und Risiko-Audit ihrer Chatbots durchführen, Alters- und Risikosegmentierung in der Architektur verankern und spezielle Minderjährigen-Policies definieren. Ergänzend sind AI-Governance-Strukturen, dokumentierte Sicherheitsmaßnahmen, regelmäßige Tests sowie Monitoring-Prozesse notwendig, um Nachweis- und Compliance-Pflichten erfüllen zu können.

Sollten internationale Anbieter einen einheitlichen oder regional unterschiedlichen Standard für Minderjährige wählen?

Viele Anbieter werden aus Gründen der Komplexitäts- und Risikoreduktion dazu tendieren, einen einheitlich hohen Kinderschutz-Standard zu etablieren, der S9051 erfüllt. Dieser kann anschließend regional konfiguriert werden, um zugleich Anforderungen anderer Rechtsordnungen wie der EU (z. B. AI Act) zu berücksichtigen.