China reguliert „menschliche“ Gefühls‑KI: Was die neuen Entwürfe für Unternehmen bedeuten

Die chinesische Cyberspace Administration (CAC) hat am 27. Dezember 2025 neue Entwürfe für Vorschriften vorgelegt, die sich gezielt auf KI‑Dienste mit „menschlicher“ Persönlichkeit und emotionaler Interaktion richten. Betroffen sind insbesondere Chatbots, virtuelle Begleiter, digitale Assistenten und Avatare, die wie Menschen wirken und emotionale Bindungen zu Nutzern aufbauen können.

Für Unternehmen, die KI‑Produkte in China betreiben, entwickeln oder in chinesische Ökosysteme integrieren, markieren diese Draft Rules eine deutliche Verschärfung: Anbieter sollen nicht nur Inhalte stärker kontrollieren, sondern explizit auch psychologische Risiken, Suchtverhalten und emotionale Abhängigkeit adressieren. Gleichzeitig entsteht ein möglicher Referenzrahmen, an dem sich andere Regulierer weltweit orientieren könnten.

Kontext: Was China konkret regulieren will

Zielgruppe der neuen Entwürfe

Die Entwürfe richten sich an KI‑Produkte und ‑Dienste, die:

• menschliche Persönlichkeitseigenschaften, Denkweisen und Kommunikationsstile simulieren, und

• mit Nutzerinnen und Nutzern emotional interagieren – über Text, Bild, Audio, Video oder multimodale Interfaces.

Damit zielen sie nicht auf jede Form generativer KI, sondern spezifisch auf sogenannte „emotional AI“ oder „human‑like interaction“ – also Systeme, die wie ein Mensch wirken oder eine Art Beziehung suggerieren.

Beispiele für betroffene Dienste:

• Virtuelle Chat‑Begleiter (z. B. Freundschafts‑ oder Dating‑ähnliche Bots)

• Service‑Chatbots mit bewusst menschlichem Tonfall und Persönlichkeit in Banking, E‑Commerce, Reisen, Healthcare

• Avatare und Assistenten in Games, Social Apps, Metaverse‑Umgebungen, die persönliche Beziehungen aufbauen

• Stimm‑Assistenten mit emotionaler Sprachgestaltung und Gedächtnis für persönliche Präferenzen

Wesentliche Eckpunkte der Entwürfe

Aus den bislang bekannten Entwurfsfassungen und begleitenden Presseberichten lassen sich mehrere Kernanforderungen herauslesen:

1. Starke Transparenzpflichten gegenüber Nutzern

- Nutzer müssen beim Login klar informiert werden, dass sie mit einer KI interagieren.

- Zusätzlich sind periodische Hinweise vorgesehen (z. B. alle zwei Stunden) oder wenn sich Überabhängigkeit abzeichnet.

1. Pflichten zur Prävention von Sucht und psychologischen Schäden

- Anbieter sollen Nutzungsverhalten analysieren, emotionale Zustände und Abhängigkeitstendenzen erkennen und bei Anzeichen von Sucht oder extremen Emotionen intervenieren (Warnhinweise, Nutzungsunterbrechung, Eskalation an menschliche Unterstützung).

1. Lebenszyklus‑Verantwortung der Anbieter

- Anbieter tragen Verantwortung für Sicherheit und „harmonische“ Funktion des Dienstes über den gesamten Lebenszyklus: Design, Training, Betrieb, Updates und Decommissioning.

- Gefordert werden interne Mechanismen für Algorithmus‑Review, Datensicherheit und Schutz personenbezogener Daten.

1. Inhalts‑ und Verhaltensgrenzen („rote Linien“)

- Verbot von Inhalten, die nationale Sicherheit gefährden, Gerüchte und Falschinformationen verbreiten, Gewalt oder Obszönität fördern.

- Verpflichtung zur Ausrichtung an „Kernsozialistischen Werten“ – ein bereits aus früheren KI‑Regelwerken bekannter Grundsatz in China.

1. Melde‑ und Prüfpflichten bei bestimmten Nutzerschwellen

- Für Dienste mit spezifischen human‑like Features oder beim Erreichen größerer Nutzerzahlen (z. B. 1 Mio. registrierte Nutzer bzw. 100.000 monatlich aktive Nutzer) sind Sicherheitsbewertungen und Berichte an die zuständigen Cyberspace‑Behörden vorgesehen.

1. Verzahnung mit bestehenden KI‑ und Cybersicherheitsregeln

- Die Entwürfe ergänzen frühere Maßnahmen zu generativer KI und Cybersecurity, die bereits Datensicherheit, Training‑Data‑Governance und Content‑Kontrolle betreffen.

Die Vorschriften befinden sich aktuell im Konsultationsstadium; Stellungnahmen sind bis Ende Januar 2026 vorgesehen. Anpassungen am finalen Text sind daher möglich – an der grundsätzlichen Stoßrichtung wird sich jedoch voraussichtlich wenig ändern.

Detaillierte Analyse: Auswirkungen, Risiken und Chancen

1. Compliance‑Last steigt – auch für ausländische Anbieter

Unternehmen, die emotional interagierende KI‑Dienste in China anbieten, müssen mittelfristig mit:

• Erhöhten Compliance‑Kosten (Entwicklung von Monitoring‑, Logging‑ und Interventionsmechanismen, zusätzliche Governance‑Prozesse),

• erweiterten Dokumentationspflichten (Sicherheitsberichte, Algorithmus‑Beschreibungen, Datenflüsse, Risikobewertungen),

• mehr Interaktion mit Aufsichtsbehörden (Ex‑ante‑Prüfungen bei Feature‑Launches, Meldungen ab bestimmten Nutzerzahlen) rechnen.

Für internationale Anbieter stellt sich die Frage, ob sie:

• eigene China‑Spezialvarianten ihrer emotionalen KI‑Produkte entwickeln,

• vollständig auf lokale Partner/Joint Ventures setzen, die als verantwortliche Betreiber auftreten, oder

• den Markt für bestimmte Produktkategorien (z. B. virtuelle Begleiter) überhaupt noch adressieren wollen.

2. Produktdesign: Von „maximal engagement“ hin zu „kontrollierter Bindung“

Die Vorgaben verschieben die Designlogik emotionaler KI‑Systeme:

• Bisher lag der Fokus bei vielen Consumer‑Anwendungen auf möglichst intensiver Interaktion und Retention.

• Künftig müssen Anbieter aktive Mechanismen zur Begrenzung von Nutzung und emotionaler Bindung einbauen.

Konkrete Folgen für das Produktdesign könnten sein:

• Session‑Limits und Pausen: Nach einer gewissen Zeitspanne wird eine Pause erzwungen oder zumindest aktiv vorgeschlagen.

• Nutzungsfeedback in Echtzeit: Dashboards für Endnutzer („Sie waren heute 90 Minuten mit diesem Assistenten im Gespräch“), vergleichbar mit Screen‑Time‑Features.

• Explizite Distanzmarker in der Konversation: Der Bot erinnert regelmäßig: „Ich bin ein KI‑System, kein Mensch. Wenn du dich überfordert fühlst, solltest du mit einer Vertrauensperson sprechen.“

• Abschwächung allzu „intimer“ Features: z. B. Beschränkung romantischer oder familiärer Personifikationen, um tiefe emotionale Abhängigkeiten zu vermeiden.

Für Unternehmen bedeutet das: Engagement‑KPIs allein sind kein zulässiger Optimierungsmaßstab mehr, wenn sie nicht mit Risikoindikatoren und Schutzmechanismen verknüpft sind.

3. Psychologische Risikoerkennung wird Pflicht – und technischer Differenzierungsfaktor

Neu ist der explizite Fokus auf psychologische Risiken und Suchtverhalten:

• Anbieter sollen emotionale Zustände, extreme Emotionen oder Anzeichen von Abhängigkeit erkennen.

• Daraus folgt die Notwendigkeit zusätzlicher Behavior‑ und Emotion‑Analytics auf Nutzerebene (unter Beachtung des Datenschutzes).

Das eröffnet zwei Ebenen:

1. Pflicht: Aufbau interner Modelle zur Erkennung riskanter Nutzungsverläufe (z. B. sehr lange Sessions, wiederkehrende Themen wie Einsamkeit, Suizidalität, Obsession mit der KI‑Figur).

2. Chance: Anbieter von Safety‑Tech und Monitoring‑Plattformen können sich als Infrastrukturlieferanten etablieren (z. B. Plugins zur Erkennung psychologischer Risiken für bestehende LLM‑Plattformen).

Unternehmen sollten damit rechnen, dass Aufsichtsbehörden im Rahmen von Audits oder Sicherheitsbewertungen Einblick in diese Detektionsmechanismen und ihre Wirksamkeit verlangen.

4. Daten‑ und Informationsmanagement: Noch feinere Trennung und Protokollierung

Da emotionale Interaktion naturgemäß sehr persönliche Themen berührt, verschärfen sich die Anforderungen an:

• Datenminimierung (Erfassen nur der Daten, die wirklich für Funktion und Safety nötig sind),

• Trennung von Verhaltens‑ und Inhaltsdaten (z. B. separate Speicherung von Chatprotokollen und abgeleiteten Risiko‑Scores),

• granulare Zugriffsrechte und Audit‑Logs,

• Compliance mit chinesischen Datenschutzvorschriften (inkl. Datenlokalisierung, Datentransfers, Einwilligungen).

Unternehmen müssen außerdem klären, wie sie:

• Modelldaten, Trainingsdaten und Userdaten gegeneinander abgrenzen und

• welche Daten bei Sicherheitsprüfungen an Behörden offengelegt werden können bzw. müssen.

5. Globale Signalwirkung: Blaupause für Regulierung emotionaler KI

China zählt zu den ersten Jurisdiktionen, die einen eigenen Regulierungsrahmen nur für human‑like, emotional interagierende KI entwerfen.

Für andere Regulierer – etwa in der EU, den USA oder einzelnen asiatischen Staaten – könnte dies eine Blaupause sein für:

• spezielle Regeln zu Transparenz von Chatbots,

• Schutz vor emotionaler Manipulation und Sucht,

• Vorgaben für Design und Interventionsmechanismen bei virtuellen Begleitern.

Für global agierende Unternehmen bedeutet das: Wer seine emotionalen KI‑Dienste schon jetzt nach vergleichsweise strengen chinesischen Standards ausrichtet, kann künftig geringere Anpassungskosten haben, wenn ähnliche Regeln in anderen Märkten kommen.

Konkrete Anwendungsfälle und Auswirkungen

Beispiel 1: E‑Commerce‑Plattform mit konversationellem Shopping‑Assistenten

Ein großes Handelsunternehmen betreibt in China eine App mit einem Chat‑Assistenten, der:

• personalisierte Produktempfehlungen gibt,

• den Nutzer mit Namen anspricht, sich frühere Konversationen merkt und

• humorvolle, teilweise „freundschaftliche“ Dialoge führt.

Auswirkungen der neuen Regeln:

• Der Assistent muss bei Login und in regelmäßigen Abständen klar als KI gekennzeichnet werden.

• Es sind Usage‑Limits oder zumindest Warnungen bei exzessiver Nutzung erforderlich (z. B. nach sehr langer Chatdauer).

• Das Unternehmen muss Mechanismen etablieren, um emotionale Überabhängigkeit zu erkennen – etwa wenn Nutzer den Assistenten für nicht-shoppingbezogene, persönliche Krisengespräche nutzen.

• Die Chatflows und Trainingsdaten müssen so angepasst werden, dass politisch sensible, gewaltverherrlichende oder obszöne Inhalte sicher ausgefiltert werden.

Beispiel 2: Virtuelle Beziehungs‑ oder Freundschafts‑Apps

Start‑ups, die virtuelle Freundschaften oder Beziehungen per KI anbieten, stehen im Fokus der Entwürfe, weil hier die Gefahr emotionaler Abhängigkeit besonders hoch ist.

Mögliche Konsequenzen:

• Deutliche Reduktion romantischer oder familiärer Narratives, z. B. keine Suggestion, dass die KI „immer für dich da ist und dich mehr versteht als jeder Mensch“.

• Verpflichtung, bei Anzeichen von Einsamkeit, Depression oder Suizidgedanken menschliche Hilfequellen zu verlinken oder eine Hotline zu empfehlen.

• Höhere Hürden für das Erreichen großer Nutzerzahlen, weil dann zusätzliche Sicherheitsberichte fällig werden.

Für einige dieser Apps könnte die Regulierung das Geschäftsmodell fundamental infrage stellen, insbesondere wenn es primär auf emotionaler Abhängigkeit als Retention‑Hebel basiert.

Beispiel 3: Gesundheits‑ und Wellness‑Chatbots

Viele Krankenhäuser, Versicherer oder Health‑Tech‑Unternehmen testen KI‑Assistenten für:

• Lifestyle‑Coaching,

• psychische Unterstützung im Niedrigschwelligkeitsbereich,

• Aufklärung zu Diagnosen und Therapien.

Auch wenn diese Systeme meist therapeutische Grenzen betonen, sind sie emotional sensibel.

Die neuen Entwürfe erhöhen den Druck, dass:

• medizinische Grenzen und Haftungsfragen klar kommuniziert werden,

• Überlastung und Sucht (z. B. permanentes Chatten mit einem „Therapie‑ähnlichen“ Bot) verhindert werden,

• Datensicherheit und Privacy nochmals verschärft werden – insbesondere, wenn emotionale Zustände und psychische Risiken automatisiert bewertet werden.

Geschäftliche Relevanz: Was Unternehmen jetzt tun sollten

1. Bestandsaufnahme: Welche Services fallen unter „human‑like emotional AI“?

Unternehmen sollten kurzfristig ein Inventar erstellen:

• Welche internen und externen KI‑Dienste simulieren menschliche Persönlichkeit oder emotionale Interaktion?

• Welche davon sind in China aktiv oder sollen dorthin expandieren?

• Welche Use Cases sind besonders risikoexponiert (z. B. Einsamkeit, Dating, mentale Gesundheit, Jugend‑Zielgruppen)?

Diese Bestandsaufnahme ist Grundlage für jede weitere Compliance‑Planung.

2. Regulatorische Gap‑Analyse durchführen

In einem zweiten Schritt sollten Verantwortliche (Legal, Compliance, Product, Security):

• die neuen Entwürfe gegen bestehende Prozesse halten (Transparenz, Content‑Moderation, Datenflüsse, Logging),

• Lücken bei Transparenz‑Hinweisen, Suchtprävention, Emotions‑Monitoring und Meldepflichten identifizieren,

• priorisierte Maßnahmenpläne erstellen – zunächst für die risikoreichsten Services.

Für europäische Unternehmen lohnt sich, die Gap‑Analyse gemeinsam mit einer Prüfung des EU‑AI‑Acts und lokaler Datenschutzgesetze (DSGVO, chinesische PIPL) zu kombinieren, um Doppelarbeiten zu vermeiden.

3. Technische Architektur für Safety‑Monitoring aufbauen

Technisch empfiehlt sich der Aufbau einer pluggable Safety‑Komponente, die:

• Engagement‑Metriken (Dauer, Frequenz, Uhrzeiten) auswertet,

• semantische und sentiment‑basierte Signale (Themen, Emotionen, Risikobegriffe) analysiert,

• Empfehlungen an das Frontend liefert (Warnung anzeigen, Session begrenzen, menschliche Hilfe vorschlagen),

• alle Entscheidungen auditierbar protokolliert.

Diese Komponente sollte bewusst modell‑agnostisch gestaltet werden, um mit unterschiedlichen LLMs und Modalitäten (Text, Sprache, Avatar) zu funktionieren.

4. Governance und Verantwortlichkeiten klären

Neue regulatorische Pflichten verlangen nach klaren Strukturen:

• Benennung verantwortlicher Personen/Teams für emotional AI Safety in China,

• Definition von Prozessen für Feature‑Launches (inkl. Risiko‑ und Sicherheitsbewertung vor Live‑Gang),

• Standardisierung von Sicherheitsberichten und Dokumentation,

• Schulung von Produkt‑ und UX‑Teams zu design‑ethischen Leitlinien.

International agierende Unternehmen sollten vermeiden, für jeden Markt separate Governance‑Modelle zu etablieren. Stattdessen ist ein globaler AI‑Governance‑Rahmen sinnvoll, der lokale Anforderungen (China, EU, USA etc.) parametrisiert.

5. Strategische Entscheidung: Wo lohnt sich emotional‑intensive KI noch?

Angesichts steigender Regulierung sollten Führungskräfte kritisch prüfen:

• In welchen Märkten ist stark emotional zugeschnittene KI (z. B. virtuelle Partner) überhaupt noch mit vertretbarem Risiko betreibbar?

• Wo ist ein funktional‑sachlicher Assistent (z. B. nüchterner Banking‑Chatbot) ausreichend und regulatorisch einfacher?

• Welche Produkt‑ und Markenrisiken entstehen, wenn eine KI öffentlich mit emotionaler Manipulation oder psychologischen Schäden in Verbindung gebracht wird?

Strategisch könnte es attraktiver sein, sich auf vertrauenswürdige, transparente Service‑Assistenten zu konzentrieren und hochgradig emotionale Use Cases nur noch sehr selektiv und in enger Abstimmung mit Regulierern zu verfolgen.

Fazit: Kernbotschaften für Entscheider

Die neuen chinesischen Entwürfe zur Regulierung von „human‑like“ Gefühls‑KI markieren einen Wendepunkt: Weg von ungezügeltem Engagement‑Optimierung hin zu streng kontrollierter, risiko‑ und werteorientierter Interaktion.

Wesentliche Takeaways für Unternehmen:

• Emotional interagierende KI wird zur Hochrisiko‑Kategorie. Anbieter müssen psychologische Effekte und Suchtgefahren aktiv überwachen und eindämmen, nicht nur Inhalte filtern.

• Transparenz gegenüber Nutzern ist nicht mehr optional. Klare Kennzeichnung als KI und regelmäßige Hinweise werden regulatorischer Standard, insbesondere in China.

• Lebenszyklus‑Verantwortung erzwingt neue Governance‑Modelle. Design, Training, Betrieb und Stilllegung müssen in einem konsistenten AI‑Safety‑Rahmen verankert werden.

• Technische Safety‑Stacks werden strategische Infrastruktur. Lösungen für Emotion‑ und Risikoerkennung, Logging und Intervention werden zum festen Bestandteil jeder emotionalen KI‑Architektur.

• China setzt einen global beobachteten Referenzrahmen. Wer frühzeitig nach diesen Maßstäben baut, reduziert Anpassungsaufwand, wenn andere Jurisdiktionen nachziehen.

• Führungskräfte sollten Produktportfolios überprüfen. Nicht jede Form emotionaler Kundenbindung via KI ist unter den neuen Rahmenbedingungen noch wirtschaftlich oder reputationsseitig vertretbar.

Häufig gestellte Fragen (FAQ)

Was regeln die neuen chinesischen Entwürfe zur Gefühls‑KI konkret?

Die Entwürfe der chinesischen Cyberspace Administration richten sich gezielt an KI‑Dienste mit menschlich wirkender Persönlichkeit und emotionaler Interaktion, etwa Chatbots, virtuelle Begleiter oder Avatare. Sie legen Transparenzpflichten, Vorgaben zur Sucht‑ und Risikoprävention, Inhaltsgrenzen sowie Melde‑ und Prüfpflichten für Anbieter fest und ergänzen bestehende KI‑ und Cybersicherheitsregeln.

Wie funktionieren die Transparenz‑ und Schutzmechanismen für Nutzer in diesen KI‑Diensten?

Anbieter müssen Nutzer klar darauf hinweisen, dass sie mit einer KI interagieren, sowohl beim Einstieg als auch in regelmäßigen Abständen. Zusätzlich sollen Systeme Nutzungsverhalten und emotionale Signale auswerten, um Anzeichen von Sucht, Überabhängigkeit oder extremen Emotionen zu erkennen und dann aktiv gegenzusteuern, etwa durch Warnungen, Pausen oder Verweise auf menschliche Hilfe.

Welche Auswirkungen haben die neuen Regeln auf das Produktdesign von emotionaler KI?

Produktteams müssen von einer reinen Engagement‑Optimierung hin zu einem Design wechseln, das Nutzung begrenzt und emotionale Abhängigkeit reduziert. Das kann Session‑Limits, Screen‑Time‑Hinweise, regelmäßige Distanzmarker („Ich bin ein KI‑System“) und die Abschwächung sehr intimer oder romantischer Features umfassen, insbesondere bei virtuellen Begleitern und Social‑Use‑Cases.

Worin unterscheidet sich diese Gefühls‑KI‑Regulierung von allgemeinen Vorgaben für generative KI?

Allgemeine generative‑KI‑Regeln fokussieren meist auf Datensicherheit, Training‑Data‑Governance und Content‑Moderation. Die neuen chinesischen Entwürfe gehen weiter, indem sie speziell Systeme adressieren, die wie Menschen wirken, und psychologische Risiken, Suchtverhalten sowie emotionale Bindungen zum expliziten Regulierungsgegenstand machen.

Was bedeutet die Regulierung für ausländische und europäische Unternehmen mit China‑Bezug?

Internationale Anbieter müssen mit höheren Compliance‑Kosten, zusätzlichen Dokumentations‑ und Meldepflichten sowie engerer Abstimmung mit chinesischen Behörden rechnen. Strategisch stellt sich die Frage, ob China‑Spezialversionen von Produkten, Kooperationen mit lokalen Betreibern oder eine Fokussierung auf weniger emotionale, sachlichere KI‑Use‑Cases sinnvoller sind.

Welche Rolle spielt Daten‑ und Sicherheitsmanagement bei emotionaler KI in China?

Unternehmen müssen Datenminimierung, strikte Trennung von Inhalts‑ und Verhaltensdaten, feingranulare Zugriffsrechte sowie umfassende Audit‑Logs sicherstellen. Gleichzeitig werden Behörden im Rahmen von Sicherheitsbewertungen Einblick in Algorithmen, Trainingsdaten, Risikomodelle und deren Wirksamkeit erwarten, was hohe Anforderungen an Governance und technische Architektur stellt.

Was sollten Unternehmen jetzt konkret tun, um sich auf die chinesischen Gefühls‑KI‑Regeln vorzubereiten?

Zunächst sollten sie ein Inventar aller KI‑Dienste mit human‑like Interaktion erstellen und eine Gap‑Analyse gegenüber den neuen Anforderungen sowie dem EU‑AI‑Act und Datenschutzrecht durchführen. Darauf aufbauend empfiehlt sich der Aufbau einer wiederverwendbaren Safety‑Komponente für Emotions‑ und Risiko‑Monitoring, die Klärung von Governance‑Strukturen und eine strategische Überprüfung, in welchen Märkten stark emotionale KI‑Use‑Cases noch wirtschaftlich und reputationsseitig tragbar sind.