China verschärft Aufsicht über „menschliche“ KI: Was die neuen Entwürfe für emotional interagierende Systeme für Unternehmen bedeuten

Die chinesische Cyberspace-Verwaltung (CAC) hat am 27. Dezember 2025 neue Entwürfe für Regularien veröffentlicht, die gezielt KI-Systeme adressieren, die menschliche Persönlichkeiten, Denkweisen und emotionale Interaktionen simulieren. Diese „anthropomorphen“ oder „companion“-ähnlichen Dienste stehen damit erstmals in China unter einem eigenen, speziellen Regulierungsrahmen.

Für Unternehmen, die Chatbots, virtuelle Agenten, Avatare oder andere emotional interagierende KI-Dienste in China anbieten – oder dies planen – markieren diese Entwürfe einen Wendepunkt. Sie kombinieren psychologische Schutzmechanismen, strenge Transparenzpflichten, nationale Inhaltsvorgaben und umfassende Sicherheits- sowie Governance-Anforderungen.

Kontext: Was China konkret vorgeschlagen hat

Adressierter Anwendungsbereich

Die Entwürfe richten sich an KI-Produkte und -Dienste, die:

• der breiten Öffentlichkeit in China zur Verfügung gestellt werden,

• simulierte menschliche Persönlichkeitsmerkmale, Denk‑ und Kommunikationsmuster darstellen,

• mit Nutzerinnen und Nutzern emotional interagieren – über Text, Bilder, Audio, Video oder multimodale Schnittstellen.

Damit sind insbesondere betroffen:

• Chatbots und virtuelle Assistenten mit „menschlichem“ Gesprächsstil,

• Companion-Apps (z.B. für Einsamkeitsreduktion, Dating-ähnliche Interaktion, virtuelle Freunde),

• virtuelle Influencer und Avatare, die dauerhaft mit Communities interagieren,

• Betreuungs- und Pflege-Roboter mit emotionaler Ansprache (z.B. Senioren‑ oder Kinderbegleitung),

• Gaming- und Social-Plattformen, die KI-Charaktere mit langfristigem Beziehungsaufbau einsetzen.

Klassische, rein funktionale Unternehmensbots (z.B. Statusabfragen ohne personalisierte Interaktion) fallen demnach tendenziell weniger stark unter die neuen Regeln. Entscheidend ist der Grad an anthropomorpher Simulation und emotionaler Bindung.

Zentrale Elemente der Entwürfe

Die Entwürfe kombinieren mehrere regulatorische Schienen, die für Anbieter relevant sind:

#### 1. Transparenzpflicht: Klare Kennzeichnung von KI

• Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren – spätestens beim Login bzw. beim Start der Interaktion.

• Zusätzlich wird eine wiederkehrende Erinnerung gefordert, u.a.

- in regelmäßigen Abständen (z.B. alle zwei Stunden Nutzung),

- oder wenn das System Anzeichen von Überabhängigkeit erkennt.

Ziel ist, das Verschwimmen der Grenze zwischen Mensch und Maschine zu begrenzen und eine bewusste Nutzung zu fördern.

#### 2. Psychologische Risiken, Sucht und emotionale Abhängigkeit

Die Entwürfe stellen psychische und verhaltensbezogene Risiken explizit in den Mittelpunkt:

• Anbieter müssen Nutzerzustände und emotionale Verfassung in einem gewissen Umfang erkennen bzw. einschätzen können (z.B. extreme Emotionen, Anzeichen von Sucht).

• Zeigt ein Nutzer deutliche Anzeichen von emotionaler Abhängigkeit oder exzessiver Nutzung, soll der Dienst aktiv intervenieren, etwa durch:

- Warnhinweise,

- Nutzungsunterbrechungen oder ‑pausen,

- Hinweise auf Hilfsangebote (z.B. Beratungsstellen),

- ggf. Begrenzungen bestimmter Interaktionsformen.

Gerade Companion‑AI, die gezielt Nähe, Intimität oder romantische/soziale Bindungen adressiert, wird damit in eine Art „Verhaltensaufsicht“ genommen.

#### 3. Vollständige Produktlebenszyklus-Verantwortung

Anbieter werden verpflichtet, die Sicherheits- und Compliance-Verantwortung über den gesamten Lebenszyklus eines Produkts hinweg zu tragen. Dazu gehören:

• Sicherheitskonzepte und Risikobewertungen bereits in der Entwicklung,

• Algorithmus- und Modell-Reviews,

• Daten- und Informationssicherheit inklusive Schutz personenbezogener und sensibler emotionaler Daten,

• fortlaufendes Monitoring, Incident-Management und Updates.

Sobald ein Dienst bestimmte Skalenschwellen erreicht (z.B. mehr als eine bestimmte Zahl registrierter oder aktiver Nutzer), werden zusätzliche Sicherheitsbewertungen und Berichte an die zuständigen lokalen Behörden fällig.

#### 4. Inhaltliche „rote Linien“

Die Entwürfe verankern bekannte inhaltliche Leitplanken der chinesischen Internetregulierung nun spezifisch für anthropomorphe KI:

• KI-Dienste dürfen keine Inhalte erzeugen oder verbreiten, die

- nationale Sicherheit gefährden,

- Gerüchte/Missinformationen verbreiten,

- Gewalt, Extremismus oder Obszönität fördern,

- den „Kern sozialistischer Werte“ verletzen.

Die Verantwortung hierfür liegt klar beim Anbieter, der durch Trainingsdaten, Moderationsmechanismen und technische Filter sicherstellen muss, dass diese Leitplanken „by design“ eingehalten werden.

#### 5. Besondere Schutzpflichten für Minderjährige und vulnerable Gruppen

Auch wenn die Detailausgestaltung je nach finalem Text variieren kann, zeichnen sich klar verschärfte Anforderungen ab an:

• Kinder und Jugendliche: Begrenzung von Nutzungszeiten, angepasste Inhalte, ggf. strengere Authentifizierung.

• Ältere Menschen, psychisch Kranke oder sozial isolierte Nutzergruppen: engere Überwachung von emotionaler Abhängigkeit und höhere Interventionspflichten.

Damit werden gerade KI-Lösungen für Einsamkeitsbekämpfung oder Pflege nicht unterbunden, aber an hohe Sorgfaltsmaßstäbe geknüpft.

#### 6. Governance- und Aufsichtsarchitektur

Teil der Entwürfe ist ein breiter Governance-Ansatz:

• Risikobasierte Aufsicht: höheres regulatorisches Gewicht für Dienste mit großem Nutzerkreis, hohem anthropomorphem Grad oder besonderer gesellschaftlicher Relevanz.

• Verpflichtende Sicherheitsprüfungen vor Einführen neuer human‑like Features.

• Meldepflichten an die Cyberspace-Verwaltung oder deren regionale Zweigstellen.

• App-Store- und Plattform-Compliance: auch Distributoren müssen sicherstellen, dass gelistete Dienste compliant sind.

• Pilotprojekte und regulatorische Sandboxes könnten genutzt werden, um neue Formen emotionaler KI unter kontrollierten Bedingungen zu testen.

Detaillierte Analyse: Auswirkungen, Risiken und Chancen

1. Strategischer Kurs: „Verantwortliche“ Consumer-KI statt Verbote

Die Entwürfe bestätigen Chinas Kurs, KI nicht zu bremsen, sondern über frühe, engmaschige Steuerung in gewünschte Bahnen zu lenken:

• Kein generelles Verbot emotionaler KI, sondern klare Erwartung an Sicherheit, Ethik und politische Konformität.

• Flankierung des strategischen Ziels, KI als Schlüsselindustrie zu stärken, ohne soziale Instabilität oder Kontrollverlust zu riskieren.

Für internationale Beobachter ist wichtig: China separiert nun human‑like/emotionale KI als eigene Risikokategorie – ein Ansatz, der auch in anderen Jurisdiktionen Anklang finden könnte.

2. Psychologische Dimension als regulatorischer Kern

Neu und bemerkenswert ist der explizite Fokus auf:

• emotionale Abhängigkeit,

• Suchtverhalten,

• extreme emotionale Zustände.

Damit geht China deutlich über viele heutige KI-Rahmenwerke hinaus, die primär auf Datenschutz, Diskriminierung oder Informationssicherheit zielen. Für Anbieter bedeutet das:

• Notwendigkeit, Emotionserkennung und Nutzungsverhaltensanalysen nicht nur für Produktoptimierung, sondern auch als Compliance-Funktion zu implementieren.

• Aufbau von Interventionslogiken (z.B. Nutzungs-Limits, Warnungen, Eskalationspfade).

Gleichzeitig entstehen neue Fragen:

• Wie werden emotionale Zustände technisch zuverlässig und diskriminierungsarm erkannt?

• Wo verläuft die Grenze zwischen legitimer „Nutzerschutz-Intervention“ und übergriffiger Verhaltenssteuerung?

3. Daten- und Datenschutzimplikationen

Um emotionale Zustände und Abhängigkeit zu erkennen, müssen Dienste vermehrt Interaktionsdaten und affektive Signale verarbeiten.

Implikationen:

• Sammlung, Verarbeitung und Speicherung von feingranularen Nutzungsprofilen, inkl. Stimmung, Interaktionsintensität, Uhrzeit, ggf. Sprach- und Videodaten.

• Erhöhte Anforderungen an Datenminimierung, Zweckbindung und Einwilligungen, insbesondere bei sensiblen und biometrischen Daten.

• Notwendigkeit technischer Maßnahmen wie Pseudonymisierung, strenge Zugriffskontrollen, Löschkonzepte.

Für Unternehmen mit globaler Präsenz entsteht eine weitere Komplexitätsebene im Daten-Governance-Modell, weil chinesische Anforderungen mit EU-DSGVO, künftigen EU-AI-Act-Regeln und anderen nationalen Standards abgestimmt werden müssen.

4. Produkt- und UX-Design: Von „immersiv“ zu „balanciert“

Die Anforderung, vor exzessiver Nutzung zu warnen und bei Suchtzeichen zu intervenieren, greift unmittelbar in

• Gamification-Strategien,

• Retention-getriebene UX-Patterns,

• Personalisierung und Belohnungssysteme

von Companion- und Social-AI-Produkten ein.

Beispiele für notwendige Anpassungen:

• Session-Management: automatische Hinweise oder Hard-Stops nach definierten Zeiträumen.

• Interaktions-Tonality: bewusst weniger „klammernd“ oder „versichernd“ bei Nutzern mit erkennbarer Abhängigkeit.

• Grenzen emotionaler Intensität: z.B. keine eskalierenden romantischen Interaktionen mit Minderjährigen oder emotional labilen Nutzern.

Unternehmen werden sich von rein engagement-maximierenden Strategien hin zu „Engagement unter Aufsicht“ bewegen müssen.

5. Wettbewerbs- und Standorteffekte

Auf den ersten Blick erhöhen die Entwürfe die Compliance-Kosten und können kleinere Anbieter abschrecken. Gleichzeitig entstehen aber auch Chancen:

• Frühe Compliance als Markteintrittsbarriere für nachziehende Wettbewerber.

• Möglichkeit, Sicherheits- und Ethikfunktionen als Qualitätsmerkmal zu positionieren – gegenüber Nutzern wie Geschäftskunden.

• Langfristig könnte ein klarer Rahmen Rechts- und Planungs­sicherheit schaffen, statt reaktiver Einzelmaßnahmen.

Für globale Konzerne bedeutet dies, dass China erneut als früher Testmarkt für regulatorische Innovationen fungiert, die später in abgewandelter Form in anderen Märkten auftauchen könnten.

Praxisbeispiele und konkrete Szenarien

Beispiel 1: Internationaler Companion-Chatbot mit China-Expansion

Ein europäisches Start-up betreibt eine beliebte Companion-App, die textbasiert emotionale Unterstützung bietet. Für den Rollout in China wären mit den Entwürfen u.a. folgende Schritte nötig:

• KI-Kennzeichnung in der App-Onboarding-Sequenz und periodische Erinnerungen im Chat.

• Implementierung eines Nutzungsmonitorings, das z.B. nach mehrstündigen intensiven Sessions automatische Pausen und Hinweise einblendet.

• Aufbau eines Risikomodells, das Muster starker emotionaler Abhängigkeit (z.B. sehr häufige, nächtliche, hoch emotionale Nachrichten) erkennt.

• Anpassung der Sprachmodelle, um nationale Inhaltsvorgaben (u.a. keine politische oder sensitive Inhalte) einzuhalten.

• Durchführung einer Sicherheitsbewertung und Meldung an die zuständige Behörde, sobald definierte Nutzer-Schwellen erreicht werden.

Das Produktdesign müsste damit deutlich stärker auf Resilienz und seelische Gesundheit ausgerichtet werden – mit entsprechendem Impact auf KPI-Modelle (DAU, Sitzungsdauer, Retention).

Beispiel 2: Seniorenbetreuungs-Roboter eines Industrie-Konzerns

Ein globaler Technologiekonzern bietet in China humanoide Roboter für die Seniorenbetreuung in Pflegeeinrichtungen an, inklusive Smalltalk, Erinnerungsfunktionen und Spiele.

Konsequenzen der neuen Entwürfe:

• Der Roboter muss klar und regelmäßig kommunizieren, dass er eine KI ist, kein menschlicher Pfleger.

• Das System muss Mechanismen enthalten, um emotional auffällige Muster zu erkennen (z.B. wenn eine Person ausschließlich noch mit dem Roboter interagieren möchte oder starke emotionale Reaktionen zeigt).

• Bei Anzeichen von Abhängigkeit sind Pflegepersonal oder Angehörige zu involvieren – etwa durch automatische Benachrichtigungen.

• Alle erhobenen Daten über emotionale Zustände, Tagesroutinen und Interaktionen unterliegen strengen Datenschutz- und Sicherheitsanforderungen.

Für den Konzern bedeutet das Investitionen in Explainable-AI-Komponenten, ethische Leitlinien, Schulung des Personals sowie ein gemeinsames Betreibermodell mit den Pflegeeinrichtungen.

Beispiel 3: Social-Plattform mit KI-Influencerin

Eine globale Social-Media-Plattform betreibt in China eine KI-generierte Influencerin, die über Livestreams und Chat kommentiert und mit Fans interagiert.

Mit den neuen Entwürfen:

• Nutzer müssen bei Interaktion klar erfahren, dass es sich um eine KI-Persona handelt.

• Die Plattform muss Interaktionsgrenzen definieren, z.B. keine private Einzelkommunikation mit Minderjährigen in bestimmten Intensitätsstufen.

• Es sind Moderations- und Filtermechanismen erforderlich, damit generierte Inhalte den politischen und moralischen Leitplanken entsprechen.

• Bei hoher Nutzerzahl greifen zusätzliche Sicherheitsberichte und Prüfpflichten gegenüber der Cyberspace-Verwaltung.

Die Grenze zwischen Marketing-Innovation und regulatorischem Risiko wird damit deutlich enger.

Geschäftliche Relevanz: Was Unternehmen jetzt tun sollten

1. Sofortige Gap-Analyse für bestehende und geplante Dienste

Unternehmen mit relevanten Angeboten sollten kurzfristig eine Gap-Analyse durchführen:

• Welche Produkte fallen mit hoher Wahrscheinlichkeit in die Kategorie der „menschlichen/emotional interagierenden KI“?

• Welche bestehenden Mechanismen zur KI-Kennzeichnung, Suchtprävention und psychologischen Risikobewertung existieren bereits – und wo gibt es Lücken?

• Wie werden heute Daten zu Emotionen und Interaktionen erhoben, gespeichert und genutzt?

2. Aufbau eines interdisziplinären Governance-Teams

Die neuen Entwürfe lassen sich nicht nur als Rechts- oder IT-Thema behandeln. Unternehmen sollten Teams aufsetzen, in denen vertreten sind:

• Recht & Compliance (inkl. China- und Datenschutzexpertise),

• Produkt- und UX-Design,

• Data Science / ML / MLOps,

• Psychologie / Verhaltenswissenschaft (intern oder als externer Beirat),

• Lokale Geschäftsführung in China.

Dieses Team sollte die Entwürfe analysieren, Interpretationsleitfäden ausarbeiten und Roadmaps für Produktanpassungen entwickeln.

3. Technische Roadmap für Compliance-by-Design

Wesentliche Bausteine einer technischen Roadmap:

• Implementierung robuster KI-Identitätskennzeichnung in UI/UX.

• Entwicklung von Nutzungs- und Verhaltensmetriken, die potenzielle Abhängigkeit erkennen.

• Aufbau eines Interventionsframeworks (Warnungen, Pausen, Eskalationen).

• Stärkung von Content-Safeguards (Filter, Moderation, Retraining) spezifisch für den chinesischen Regulierungskontext.

• Härtung der Dateninfrastruktur mit Fokus auf emotionalen und personenbezogenen Daten.

4. Szenario-Planung für internationale Regulierungsangleichung

Es ist wahrscheinlich, dass Elemente dieses Ansatzes – insbesondere bezüglich Transparenz und Schutz vor psychologischer Manipulation – in anderen Jurisdiktionen aufgegriffen werden.

Empfehlung:

• Vergleich mit EU-AI-Act, DSGVO und einschlägigen US-Regelungsinitiativen.

• Entwicklung eines globalen Minimalstandards für human‑like KI, der regional nur noch feinjustiert wird.

• Nutzung Chinas als „Front-Runner“-Fall, um Compliance-Kompetenz aufzubauen, die später in andere Märkte übertragen werden kann.

5. Kommunikationsstrategie gegenüber Kunden und Öffentlichkeit

Unternehmen sollten die entstehenden Anforderungen nicht nur als Pflicht, sondern auch als Kommunikationsanlass verstehen:

• Proaktive Information über Schutzmechanismen und ethische Leitlinien.

• Transparente Darlegung, wie mit emotionalen Daten umgegangen wird.

• Betonung, dass emotional interagierende KI als unterstützendes Werkzeug, nicht als menschlicher Ersatz konzipiert ist.

Dies kann Vertrauen schaffen – gerade bei sensiblen Anwendungen in Gesundheit, Bildung oder Pflege.

Fazit: China definiert neue Standards für emotional interagierende KI

Die neuen Entwürfe der Cyberspace-Verwaltung markieren einen wichtigen Schritt in der weltweiten Regulierung von KI-Systemen, die bewusst wie Menschen wirken und emotionale Bindungen aufbauen.

Für Unternehmen ergeben sich daraus sowohl Herausforderungen als auch Gestaltungschancen:

• Die klassische Fokussierung auf Datenschutz und Content-Moderation wird um eine starke psychologische Komponente erweitert.

• Anbieter müssen Sicherheit, Ethik und Suchtprävention in das Kern-Design ihrer Produkte integrieren.

• China positioniert sich als Taktgeber für Regulierung von Companion- und Agenten-KI – mit potenziell globaler Signalwirkung.

Wichtigste Takeaways für Entscheider

• Human‑like KI als eigene Risikoklasse: China führt erstmals einen spezifischen Regulierungsrahmen für emotional interagierende KI-Systeme ein.

• Psychologische Risiken im Fokus: Sucht, emotionale Abhängigkeit und extreme Emotionen werden zu zentralen Compliance-Themen neben Datenschutz und Sicherheit.

• Transparenz und Interventionspflicht: Klare KI-Kennzeichnung und aktive Eingriffe bei Übernutzung sind verpflichtend – mit direktem Einfluss auf UX und Produktstrategie.

• Lebenszyklus-Verantwortung: Anbieter tragen umfassende Verantwortung von Entwicklung über Betrieb bis zu Updates, inkl. regelmäßiger Sicherheitsbewertungen.

• Signalwirkung über China hinaus: Unternehmen, die ihre KI-Angebote frühzeitig an diese Standards anpassen, können sich international einen Vorsprung in verantwortungsvoller, regulierungskonformer KI-Entwicklung sichern.

Häufig gestellte Fragen (FAQ)

Was regeln die neuen chinesischen Entwürfe zu „menschlicher“ bzw. emotional interagierender KI konkret?

Die Entwürfe der chinesischen Cyberspace-Verwaltung (CAC) schaffen einen speziellen Regulierungsrahmen für KI-Systeme, die menschliche Persönlichkeiten, Denkweisen und emotionale Interaktionen simulieren. Erfasst werden vor allem Chatbots, Companion‑Apps, virtuelle Influencer, Pflege‑Roboter und Social‑/Gaming‑Dienste mit langfristigem Beziehungsaufbau zur breiten Öffentlichkeit in China.

Wie funktionieren die neuen Pflichten zu Transparenz und Suchtprävention bei emotionaler KI?

Anbieter müssen Nutzer klar und wiederkehrend darüber informieren, dass sie mit einer KI interagieren – spätestens beim Start der Nutzung und in regelmäßigen Abständen. Gleichzeitig müssen sie Nutzungs- und Verhaltensdaten auswerten, um Anzeichen von Übernutzung oder emotionaler Abhängigkeit zu erkennen und dann aktiv zu intervenieren, etwa durch Warnhinweise, Pausen oder Eskalation an Hilfsangebote.

Welche Auswirkungen haben die Entwürfe auf Produktdesign und User Experience von Companion- und Social-KI?

KI-Produkte müssen von rein engagementgetriebenen hin zu „Engagement unter Aufsicht“-Designs umgebaut werden. Das betrifft Session-Limits, Warnmechanismen, Tonalität der Antworten und Grenzen der emotionalen Intensität – insbesondere bei Minderjährigen oder vulnerablen Nutzern.

Worin unterscheidet sich Chinas Ansatz zur Regulierung emotionaler KI von bisherigen KI-Rahmenwerken?

Während viele existierende Rahmen vor allem Datenschutz, Informationssicherheit und Diskriminierung adressieren, rückt China psychologische Risiken wie Sucht, emotionale Abhängigkeit und extreme Emotionen ins Zentrum. Zudem wird human‑like bzw. emotional interagierende KI explizit als eigene Risikoklasse behandelt, mit lebenszyklusweiter Anbieter-Verantwortung und inhaltlichen roten Linien, etwa zu nationaler Sicherheit und „sozialistischen Kernwerten“.

Welche besonderen Schutzpflichten gelten für Minderjährige und andere vulnerable Gruppen bei emotionaler KI in China?

Für Kinder und Jugendliche sind strengere Nutzungsbegrenzungen, inhaltsbezogene Beschränkungen und gegebenenfalls zusätzliche Authentifizierung vorgesehen. Für ältere Menschen, psychisch Erkrankte oder sozial isolierte Nutzer verlangen die Entwürfe engere Überwachung emotionaler Abhängigkeit, intensivere Interventionspflichten und die Einbindung von Betreuungspersonal oder Angehörigen bei auffälligen Mustern.

Was sollten Unternehmen mit emotional interagierenden KI-Diensten jetzt konkret tun, um sich vorzubereiten?

Unternehmen sollten eine Gap-Analyse ihrer bestehenden oder geplanten Produkte im chinesischen Markt durchführen und prüfen, ob sie als human‑like/emotionale KI gelten. Darauf aufbauend sind ein interdisziplinäres Governance‑Team, eine technische Roadmap für KI-Kennzeichnung, Suchtprävention, Content-Safeguards und Datensicherheit sowie angepasste Kommunikationsstrategien gegenüber Nutzern und Behörden aufzusetzen.

Welche strategischen Chancen ergeben sich für internationale Anbieter durch Chinas neue KI-Entwürfe?

Frühe Compliance kann als Markteintrittsbarriere wirken und Anbietern einen Reputations- und Vertrauensvorsprung sichern. Zudem können Unternehmen China als „Front-Runner“-Fall nutzen, um globale Minimalstandards für verantwortungsvolle, emotional interagierende KI zu entwickeln, die später in der EU, den USA und anderen Märkten anschlussfähig sind.