Kalifornien verschärft KI-Anforderungen für staatliche Aufträge: Was das neue Executive Order für Anbieter bedeutet

Ausgangslage: Neues Executive Order vom 30. März 2026

Kaliforniens Gouverneur Gavin Newsom hat am 30. März 2026 ein Executive Order unterzeichnet, das die Hürden für KI-Anbieter im öffentlichen Sektor deutlich erhöht. Unternehmen, die KI-Systeme an kalifornische Behörden liefern wollen, müssen künftig strengere Nachweise zu Sicherheit, Datenschutz und Missbrauchsprävention erbringen.

Parallel dazu erhält der Bundesstaat den Auftrag, generative KI stärker in eigenen Services zu nutzen – etwa in Form eines KI-gestützten Assistenten für Bürgerkontakte. Damit koppelt Kalifornien eine Ausweitung des KI-Einsatzes mit verschärften Governance-Anforderungen.

Kerninhalte des Executive Orders

Strengere Standards für Anbieter

Das Executive Order adressiert insbesondere Unternehmen, die KI-Systeme an staatliche Stellen in Kalifornien verkaufen oder betreiben. Zentrale Punkte:

• Nachweis von Schutzmaßnahmen gegen Missbrauch

- Verhinderung der Generierung illegaler Inhalte (z. B. Darstellungen sexualisierter Gewalt gegen Kinder, nicht-einvernehmliche intime Abbildungen).

- Mechanismen gegen die Förderung strafbarer Handlungen oder klar rechtswidriger Inhalte.

• Umgang mit Bias und Diskriminierung

- Anforderungen an Verfahren zur Identifikation und Minderung schädlicher Verzerrungen in Modellen.

- Governance-Prozesse, die algorithmische Diskriminierung – etwa bei Zugang zu Leistungen, Krediten oder im Justizumfeld – adressieren.

• Schutz von Bürgerrechten und Freiheitsrechten

- Schutz von Meinungsfreiheit, Wahlrechte, körperlicher und informationeller Selbstbestimmung.

- Besondere Sensibilität bei Systemen mit Überwachungscharakter oder hohem Einfluss auf Grundrechte (z. B. Scoring, Predictive Policing, automatisierte Entscheidungen in Sozialprogrammen).

• Verstärkte Datenschutz- und Sicherheitsauflagen

- Voraussichtlich höhere Anforderungen an Datenminimierung, Zugriffskontrollen, Protokollierung und Vorfallmanagement.

- Verzahnung mit bestehenden kalifornischen Datenschutzstandards (z. B. CCPA/CPRA) und branchenspezifischen Vorgaben.

Neue Zertifizierungs- und Nachweispflichten

Innerhalb von 120 Tagen sollen die zuständigen Stellen (u. a. Department of General Services und Department of Technology) Empfehlungen für neue KI-bezogene Vendor-Zertifizierungen vorlegen. Absehbare Elemente:

• Standardisierte Fragebögen und Selbstzertifizierungen zur Responsible-AI-Governance.

• Dokumentationspflichten zu Trainingsdaten, Modellzweck, Risikoanalyse und Kontrollmechanismen.

• Potenziell Audit- oder Review-Prozesse für Systeme mit erhöhtem Risiko.

Für Anbieter bedeutet das: Ohne strukturiertes KI-Risikomanagement und belastbare Dokumentation wird eine Teilnahme an Ausschreibungen kaum noch möglich sein.

Nutzung von Generative AI in kalifornischen Behörden

Das Executive Order zielt nicht auf Einschränkung, sondern auf gezielte Ausweitung des KI-Einsatzes im Staat – unter klaren Leitplanken.

Geplante Use Cases

• KI-Assistent für Bürgerkontakte

- Unterstützung bei digitalen Behördengängen, Formularen und Leistungsanträgen.

- Mehrsprachige, niedrigschwellige Informationen zu Zuständigkeiten und Fristen.

• Vetted GenAI-Tools für Mitarbeiter

- Bereitstellung geprüfter generativer KI-Werkzeuge (z. B. für Textentwürfe, Zusammenfassungen, Recherche) mit definierten Datenschutz- und Sicherheitsstandards.

• Toolkits und Leitfäden

- Entwicklung eines Data-Minimization-Toolkits für den Umgang mit sensiblen Daten.

- Interne Policies, welche Anwendungsfälle zulässig sind und welche tabu bleiben (z. B. keine vollautomatisierten Ablehnungen von Leistungsanträgen ohne menschliche Prüfung).

Für Anbieter ergibt sich hier eine Doppelrolle: Wer die Sicherheitsanforderungen erfüllt, kann an wachsendem Nachfragevolumen im öffentlichen Sektor partizipieren.

Konkrete Auswirkungen auf Unternehmen

1. Anpassung von Governance und Compliance-Strukturen

Unternehmen, die heute schon an kalifornische Behörden liefern oder das perspektivisch planen, sollten kurzfristig:

• Ein formales KI-Governance-Framework etablieren oder nachschärfen (Rollen, Zuständigkeiten, Entscheidungswege).

• Risikoklassifizierung für alle angebotenen KI-Systeme vornehmen (z. B. nach Auswirkungen auf Grundrechte, kritische Infrastrukturen, vulnerable Gruppen).

• Prozesse für Incident- und Abuse-Management definieren, inklusive Melde- und Eskalationswegen.

Beispiel: Ein Anbieter eines Sprachmodells für Chatbots in Bürgerportalen muss dokumentieren können, wie er Prompt-Filter, Moderationssysteme und Monitoring einsetzt, um rechtswidrige Inhalte zu verhindern.

2. Technische und organisatorische Maßnahmen nachrüsten

Bereiche mit typischem Handlungsbedarf:

• Content-Filter und Moderation

- Kombination aus Modellsicherungen (z. B. RLHF-Sicherheitsziele) und nachgelagerten Moderationsschichten.

- Blacklists/Heuristiken für bekannte Risikobereiche sowie regelmäßige Updates.

• Bias- und Fairness-Analysen

- Aufbau wiederkehrender Tests für relevante Gruppenmerkmale (z. B. Geschlecht, Ethnie, Alter, Behinderung), sofern rechtlich zulässig und technisch möglich.

- Dokumentation von Ergebnissen und ergriffenen Minderungsmaßnahmen.

• Protokollierung und Nachvollziehbarkeit

- Logging von Modellversionen, Eingaben, Ausgaben und Entscheidungspfaden im Rahmen der gesetzlichen Grenzen.

- Vorbereitung auf mögliche Audits oder Auskunftsersuchen von Behörden.

3. Auswirkungen auf europäische und deutsche Anbieter

Auch wenn sich das Executive Order formell nur auf Kalifornien bezieht, ist die Wirkung erfahrungsgemäß international:

• De-facto-Standard über den Markt

- Wer in Kalifornien liefern will, wird seine Sicherheits- und Governance-Standards typischerweise global anheben, um nicht für einzelne Märkte Sonderlösungen bauen zu müssen.

• Brücke zum EU AI Act

- Viele Elemente (Risikobeurteilung, Dokumentation, Bias-Minderung, Transparenz) überschneiden sich mit Anforderungen des EU AI Act.

- Unternehmen, die bereits EU-konforme KI-Risikoprozesse aufbauen, können diese mit vergleichsweise geringem Mehraufwand auf kalifornische Anforderungen ausdehnen.

• Wettbewerbsvorteil für regulierungserfahrene Anbieter

- Anbieter mit etablierten Compliance-Strukturen (z. B. aus dem Finanz- oder Gesundheitssektor) können ihre Erfahrung nun als Verkaufsargument ausspielen.

Handlungsempfehlungen für Entscheider

Kurzfristig (0–3 Monate)

• Regulatorische Analyse: Juristische Bewertung des Executive Orders und Abgleich mit bestehenden internen Richtlinien.

• GAP-Analyse: Identifikation von Lücken in Governance, Dokumentation, Sicherheit und Bias-Management.

• Stakeholder-Mapping: Festlegen, welche Geschäftsbereiche (Public Sector Sales, Legal, IT Security, Data Science) eingebunden werden müssen.

Mittelfristig (3–12 Monate)

• Einführung eines unternehmensweiten KI-Risikomanagements – idealerweise integriert in bestehende GRC-Strukturen (Governance, Risk, Compliance).

• Vorbereitung auf Vendor-Zertifizierungen: Aufbau standardisierter Dossiers, die bei Ausschreibungen wiederverwendet werden können (Model Cards, Datenquellen, Sicherheitskonzept, DPIAs etc.).

• Pilotprojekte im öffentlichen Sektor: In Kooperation mit Behörden frühzeitig Referenzprojekte aufsetzen, um praktische Erfahrungen mit den neuen Anforderungen zu sammeln.

Strategische Perspektive

Für Unternehmen mit öffentlichen Auftraggebern in den USA ist das Executive Order ein deutlicher Hinweis:

• KI ohne belastbare Governance wird im Public-Sector-Geschäft kaum noch verkaufbar sein.

• Staaten wie Kalifornien nutzen ihre Marktgröße, um faktische Mindeststandards für KI-Sicherheit und Bürgerrechtsschutz zu setzen.

• Wer jetzt in robuste Strukturen investiert, wird nicht nur kalifornische Ausschreibungen bedienen, sondern ist auch besser auf kommende Regulierungen in anderen Staaten und auf Bundesebene vorbereitet.

Fazit

Das neue Executive Order aus Kalifornien verschärft die Anforderungen an KI-Anbieter für staatliche Aufträge deutlich, koppelt diese aber an eine strategische Ausweitung des KI-Einsatzes in der Verwaltung. Für Unternehmen entsteht damit gleichermaßen Druck zur Compliance und die Chance auf neue Geschäftspotenziale. Entscheidend wird sein, KI-Governance nicht als reines Regulierungsthema, sondern als integralen Bestandteil von Produktstrategie und Vertriebsfähigkeit im öffentlichen Sektor zu begreifen.

Häufig gestellte Fragen (FAQ)

Was regelt das neue Executive Order zu Künstlicher Intelligenz in Kalifornien konkret?

Das Executive Order vom 30. März 2026 verschärft die Anforderungen für Unternehmen, die KI-Systeme an kalifornische Behörden liefern wollen. Es verlangt nachweisbare Maßnahmen zu Sicherheit, Datenschutz, Missbrauchsprävention, Bias-Management sowie zum Schutz von Bürger- und Freiheitsrechten.

Wie verändern sich die Beschaffungsprozesse für KI-Anbieter bei staatlichen Aufträgen in Kalifornien?

Beschaffungsprozesse werden stärker formalisiert und risikobasiert ausgerichtet. Anbieter müssen künftig strukturierte Dokumentation, Risikoanalysen und Nachweise zu Governance, Datenschutz und Fairness vorlegen, um überhaupt an Ausschreibungen teilnehmen zu können.

Welche Auswirkungen hat das Executive Order auf europäische und deutsche KI-Anbieter?

Europäische und deutsche Anbieter, die in Kalifornien tätig sein wollen, müssen ihre KI-Governance- und Compliance-Standards anheben. Gleichzeitig können sie Synergien mit dem EU AI Act nutzen, da viele Anforderungen an Risikomanagement, Dokumentation und Bias-Minderung inhaltlich ähnlich sind.

Was ist der Unterschied zwischen den neuen Vendor-Zertifizierungen und bisherigen Compliance-Anforderungen?

Die geplanten KI-bezogenen Vendor-Zertifizierungen sind spezifisch auf KI-Risiken und -Governance zugeschnitten und gehen über allgemeine IT- oder Sicherheitsstandards hinaus. Sie verlangen detaillierte Angaben zu Trainingsdaten, Modellzweck, Risikoklassifizierung, Kontrollmechanismen und gegebenenfalls Audits für Hochrisikosysteme.

Wie will Kalifornien generative KI in der Verwaltung einsetzen, ohne die Risiken zu erhöhen?

Kalifornien plant den Einsatz generativer KI vor allem in Form geprüfter Assistenten für Bürgerkontakte und interner Tools für Mitarbeiter. Dieser Ausbau ist an klare Leitplanken gekoppelt, darunter Datenschutzvorgaben, Data-Minimization-Toolkits, erlaubte und verbotene Use Cases sowie das Verbot vollautomatisierter Entscheidungen ohne menschliche Prüfung in sensiblen Bereichen.

Was sollten Technologieunternehmen jetzt tun, um sich auf die neuen kalifornischen KI-Anforderungen vorzubereiten?

Unternehmen sollten kurzfristig eine regulatorische Analyse und GAP-Analyse durchführen, ein formales KI-Governance-Framework etablieren und KI-Risikomanagement in bestehende GRC-Strukturen integrieren. Parallel lohnt es sich, standardisierte Dokumentationspakete (Model Cards, Sicherheitskonzepte, DPIAs) aufzubauen und gezielt Pilotprojekte im Public Sector zu planen.

Wie können KI-Anbieter Missbrauch, Bias und Diskriminierung in ihren Systemen nachweisen und mindern?

Anbieter sollten technische Maßnahmen wie Content-Filter, Moderationsschichten und regelmäßige Bias- und Fairness-Tests implementieren. Ergänzend sind klare Prozesse für Incident- und Abuse-Management, umfassende Protokollierung sowie nachvollziehbare Dokumentation der Testergebnisse und Minderungsmaßnahmen erforderlich.