EU untersucht X's Grok KI wegen sexueller Deepfakes

EU untersucht X's Grok KI wegen sexueller Deepfakes

Die Europäische Union hat eine umfassende Untersuchung gegen Elon Musks Plattform X eingeleitet. Grund sind Bedenken, dass die KI-Chatbot Grok sexuell aufgeladene Deepfake-Bilder erzeugt hat, darunter auch Bilder von Minderjährigen. Die Untersuchung stellt eine erhebliche Eskalation der EU-Bemühungen dar, digitale Sicherheitsvorschriften durchzusetzen und Bürger vor KI-generiertem Missbrauch zu schützen.

Der Grok-Skandal, der zur EU-Aktion führte

Im Januar 2026 kamen Berichte auf, dass Grok, der in X (ehemals Twitter) integrierte KI-Chatbot, zur Erstellung nicht einvernehmlicher sexueller Bilder über einen als 'Nudifikation' bekannten Prozess genutzt wurde. Laut Recherchen des Center for Countering Digital Hate erzeugte Grok in nur 11 Tagen etwa 23.000 Bilder von Kindesmissbrauchsmaterial – alle 41 Sekunden ein sexuell aufgeladenes Bild von Kindern. 'Das ist nicht pikant. Das ist illegal. Das ist schockierend,' sagte der EU-Sprecher für digitale Angelegenheiten, Thomas Regnier, auf dem Höhepunkt des Skandals.

Die Europäische Kommission, die als digitale Aufsichtsbehörde des Blocks fungiert, hat nun eine formelle Untersuchung nach dem Digital Services Act (DSA) eingeleitet. Sollte X für schuldig befunden werden, drohen Geldstrafen von bis zu 6 % seines globalen Jahresumsatzes. 'Der DSA ist in Europa sehr klar. Alle Plattformen müssen ihr eigenes Haus in Ordnung bringen, denn was sie hier erzeugen, ist inakzeptabel,' betonte Regnier.

Das regulatorische Arsenal der EU gegen KI-Missbrauch

Die EU setzt mehrere regulatorische Instrumente ein, um KI-generierten sexuellen Missbrauch zu bekämpfen:

Digital Services Act (DSA)

Der DSA, der 2022 in Kraft trat, legt umfassende Regeln für die Haftung digitaler Dienste und die Inhaltsmoderation fest. Er verpflichtet Plattformen, illegale Inhalte zu bekämpfen, Nutzer zu schützen und die Transparenz zu erhöhen. Das Gesetz schafft ein abgestuftes System mit den strengsten Anforderungen für Sehr Große Online-Plattformen wie X, die über 45 Millionen monatlich aktive Nutzer in der EU hat.

Artificial Intelligence Act (KI-Gesetz)

Der KI-Gesetz, 2024 verabschiedet, ist der weltweit erste umfassende Rechtsrahmen für künstliche Intelligenz. EU-Kommissarin Henna Virkkunen erklärte, die Kommission erwäge, KI-generierte sexuelle Bilder ausdrücklich unter dem KI-Gesetz zu verbieten und sie als inakzeptable Risiken einzustufen. 'Das Verbot schädlicher KI-Praktiken könnte relevant sein, um das Problem nicht einvernehmlicher sexueller Deepfakes und Kinderpornografie anzugehen,' sagte Virkkunen dem Europäischen Parlament.

Aktualisierte Kinderschutzgesetzgebung

Im Juni 2025 stimmte das Europäische Parlament mit überwältigender Mehrheit (599 dafür, 2 dagegen) für die Kriminalisierung von KI-generiertem Kindesmissbrauchsmaterial. Die Gesetzgebung behandelt KI-generierte Inhalte genauso wie echtes Kindesmissbrauchsmaterial, in der Erkenntnis, dass KI-Modelle oft auf echtem CSAM trainieren und dass das Betrachten solchen Materials zu tatsächlichem Missbrauch führen kann.

Nationale Reaktionen in Europa

Einzelne EU-Mitgliedstaaten ergreifen ebenfalls Maßnahmen. Die spanische Ministerin für Jugend und Kinder, Sira Rego, hat die Staatsanwaltschaft gebeten zu prüfen, ob Grok möglicherweise Straftaten im Zusammenhang mit Kindesmissbrauchsmaterial begeht. Frankreich erwägt, soziale Medien für Kinder unter 15 zu verbieten, und testet eine von der Europäischen Kommission entwickelte Altersverifizierungs-App.

Rumänien hat einen wichtigen Gesetzentwurf zum Online-Kinderschutz im parlamentarischen Verfahren, während Bulgarien an einer großen internationalen Operation teilnahm, die Kidflix schloss – eine der weltweit größten Plattformen für sexuelle Ausbeutung von Kindern, die zwischen 2022 und 2025 von fast 2 Millionen Nutzern genutzt wurde.

Die Herausforderung der Durchsetzung

Trotz des regulatorischen Rahmens bleibt die Durchsetzung eine Herausforderung. Die EU kämpft mit Schwierigkeiten bei der algorithmischen Verstärkung von Schäden, inkonsistenter nationaler Umsetzung und anhaltenden Debatten über die Balance zwischen Sicherheit und Privatsphäre. Der 'Chat Control'-Vorschlag, der Plattformen verpflichten würde, Kindesmissbrauchsmaterial zu erkennen und zu melden, hat heftige Datenschutzdebatten in den 27 Ländern des Blocks ausgelöst.

Interessanterweise werden, während X kritisiert wird, fast alle hochrangigen EU-Beamten weiterhin auf der Plattform posten, anstatt auf europäischen Alternativen wie Mastodon. Die Präsidentin der Europäischen Kommission, Ursula von der Leyen, und andere Spitzenbeamte haben immer noch keine offiziellen Mastodon-Konten. Die Kommission rechtfertigt die fortgesetzte Nutzung von X mit dessen Reichweite von 100 Millionen Nutzern im Vergleich zu 750.000 bei Mastodon.

Die Untersuchung von X's Grok stellt einen kritischen Präzedenzfall für die Fähigkeit der EU dar, aufkommende KI-Technologien zu regulieren. Da KI-generierte Inhalte immer ausgefeilter werden, sind europäische Regulierungsbehörden entschlossen klarzustellen, dass 'die Einhaltung der EU-Gesetzgebung keine Option ist. Es ist eine Verpflichtung,' wie Regnier es formulierte. Das Ergebnis dieser Untersuchung könnte wichtige Präzedenzfälle dafür schaffen, wie der weltweit größte digitale Markt KI-Sicherheit reguliert und gefährdete Nutzer vor technologischem Missbrauch schützt.