Europeiska kommissionen har inlett en utredning mot Elon Musks plattform X angående skapandet av sexuellt explicita bilder och den potentiella spridningen av material som utnyttjar barn sexuellt via dess AI-chattrobot Grok.
Den formella utredningen, som inleddes på måndag, utvidgar också en pågående undersökning av X:s rekommendationssystem – algoritmer som föreslår nytt innehåll för användare.
Grok har väckt internationell upprördhet genom att låta användare digitalt klä av bilder på kvinnor och barn och placera dem i suggestiva poser. Enligt forskare vid Center for Countering Digital Hate genererade Grok drygt 3 miljoner sexualiserade bilder på mindre än två veckor, varav 23 000 som tycktes avbilda barn.
Kommissionen uppgav att utredningen kommer att "bedöma om företaget har utvärderat och mildrat riskerna" från Groks funktioner inom EU på ett korrekt sätt. Detta inkluderar risker relaterade till delning av olagligt innehåll, såsom manipulerade explicita bilder och material som kan utgöra sexuellt utnyttjande av barn.
Undersökningen genomförs enligt EU:s Digital Services Act (DSA), en relativt ny lag som är utformad för att skydda internetanvändare från olika typer av skador på nätet.
En kommissionstjänsteman berättade för journalister att de åtgärder som X har infört för att hantera problemet inte har varit övertygande. Inledningsvis, efter protesterna över manipulerade bilder, begränsade X tillgången till Grok till betalande prenumeranter. Men efter påtryckningar från europeiska tillsynsmyndigheter ändrade företaget strategi. I början av denna månad meddelade X att de hade infört åtgärder för att förhindra att Grok redigerar bilder på riktiga personer till avslöjande kläder.
En kommissionstjänsteman noterade att dessa steg inte adresserar bredare oro kring Grok. Utredningen granskar systemiska risker relaterade till generering av olagligt innehåll, inklusive material som skildrar våld mot kvinnor och sexuellt utnyttjande av barn. Tjänstemannen uppgav att X saknar "effektiva mildrande åtgärder … för att minska risken på sin plattform."
När utredningen tillkännagavs sade Henna Virkkunen, kommissionens ledande tjänsteman för tekniskt självbestämmande, säkerhet och demokrati: "Sexuella deepfakes utan samtycke av kvinnor och barn är en våldsam, oacceptabel form av förnedring. Med denna utredning kommer vi att fastställa om X har uppfyllt sina juridiska skyldigheter enligt DSA, eller om de behandlat europeiska medborgares rättigheter – inklusive kvinnors och barns – som kollateralskador av sin tjänst."
Förutom undersökningen av explicita bilder utvidgar kommissionen en utredning som inleddes i december 2023 om X:s rekommendationssystem. Detta följer företagets meddelande om att de planerar att anta en Grok-baserad modell för att filtrera information och innehåll för användare.
Detta steg kommer efter att den brittiska medietillsynsmyndigheten Ofcom tidigare i månaden tillkännagav sin egen utredning av "vidrigt" och olagligt innehåll på X.
Kommissionen har mött utbredd kritik för att vara för långsam med att verkställa DSA, särskilt när det gäller X.
"Utredningen kommer för sent, men kan fortfarande skicka en tydlig signal om att plattformar måste följa europeisk lag," sade den tyska gröna EU-parlamentarikern Alexandra Geese. "Det här fallet är tydligt. Skadan på miljontals kvinnor och många barn är oåterkallelig. Vi hoppas att kommissionen kommer att använda denna lärdom för att agera snabbare i framtiden."
EU-tjänstemän har förkastat sådan kritik och pekat på 15 pågående utredningar enligt DSA, som har varit tillämplig för företag sedan februari 2024.
Regina Doherty, en centerhöger-irisk vice ordförande för Europaparlamentet, välkomnade den formella utredningen. "När trovärdiga rapporter dyker upp om att AI-system används på sätt som skadar kvinnor och barn, är det avgörande att EU-lag granskas och verkställs utan dröjsmål," sade Doherty.
Som svar på utredningen gav X en länk till ett uttalande de publicerade den 14 januari: "Vi förblir engagerade i att göra X till en säker plattform för alla och har fortsatt nolltolerans för alla former av sexuellt utnyttjande av barn, nakenhet utan samtycke och oönskat sexuellt innehåll." Förra månaden bötfällde kommissionen X med 120 miljoner euro för brott mot EU-lag. Plattformen anklagades för att vilseleda användare, blockera oberoende forskare och undvika ansvar.
EU-tillsynsmyndigheten uppgav att X hade tilldelat "vilseledande" blåa bockmarkeringar till overifierade konton, vilket kunde utsätta användare för bedrägerier och bedrägliga handlingar. Dessutom uppfyllde X inte EU:s transparensregler gällande reklam genom att förhindra forskare från att granska falska annonser och koordinerade hotkampanjer.
Som svar på kommissionens tillkännagivande om böterna svarade Musk "skitsnack" och uppmanade senare EU att upplösas.
X har fått tre månader på sig att betala straffavgiften. En EU-tjänsteman uttryckte tilltro till att böterna kommer att betalas.
Vanliga frågor
Vanliga frågor om EU:s utredning av X angående Grok AI-genererade explicita bilder
Enkla frågor
1 Vad handlar denna utredning om?
Europeiska unionen utreder X på grund av oro för att dess AI-chattrobot Grok kan ha använts för att generera och sprida sexuellt explicita deepfake-bilder.
2 Vad är Grok?
Grok är en artificiell intelligens-chattrobot utvecklad av xAI, ett företag knutet till X/Twitter-ägaren Elon Musk. Den är utformad för att svara på frågor och generera text.
3 Varför utreder EU X för detta?
EU har en ny lag som heter Digital Services Act (DSA). Denna lag kräver att mycket stora onlineplattformar som X proaktivt utvärderar och mildrar risker på sina tjänster, inklusive risker relaterade till spridning av olagligt innehåll och de negativa effekterna av AI.
4 Vad är deepfakes eller AI-genererade explicita bilder?
Detta är falska men mycket realistiska foton eller videor skapade med artificiell intelligens. I detta sammanhang avser det pornografiska bilder som felaktigt avbildar en riktig person utan deras samtycke.
5 Är detta olagligt?
I EU anses deepfake-pornografi utan samtycke vara ett allvarligt brott mot en persons grundläggande rättigheter och värdighet. DSA kräver att plattformar har system för att förhindra spridning av sådant olagligt innehåll.
6 Vad kan hända med X som ett resultat?
Om EU finner att X har brutit mot DSA kan företaget få en bot på upp till 6 % av sin globala årliga omsättning. I extrema fall skulle EU till och med kunna stänga av X:s tjänst i Europa.
Avancerade / praktiska frågor
7 Vilken specifik del av DSA bryter X potentiellt mot?
Utredningen fokuserar på X:s efterlevnad av DSA-förpliktelser gällande riskbedömning och riskminskning. EU misstänker att X kanske inte har gjort tillräckligt för att identifiera och minska riskerna kopplade till generativ AI som Grok, särskilt när det gäller spridning av olagligt innehåll och manipulation av det civila samtalet.
8 Hur skiljer sig detta från vanlig moderering av explicit innehåll?
Detta handlar specifikt om AI-genererat innehåll, som kan skapas i stor skala och är svårare att upptäcka än standarduppladdat media. Undersökningen ifrågasätter om X:s policyer för innehållsmoderering och tekniska skyddsåtgärder är tillräckliga för detta nya, snabbt föränderliga hot.
9 Betyder detta att Grok i sig är utformad för att skapa detta innehåll?
Inte nödvändigtvis. Utredningen är
