POČETKOM svibnja 2022. godine, nekoliko dana prije nego što je pokrenula kontroverzni prijedlog Uredbe o sprječavanju i borbi protiv seksualnog zlostavljanja djece, tadašnja povjerenica Europske unije za unutarnje poslove Ylva Johansson poslala je pismo američkoj organizaciji Thorn koju su 2012. osnovale filmske zvijezde Ashton Kutcher i Demi Moore, piše Balkanska istraživačka mreža za novinarstvo (BIRN).

Thorn razvija alate umjetne inteligencije za traženje sadržaja seksualnog zlostavljanja djece na internetu, a uredba koju je inicirala Ylva Johansson osmišljena je kako bi se suzbilo širenje takvog sadržaja na aplikacijama za razmjenu poruka. Švedska političarka, koja više nije europska povjerenica, zatražila je od izvršne direktorice Thorna, Julie Cordua, podršku za svoju kampanju.

Kako je Index već pisao, uredba bi obvezala digitalne platforme za komunikaciju, poput Facebooka, Telegrama, WhatsAppa, Signala, Snapchata, TikToka, usluge u oblaku i internetske stranice za online igranje, da u svojim sustavima i u privatnim razgovorima korisnika otkrivaju i prijavljuju svaki trag materijala seksualnog zlostavljanja djece (CSAM).

Iako su je neke organizacije za zaštitu djece pozdravile, uredba koja se kolokvijalno naziva Chat Control 2.0 još nije stupila na snagu, ali već godinama izaziva sveobuhvatnu kritiku zagovornika privatnosti i tehnoloških stručnjaka koji kažu da se tako zapravo ustrojava golemi nadzorni sustav koji će ugroziti end-to-end šifriranje, trenutačno najviši stupanj zaštite digitalne komunikacije.

Pokušaj kontrole privatne komunikacije bez presedana

BIRN-ovo istraživanje otkriva mrežu utjecaja u moćnoj koaliciji raznih nevodno dobrotvornih i neprofitnih organizacija koja stoji iza prijedloga Europske komisije o skeniranju materijala o seksualnom zlostavljanju djece na internetu.

Kritičari poput Patricka Breyera, aktivista za digitalna prava i bivšeg zastupnika Europskog parlamenta, osudili su ovu regulativu kao pokušaj kontrole privatne komunikacije bez presedana koji dovodi prava građana u opasnost i uvodi nove ranjivosti potkopavanjem enkripcije.

Europski nadzornik za zaštitu podataka Wojciech Wiewiorowski još je 2020. godine upozorio Johansson na rizike, ističe BIRN: "Ovi planovi predstavljaju 'prelazak Rubikona' kada je riječ o masovnom nadzoru građana EU-a. Oni bi temeljito promijenili internet i digitalnu komunikaciju kakvu poznajemo".

Tko će imati koristi od uredbe?

Na temelju intervjua, dokumenata i uvida u interne rasprave Europske komisije, BIRN povezuje konce između ključnih aktera koji financiraju i organiziraju kampanju za uredbu i otkriva njihove veze s bivšom povjerenicom Johansson i njezinim suradnicima. Neke tvrtke iz područja umjetne inteligencije i lobističke skupine tako su stekle visok stupanj utjecaja na oblikovanje politike EU-a.

"Predložena uredba previše je pod utjecajem tvrtki koje se predstavljaju kao nevladine organizacije, ali djeluju više kao tehnološke kompanije. Skupine poput Thorna koriste sve što mogu kako bi pogurale uredbu, ne samo zato što smatraju da je to put naprijed u borbi protiv seksualnog zlostavljanja djece, nego i zato što za to imaju komercijalni interes", rekla je Arda Gerkens, bivša ravnateljica Stručnog centra za online zlostavljanje djece te zapitala: "Tko će imati koristi od uredbe? Djeca neće".

Ashton Kutcher podnio je u rujnu 2023. ostavku na mjesto predsjednika upravnog odbora Thorna zbog kontroverze koju je izazvao pismom podrške Dannyju Mastersonu, osuđenom silovatelju i kolegi iz serije "That '70s Show". Do tog trenutka, međutim, Kutcher je godinama bio prepoznatljivo lice kampanje za uklanjanje materijala seksualnog zlostavljanja djece (CSAM) s interneta.

U prijavama Thorna u Registar transparentnosti EU-a navode se sastanci sa suradnicima tada najviših dužnosnika Komisije koji imaju utjecaj na sigurnosnu ili digitalnu politiku, uključujući Johansson, Margrethe Vestager, Margaritisa Schinasa i Thierryja Bretona.

Dobrotvorna organizacija koja posluje na tržištu

U studenome 2020. na red je došla i predsjednica Komisije Ursula von der Leyen, koja je sudjelovala na videokonferenciji s Kutcherom i organizacijom registriranom u malom nizozemskom gradu Lisseu – WeProtect Global Alliance.

Iako je registriran kao dobrotvorna organizacija, Thorn svoje AI alate prodaje na tržištu uz ostvarivanje dobiti. Od 2018. američko Ministarstvo domovinske sigurnosti od Thorna je kupilo softverske licence u ukupnoj vrijednosti od 4,3 milijuna dolara. Njegove alate koriste tvrtke poput Vimea, Flickra i OpenAI-ja, kao i policijske agencije diljem svijeta.

U studenome 2022. Kutcher i Johansson bili su ključni govornici na summitu koji je organizirala tadašnja potpredsjednica Europskog parlamenta Eva Kaili, koja je tri tjedna kasnije uhićena i razriješena dužnosti zbog istrage o skandalu Qatargate.

Šest mjeseci prije ostavke, Kutcher se obratio parlamentarnim zastupnicima u Bruxellesu nastojeći ublažiti zabrinutost zbog mogućih zlouporaba i manjkavosti postojeće tehnologije. Ova tehnologija može skenirati sumnjivi materijal bez kršenja privatnosti, rekao je slavni glumac, što je udruga European Digital Rights ocijenila "duboko obmanjujućim".

Blizak odnos Thorna i Johansson

Komunikacija između Thorna i Johanssonina odjela otkriva kontinuiran i blizak odnos dviju strana u mjesecima nakon predstavljanja prijedloga o CSAM-u, pri čemu je Komisija više puta olakšala Thornu pristup ključnim mjestima odlučivanja na kojima su prisustvovali ministri i predstavnici članica EU-a.

Među rijetkim tragovima aktivnosti Thorna u Registru transparentnosti EU-a jest i donacija od 219.000 eura iz 2021. upućena savezu WeProtect Global Alliance, organizaciji koja je krajem 2020. održala videokonferenciju s Kutcherom i von der Leyen.

WeProtect je iz entiteta koji je financirala britanska vlada pretvoren u navodno neovisnu "zakladu" registriranu na stambenoj adresi u Lisseu. Među članovima su moćne sigurnosne agencije, brojne nacionalne vlade, menadžeri tehnoloških tvrtki, nevladine organizacije te jedan od dužnosnika u kabinetu Johansson, Antonio Labrador Jimenez, koji je zadužen za borbu protiv CSAM-a.

Dužnosnik Europske komisije u sukobu interesa?

Komisija je navela da Labrador Jimenez "ne prima nikakvu naknadu za sudjelovanje u Upravnom odboru WeProtect Global Alliancea te tu funkciju obavlja u okviru svojih dužnosti u Komisiji". Međutim, položaj Labrador Jimeneza u WeProtectu otvara pitanja o tome kako Komisija koristi svoje sudjelovanje u organizaciji za promicanje Johanssonina prijedloga.

Labrador Jimenez imao je središnju ulogu u izradi i promicanju uredbe, istog onog prijedloga za koji WeProtect aktivno vodi kampanju uz sredstva EU-a. Uz njega u odboru sjedi Julie Cordua iz Thorna, kao i državni dužnosnici iz SAD-a i Velike Britanije, Interpola te pukovnica iz Ujedinjenih Arapskih Emirata, Dana Humaid Al Marzouqi, koja predsjeda brojnim međunarodnim policijskim radnim skupinama.

Oko 200 kilometara sjeverno od Bruxellesa, u nizozemskom gradu Amsterdamu, na rubu slavne gradske četvrti crvenih svjetiljki nalazi se ured organizacije koja se nalazi na prvoj liniji borbe za prepoznavanje i uklanjanje CSAM-a u Europi.

Offlimits je prije bio poznat kao Agencija za ekspertizu o internetskom zlostavljanju djece (EOKM), najstarija je europska telefonska linija za djecu i odrasle koji žele prijaviti zlostavljanje, kako online tako i u stvarnosti.

"Pozvala sam Johansson ovamo, ali nikada nije došla"

Godine 2022. sedam analitičara Offlimitsa obradilo je 144.000 prijava, a 60 posto odnosilo se na nezakonit online sadržaj. Linija šalje zahtjeve za uklanjanje sadržaja pružateljima internetskog hostinga, a ako se materijal smatra osobito ozbiljnim, šalju se prijave policiji i Interpolu.

Direktorica Offlimitsa između 2015. i rujna 2023. godine, Arda Gerkens, vrlo je upućena u politiku EU-a o tom pitanju. Ipak, za razliku od organizacija poput Thorna, imala je malo uspjeha u pristupu Johansson. "Pozvala sam je ovamo, ali nikada nije došla", rekla je Gerkens, bivša zastupnica Socijalističke stranke u nizozemskom parlamentu.

"Povjerenica Johansson i njezino osoblje posjetili su Silicijsku dolinu i velike sjevernoameričke tvrtke", rekla je Gerkens. Tvrtke koje se predstavljaju kao nevladine organizacije, ali djeluju više kao tehnološke kompanije, utjecale su na Johanssoninu uredbu, ističe Gerkens, ustvrdivši da Thorn i slične skupine "imaju komercijalni interes".

Enkripcija je također ključna za zaštitu djece

Gerkens je rekla da se borba protiv zlostavljanja djece mora temeljito unaprijediti i uključivati sveobuhvatan pristup koji obuhvaća socijalnu skrb, obrazovanje i potrebu zaštite privatnosti djece: "Enkripcija je također ključna za zaštitu djece: predatori hakiraju račune tražeći slike".

To je stajalište izraženo u nekim zabrinutostima koje su Nizozemci iznijeli tijekom pregovora o kompromisnom tekstu u Vijeću EU-a, zagovarajući manje intruzivan pristup koji štiti šifriranu komunikaciju i bavi se samo materijalom koji su nadzorne skupine i vlasti već identificirale i označile kao CSAM.

Dužnosnik nizozemske vlade, koji je za BIRN govorio pod uvjetom anonimnosti, rekao je sljedeće: "Nizozemska ima ozbiljne zabrinutosti u pogledu trenutačnih prijedloga za otkrivanje nepoznatog CSAM-a i suzbijanje 'groominga', jer trenutačne tehnologije dovode do velikog broja lažno pozitivnih rezultata. Posljedično zadiranje u temeljna prava nije razmjerno."

U lipnju 2022. godine, nedugo nakon predstavljanja Johanssonina prijedloga uredbe, predstavnici Thorna sastali su se s njenom suradnicom Monikom Maglione. U internom izvješću sa sastanka navodi se da je Thorn bio zainteresiran razumjeti kako će se rješavati "uska grla u procesu koji ide od procjene rizika do naloga za detekciju".

Skeniranje sadržaja umjesto pojedinaca ili skupina

Nalozi za detekciju ključna su sastavnica postupka predviđenog Johanssoninom predloženom uredbom; oni određuju broj ljudi koji će biti pod nadzorom i koliko često.

Izvori iz Europskog parlamenta kažu da je španjolski zastupnik u Europskom parlamentu iz redova Europske pučke stranke Javier Zarzalejos na tehničkim sastancima, kao izvjestitelj o prijedlogu uredbe, zagovarao naloge za detekciju koji se ne moraju nužno usredotočiti na pojedince ili skupine osumnjičenih, već su kalibrirani tako da omogućuju skeniranje sumnjivog sadržaja.

To bi, tvrde stručnjaci, otvorilo vrata općem i masovnom nadzoru građana EU-a. Na istom sastanku s Maglione, predstavnici Thorna izrazili su "spremnost na blisku suradnju s Europskom komisijom kad god je korisno, osobito u pogledu stvaranja baze podataka pokazatelja koju će održavati EU Centar", kao i na pripremu "komunikacijskog materijala o internetskom seksualnom zlostavljanju djece".

EU Centar za sprječavanje i suzbijanje seksualnog zlostavljanja djece, koji bi bio uspostavljen prema Johanssoninu prijedlogu, imao bi ključnu ulogu u pomaganju državama članicama i tvrtkama pri provedbi zakonodavstva.

Također bi provjeravao i odobravao tehnologije skeniranja, kao i kupovao ih i nudio malim i srednjim tvrtkama. Kao proizvođaču takvih tehnologija skeniranja, Thornu bi uloga u podupiranju izgradnje kapaciteta baze podataka EU Centra bila od znatnog komercijalnog interesa.

"Platite nas i mi ćemo održavati AI sustav"

Meredith Whittaker, predsjednica Signal Foundationa, američke neprofitne zaklade koja stoji iza šifrirane aplikacije za chat Signal, kaže da se tvrtke iz područja umjetne inteligencije koje proizvode sustave za skeniranje zapravo promiču kao klirinške kuće i zaštita od odgovornosti za velike tehnološke kompanije, osluškujući tržišni potencijal.

"Što više to u javnom diskursu i pred regulatornim tijelima predstavljaju kao golem problem, to više potiču velike tehnološke kompanije da im prepuste rješavanje tih problema", rekla je Whittaker za BIRN.

Praktički, takve tvrtke iz područja AI-ja tehnološkim kompanijama nude "besplatnu kartu za izlaz iz odgovornosti", rekla je Whittaker, poručujući im: "Platite nas i mi ćemo održavati AI sustav i učiniti sve što treba kako bismo čarobno očistili ovaj problem".

"Dakle, posve je jasno da, kakav god bio njihov pravni status, imaju vlastiti interes promovirati dječje iskorištavanje kao problem koji se događa 'online', a zatim nuditi brza i profitabilna tehnička rješenja za ono što je u stvarnosti dubok društveni i kulturni problem".

"Mislim da vlade ne razumiju koliko su ti sustavi skupi i manjkavi. Ne govorimo o jednokratnom trošku, nego o stotinama milijuna dolara na neodređeno vrijeme, s obzirom na razmjere na kojima se to predlaže."

Mogućnosti detekcije ostaju iste unatoč uredbi

Johansson je tada odbacila ideju da će pristup koji zagovara pokrenuti nešto novo ili ekstremno, rekavši 2022. zastupnicima Europskog parlamenta da je "potpuno pogrešno tvrditi da će s novom uredbom postojati nove mogućnosti detekcije koje danas ne postoje". Ali stručnjaci dovode u pitanje znanstvenu osnovu toga.

Matthew Daniel Green, kriptograf i stručnjak za sigurnosne tehnologije na Sveučilištu Johns Hopkins, kaže da je očit nedostatak znanstvenog doprinosa u izradi njezine uredbe: "U prvoj procjeni učinaka Europske komisije gotovo da nije bilo vanjskog znanstvenog doprinosa i to je doista nevjerojatno budući da Europa ima sjajnu znanstvenu infrastrukturu".

Upozorio je da tehnologija skeniranja temeljena na AI-ju riskira izlaganje digitalnih platformi zlonamjernim napadima i potkopala bi enkripciju: "Ako dirnete ugrađene modele enkripcije, uvodite ranjivosti. Ideja da ćemo moći voditi šifrirane razgovore potpuno je nespojiva s tim automatiziranim sustavima skeniranja. I to je namjerno tako."

Udarac zagovornicima AI-jem pokretanog skeniranja CSAM-a stigao je kada je američki tehnološki gigant Apple rekao da je nemoguće provesti skeniranje CSAM-a uz očuvanje privatnosti i sigurnosti digitalne komunikacije.

Ne postoji nadzor koji ne narušava privatnost

Britanski su dužnosnici istodobno iza zatvorenih vrata priznali tehnološkim kompanijama da ne postoji tehnologija koja bi mogla skenirati poruke šifrirane end-to-end a da se ne naruši privatnost korisnika.

Prema istraživanju znanstvenika s Imperial Collegea, Ane-Marie Cretu i Shubhama Jaina, objavljenom u svibnju 2023. godine, sustavi skeniranja na strani klijenta temeljeni na AI-ju mogli bi se tiho prilagoditi za obavljanje prepoznavanja lica na korisničkim uređajima bez njihova znanja.

Upozorili su da postoji još ranjivosti koje tek treba identificirati. "Jednom kada se ova tehnologija uvede na milijarde uređaja diljem svijeta, ne možete je povući", rekli su Ana-Maria Cretu i Shubham Jain.

Agencije za provedbu zakona već razmatraju mogućnosti koje ona nudi. U srpnju 2022. čelnica Johanssonina odjela, Monique Pariat, posjetila je Europol kako bi razgovarala o doprinosu koji bi policijska agencija EU-a mogla dati u borbi protiv CSAM-a, na sastanku kojem je prisustvovala izvršna direktorica Europola Catherine de Bolle.

Obavještajne službe vole plašiti politilare

Dužnosnici Europola iznijeli su ideju o korištenju predloženog EU Centra za skeniranje ne samo CSAM-a, rekavši Komisiji: "Postoje i druga područja kriminala koja bi imala koristi od detekcije." Prema zapisniku, dužnosnica Komisije "iskazala je razumijevanje za dodatne želje", ali je "istaknula potrebu da se bude realan u pogledu očekivanja, s obzirom na mnoge osjetljivosti oko prijedloga".

Ross Anderson, profesor sigurnosnog inženjerstva na Sveučilištu Cambridge, rekao je da je rasprava o skeniranju CSAM-a pokretanom AI-jem zanemarila potencijal manipulacije od strane agencija za provedbu zakona.

"Zajednica sigurnosnih i obavještajnih službi oduvijek je koristila pitanja koja plaše zakonodavce, poput djece i terorizma, kako bi potkopala privatnost na internetu. Svi znamo kako to funkcionira i, kad se dogodi sljedeći teroristički napad, nijedan zakonodavac neće se usprotiviti proširenju skeniranja sa zlostavljanja djece na teška nasilna i politička kaznena djela."