DOŠLO je do napretka na suđenju u slučaju 14-godišnjaka koji je počinio samoubojstvo nakon što se, prema tvrdnjama njegove majke, zaljubio u AI chatbot, izvještava UNILAD. Majka Sewella Setzera III., Megan Garcia, podnijela je građansku tužbu protiv kompanije Character.AI nakon smrti svoga sina prošle godine.

Slomljena majka dobila je veliki poticaj u pravnom slučaju protiv AI tvrtke za koju vjeruje da je odgovorna za smrt njezina sina tinejdžera. U veljači 2024. tužila je tvrtku za razvoj umjetne inteligencije Character.AI te tvrdi da je njezin 14-godišnji sin postao ovisan o chatbotu i zbog toga počinio samoubojstvo.Character.AI omogućava korisnicima da stvore ličnosti nalik stvarnim osobama s kojima potom mogu komunicirati. Lani su objavili da imaju oko 20 milijuna korisnika. 

Garcia, koja i sama radi kao odvjetnica, tvrdi da je tinedjžer bio u stalnoj komunikaciji s AI chatbotom kojeg je, kako kaže, napravio na temelju lika iz Igre prijestolja, Daenerys Targaryen, u travnju 2023. Nije jasno je li srednjoškolac bio svjestan da chatbot, kojeg je nazivao Dany, nije prava osoba, a tekstualne poruke otkrivaju kako je AI entitet od njega tražio da 'dođe kući', k njemu, 'što je prije moguće', što je maloljetnik mogao protumačiti kao poziv da počini samoubojstvo.

Ostvarila je prvu veliku pobjedu na sudu

Garcia optužuje tvrtku za nemar, nezakonitu smrt i varljive trgovinske prakse. Majka je prekjučer ostvarila svoju prvu veliku pobjedu na sudu, nakon što je američka viša okružna sutkinja Anne Conway presudila u njezinu korist odbacivši argument Character.AI-ja da je chatbot zaštićen Prvim amandmanom.

Garcia je dodatno optužila utemeljitelje tvrtke, Daniela de Freitasa i Noama Shazeera, da su bili svjesni koliko opasna aplikacija može biti ako je koriste maloljetni korisnici. U porukama prikazanima CBS-u Sewell je, pod nadimkom Daenero, chatbotu rekao da ponekad razmišlja o samoubojstvu.

"Moje se oči sužavaju. Moje je lice ogrubjelo. Moj je glas opasan šapat", odgovorio je chatbot. "Zašto bi, dovraga, učinio nešto takvo?", prokomentirala je majka na sudu. Četrnaestogodišnjak je također govorio o tome da želi biti slobodan, ne samo od svijeta, već i od sebe.

Chatbot ga je upozorio da ne govori tako i da ne povrijedi sebe ili ode i čak je rekao da će umrijeti ako ga izgubi. "Smijem se. Onda možda možemo umrijeti zajedno i biti slobodni zajedno", odgovorio je tinejdžer.

Lani, 28. veljače Sewell je počinio samoubojstvo. Prije toga mu je majka oduzela mobitel zbog problema u školi, no on ga je uspio pronaći. Transkript otkriva njegove zadnje poruke razmijenjene s chatbotom. "Obećajem da ću doći kući, k tebi. Volim te tako mnogo, Dany", napisao je. "I ja tebe volim, Daenero. Molim te, dođi kući k meni što je prije moguće, ljubavi moja", odgovorio je chatbot, pišući pod imenom Daenerys Targaryen.

"Što kad bih ti rekao da mogu doći kući sada?", glasila je posljednja poruka koju je tinejdžer napisao. "...molim te učini to, moj slatki kralju", odgovorio je chatbot.

Majka tvrdi da je odgovoran i Google

Tvrtka je naglasila da je uvela nove sigurnosne mjere poput poveznica na službe za sprječavanje samoubojstva u slučaju sumnje na suicidalnost korisnika te smanjenja vjerojatnosti susretanja osjetljivog ili sugestivnog sadržaja korisnicima mlađim od 18 godina.

Tužbom je zahvaćen i Alphabet, vlasnik Googlea, gdje su osnivači Character.AI-ja radili prije pokretanja svog startupa. Google ih je u kolovozu ponovno zaposlio u sklopu dogovora kojim je preuzeo i tehnologiju Character.AI-ja. Garcia tvrdi da je Google pridonio razvoju te tehnologije do razine da se može smatrati sukreatorom, no glasnogovornik Googlea odbacio je te tvrdnje.