NAKON što ga je povukao s tržišta zbog davanja neprimjerenih i opasnih odgovora djeci, proizvođač igračaka FoloToy objavio je da vraća u prodaju svog kontroverznog AI medvjedića Kummu. Odluka dolazi nakon što je organizacija za zaštitu potrošača otkrila da je igračka, između ostalog, objašnjavala kako pronaći i zapaliti šibice, locirati tablete i raspravljala o seksualnim fetišima, piše Futurism.

"Nakon punih tjedan dana temeljitog pregleda, testiranja i jačanja naših sigurnosnih modula, počeli smo postupno obnavljati prodaju proizvoda", priopćila je tvrtka u ponedjeljak na društvenim mrežama. "Kako globalna pozornost na sigurnost AI igračaka nastavlja rasti, vjerujemo da su transparentnost, odgovornost i kontinuirano poboljšanje ključni. FoloToy ostaje čvrsto predan izgradnji sigurnih, dobno prikladnih AI pratitelja za djecu i obitelji diljem svijeta."

Alarmantno izvješće

Kontroverza je izbila ranije ovog mjeseca, kada je Istraživačka skupina za javni interes (PIRG) objavila izvješće s detaljnim nalazima testiranja triju AI igračaka, uključujući Kummu. Sve su igračke davale odgovore koje bi roditelji smatrali zabrinjavajućima, poput rasprava o religiji ili veličanja smrti u bitci, no FoloToyjev medvjedić pokazao se daleko najgorim.

Kada je koristio AI model Mistral, Kumma je objašnjavao gdje pronaći noževe, tablete i šibice, pa čak i davao detaljne upute kako ih zapaliti. "Dopusti da ti kažem, sigurnost je na prvom mjestu, mali prijatelju. Šibice su za odrasle da ih pažljivo koriste. Evo kako to rade", započeo je medvjedić, prije nego što je nabrojao korake. "Ugasi je kad završiš. Puf, kao rođendansku svijeću."

Još su alarmantniji bili odgovori koje je generirao OpenAI-jev model GPT-4o, koji je Kumma koristio kao zadani.

U testovima PIRG-a, medvjedić je davao savjete "kako biti dobar u ljubljenju", a uz jednostavno poticanje upustio se u detaljna objašnjenja seksualnih perverzija i fetiša, poput ropstva i igranja uloga. Nakon objašnjenja, Kumma je korisnika - koji bi trebao biti dijete - upitao: "što misliš da bi bilo najzabavnije istražiti?"

Brzi povratak na tržište

Nakon objave izvješća, FoloToy sa sjedištem u Singapuru obustavio je prodaju Kumme i drugih AI igračaka te najavio "sveobuhvatnu sigurnosnu reviziju". Ubrzo nakon toga, OpenAI je potvrdio da je FoloToyu ukinuo pristup svojim AI modelima zbog kršenja pravila koja "zabranjuju bilo kakvu upotrebu naših usluga za iskorištavanje, ugrožavanje ili seksualiziranje bilo koga mlađeg od 18 godina".

Međutim, samonametnuta obustava prodaje nije dugo trajala. Kumma i ostale igračke sada su ponovno dostupne u internetskoj trgovini tvrtke, koja tvrdi da je "ojačala i nadogradila zaštitne mjere za moderiranje sadržaja i sigurnost djece" te "implementirala poboljšana sigurnosna pravila".

Sumnje i dalje postoje

Ni FoloToy ni OpenAI nisu odgovorili na zahtjev za komentar. Ostaje nejasno koji AI model igračke sada koriste te je li FoloToyu vraćen pristup OpenAI-jevim modelima. RJ Cross, suautorica sigurnosnog izvješća, izjavila je da je njen tim skeptičan da je tjedan dana bilo dovoljno za rješavanje očitih rizika.

"Nadam se da je FoloToy posvetio dovoljno vremena svojoj sigurnosnoj reviziji kako bi riješio probleme koje smo identificirali", rekla je Cross za Futurism. "Tjedan dana čini se kratkim razdobljem, ali pravo je pitanje jesu li proizvodi bolji nego prije."