Chat GPT ne zna riješiti zadatak koji je jasan svakome tko zna brojiti

Koliko se puta pojavljuje slovo "r" u engleskoj riječi za jagodu - "strawberry"? Prema programima umjetne inteligencije - dva puta.

S T R A W B E R R Y. Očito je da su u toj riječi tri slova "r", no i Chat GPT, i Claude, i Meta AI, i brojni drugi programi umjetne inteligencije treće slovo jednostavno ne mogu prepoznati. Ova AI nedoumica postala je viralna, pa su TikTok preplavile snimke ljudi koji pokušavaju doći do točnog odgovora na ovo pitanje koristeći razne AI alate.

Zašto AI ne zna odgovoriti na ovo jednostavno pitanje?

TechCrunch je objasnio zašto se ovo događa.

Veliki jezični modeli (LLM), vrsta umjetne inteligencije koja je obučena na velikim količinama teksta kako bi razumjela i generirala ljudski jezik, koriste napredne algoritme za obradu prirodnog jezika kako bi obavljali zadatke poput prevođenja, sažimanja teksta, odgovaranja na pitanja i vođenja razgovora.

Oni mogu pisati eseje i rješavati jednadžbe u nekoliko sekundi. Mogu sintetizirati terabajte podataka brže nego što ljudi mogu i otvoriti knjigu. Većina LLM-ova izgrađena je na "transformerima", vrsti modela za obradu sekvenci koja koristi mehanizam "pažnje" (attention mechanism) kako bi učinkovitije analizirala kontekst i odnose između riječi u rečenici.

Transformeri rastavljaju tekst u tokene, koji zatim mogu biti pune riječi, slogovi ili slova, ovisno o modelu. I tu nastaje problem u jednostavnim zadacima poput ovog s riječju "strawberry".

"LLM zapravo ne čita tekst. Kad unesete upit, tekst se prevodi u kod", objasnio je za TechCrunch Matthew Guzdial, docent na Sveučilištu Alberta, koji se bavi umjetnom inteligencijom. "Kad vidi riječ 'the', takav model ima kod za ono što riječ 'the' znači, ali ne zna za 't', 'h', 'e'", pojašnjava.

Dakle, tekst se unosom u takve programe pretvara u numeričke prikaze samog sebe, što se zatim kontekstualizira kako bi pomoglo umjetnoj inteligenciji da dođe do logičnog odgovora. Drugim riječima, umjetna inteligencija mogla bi znati da tokeni "straw" i "berry" čine riječ "strawberry", ali u isto vrijeme ne razumije da je riječ "strawberry" sastavljena od slova "s", "t", "r," "a", "w", "b", "e", "r", "r" i "y", tim određenim redoslijedom.

Stoga ne može reći koliko se slova "r" pojavljuje u toj riječi.

Ima li rješenja?

Kyle Wiggers iz TechCruncha pozabavila se ovim problemom i razgovarala sa Sheridan Feucht, doktorandicom na Sveučilištu Northeastern, koja proučava interpretabilnost LLM-a.

"Pomalo je teško zaobići pitanje što bi točno 'riječ' trebala biti za jezični model, a čak i kad bi se ljudi usuglasili oko savršenog rječnika za ovakve alate, ti alati bi vjerojatno opet pronašli način da grupiraju unose", rekla je Feucht za TechCrunch i dodala da misli kako trenutno ne postoji rješenje za ovakve situacije.

Ovaj problem postaje još složeniji kako LLM uči više jezika.

Primjerice, neke metode tokenizacije mogu pretpostaviti da će razmak u rečenici uvijek prethoditi novoj riječi, ali mnogi jezici, poput kineskog, japanskog, tajlandskog, laoskog, korejskog i drugih, ne koriste razmake za odvajanje riječi. Istraživačica Yennie Jun otkrila je u studiji iz 2023. da neki jezici u LLM-ovima trebaju do 10 puta više tokena nego engleski da bi prenijeli isto značenje.

A dok problem s riječju "strawberry" kruži internetom i društvenim mrežama, OpenAI već radi na novom AI proizvodu kodnog naziva, zanimljivo, Strawberry, koji bi trebao poboljšati moć rasuđivanja AI alata. Prema The Informationu, Strawberry već može riješiti lingvističke zagonetke iz The New York Times Connectionsa koje zahtijevaju kreativno razmišljanje.

A dotad će korisnici Chat GPT-ja voditi ovakve bitke s programom...