PREMA izvještajima početkom godine, GPT-5, nasljednik velikog jezičnog modela GPT-4 koji pokreće ChatGPT i Bing, mogao bi stići prije kraja 2023. ili početkom 2024.
OpenAI, kompanija koja je razvila ChatGPT, najavljivala je da bi mogla završiti obuku GPT-5 do prosinca.
Apel da se uvede moratorij na razvoj AI-ja
U međuvremenu je Future of Life Institute (FLI), neprofitna organizacija koja se bavi etičkim i društvenim implikacijama napredne tehnologije, 29. ožujka 2023. objavio otvoreno pismo kojim je zatraženo uvođenje moratorija na razvoj AI-ja. Pismo je inicijalno potpisalo više od 1000 tehnoloških lidera (do sada 27.565), istraživača i drugih ljudi bliskih tehnologiji, uključujući Elona Muska, Stevea Wozniaka, Andrewa Yanga i druge.
U pismu su pozvali na šestomjesečnu pauzu u razvoju AI sustava moćnijih od GPT-4 i upozorili na "nekontroliranu utrku" za razvoj i primjenu sve moćnijih digitalnih umova koje nitko - čak ni njihovi tvorci - ne može razumjeti, predvidjeti ili pouzdano kontrolirati. Ustvrdili su da takvi AI sustavi predstavljaju "duboke rizike za društvo i čovječanstvo" i da bi mogli dovesti do katastrofalnih posljedica kao što su ratovi, diktature, dezinformacije, manipulacije i gubitak ljudskog dostojanstva.
GPT-5 se navodno još ne trenira
Direktor OpenAI-ja Sam Altman izjavio je nakon toga, sredinom travnja, da se GPT-5 za sada još ne trenira.
Štoviše, u nedavnom svjedočenju pred američkim Kongresnim odborom za pravosuđe o mogućnostima i rizicima umjetne inteligencije pozvao je zakonodavce da reguliraju umjetnu inteligenciju i predložio stvaranje nove državne agencije koja bi licencirala i testirala najmoćnije AI modele. Također je upozorio na moguće zloupotrebe tehnologije kao što je ChatGPT za širenje dezinformacija, emocionalnu manipulaciju i ciljanje dronovima.
Najava AGI-ja?
Unatoč tome, svi se slažu da OpenAI zasigurno neće odustati od razvoja GPT-5 ili barem od unapređivanja postojećeg modela GPT-4 u verziju 4.5.
U međuvremenu, po tehnološkim stranicama, blogovima i društvenim mrežama šire se manje ili više informirana nagađanja o tome kakva bi sve svojstva mogao imati GPT-5. Budući da je riječ o špekulacijama, treba ih uzeti s rezervom, odnosno sa zrnom soli, premda to ne znači da su neostvarivi SF.
Među ostalim, neki autori špekuliraju da bi GPT-5 mogao imati svojstva umjetne opće inteligencije (AGI) ili barem neke njezine ozbiljne naznake.
Razvoj modela GPT
Za bolje razumijevanje mogućih potencijala modela GPT-5 podsjetimo ukratko kako su se razvijali njegovi prethodnici.
GPT-1 (Generative Pre-trained Transformer 1) bio je prvi veliki jezični model (LLM) iz serije GPT koji je kompanija OpenAI razvila 2018. To je bio jezični model temeljen na tzv. transformer arhitekturi, a treniran je na golemom skupu podataka BooksCorpus. Imao je oko 117 milijuna parametara, odnosno varijabli čije se vrijednosti prilagođavaju tijekom obuke da bi se ustanovilo kako su se ulazni podaci transformirali u željeni izlaz; primjerice, parametri mogu biti težine veza u umjetnoj neuronskoj mreži. To je za to vrijeme bio impresivan broj premda daleko manji nego u kasnijim verzijama. OpenAI s tim modelom nije izlazio u javnost.
OpenAI je 2019. razvio GPT-2 koji je imao 10 puta više parametara i podataka od prethodnika. Bio je to vrhunski LLM tog vremena.
OpenAI je u 2020. predstavio GPT-3, međutim, javna probna verzija objavljena je tek 30. studenog 2022. Od tada je više od 300 aplikacija počelo koristiti GPT-3 za razne funkcije kao što su pretraživanje, razgovor, dovršavanje teksta, izrada koda i sl. S ukupno 175 milijardi parametara, GPT-3 postao je jedan od najvećih jezičnih modela. Budući da je pokazao sposobnost generiranja vrlo koherentnih i prirodnih tekstova te rješavanja različitih jezičnih zadataka s iznimnim rezultatima, digao je veliku prašinu i privukao 100-tinjak milijuna korisnika u samo dva mjeseca, što ga je učinilo najbrže rastućom online aplikacijom u povijesti.
Prava prekretnica bio je GPT-3.5, koji je postao temelj ChatGPT-ja. On je razvijen 2021., a krajem prošle godine osvojio je svijet. Harvard Business Review opisao ga je kao "točku prekretnicu" za AI.
GPT-4, model koji je ChatGPT-ju osigurao veću točnost i smanjio haluciniranje, odnosno stvaranje krivih i štetnih rezultata, pokrenut je početkom 2023. To je veliki multimodalni model (koji prihvaća tekstualne i slikovne ulaze i stvara tekstualne izlaze), a može rješavati teške probleme s većom točnošću od bilo kojeg ranijeg modela zahvaljujući širem općem znanju i naprednim sposobnostima rješavanja problema. GPT-4 ima značajno dulju kratkoročnu memoriju od prethodne verzije GPT-3.5. Dok GPT-3.5 može pratiti razgovore do oko 8000 riječi, GPT-4 može zapamtiti do 64.000 riječi, što mu omogućuje generiranje točnijih i koherentnijih odgovora tijekom duljih razgovora ili tekstualnih ulaza. GPT-4 je vjerojatno treniran pomoću trilijuna riječi teksta i mnogo tisuća moćnih računalnih čipova, a proces je koštao više od 100 milijuna dolara. On također može povlačiti tekst s web stranica kada mu se u upitu podijeli URL. Dostupan je putem API-a i za premium korisnike ChatGPT-ja.
Što bi mogao biti GPT-5?
OpenAI je službeno objavio da će GPT-4.5 biti predstavljen u "rujnu ili listopadu 2023." kao "prijelazna verzija između GPT-4 i nadolazećeg GPT-5". Ovdje je važno istaknuti da brojevi verzija ne znače previše; nije ključno je li neki model označen s 4.5 ili s 5. Važno je koliko će sposobnosti neke nove verzije biti unaprijeđene.
GPT-5 je za sada još uvijek hipotetski sustav o čijem razvoju ili mogućnostima nema službenih informacija. Međutim, na temelju nekih predviđanja i nagađanja, mogao bi imati sljedeće značajke:
- mnogo više parametara
Neke tehnološke stranice i blogeri nagađaju da bi mogao imati 100 puta više parametara od GPT-3, odnosno oko 17.5 trilijuna parametara, što bi ga učinilo jednom od najvećih neuronskih mreža ikad stvorenih.
No ovdje treba istaknuti da se i ranije nagađalo da će GPT-4 imati mnogo više parametara nego GPT-3.5, što se nije dogodilo, i da je Altman sredinom travnja izjavio da neće značajno povećavati modele. "Mislim da smo na kraju ere u kojoj će to biti ovi gigantski modeli", rekao je na skupu na MIT-ju. "Učinit ćemo ih boljima na druge načine", dodao je. Drugim riječima, lako je moguće da broj parametara neće nastaviti drastično rasti.
- koristio bi računalnu moć veću od svih superračunala zajedno
Jedna od špekulacija je da bi GPT-5 mogao zahtijevati 200 do 400 puta više računalne moći od GPT-3, koji je tijekom obuke koristio oko 3.14 exaflopa. To bi značilo da bi GPT-5 mogao koristiti do 1.26 zettaflopa (1 zettaflop = 1000 exaflopa) računalne moći, što je više od ukupne računalne snage svih superračunala na svijetu. Tu razinu računalne snage možemo pokušati shvatiti ako zamislimo da svaka osoba na Zemlji računa jednu matematičku operaciju svake sekunde. Uz tu brzinu, čovječanstvu bi trebalo oko 32 milijarde godina da obavi ono što u sekundi može jedno računalo snage 1 zettaflopa. Računalna snaga na razini exaflopa, a osobito zettaflopa omogućuje izvršavanje vrlo složenih i zahtjevnih zadataka, poput simulacija velikih sustava, analiza velikih skupova podataka, umjetne inteligencije i dubokog učenja na vrlo visokoj razini.
Međutim, ovdje je važno istaknuti da računala koja bi mogla dostići moć mjerenu u zettaflopima za sada još ne postoje. Predviđa se da bi se mogla razviti do 2025. godine. Takva računala zahtijevala bi veliku količinu energije, memorije i komunikacijske propusnosti, ali i nove tehnologije kao što su fotonička komunikacija i memristor memorija.
- mnogo dulje pamćenje i stvaranje odnosa
Nagađa se da bi GPT-5 mogao raditi s drugačijom arhitekturom, s mnogo većom memorijom i duljim kontekstom te biti obučen s drugačijom funkcijom gubitka od GPT-3. Primjerice, dugoročna memorija mogla bi omogućiti stvaranje AI likova i prijatelja koji pamte osobnost korisnika i imaju sjećanja koja mogu trajati godinama. Osim toga, u takve sustave mogle bi se učitati cijele biblioteke knjiga i tekstualnih dokumenata u jednom kontekstualnom prozoru.
- istinska multimodalnost - tekst, slike, video i sl.
Očekuje se da će GPT-5 biti istinski multimodalan, odnosno da će moći primati, analizirati i generirati ne samo jezik i slike već i video i audio sadržaje te, prema nekima, i podatke o temperaturi u konkretnom prostoru. Ova multimodalnost trebala bi mu omogućiti da bolje razumije kontekstualne veze između različitih vrsta podataka, što može biti korisno za zadatke poput opisivanja slika, generiranja opisa za videozapise, prevođenja govora u tekst ili kombiniranja različitih modaliteta za bolje razumijevanje konteksta.
Hoće li postati prva umjetna opća inteligencija?
Procjena kada će se razviti umjetna opća inteligencija (AGI) nije jednostavna. Neki smatraju da je ona daleka budućnost, odnosno SF. Drugi su mnogo optimističniji. Prema izvršnom direktoru Googleovog DeepMinda Demisu Hassabisu, umjetna opća inteligencija mogla bi se razviti već "u roku od jednog desetljeća", štoviše, smatra da nas od nje dijeli "samo nekoliko godina". Postoje nagađanja da bi GPT-5 mogao dosegnuti AGI, što znači razinu inteligencije kojom bi mogao izvršiti bilo koji zadatak koji može obaviti čovjek. Neki vjeruju da bi GPT-5 mogao proći Turingov test, koji je razvio britanski matematičar i informatičar Alan Turing za provjeru sposobnosti računala ili stroja da se ponaša na način koji se ne razlikuje od ljudskog, što bi impliciralo da stroj posjeduje "ljudsku inteligenciju".
U Turingovom testu AI ocjenjuju suci koji s njim komuniciraju tekstualnim porukama. Ako ih AI uspješno prevari i postigne da oni njegove odgovore smatraju ljudskima, može se reći da je sustav "prošao" Turingov test. No neki stručnjaci smatraju da je Turingov test zastario i da AI uz određene trikove može zavarati suce. Stoga smatraju da bi pravi test bio da se AI-ju postave neki zahtjevni ljudski zadaci koje bi sam riješio od početka do kraja – primjerice, da sam osmisli i pokrene uspješan posao.
Iskra AGI-ja
U ovom kontekstu zanimljivo je da je Microsoftova studija objavljena krajem ožujka zaključila da ChatGPT pokazuje "iskre" umjetne opće inteligencije (AGI), što znači da je sposoban rješavati razne zadatke koji zahtijevaju razumijevanje i kreativnost na razini bliskoj ljudskoj. Studija je usporedila dvije verzije ChatGPT-ja, GPT-3 i GPT-4, i testirala ih na različitim izazovima kao što su matematika, kodiranje, dijalog i logičko zaključivanje. Otkrila je da je GPT-4 značajno nadmašio GPT-3 i pokazao sposobnost rješavanja novih i teških problema koji zahtijevaju razumijevanje fizičkog svijeta. Studija je zaključila da GPT-4 predstavlja određeni napredak prema AGI-ju, ali da još uvijek nije potpun ili savršen AI sustav.
Revolucionarna prekretnica
Za kraj istaknimo da bi ostvarenje AGI-ja bilo revolucionarna prekretnica u razvoju umjetne inteligencije, no stručnjaci se uglavnom slažu da u ovom trenutku AGI vjerojatno ne bi bio najbolja stvar koja nam se može dogoditi kao vrsti.
Naime, AGI bi vjerojatno bilo teško kontrolirati, a on bi mogao poremetiti odnose snaga u svijetu, stvoriti prijetnje kibernetičkoj sigurnosti i vjerojatno čak dovesti do stvaranja visoko naprednog, autonomnog oružja.
To bi posebno moglo biti problem kada uzmemo u obzir da još uvijek nemamo nikakvu politiku za upravljanje generativnom umjetnom inteligencijom, a kamoli AGI-jem.
***
Novu knjigu Indexovog znanstvenog novinara Nenada Jarića Dauenhauera, koja tematizira najkontroverznije i najzanimljivije teme u znanosti poput klimatskih promjena, pseudoznanosti, pandemije, GMO-a i nuklearki, možete nabaviti ovdje.
Knjiga se sastoji od tekstova našeg novinara objavljenih kroz više godina rada na Indexu.
Objavljuje Index Vijesti u Subota, 5. studenoga 2022.