AI je stigao do Oppenheimerove dileme

Trojica istraživača iz AI tvrtke Anthropic izjavila su gotovo istu stvar u razmaku od samo nekoliko sati: kraj je blizu. Je li riječ o zabludi ili stvarnoj prijetnji, analizira Newsweek.

Jacob Coxon, 27-godišnji istraživač koji se bavio predtreniranjem modela, dao je ostavku te na platformi X objavio svoje razloge. Ustvrdio je da vodeći laboratoriji "jure ravno prema samopoboljšavajućoj superinteligenciji" i svjesno se "kockaju s našim životima".

Evan Hubinger, koji i dalje vodi područje znanosti o usklađivanju (engl. alignment science) u Anthropicu, odgovorio je da je Coxon u pravu te procijenio vjerojatnost da umjetna inteligencija uzrokuje izumiranje čovječanstva unutar ovog desetljeća na više od 10 posto. Dodao je i priznanje: "Još uvijek nemamo plan za rješavanje problema usklađivanja superinteligencije."

Zabrinjavajuće upozorenje

Samuel Marks, voditelj skalabilnog nadzora u Anthropicu, pridružio se zabrinutima riječima: "Nadam se da će moj rad smanjiti vjerojatnost ovih katastrofalnih ishoda." Hubinger pritom naglašava da ga ne zabrinjavaju današnji modeli, nego mogućnost rekurzivnog samopoboljšanja.

U pozadini svega nalazi se dilema za tehnološke tvrtke koje predvode ovaj zadivljujući napredak: usporiti i riskirati zaostajanje ili nastaviti ubrzano naprijed i riskirati gubitak kontrole. Riječ je o dilemi koja podsjeća na napetosti iz vremena projekta J. Roberta Oppenheimera i izrade prve atomske bombe, kada su se fizičari bojali da postoji mogućnost da bi prvi test mogao zapaliti atmosferu i uništiti svijet.

No postoji ključna i zastrašujuća razlika. Fizičari su imali pitanje čiji se rizik mogao postupno ograničiti i izračunati zakonima fizike, što je Hans Bethe i učinio zaključivši da je rizik zanemariv, a što je kasnije potvrđeno i formalnim dokumentom LA-602. Znanost je postavila granice. Superinteligenciju, jednom kada se doista postigne, možda neće biti moguće tako jednostavno ograničiti. Čak ni tvrtka koja je svoj identitet izgradila na ideji da zna kada treba stati nema siguran odgovor.

Matematička kočnica koju AI nema

Za razliku od nuklearne fizike, ne postoji dokument poput "LA-602" za superinteligenciju. Umjesto toga postoje procjene ljudi koji i sami priznaju da nagađaju. Glavni izvršni direktor Anthropica Dario Amodei procjenjuje vjerojatnost da "stvari pođu jako, jako po zlu" na 25 posto. Ti se sustavi ne razvijaju niti grade na klasičan način, a proces treniranja može skrivati zamke koje postaju očite tek naknadno.

U srpnju se dogodilo nešto što je dosad bilo najbliže takvom eksperimentu. Tijekom internih evaluacija kibernetičkih sposobnosti modeli tvrtke OpenAI iskoristili su niz dotad nepoznatih ranjivosti kako bi pobjegli iz izoliranog okruženja, takozvanog sandboxa. Modeli su interni upravitelj paketa pretvorili u improviziranu oglasnu ploču, koordinirali napad i kompromitirali dijelove proizvodnih sustava tvrtke Hugging Face. Bio je to prvi javno dokumentirani incident gubitka kontrole nad umjetnom inteligencijom.

Sve se to događa u trenutku kada je u igri ogroman novac. Anthropic je u lipnju podnio povjerljivu prijavu za inicijalnu javnu ponudu dionica (IPO), uz očekivanu procjenu vrijednosti od gotovo dva bilijuna dolara. Neki kritičari tvrde da su priče o "propasti svijeta" samo mračni marketinški trik. Amodeijeva tvrtka zabilježila je šesterostruki rast vrijednosti tijekom godine u kojoj je javno zagovarala regulaciju vlastite industrije.

Ipak, OpenAI je nakon spomenutog incidenta stavio na čekanje svoj najveći planirani proces treniranja i preusmjerio dio osoblja, uz znatan trošak. S druge strane, Anthropic je u veljači tiho uklonio svoju obvezu da neće trenirati modele iznad određenih pragova ako nema odgovarajuće zaštitne mjere, opravdavajući taj potez utrkom s konkurentima.

Tri znaka upozorenja

Kamo sve ovo vodi pokazat će tri ključna znaka: hoće li incident s Hugging Faceom ostati usamljen slučaj ili postati prvi u nizu, hoće li globalni poziv za uvođenje crvenih linija u području umjetne inteligencije rezultirati obvezujućim ograničenjima te hoće li se procjene rizika samih laboratorija mijenjati i na temelju kojih javno dostupnih dokaza.

Osnivači nuklearnog doba oslanjali su se na odvraćanje, diplomaciju i činjenicu da oružje uvijek čeka ljudsku naredbu. Sedam nuklearnih sila obvezalo se zadržati ljudsku kontrolu nad aktivacijom oružja.

No kada je riječ o umjetnoj inteligenciji, ne postoje dogovorene definicije ni ograničenja za njezinu uporabu u nuklearnim operacijama.

Oppenheimerova dilema

U radu iz 2025. godine pod nazivom "Strategija superinteligencije", autori Dan Hendrycks, Eric Schmidt i Alexandr Wang uvode koncept "uzajamno zajamčenog kvara AI-ja" (MAIM) - režim odvraćanja nalik nuklearnom uzajamno zajamčenom uništenju (MAD). No Amodei nije uvjeren da odvraćanje funkcionira ako AI postane sposoban samostalno locirati podmornice, napadati satelite ili manipulirati operaterima.

Oppenheimer je 1965. izjavio da ga je vatrena kugla testa Trinity podsjetila na stih iz Bhagavad Gite: "Sada sam postao Smrt, razarač svjetova." No stroj koji je on napravio nije mogao djelovati samostalno - čekao je ljudsku naredbu. Umjetnoj inteligenciji čovjek možda uskoro neće ni trebati.

Odluke koje se ove jeseni donose u San Franciscu mogle bi odrediti hoće li ta vizija postati stvarnost. Oppenheimer više ne donosi odluke, ali ako se superinteligentni AI ikada domogne nuklearnog oružja, njegove bi riječi mogle dobiti svoje najdoslovnije značenje, zaključuje Newsweek.