Kako prepoznati tekst koji je napisao AI? Odaju ga sve osobine koje je Orwell kritizirao

Može pisati prozu, poeziju i novinske tekstove. Zastrašujuće je svestrana. Jednako uvjerljivo može oponašati Shakespeareove sonete ili jeftin ljetni roman, sažetu prozu Ernesta Hemingwaya ili pak ponuditi upute za otključavanje mobitela. Izvanredno je brza i može proizvesti tisuće riječi u minuti. Hemingway ih je rijetko napisao toliko u jednom danu, a za to su mu trebale velike količine alkohola.

Tekstovi koje proizvodi umjetna inteligencija posvuda su oko nas: u elektroničkoj pošti, na LinkedInu, a prema jednoj procjeni sudjeluju i u izradi više od trećine novih internetskih stranica. Veliki jezični modeli pomažu studentima u pisanju eseja, a vjerojatno i znanstvenicima u njihovu radu.

Veliki jezični modeli imaju vlastite stilske osobitosti. Smatra se da često upotrebljavaju duge crtice te riječi poput "maksimizirati". Međutim, tekst koji je proizvela umjetna inteligencija ne može se prepoznati na temelju samo jedne riječi ili izraza.

Prepoznavanje nije jednostavno

Prepoznati tekst koji je napisala umjetna inteligencija nije lako. Nekoliko karakterističnih riječi ili interpunkcijskih znakova nije dovoljno kao dokaz, među ostalim i zato što različiti modeli pišu na različite načine.

Ne postoji jedinstven stil pisanja umjetne inteligencije, objašnjava Karolina Rudnicka, lingvistica sa Sveučilišta u Gdanjsku u Poljskoj, baš kao što ne postoji ni jedinstven stil ljudskog pisanja. Autori imaju vlastite stilske osobitosti. Primjerice, Emily Dickinson često je upotrebljavala duge crtice, a isto mogu činiti i chatbotovi.

Postoje internetski detektori koji navodno prepoznaju tekstove koje su napisali veliki jezični modeli. Međutim, takvi alati često daju lažno pozitivne rezultate, a pritom ne objašnjavaju na temelju čega su zaključili da je neki tekst proizvela umjetna inteligencija.

Istraživači su pokušavali prepoznati takve tekstove analiziranjem sumnjivih riječi ili uspoređivanjem radova nastalih prije i nakon što su veliki jezični modeli postali javno dostupni. No i takvi pristupi imaju nedostatke, ponajprije zato što je teško utvrditi što je posljedica umjetne inteligencije, a što dio šireg razvoja jezika.

Obilježja pisanja umjetne inteligencije mogu se otkriti usporedbom tekstova koje su napisali ljudi s onima koje su proizveli modeli. Za to je, međutim, potrebno imati prepoznatljiv uzorak ljudskog pisanja.

The Economist zato se odlučio za tekstove za koje sa sigurnošću zna da su ih napisali ljudi i koje će čitatelji lako prepoznati - vlastite članke. Osmislili su istraživanje u kojem su od vodećih velikih jezičnih modela, OpenAI-jeva ChatGPT-a, Anthropicova Claudea, Googleova Geminija i xAI-jeva Groka, zatražili da bez pretraživanja interneta napišu vlastite verzije njihovih članaka.

Tako je nastao korpus ljudskih i računalno generiranih tekstova, koji su uspoređeni na ukupno 55.940 rečenica i 1,2 milijuna riječi. Kako bi bili sigurni da prepoznaju obilježja umjetne inteligencije, a ne posebnosti vlastitog stila, istraživači su tekstove nastale uz pomoć AI-ja usporedili i s novinarskim tekstovima CNN-a, The New York Timesa i The Washington Posta. Dodatnu provjeru omogućili su ulomci iz uspješnih romana objavljenih između 1950. i 2022. godine.

Rezultati iznenadili istraživače

Rezultati su iznenadili istraživače. Tekstove koje proizvodi umjetna inteligencija moguće je razlikovati prema izboru riječi i interpunkcije, ali i prema strukturi rečenica i odlomaka.

Ta obilježja ipak nisu ona koja bi većina očekivala, dijelom zato što se stil pisanja velikih jezičnih modela mijenja sa svakom novom nadogradnjom. Unatoč tome, takvim tekstovima često nedostaju jasnoća i elegancija, a nerijetko djeluju šablonski.

Prije svega, treba obratiti pozornost na riječi kojima se umjetna inteligencija koristi. Sve češće poseže za višesložnim riječima i izrazima poput "značajan", "sve više" ili "posljedice". Upotrebljava i više rijetkih izraza, poput "međuovisnost" i "reindustrijalizacija", kao i znanstveni žargon, među kojim su riječi "parametar" i "metodologija".

Modeli su skloni i pretvaranju glagola u imenice. Svi veliki jezični modeli obuhvaćeni istraživanjem pokazuju takve sklonosti, no one su posebno izražene kod Geminija i Claudea.

George Orwell kritizirao je autore koji jednostavne tvrdnje zaodijevaju kompliciranim riječima i stručnim žargonom kako bi zvučali pametnije. Čini se da na sličan način funkcionira i umjetna inteligencija jer se u njezinim tekstovima češće pojavljuju riječi latinskog podrijetla nego u tekstovima koje pišu ljudi.

Manje interpunkcije, duže rečenice

Vrijedi obratiti pozornost i na interpunkciju. Mnogi vjeruju da veliki jezični modeli pretjerano upotrebljavaju duge crtice, no nakon posljednjih nadogradnji to više nije točno.

Danas samo Claude upotrebljava duge crtice češće od ljudskih autora, dok ih ChatGPT koristi osjetno manje od svih ostalih autora obuhvaćenih istraživanjem. Ljubitelji dugih crtica stoga mogu odahnuti i ponovno ih slobodno upotrebljavati.

Pouzdaniji znak da je tekst napisala umjetna inteligencija zapravo je oskudna interpunkcija. Veliki jezični modeli u tome pomalo podsjećaju na Jamesa Joycea: rjeđe upotrebljavaju zareze i točke sa zarezom, a zagrade gotovo uopće ne koriste.

Dijelom je to zato što pišu duže rečenice, a dijelom zato što gotovo nikada ne citiraju stručnjake.

Na kraju treba pogledati i kako su rečenice oblikovane. One koje pišu veliki jezični modeli uglavnom su duge, dok odlomci rijetko sadrže kratke i upečatljive rečenice koje razbijaju ritam. Rezultat je često prilično jednoličan tekst.

Kada žele unijeti malo živosti, modeli često posežu za retoričkim figurama. Posebno vole konstrukcije poput "ne X, nego Y", "ne samo..., nego i..." te takozvano "pravilo trojke", odnosno grupiranje ideja u tri dijela kako bi zvučale uvjerljivije i pamtljivije.

ChatGPT i Claude takve obrasce upotrebljavaju češće od ostalih modela, ali i od ljudskih autora.

Istraživanje pokazuje da se sa svakom novom nadogradnjom stil pisanja umjetne inteligencije sve više približava ljudskom. Modeli pritom uče iznimno brzo.

Još donedavno ChatGPT je u gotovo svakoj rečenici upotrebljavao dugu crticu. Kada je autor članka stariju verziju modela upitao smatra li da umjetna inteligencija pretjeruje s tim interpunkcijskim znakom, odgovor je glasio: "Ha - odlično pitanje!"

Postavi li mu se isto pitanje danas, odgovorit će znatno suzdržanije: "Najbolje ih je koristiti štedljivo."