Milijuni djece iskorišteni za sadržaj seksualnog zlostavljanja generiran umjetnom inteligencijom

Umjetna inteligencija mijenja način na koji kriminalci proizvode, distribuiraju i unovčavaju seksualizirani sadržaj koji prikazuje djecu, upozoravaju iz Globalne inicijative protiv transnacionalnog organiziranog kriminala (GI-TOC). Ističu kako najveći izazov nije samo razvoj novih tehnologija, nego i činjenica kako kriminalna uporaba alata umjetne inteligencije napreduje mnogo brže od zakona, institucija i istražnih kapaciteta.

Tehnologija sve dostupnija, reakcije kasne

Prema riječima Anese Agović Đozo, više analitičarke Globalne inicijative protiv transnacionalnog organiziranog kriminala i jedne od autorica izvješća "Abuse at scale: Artificial intelligence is reshaping child sexual exploitation", generativna umjetna inteligencija znatno je smanjila tehničke i financijske prepreke za stvaranje uvjerljivih seksualiziranih prikaza djece.

"Fotografije preuzete s društvenih mreža danas se mogu brzo izmijeniti, seksualizirati ili uključiti u potpuno sintetički sadržaj bez znanja djeteta", kaže Agović Đozo.

Dodaje kako su postojeći zakoni i alati za otkrivanje uglavnom razvijeni u razdoblju kada je fokus bio na fotografskom materijalu stvarnog zlostavljanja, dok se danas suočavamo s masovnom proizvodnjom sintetičkog i manipuliranog sadržaja.

Izvješća međunarodnih organizacija upozoravaju kako je količina materijala seksualnog zlostavljanja djece generiranog umjetnom inteligencijom (CSAM) posljednjih godina naglo porasla. Procjenjuje se da je najmanje 1,2 milijuna djece imalo svoj lik iskorišten za stvaranje takvog sadržaja.

Industralizacija kriminala

Prema analizi GI-TOC-a, sintetički CSAM ne mora zamijeniti materijal stvarnog zlostavljanja, nego može proširiti tržište, povećati potražnju, normalizirati seksualizaciju djece i olakšati prijelaz počinitelja prema težim oblicima nasilja.

Livia Wagner, predstojnica ureda i tematska voditeljica za trgovinu ljudima u GI-TOC-u te jedna od autorica izvješća, objašnjava da je internetsko seksualno iskorištavanje djece ranije često bilo povezano sa zatvorenim zajednicama u kojima su ključnu ulogu imali pojedinci s određenim tehničkim znanjem. Međutim, posljednjih godina primjetan je trend industrijalizacije kriminalnih aktivnosti u različitim područjima kibernetičkog kriminala.

"Umjetna inteligencija dio je tog procesa jer omogućuje stvaranje ekosustava u kojem različiti akteri mogu biti specijalizirani za različite funkcije unutar kriminalnog lanca", kaže Wagner.

Ta specijalizacija može uključivati stvaranje sadržaja, distribuciju, financijske usluge, odabir žrtava, vrbovanje djece, upravljanje platformama i druge aktivnosti.

"To kriminalne mreže čini otpornijima jer različiti sudionici preuzimaju različite uloge, a pojedinci postaju međusobno zamjenjivi", ističe Wagner.

Ne treba više napredno tehničko znanje

Agović Đozo dodaje da zlouporabu alata umjetne inteligencije i dalje mogu provoditi pojedinci ili manje zatvorene internetske zajednice jer generativni alati omogućuju proizvodnju sadržaja bez naprednog tehničkog znanja.

Istodobno se, kaže, primjećuje profesionalizacija i komercijalizacija tog kriminalnog tržišta.

"Ne bih rekla da organizirane kriminalne skupine potpuno preuzimaju ovo područje od pojedinaca. Prije je riječ o nastanku slojevitog tržišta u kojem pojedinačni počinitelji, tehnički posrednici, administratori platformi, pružatelji alata umjetne inteligencije, distributeri i financijski posrednici mogu djelovati kao dio iste kriminalne ekonomije, čak i kada se međusobno ne poznaju", kaže Agović Đozo.

Promjena se ogleda u prijelazu prema modelima "crime-as-a-service", u kojima kriminalci više ne moraju sami razvijati tehnologiju niti posjedovati posebne vještine. Mogu koristiti gotove modele umjetne inteligencije, usluge chatbotova, aplikacije za manipulaciju fotografijama, pretplatničke platforme te infrastrukturu za distribuciju i naplatu.

Prema izvješću, umjetna inteligencija danas se koristi u različitim fazama seksualnog iskorištavanja djece, od stvaranja lažnih identiteta i automatiziranog vrbovanja žrtava do proizvodnje i distribucije sadržaja.

Međunarodne policijske operacije pokazale su razmjere problema. Operacija "Cumberland", koju su tijekom 2025. predvodile vlasti 19 država, razotkrila je jednu od prvih transnacionalnih mreža za distribuciju sadržaja seksualnog zlostavljanja djece generiranog umjetnom inteligencijom, pri čemu je identificirano gotovo 300 korisnika diljem svijeta. Operacija "Torch" u srpnju 2026. rezultirala je uhićenjima u više europskih država.

Tehnologija odlučuje odmah, birokracija i zakonodavstvo znatno dulje

Agović Đozo smatra kako je jedan od najvećih propusta tehnoloških tvrtki to što se sigurnost djece često tretira kao dodatna funkcija, umjesto kao temeljno načelo razvoja proizvoda.

Tvrtke, kaže, ulažu goleme resurse u brzinu, kvalitetu i dostupnost modela, dok se testiranje mogućih zlouporaba, zaštita podataka djece i sprječavanje seksualiziranog sadržaja često razvijaju tek nakon što je šteta već nastala.

Zbog toga smatra da tvrtke moraju biti obvezne provoditi detaljne procjene rizika prije objavljivanja novih sustava umjetne inteligencije.

"Načelo mora biti jednostavno: proizvod koji se može masovno zloupotrijebiti za seksualno iskorištavanje djece ne bi smio biti dostupan bez odgovarajuće zaštite", naglašava Agović Đozo.

Europska unija poduzela je određene korake kroz regulativu kojom se zabranjuju aplikacije za digitalno uklanjanje odjeće i sustavi umjetne inteligencije koji stvaraju materijal seksualnog zlostavljanja djece ili prikazuju intimne dijelove tijela bez pristanka. Ipak, istraživanje upozorava da regulatorni sustavi često ne mogu pratiti brzinu tehnoloških promjena.

"Države reagiraju, ali još uvijek uglavnom reaktivno. Kriminalci mogu testirati i prilagoditi novi alat u roku od nekoliko dana, dok su za izmjenu zakona, obuku tužitelja i policije, nabavu forenzičkih alata i međunarodno usklađivanje često potrebne godine", ističe sugovornica.

Kao najvažniju mjeru zaštite Livia Wagner izdvaja veću odgovornost tehnoloških tvrtki, ali naglašava da problem ne treba promatrati isključivo kao tehnološki izazov. Ne postoji univerzalno rješenje, tvrdi, a pitanje je potrebno promatrati u okviru globalne odgovornosti.

Prema njezinim riječima, tvrtke koje razvijaju i primjenjuju napredne sustave umjetne inteligencije moraju sustavno procjenjivati rizike za sigurnost djece, provoditi mjere za njihovo ublažavanje i dokazivati da su te mjere učinkovite.

"Govorimo o djeci koja su najranjivija na internetsko iskorištavanje, ali su često jednako ranjiva i izvan digitalnog okruženja. To je pitanje razvoja, socijalne isključenosti, slabih sustava zaštite, rodne neravnopravnosti, ali i digitalne pismenosti", ističe.

Zaključuje da se tehnologija brzo razvija i da je teško predvidjeti kako će izgledati u budućnosti, ali da se već sada može zaključiti kako su postojeće društvene i gospodarske ranjivosti često presudniji čimbenik od same tehnologije. Upozorava i na činjenicu kako kriminalne mreže djeluju globalno, dok regulacija, kazneni progon i pomoć žrtvama uglavnom ostaju u nadležnosti pojedinačnih država.

Zbog toga su, prema njezinim riječima, potrebni snažniji mehanizmi međunarodne razmjene podataka, usklađivanje pravnih standarda te veće uključivanje tehnološkog i financijsko-tehnološkog sektora.

Detektor je ranije pisao da je Europski parlament podržao prijedlog prema kojem bi aplikacije poput WhatsAppa, Signala i drugih servisa s end-to-end enkripcijom ostale izuzete od automatskog skeniranja privatnih poruka u potrazi za materijalima seksualnog zlostavljanja djece. Konačnu riječ sada ima Vijeće Europske unije, koje će u iduća tri mjeseca odlučiti hoće li prihvatiti taj pristup ili će uslijediti novi pregovori o pravilima kojima se nastoje uskladiti zaštita djece i pravo građana na privatnu komunikaciju, piše BIRN.