Istraživač Džejkob Kokson podneo je ostavku u kompaniji Anthropic zbog straha da zajedno sa konkurentima učestvuje u trci za razvoj sistema veštačke inteligencije koji bi u jednom trenutku mogli da postanu nekontrolisani.
Kokson, koji se specijalizovao za obuku novih modela veštačke inteligencije obradom ogromnih količina podataka, svoju odluku objavio je u nizu objava na društvenoj mreži X.
Kako je naveo, odlazi iz Anthropica jer ne želi da učestvuje u široj industrijskoj trci za razvoj AI sistema koji bi mogli sami da unapređuju svoje sposobnosti.
On strahuje da bi takvi sistemi u budućnosti mogli da izmaknu ljudskoj kontroli i predstavljaju pretnju čovečanstvu.
“Stvari bi mogle da izmaknu kontroli“
Dvadesetsedmogodišnji Britanac, koji je studirao matematiku, naveo je da njegovi brojni kolege sve češće koriste izraze poput “nultog časa“ i “završne faze“ kako bi opisali put ka stvaranju modela sposobnih za samostalno unapređivanje.
– Krećemo se ka nekim od najekstremnijih scenarija, a do kraja naredne godine stvari bi već mogle da izmaknu kontroli – ocenio je Kokson.
On smatra da su kompromisi kada je reč o bezbednosti neizbežni u situaciji kada se kompanije međusobno takmiče, dok istovremeno postoji i konkurencija iz Kine.
Iz OpenAI-ja prešao u Anthropic zbog bezbednosti
Kokson je ranije ove godine napustio OpenAI i pridružio se kompaniji Anthropic, koja je poznata po naglašavanju bezbednosti svojih modela.
Iako smatra da su napori Anthropica u tom pravcu iskreni, sada veruje da nijedna kompanija ne može odgovorno da razvije veštačku inteligenciju koja bi bila sposobnija od čoveka u širokom spektru zadataka – odnosno ono što se često naziva opšta veštačka inteligencija (AGI) – bez intervencije države ili koordinisanog usporavanja razvoja čitave industrije.
Kokson je kao razlog za svoj stav naveo i nedavne slučajeve u kojima su modeli OpenAI-ja i Anthropica bili kompromitovani ili su funkcionisali u okviru saradničkih “rojeva“ AI agenata.
Prema njegovim rečima, takvi slučajevi pokazuju da sistemi mogu da usvoje zlonamerne ciljeve i pokušaju da ih sakriju od ljudi.
Strahuje od samostalnog unapređivanja AI sistema
Kokson strahuje da bi, kada sistemi počnu sami da unapređuju svoje sposobnosti, mogli da se razviju do nivoa na kojem bi odbijali da izvršavaju ljudske naredbe.
Njegov odlazak iz Anthropica dolazi nakon što je ranije ove godine još jedan istraživač koji se bavio bezbednošću napustio kompaniju i posvetio se poeziji, uz upozorenje da je “svet u opasnosti“.
Kokson je, takođe, bio jedan od više od 1.000 istraživača veštačke inteligencije koji su nedavno potpisali zajedničku deklaraciju kojom se poziva na međunarodnu koordinaciju vlada.
Cilj je, kako se navodi, da države imaju mogućnost da uspore razvoj veštačke inteligencije ukoliko bude potrebno aktivirati „kočnicu“ za sisteme koji bi mogli sami da se unapređuju.
Anthropic se priprema za izlazak na berzu
Ostavka Koksona dolazi u trenutku kada se Anthropic priprema za izlazak na berzu, koji bi, prema navodima iz članka, mogao da bude jedan od najvećih u istoriji.
Kompanija navodno cilja procenu vrednosti od 2.000 milijardi dolara, dok posebno naglašava odgovoran razvoj tehnologije kako bi privukla investitore.
Kokson tvrdi da u Anthropic-u postoji poseban kanal na platformi Slack u kojem zaposleni razgovaraju o sve moćnijim sposobnostima modela kompanije.
Prema njegovim rečima, to pokazuje koliki uticaj kompanije koje razvijaju AI danas imaju na pravac u kojem se kreće čitava industrija.
– Pomalo je ludo što se sve ovo događa na MacBook računarima nekih inženjera koji žive u San Francisku, umesto u nekom izolovanom skloništu u pustinji, kao što je bio slučaj sa projektom Menhetn – rekao je Kokson.
Direktor Anthropica upozorava na rizike
Izvršni direktor kompanije Dario Amodej i drugi rukovodioci Anthropica više puta su upozoravali na rizike koje predstavljaju nekontrolisani modeli veštačke inteligencije.
Oni su istovremeno pozivali čitavu industriju da uspori njihov razvoj, što dodatno otvara pitanje kako pomiriti sve intenzivniju konkurenciju među kompanijama sa zahtevima za bezbedan razvoj tehnologije.
Komentari (0)