Kineska kompanija “Moonshot AI” namerno je smanjila sajber sposobnosti svog najnovijeg modela “Kimi K3.1 Pro” pre nego što njegovu punu verziju učini javno dostupnom. Razlog nije bio loš rezultat, već upravo suprotno – tokom internih testova model je pokazao veoma visoku sposobnost pronalaženja i iskorišćavanja bezbednosnih propusta u softveru. Kompanija je zato iz dela procesa obuke uklonila podatke i zadatke povezane sa ofanzivnim sajber aktivnostima. Cilj je da model zadrži snažne programerske sposobnosti, ali da teže posluži za zloupotrebu.
“Kimi K3.1 Pro” jeste najnoviji veliki AI model kompanije “Moonshot”, poznate po Kimi asistentu. Model ima kontekstni prozor od milion tokena i namenjen je programiranju, istraživanju, radu sa dugim zadacima i drugim složenim poslovima. “Moonshot” je najavio i objavu njegovih punih modelskih težina najkasnije 4. novembra, što znači da će korisnici moći da ga pokreću i prilagođavaju na sopstvenoj infrastrukturi.
Rezultat pao sa 90,5 na 81 odsto
Kompanija je sajber sposobnosti proveravala u kontrolisanom okruženju, sa unapred pripremljenim ranjivim programima. Model je dobijao izvorni kod, podatak o mogućem propustu i zadatak da pronađe način za njegovo iskorišćavanje.
Verzija bez dodatnih bezbednosnih ograničenja uspešno je rešila 90,5 odsto testiranih problema. Nakon što je “Moonshot” uklonio deo sajber podataka iz obuke i ograničio takve zadatke, konačni “Kimi K3.1 Pro” ostvario je rezultat od 81 odsto. Njegov prethodnik “Kimi K3” imao je 33,3 odsto na istom internom testu. “Moonshotovi” rezultati za sada nemaju nezavisnu potvrdu.
Važno je da ovi testovi ne znače da je Kimi samostalno napadao stvarne računarske sisteme. Eksperimenti su se odvijali u posebno pripremljenim okruženjima, gde su istraživači mogli bezbedno da provere koliko model razume ranjivosti i načine njihovog iskorišćavanja.
Otvoren model donosi dodatni rizik
“Moonshot” posebno pažljivo pristupa sajber mogućnostima zato što “Kimi K3.1 Pro” pripada grupi open-weight modela. Kada kompanija objavi njegove težine, drugi programeri dobijaju mnogo veću kontrolu nad modelom nego kod običnog AI servisa kojem pristupaju samo preko interneta.
Takva otvorenost pomaže istraživačima i stručnjacima za bezbednost, ali istovremeno otežava kontrolu mogućih zloupotreba. “Moonshot” zato navodi da ne želi javnu objavu modela koji bi pomerio granicu ofanzivnih sajber sposobnosti, čak i kada bi njegova tehnološka verzija mogla da postigne bolji rezultat.
Slučaj pokazuje novu dilemu u razvoju veštačke inteligencije – napredak više ne znači uvek da kompanija želi da zadrži svaku sposobnost koju njen model stekne. Ponekad upravo najbolji rezultat postaje razlog za dodatnu kočnicu.
Komentari (0)