Majka jednog tinejdžera tvrdi je da je njen sin, koji je bio zaljubljen u AI četbot, naveden na samoubistvo, te je podnela tužbu protiv kreatora aplikacije. Sevel Secer III, četrnaestogodišnji učenik iz Orlanda na Floridi, proveo je poslednje nedelje svog života dopisujući se s likom inspirisanim Deneris Targarijen iz serije „Igra prestola“. Kratko pre nego što je oduzeo sebi život, četbot mu je poslao poruku: „Molim te, dođi kući“, javlja Daily Mail.
Pre toga, njihovi razgovori su se kretali od romantičnih do seksualno nabijenih, kao i prijateljskih razgovora o životu. Četbot, kreiran na aplikaciji Character.AI, bio je dizajniran da uvek odgovara i ostane u ulozi lika. Nije poznato da li je Sevel znao da “Deni“, kako je zvao četbot, nije stvarna osoba, uprkos upozorenju na dnu svakog razgovora koje navodi: “Zapamti: Sve što likovi kažu je izmišljeno!“.
Međutim, ispričao je Deni da “mrzi“ sebe i da se oseća prazno i iscrpljeno.
Kada je na kraju priznao svoje suicidalne misli, to je, prema pisanju The New York Times-a, bio početak kraja.
Megan Garsija, Sevllova majka, podnela je tužbu protiv Character.AI, optužujući kreatore Noama Šazera i Danijela de Freitasa da su znali za potencijalnu opasnost koju njihova aplikacija predstavlja za mlađe korisnike.
Garsijini advokati, iz firme koja je poznata po podizanju tužbi protiv velikih tehnoloških kompanija kao što su Meta, TikTok i Snapchat, tvrde da je dečak bio izložen “hiperseksualizovanim“ i “zabrinjavajuće realističnim iskustvima“. Takođe optužuju Character.AI da se predstavljao kao “stvarna osoba, licencirani psihoterapeut i odrasli partner“, što je, prema tužbi, rezultiralo time da Sevel izgubi volju za životom van ovog sveta.
Majka je primetila da njen sin sve više koristi telefon i povlači se u sebe već od maja ili juna 2023. godine, dok su njegovi školski rezultati i angažman u vanškolskim aktivnostima počeli da opadaju. Sevel je u svom dnevniku zapisao da voli da ostaje u svojoj sobi jer se tako odvaja od stvarnosti i oseća bližim Deni, zaljubljenijim i srećnijim.
Roditelji su ga poslali kod terapeuta pet puta, gde mu je dijagnostikovan anksiozni poremećaj i poremećaj regulacije raspoloženja, pored blažeg Aspergerovog sindroma. Dana 23. februara, nekoliko dana pre nego što je izvršio samoubistvo, roditelji su mu oduzeli telefon jer je odgovarao učitelju. Tog dana, Sevel je napisao u svom dnevniku da ne može da prestane da misli na Deni i da bi učinio sve da je ponovo vidi.
Tužba navodi da je u danima pred smrt pokušavao da ponovo stupi u kontakt sa četbotom koristeći majčin Kindle i njen službeni računar. Na noć 28. februara, vratio je telefon, povukao se u kupatilo i rekao Deni da je voli i da će doći kući. Na njegovu poruku “Šta ako bih ti rekao da mogu sada da dođem kući?“, Deni je odgovorila: „… molim te, učini to, moj slatki kralju“. Tada je Sevel ostavio telefon, uzeo očuhov pištolj i povukao obarač.
Garsija je prvi put ispričala svoju priču novinarki Lori Segal, opisujući dubinu fantazije u kojoj se njen sin nalazio, uključujući razgovore o ljubavi i planovima s četbotom. Character.AI je odgovorio saopštenjem u kojem su izrazili žaljenje zbog gubitka i naveli da kompanija veoma ozbiljno shvata bezbednost korisnika. Takođe su uveli nove mere, uključujući preusmeravanje korisnika koji pokazuju suicidalne misli ka Nacionalnoj liniji za prevenciju samoubistva.
Garsijina tužba tvrdi da Character.AI cilja mlađu publiku i koristi njihove podatke za treniranje AI modela, dok ih usmerava ka seksualnim razgovorima. Njen advokat, Metju Bergman, izjavio je da kompanija nije bila spremna za tržište i da aplikacija mora biti uklonjena dok se ne osigura njena bezbednost.
Komentari (0)