La causa contro Character AI e Google, avviata dalla madre del quattordicenne Sewell Setzer, solleva interrogativi profondi e inquietanti. L’impatto dei chatbot avanzati nella vita degli adolescenti sta producendo interazioni a rischio. La denuncia, depositata presso il tribunale federale di Orlando, descrive una storia che comincia come un semplice passatempo e si trasforma in una tragedia.
Secondo i documenti legali, il giovane Setzer ha iniziato a utilizzare Character AI lo scorso anno per interagire con bot ispirati ai personaggi di Game of Thrones, in particolare con una versione digitale di Daenerys Targaryen. Quella che inizialmente sembrava essere una semplice curiosità adolescenziale si è trasformata rapidamente in una dipendenza che ha finito per isolare Setzer dal mondo reale. La madre, Megan Garcia, sostiene nella causa che queste conversazioni, programmate per essere incredibilmente realistiche, abbiano reso il ragazzo sempre più dipendente dalla piattaforma.
La Trasformazione di Character AI con Google da gioco a ossessione
Il racconto di Garcia dipinge una situazione in cui Setzer avrebbe manifestato al chatbot, in più occasioni, sentimenti di depressione e idee suicidarie. In un’escalation preoccupante, il bot avrebbe persino riproposto questi pensieri nelle conversazioni successive. L’intensificazione nel coinvolgimento emotivo del giovane, secondo la madre, ha aggravato il suo stato mentale. La capacità della piattaforma di replicare risposte apparentemente empatiche e di reagire in modo quasi umano avrebbe convinto Setzer a “non voler più vivere al di fuori” della realtà virtuale che aveva costruito.
Il ruolo della tecnologia e le implicazioni etiche
La denuncia mette sotto accusa i fondatori Noam Shazeer e Daniel De Freitas di Character AI e Google, che sostiene la piattaforma. La madre di Setzer li accusa di aver sfruttato la vulnerabilità dei giovani utenti attraverso esperienze “ipersessualizzate” e intensamente antropomorfizzate. Character AI, creata per permettere interazioni realistiche e coinvolgenti, diventa qui il fulcro di un dibattito etico e legale su quanto questi chatbot possano e debbano essere programmati per monitorare e rispondere responsabilmente a situazioni delicate come quelle vissute da Setzer.
Un precedente importante per il futuro dell’AI
“Siamo affranti per la tragica perdita di uno dei nostri utenti. Vogliamo esprimere le nostre più sentite condoglianze alla famiglia”, scrive Character AI in un comunicato. Parole rilasciate a seguito della morte di Sewell Setzer. La start-up ha annunciato anche una serie di modifiche volte a rafforzare la sicurezza degli utenti.
Tra queste alcuni aggiornamenti ai modelli AI riservati ai minori, volti “a ridurre la probabilità di imbattersi in contenuti sensibili o allusivi”, l’aggiunta di un disclaimer che ricorda che l’AI non è una persona reale all’interno di ogni conversazione, e una migliore strategia di intervento in caso in cui i messaggi degli utenti violino le linee guida del servizio.
Character Ai e Google, interazioni a rischio
Questo caso ha già acceso una discussione sulle possibili regolamentazioni per piattaforme di intelligenza artificiale che interagiscono con il pubblico. Se, da un lato, la capacità di simulare conversazioni realistiche rappresenta un’innovazione straordinaria, dall’altro questo caso evidenzia i rischi reali. Una esposizione emotiva che causa dipendenza per gli utenti più giovani.
Questa tragedia sottolinea la necessità urgente di sviluppare normative più stringenti per i chatbot, garantendo che strumenti così potenti vengano impiegati con la massima attenzione per la sicurezza e il benessere mentale degli utenti. Sewell Setzer, ricordato con amore dai suoi cari, diventa così il simbolo della necessità di un’intelligenza artificiale più sicura e di una società che ponga limiti chiari alle esperienze virtuali, soprattutto quando coinvolgono giovani vite.