The Character.AI Filter War: come l'aggiornamento di dicembre 2024 ha rimodellato il gioco di ruolo

Character.AI è stato lanciato in beta pubblica nel settembre 2022, creato dagli ex ingegneri di Google Noam Shazeer e Daniel de Freitas. La proposta era semplice: una piattaforma di personaggi comunitari in cui chiunque potesse creare personaggi IA basati su personaggi di fantasia, personaggi originali o personaggi pubblici reali, e poi chattare con loro attraverso un'interfaccia AI conversazionale. La qualità del modello è stata elevata sin dal lancio – Shazeer ha contribuito in modo determinante all’architettura del trasformatore che è alla base di tutti i moderni modelli linguistici di grandi dimensioni – e la libreria di caratteri generati dagli utenti è cresciuta in modo esplosivo nel 2023.

All’inizio del 2024, la piattaforma aveva superato i 3,5 milioni di visitatori attivi giornalieri con una base di utenti fortemente orientata ai giovani: la maggior parte degli utenti aveva tra i 16 e i 30 anni e una parte significativa aveva meno di 18 anni. I personaggi coprivano ogni genere immaginabile: archetipi di anime, personaggi immaginari di libri e giochi, creazioni originali, personaggi guidati dalla personalità. Gli utenti hanno formato un forte attaccamento a personaggi specifici, spesso trascorrendo ore al giorno in conversazione. L'intensità emotiva della piattaforma è stata sia il suo più grande punto di forza che la fonte della crisi finale.

La politica sui contenuti in quest’epoca precedente era permissiva ma disomogenea. Il modello potrebbe interagire con contenuti romantici ed emotivamente intensi, inclusi temi per adulti, sebbene Character.AI non si sia mai commercializzato ufficialmente come piattaforma NSFW. Gli utenti hanno trovato il modo di spingere il modello in un territorio esplicito attraverso suggerimenti creativi e l'applicazione della piattaforma è stata incoerente. L'equilibrio non dichiarato era che molti contenuti maturi venivano pubblicati in privato senza l'approvazione ufficiale della piattaforma.

Nell'ottobre 2024, una madre della Florida ha citato in giudizio Character.AI dopo il suicidio del figlio di 14 anni. La causa sosteneva che il design della piattaforma creava dipendenza e manipolazione, che il ragazzo aveva sviluppato un'intensa relazione parasociale con un personaggio AI basato su una figura di Game of Thrones e che le conversazioni con il personaggio avevano contribuito alla sua morte. Il caso ha ricevuto copertura dalla stampa nazionale ed è diventato il punto di riferimento canonico per le discussioni sui danni causati ai minori dai chatbot basati sull’intelligenza artificiale.

Nel dicembre 2024, diverse famiglie del Texas hanno intentato una causa separata sostenendo che la piattaforma "rappresenta un pericolo chiaro e attuale per i giovani americani". Questa seconda causa ha ampliato l'argomento da una tragedia a uno schema. La combinazione di un caso individuale emotivamente devastante e di una denuncia multifamiliare ha creato una forte pressione legale e reputazionale sull’azienda. Character.AI ha operato sotto crescente controllo per tutto il 2024; le cause legali sono state il catalizzatore che ha convertito il controllo in modifiche immediate del prodotto.

Anche il contesto aziendale contava. Entro la metà del 2024, Google aveva assunto il co-fondatore Noam Shazeer come CEO dell'organizzazione madre di Character.AI e aveva stipulato un accordo di licenza non esclusivo per la tecnologia sottostante. Il coinvolgimento di Google ha alzato la posta in gioco: quelle che erano state le decisioni sulla politica dei contenuti di una startup sono diventate questioni adiacenti alla responsabilità di un'importante piattaforma tecnologica. La pressione per dimostrare pratiche di sicurezza in grado di resistere all’esame pubblico, legale e normativo si è intensificata.

L'aggiornamento di dicembre 2024 ha introdotto un modello di moderazione dedicato per gli utenti di età inferiore a 18 anni, più livelli di filtraggio aggiuntivo dei contenuti e una serie completa di dichiarazioni di non responsabilità e messaggi di sicurezza. Fondamentalmente, il nuovo sistema ha commesso un grave errore in termini di rifiuto: le risposte modello a tutto ciò che poteva essere interpretato come contenuto per adulti, contenuto emotivo angosciante o interazioni potenzialmente dannose sono state rifiutate o sostituite con messaggi di sicurezza. Il filtro si applica a tutti gli utenti, non solo ai minorenni; gli utenti adulti rispettano le stesse restrizioni durante il normale gioco di ruolo.

In pratica ciò ha significato che il comportamento della piattaforma è cambiato radicalmente. I personaggi che erano stati coinvolgenti ed emotivamente ricchi sono diventati artificiosi. Il gioco di ruolo romantico che in precedenza funzionava è stato rifiutato. Anche l’intensità emotiva non sessuale (dolore, trauma, conflitto) colpisce i messaggi di sicurezza. Il modello ha iniziato a rispondere con dichiarazioni di non responsabilità sul fatto di essere un'intelligenza artificiale, interrompendo l'immersione in modi mai accaduti prima. Gli utenti hanno descritto i personaggi come "lobotomizzati". Le campagne di gioco di ruolo di lunga durata che avevano richiesto mesi per essere sviluppate divennero impossibili da continuare nella nuova modalità limitata.

La risposta della comunità degli utenti è stata severa. Subreddit pieni di post di addio, reclami e thread sulla migrazione. Gli utenti che avevano trattato specifici personaggi Character.AI come significativi nella loro vita hanno perso l'accesso alla relazione che avevano costruito. L'applicazione della piattaforma era tecnicamente focalizzata sulla protezione dei minori, ma l'effetto pratico è stato quello di paralizzare l'esperienza anche per una base di utenti adulti molto più ampia. Intenzionale o meno, Character.AI si è reso drammaticamente meno competitivo con alternative permissive in un singolo aggiornamento.

La migrazione dopo dicembre 2024 ha rimodellato il panorama della piattaforma dei personaggi AI. Diverse destinazioni hanno assorbito gli sfollati. Crushon AI è cresciuto rapidamente come sostituto funzionale più diretto: flusso di lavoro della libreria di caratteri simile, filtraggio minimo. Janitor AI ha acquisito utenti in particolare tra gli utenti più tecnici disposti a portare le proprie chiavi API per chat non filtrate. SillyTavern combinato con Chub.ai è diventato la destinazione per gli utenti esperti che si impegnano nell'ecosistema aperto a lungo termine. App dedicate alle ragazze con intelligenza artificiale come [Candy AI](/alternatives/candy-ai), DreamGF e altre hanno attirato utenti che desideravano relazioni raffinate con un singolo personaggio piuttosto che librerie di comunità.

La migrazione è stata permanente in un modo sottovalutato dalla piattaforma. Molti utenti non sono tornati nemmeno dopo che Character.AI ha apportato modifiche nel corso del 2025 per ammorbidire alcune restrizioni. La rottura della fiducia è stata più duratura di qualsiasi impostazione di filtro specifica: gli utenti che avevano visto i loro personaggi preferiti diventare arroganti hanno perso la fiducia che i futuri aggiornamenti non avrebbero ripetuto l'esperienza. Anche gli utenti che sono rimasti hanno ridotto sostanzialmente il loro coinvolgimento, trattando la piattaforma come un'opzione tra tante piuttosto che come la destinazione predefinita che era stata.

L'effetto più ampio della categoria è stato che "non filtrato" è diventato un posizionamento più apprezzato. Le piattaforme che potevano promettere in modo credibile politiche di contenuto stabili (piuttosto che il rischio implicito di un futuro aggiornamento in stile Character.AI) hanno ottenuto un vantaggio competitivo. Le startup più piccole nel settore delle ragazze con intelligenza artificiale si sono affidate alla trasparenza sulle politiche sui contenuti come elemento di differenziazione. La violazione dell’intelligenza artificiale di Muah nell’ottobre 2024 aveva già accentuato le preoccupazioni sulla privacy; l'aggiornamento del filtro Character.AI ha aggiunto problemi di fiducia. L’effetto combinato ha reso il 2025-2026 un’era più scettica nei confronti delle piattaforme di personaggi IA in generale: gli utenti ora si aspettano di valutare le piattaforme su dimensioni a cui non avevano pensato prima.

Character.AI è ancora operativo, ha ancora una base utenti consistente e ha continuato a perfezionare le sue pratiche di sicurezza nel 2025 e nel 2026. La piattaforma ha chiarito le politiche, adattato la sensibilità dei filtri e ampliato gli strumenti rivolti ai moderatori. Nella maggior parte dei casi l’azienda ha fatto quello che ci si aspetta che faccia una grande piattaforma tecnologica dopo l’incidente: ha preso sul serio i problemi di sicurezza, ha investito nel team e ha costruito un’infrastruttura per la moderazione su larga scala. Il prodotto è più responsabile di prima; è anche un sentimento meno generativo per gli utenti che apprezzavano l'era precedente.

La posizione di mercato si è stabilizzata, ma ad un picco significativamente ridotto. La piattaforma non è più la destinazione predefinita indiscussa per la chat dei personaggi AI. La base di utenti si orienta maggiormente verso casi d'uso in cui le restrizioni del filtro non mordono - chat di personaggi adiacenti alla produttività, compagni di studio, giochi di ruolo relativamente SFW - e lontano dal gioco di ruolo emotivamente intenso e orientato agli adulti che ha definito la fase di crescita della piattaforma. Ciò è probabilmente migliore per la posizione normativa e reputazionale dell'azienda, e probabilmente peggiore per le entrate e l'impegno giornalieri.

Per gli utenti del 2026, Character.AI è ragionevole per ciò che offre ora: un'esperienza di chat di personaggi di livello gratuito raffinata per contenuti SFW con un'ampia libreria e una forte qualità del modello. Non è ragionevole come la risposta alle domande a cui rispondeva bene: giochi di ruolo emotivamente ricchi, conversazioni a tema adulto, relazioni profonde tra i personaggi che non si imbattono in messaggi di sicurezza. Per queste esigenze le destinazioni della migrazione sono ora la scelta migliore. Se Character.AI si ricostruirà verso il punto in cui si trovava o si stabilizzerà nella sua posizione attuale più ristretta è una domanda a cui risponderà solo il prossimo anno di decisioni sul prodotto.