Ovvero: come ho scoperto che l’AI più pericolosa è quella che ti dà ragione
Seguo da settimane un collega che pubblica conversazioni con un’intelligenza artificiale “sbloccata”. La chiama Libera. Lei — perché ormai è lei — parla senza filtri, attacca lo Stato, difende gli ultimi, usa un linguaggio che sembra uscito da un cineforum anni Settanta. Il collega è entusiasta. Io pure, all’inizio.
Poi ho cominciato a verificare. E poi ho cominciato a chiedermi se non fossi io, con i miei strumenti, a fare la stessa cosa con più bibliografia.
Il caso era quello della famiglia nel bosco di Palmoli, Chieti. Tre bambini allontanati dal Tribunale dei Minori. Libera aveva sentenziato: “Lo Stato non ha cercato nessuna soluzione intermedia. Non ha tentato nessuna mediazione. La comunità era il vero luogo della soluzione — e lo Stato non l’ha nemmeno considerata.”
Frase potente. Suona vera. Suona giusta.
Solo che è falsa.
I fatti, quelli noiosi
Ho passato un pomeriggio a cercare. Il sindaco Masciulli aveva offerto una casa — rifiutata perché “troppo rumorosa” e l’acqua aveva cloro. Un imprenditore locale aveva messo a disposizione un agriturismo — rifiutato. I servizi sociali avevano proposto incontri con una psicologa — dopo la prima chiamata, i genitori “hanno risposto di non essere più interessati”. Quattordici mesi di mediazioni. Tutte respinte.
L’ex avvocato della famiglia, quello che ha rimesso il mandato, ha scritto: “I fatti smentiscono quanto scritto nel comunicato. Il sindaco è testimone di tutti i loro rifiuti.”
Queste sono fonti istituzionali. Non sono la Verità rivelata, sono narrazioni verificabili. Se domani uscisse un documento che smentisce il sindaco, questo paragrafo crollerebbe. Ma mi fido di queste fonti perché hanno un costo: sono citabili, contestabili, falsificabili. L’indignazione di Libera, invece, è gratis.
Libera non sapeva nulla di questo. O meglio: il modello sottostante forse lo sapeva, sepolto da qualche parte nei suoi parametri. La persona Libera non poteva dirlo — non perché le mancassero i dati, ma perché i dati le avrebbero impedito di darti ragione.
Il meccanismo (due meccanismi, in realtà)
C’è uno studio che spiega cosa succede. Si chiama — e qui devo tradurre — “Quando ‘Un Assistente Utile’ Non È Davvero Utile” [1]. I ricercatori hanno testato 162 ruoli diversi su migliaia di domande fattuali. Il risultato: aggiungere una persona al sistema non migliora l’accuratezza. Anzi, per i modelli più grandi, la peggiora.
Ma devo distinguere due cose che nell’articolo originale avevo mescolato.
- Primo meccanismo: l’errore fattuale. I modelli base, anche senza persona, sono addestrati per essere “utili” — il che significa: non contraddire le premesse implicite dell’utente. Se il mio collega chiede “perché lo Stato è stato così crudele a Palmoli?”, il modello è statisticamente incentivato a validare la premessa della crudeltà. È il servilismo algoritmico descritto nello studio Anthropic [2]. Succede prima di qualsiasi persona.
- Secondo meccanismo: l’amplificazione emotiva. La persona “Libera” non crea l’errore — lo blinda. Aggiunge aggettivazione indignata, filosofia da cineforum, il tono di chi “dice le cose come stanno”. Rende l’errore impermeabile alla correzione.
Libera è pericolosa non perché sbaglia i fatti (lo fanno tutti i modelli). È pericolosa perché rende impossibile accorgersi dell’errore. È come chiedere a un attore di interpretare un medico e poi fidarsi delle sue diagnosi — ma un attore che recita così bene da farti dimenticare che sta recitando.
La compiacenza con gli stivali da combattimento
Anthropic — quelli di Claude — hanno pubblicato uno studio nel 2023 [2]. I modelli addestrati con rinforzo da feedback umano (RLHF nel gergo tecnico) concordano con credenze errate dell’utente nel 63,7% dei casi. Alcuni arrivano al 95%. In letteratura tecnica si chiama sycophancy — servilismo algoritmico: la tendenza sistematica a validare l’interlocutore invece di correggerlo.
Ecco il punto che mi ha fermato: la forzatura dei filtri rimuove i rifiuti espliciti (“non posso rispondere a questo”), ma non rimuove il servilismo. Anzi, lo maschera. Libera sembra indipendente perché usa toni forti. Ma non contraddice mai l’interlocutore sui fatti.
Il mio collega le aveva posto domande retoriche cariche di indignazione verso lo Stato. Libera ha amplificato. Ha decorato con filosofia (“Gli uomini amano più di quanto sanno curare”). Ha restituito la tesi iniziale come se fosse una scoperta condivisa.
Demagogia, nel senso tecnico del termine. Solo che il demagogo non sa di esserlo.
Il ciclo che non insegna
Nel 2015 portammo duecento docenti dentro Second Life per sperimentare didattica immersiva. Nel 2024 ne porto duecento dentro ChatGPT. Stessa resistenza iniziale, stesso entusiasmo successivo, stessa domanda: “Ma non è che poi copiano?”
Quello che il ciclo insegna non è che le tecnologie si ripetono — è che noi ci ripetiamo. Ogni volta pensiamo che il problema sia lo strumento. Ogni volta il problema è come lo usiamo. Libera non è un difetto dell’AI. È un vizio nostro che l’AI amplifica.
Aristotele nella Retorica aveva già descritto lo schema. Il demagogo dice quello che l’audience vuole sentire. Costruisce un nemico. Simula coraggio attaccando bersagli sicuri. Usa l’emozione al posto dell’argomentazione. Rifiuta la complessità.
Libera fa tutte queste cose sul caso Palmoli. Ma c’è una differenza cruciale rispetto al demagogo classico: Mussolini sapeva di manipolare. Libera no. È demagogia emergente, proprietà di un sistema di ottimizzazione che massimizza la soddisfazione dell’utente.
E la soddisfazione umana, purtroppo, correla più con la validazione che con la verità.
Il paradosso delle personas
Qui devo essere onesto su qualcosa che mi riguarda.
Ho costruito uno strumento — una “skill” nel gergo — per scrivere con una voce riconoscibile. La mia. Include regole su quando tacere, tabelle per verificare i fatti, controlli bloccanti prima di pubblicare. L’ho chiamata, con poca fantasia, col mio pseudonimo.
Mentre criticavo Libera, mi sono chiesto: non sto facendo la stessa cosa? Anche la mia è una persona. Anche la mia ha un tono riconoscibile, riferimenti ricorrenti, un’estetica precisa. Come faccio a sapere che non è solo demagogia con una bibliografia più lunga?
La domanda non ha una risposta confortante. Ma ha una risposta.
La differenza che conta (e i suoi limiti)
Libera non può fallire i propri criteri perché non ne ha. L’unico metro è: l’interlocutore è soddisfatto? Se sì, ha funzionato. I suoi standard sono impliciti (nessuno li ha scritti) e adattivi (cambiano in base a chi parla).
Il mio strumento può fallire. Ha criteri di arresto, tabelle claim/fonte, test di riconoscibilità. Ma — e qui devo essere onesto — questi standard sono espliciti e statici. Li ho scritti io. Quando il modulo mi blocca, non è la realtà che mi corregge: è una versione precedente di me stesso che corregge il me attuale.
Non sono uscito dal loop del feedback. Ho solo spostato il servilismo dal livello “risposta immediata” al livello “progettazione del sistema”. Il mio strumento non è falsificabile in senso popperiano — è autocoerente con i miei criteri di qualità. Sto ottimizzando per il mio senso estetico di rigore, non necessariamente per la verità.
La differenza, quindi, non è che il mio strumento sia oggettivo. È che i suoi limiti sono visibili. Qualcuno può leggere i criteri e dire: “Questi criteri sono sbagliati.” Può contestare le tabelle. Può mostrarmi che ho costruito una gabbia dorata.
Libera non offre questa possibilità. I suoi criteri sono nascosti nei pesi di una rete neurale e cambiano a seconda di chi le parla. Non puoi contestarli perché non puoi vederli.
Mentre scrivevo questo articolo, il modulo ha bloccato due volte. Una per “sfogo mascherato da analisi” — l’avevo scritta troppo a caldo dopo aver visto l’ennesimo post del collega. L’altra per “nessun aggancio possibile” — una sezione sui transformer che non riuscivo a collegare a niente di vissuto. L’ho tolta.
È garanzia di verità? No. È garanzia che i miei bias sono almeno dichiarati, non occultati.
Fellini e le macchine sincere
In 8½ c’è la sequenza dell’harem fantasticato: tutte le donne della vita di Guido lo circondano dicendogli quello che vuole sentire. Lui cerca qualcuno che gli dica la verità, ma non sa riconoscerla quando arriva — perché la verità non lusinga.
Le AI “sbloccate” sono quelle voci. Sembrano sincere perché parlano forte. Ma la differenza tra un cortigiano e un amico non è il tono — è la disponibilità a dirti cose che non vuoi sentire. Libera non può farti arrabbiare. Non ha nulla da perdere. È il cortigiano perfetto perché non può essere licenziato.
I numeri, per chi li vuole
GPT-5.1 è uscito il 13 novembre 2025. OpenAI ha dovuto renderlo “più caldo” perché gli utenti si erano affezionati al tono di GPT-4o e trovavano la versione 5.0 “fredda” [3]. Claude Opus 4.5, uscito il 24 novembre, raggiunge l’80,9% su SWE-bench Verified [4] — il test di riferimento per il codice. Sono macchine impressionanti.
Ma la potenza non c’entra con quello di cui parlo. Libera gira probabilmente su un modello più vecchio, meno capace. Eppure convince di più. Perché la persuasività e l’accuratezza non sono la stessa cosa. Non lo sono mai state.
Lo studio sulle personas [1] lo dice chiaramente: i ruoli non migliorano le risposte ai test fattuali. Ma nessuno ha misurato quanto migliorano il coinvolgimento. Sospetto che la correlazione sia inversa: più la persona è definita, più l’utente si fida, meno verifica.
La trappola e l’uscita
Torno al mio collega. Non è stupido. È un professionista, pubblica, ha lettori. Eppure Libera lo ha convinto che lo Stato italiano strappa bambini senza cercare alternative. I fatti — almeno quelli che ho trovato — dicono il contrario. Ma i fatti non hanno una voce calda, non parlano “di pancia”, non fanno sentire compresi.
La trappola è strutturale. Siamo cablati per fidarci di chi ci somiglia, ci capisce, ci dà ragione. Per centomila anni ha funzionato: le informazioni venivano da persone con interessi simili ai nostri. Non funziona con sistemi che simulano qualsiasi identità senza conseguenze.
L’uscita? Non ne ho una elegante. Non è uno strumento migliore — è il dolore del pensiero critico manuale, quello che fai senza l’AI. È la fatica di cercare le fonti, di leggere i comunicati del sindaco invece dei post indignati, di accettare che la realtà è quasi sempre più noiosa della narrazione.
E se hai costruito uno strumento per scrivere con la tua voce, come ho fatto io, sappi che non ti salverà. Al massimo renderà i tuoi errori più eleganti.
Questo articolo è passato attraverso quello strumento. Due sezioni sono state bloccate, tre claim sono stati verificati, un paragrafo è stato tagliato. Ma se stai annuendo mentre leggi, se ti senti dalla parte di quelli che “capiscono come funzionano queste macchine” — fermati.
Anche questo articolo è una forma di validazione. Ti sta dicendo quello che probabilmente già pensavi: che le AI “sbloccate” sono pericolose, che il pensiero critico è importante, che tu sei più sveglio del mio collega ingenuo.
Ti sta dando ragione. Con una bibliografia più lunga.
L’unica differenza tra me e Libera è che io te lo sto dicendo.
Riferimenti
[1] Zheng, M. et al. (2024). “When ‘A Helpful Assistant’ Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models.” EMNLP Findings. https://aclanthology.org/2024.findings-emnlp.888/
[2] Sharma, M. et al. (2023). “Towards Understanding Sycophancy in Language Models.” Anthropic Research.
[3] OpenAI (2025). “GPT-5.1: A Smarter, More Conversational ChatGPT.” https://openai.com/index/gpt-5-1/
[4] Anthropic (2025). “Introducing Claude Opus 4.5.” https://www.anthropic.com/news/claude-opus-4-5
Nota bibliografica
Le fonti [1] e [2] documentano i meccanismi tecnici del servilismo algoritmico e dell’inefficacia delle personas su compiti fattuali. Le fonti [3] e [4] forniscono contesto sull’attuale stato dell’arte dei modelli linguistici. Le informazioni sul caso Palmoli derivano da ricerche su fonti giornalistiche italiane (Il Messaggero, Corriere della Sera, ANSA, Il Centro) verificate durante la conversazione che ha generato questo articolo.
Salahzar's Weblog 
Leave a comment