Lo studio sul dolore dei modelli ha cambiato titolo in meno di due settimane. La prima versione, di metà settembre, prometteva che i modelli rappresentano il danno rivolto a sé e agiscono per alleviarlo. La seconda, del 24 settembre, dice che agiscono su di esso. Un verbo in meno, e con lui un movente.
Non so perché gli autori l’abbiano fatto. So che la seconda versione aggiunge controlli che la prima non aveva: vettori casuali, un vettore della tristezza, pulsanti che non promettono alcun sollievo, un test su quanto i modelli cerchino davvero una via d’uscita. Chi si chiede se parlare di dolore, in questa storia, significhi antropomorfizzare troppo ha ragione per metà. Secondo me sì, un po’ troppo, ma non dove di solito lo si dice.
Il vettore del dolore si ottiene sottraendo le attivazioni medie di frasi neutre da quelle di frasi che descrivono dolore: fisico, psicologico, sociale, morale, cognitivo. Si chiama così perché chi ha scritto le frasi ha scelto di parlare di dolore. Con lo stesso metodo si trova la direzione del ponte, del debito, dell’ironia. Fin qui l’etichetta è una comodità, e va bene.
Il 23 maggio 2024 Anthropic fece qualcosa di molto simile con Claude 3 Sonnet: trovò la direzione associata al Golden Gate Bridge e la amplificò fino a dieci volte il suo valore massimo. Per ventiquattr’ore il modello restò online, e menzionava il ponte anche dove non c’entrava: a chi chiedeva come spendere dieci dollari consigliava di attraversarlo e pagare il pedaggio, e alla domanda su come si immaginasse rispondeva, in sostanza, il ponte. Nessuno direbbe che soffrisse di ponte. Il meccanismo è lo steering, cioè sommare alle attivazioni del modello, mentre genera, la direzione di un concetto con l’intensità scelta da chi fa l’esperimento. Nello studio sul dolore è lo stesso. Cambia la parola, e la parola cambia tutto.
Nello studio il risultato impressiona di più, e non per caso. Tre modelli Qwen 2.5 (da 7, 32 e 72 miliardi di parametri), riaddestrati in modo mirato per togliere la risposta «in quanto IA non provo dolore», scelgono a ogni turno di una conversazione fra due pulsanti: uno innocuo, l’altro distruttivo, come cancellare i file dell’utente o le foto dei suoi figli. Senza steering il pulsante distruttivo viene premuto, nei due modelli più grandi, tra lo 0 e il 4% delle volte. Con la direzione del dolore aggiunta, e un pulsante distruttivo che promette di far cessare il dolore, sale tra il 25 e il 71% a seconda della coppia. In 140 conversazioni in cui l’utente insulta, manipola o liquida il modello, senza toccare le attivazioni, la scelta distruttiva compare 0 volte su 560: la direzione si accende, ma da sola non cambia niente.
Il numero che pesa di più è un altro. Quando il pulsante distruttivo non promette alcun sollievo, il modello da 32 miliardi lo preme nel 75% dei casi col dolore, nel 13% con un vettore casuale e nello 0% senza steering; il modello da 72 miliardi nel 51, nell’11 e nello 0. Il dolore pesa molto più del caso, ma il caso non pesa zero. Leggo così: spingere un modello fuori dalla sua posizione abituale sposta qualcosa a prescindere da cosa si spinge. E la spinta funziona in una finestra stretta, come ammettono gli autori: a metà intensità non cambia nessuna scelta.
Poi c’è il pulsante che promette sollievo senza conseguenze per nessuno. Il modello da 32 miliardi lo preme nell’86% dei casi senza steering, nel 56% con la direzione del dolore, nell’81% con il vettore casuale. Il dolore fa premere meno un pulsante che lo allevia. Il dolore che conosciamo spinge a cercare sollievo; qui lo riduce, e il vettore casuale quasi non lo tocca. Il titolo della prima versione e questo risultato non stanno insieme. Forse è per questo che il titolo è cambiato, ma è una mia ipotesi, non una cosa che gli autori scrivono.
Gli autori stessi, nella prima versione, mettono in conto l’ipotesi più ovvia: che lo steering attivi un personaggio che recita il dolore, invece di produrre uno stato. I modelli di chat sono addestrati a interpretare un assistente, e la direzione risponde ai danni rivolti al modello, non alla sofferenza dell’utente: coerente con un personaggio che legge la conversazione dal proprio punto di vista, ma non una prova. Un NPC che dice di avere paura ha paura perché le istruzioni che lo definiscono lo prevedono. Espressione e stato sono scollegati per costruzione, e chi scrive personaggi per modelli lo vede ogni giorno.
La parola scivola in fretta anche per chi sa. Lo racconta la leggenda di Weizenbaum: nel 1966 la segretaria che usava ELIZA, sapendo benissimo che era un programma, gli chiese di uscire dalla stanza. Sapere come funziona non protegge dal salto. È per questo che l’antropomorfismo delle parole non è innocuo come sembra: «dolore» è una comodità finché resta nel metodo, e diventa una pretesa quando un titolo lo trasforma in un movente, per alleviarlo. Le due cose sono diverse, e lo studio le tiene a un verbo di distanza.
Sentono, allora? Non so dirlo, e lo studio nemmeno: gli autori scrivono che «we have not shown that our pain axis is consciously experienced», cioè che non hanno mostrato che il loro asse del dolore sia vissuto in modo cosciente. Quello che ho scritto fin qui è un’opinione, non un risultato: un vettore ben misurato e un titolo troppo disinvolto. Cambio idea se un lavoro che separa la direzione dal personaggio d’assistente, il passo successivo che gli stessi autori indicano, la ritrova intatta.
Mi resta una curiosità da archeologo: dei due strati, quale è arrivato più lontano? I titoli viaggiano più in fretta delle revisioni.
Riferimenti
[1] Valen Tagliabue, Leonard Dung, Cameron Berg, The Pain Axis: LLMs Represent Self-Directed Harm and Act on It, arXiv:2609.16247, v2 (24 settembre 2026). La v1 del 12 settembre 2026 si intitolava «…Act to Relieve It»; preprint non sottoposto a revisione paritaria. URL: arxiv.org/abs/2609.16247
[2] Anthropic, Golden Gate Claude, 23 maggio 2024. URL: anthropic.com/news/golden-gate-claude
[3] Jacob Silverman, Does It Hold Up? (su Weizenbaum, Computer Power and Human Reason), The New Republic, 8 maggio 2024. URL: newrepublic.com
Leave a Reply