(ma noi fingiamo di stupirci)

“Alice ha 3 fratelli e ha anche 6 sorelle. Quante sorelle ha un fratello di Alice?”

Fermi tutti! Abbiamo appena assistito al crollo dell’intelligenza artificiale! Un problema da scuola elementare ha messo in ginocchio i modelli linguistici più avanzati del pianeta! È la fine del mondo come lo conosciamo!

…O forse no?

La rivelazione che non rivela

Nel 2024, un gruppo di ricercatori ha pubblicato uno studio intitolato “Alice in Wonderland”, dimostrando come i più sofisticati Large Language Model (LLM) balbettino di fronte a semplici problemi di logica. Lo studio è rigoroso, metodico e quantitativamente prezioso. C’è solo un piccolo dettaglio: sta “scoprendo” ciò che gli sviluppatori e i ricercatori sanno già da almeno tre anni.

Che meravigliosa sensazione di déjà vu. È come se qualcuno pubblicasse oggi uno studio rigoroso per dimostrare che l’acqua è bagnata, corredato da grafici dettagliati sull’umidità relativa di vari campioni.

Trasformatori di simboli, non pensatori logici

L’equivoco fondamentale – che persiste nonostante anni di chiarimenti – è che questi sistemi non sono computer logici, ma trasformatori di simboli. È come aspettarsi che un’auto voli perché sia le auto che gli aerei hanno motori. La capacità occasionale di risolvere problemi complessi è un comportamento emergente, non un meccanismo di funzionamento.

Certo, è affascinante vedere come un sistema addestrato su pattern statistici possa talvolta simulare un ragionamento. È come quando il vostro gatto sembra comprendere la fisica quantistica perché ha imparato che saltando in un certo modo riesce a raggiungere quel punto preciso della mensola. Impressionante, ma non ditelo a Schrödinger.

La parata di “test gotcha” che non finisce mai

Quante “r” ci sono nella parola “strawberry”? Fino a pochi mesi fa, porre questa domanda a un’AI generava risposte comicamente errate. I sistemi più avanzati del pianeta, capaci di generare codice complesso e analizzare sentimenti in testi prolissi, non sapevano contare fino a 3 (la risposta corretta, per chi se lo stesse chiedendo).

“9.11 è maggiore di 9.1?” Altro quesito che ha fatto cadere le AI in trappole elementari, con risposte che avrebbero fatto rabbrividire qualsiasi insegnante di matematica della scuola primaria. Poi chiediamo loro di scrivere una rima baciata in italiano o, peggio ancora, un sonetto con schema metrico corretto, e assistiamo al crollo totale della presunta “intelligenza”.

Ogni volta, puntualmente, si scatenava il panico mediatico: “Come possiamo fidarci dell’AI se non sa nemmeno contare le lettere in una parola?”. Ora molti di questi problemi sono stati corretti con fine-tuning mirati, ma la questione fondamentale rimane: queste non sono intelligenze, sono transformer linguistici che hanno memorizzato pattern.

L’ossessione per la “scoperta” dell’ovvio

Perché allora questi studi continuano ad essere presentati come rivelazioni epocali? In parte è comprensibile: il divario tra l’hype commerciale sull’AI (“risolverà tutti i nostri problemi!”) e la realtà tecnica è così ampio che qualsiasi dimostrazione empirica di queste limitazioni sembra necessaria.

C’è anche il fattore sorpresa per chi non è del settore: “Come può un sistema che risolve problemi di fisica teorica fallire con un quesito da bambini di dieci anni?” È lo stesso stupore di chi scopre che un campione di Formula 1 non sa parcheggiare in retromarcia.

Il valore dei numeri (anche quando confermano ciò che sappiamo)

Detto questo, sarebbe ingiusto sminuire il valore di questi studi. La ricerca quantitativa è essenziale anche quando conferma l’intuitivo. Sappiamo tutti che i social media possono causare dipendenza, ma abbiamo bisogno di studi che misurino quanto.

Lo studio “Alice in Wonderland” offre dati preziosi sulla consistenza (o meglio, inconsistenza) delle prestazioni dei vari modelli. Mostra come un LLM possa rispondere correttamente il 100% delle volte a una variante di un problema e poi fallire miseramente con una variante quasi identica. È come quell’amico che sa tutto sul Rinascimento italiano ma non ricorda chi ha vinto l’ultima Coppa del Mondo.

La quantificazione dell’ovvio: un’arte sottovalutata

Trasformare l’intuizione qualitativa in dati quantitativi è un’arte sottovalutata. Quando Claude, GPT o Gemini rispondono che “Alice ha 6 sorelle, quindi un fratello di Alice ha 6 sorelle” stanno rivelando qualcosa di profondo sulla natura del loro “ragionamento”. Non stanno contando male; semplicemente non stanno contando affatto.

Stanno facendo quello che hanno sempre fatto: prevedere quali simboli sono più probabili dopo altri simboli, basandosi su pattern visti durante l’addestramento. È come aspettarsi che una persona che ha memorizzato migliaia di conversazioni telefoniche capisca davvero l’argomento di cui sta parlando.

I poeti robotici e altre fandonie

Chiedete a un’AI di scrivere un sonetto italiano con schema ABBA ABBA CDC DCD e rima perfetta. Poi prendetevi un momento per gustare il capolavoro di nonsense metrico che vi verrà propinato con assoluta sicurezza. “Ecco il sonetto richiesto, rispettando lo schema di rime indicato!” vi dirà, presentandovi qualcosa che farebbe rivoltare Petrarca nella tomba.

I sistemi di oggi sono campioni di quella che potremmo chiamare “competenza apparente”: sanno cosa sia un sonetto, ne conoscono la struttura teorica, possono perfino spiegarvi la storia della forma poetica dalle origini siciliane fino a Shakespeare. Ma quando si tratta di produrne uno corretto? Ah, lì il trasformatore di simboli mostra tutti i suoi limiti.

È come quel compagno di scuola che dissertava brillantemente di calcio ma inciampava nella palla appena metteva piede in campo. La differenza? Nessuno lo presentava come il futuro dello sport mondiale.

Conclusione: l’ovvio che vale la pena misurare

Quindi sì, questi studi possono sembrare antiquati nella loro “scoperta”, ma sono preziosi nella loro quantificazione. Ci ricordano che, nonostante i progressi impressionanti, l’AI di oggi rimane fondamentalmente un sistema di pattern matching, non un sistema di ragionamento.

La prossima volta che leggete un titolo sensazionalistico su come l’AI “fallisce in un test da scuola elementare”, ricordate: non è una notizia che un pesce non sappia arrampicarsi sugli alberi. La notizia sarebbe se ci riuscisse senza aver mai visto un albero simile prima.

Nel frattempo, continueremo a fingere stupore di fronte all’ovvio, perché a quanto pare è l’unico modo per mantenere una sana prospettiva nel mondo dell’intelligenza artificiale, dove le aspettative corrono sempre molto più velocemente della realtà.

E Alice, nel suo paese delle meraviglie computazionali, continuerà a porre domande imbarazzanti ai nostri modelli più sofisticati, ricordandoci che forse non siamo così vicini alla singolarità come alcuni vorrebbero farci credere.