Pappagallo Stocastico (Stochastic Parrot)

Locuzione coniata nel 2021, prima di ChatGPT, in un paper di Emily Bender e altre tre coautrici. Secondo la definizione del paper, un modello linguistico unisce sequenze di forme linguistiche osservate nei dati di addestramento secondo informazioni probabilistiche sulla loro combinazione, senza alcun riferimento al significato. La stessa Bender precisa che non è un argomento ma una descrizione o metafora, quindi non è falsificabile in sé. ¹

Nella lettura di Salvatore Sanfilippo (antirez), il pappagallo stocastico vede i LLM incapaci di comprendere (non modellano nelle attivazioni il significato del contesto) e incapaci di pianificare (non modellano l'idea di ciò che diranno): una predizione solo statistica della prossima parola. ²

Lo stato del dibattito

Sanfilippo argomenta che questa teoria perde sempre più presa:

1. Evidenze di interpretabilità (sparse autoencoder) mostrano che la tesi è assai debole
2. Variabili latenti: estraendole dagli stati di attivazione si vede che un LLM formula un concetto in termini embrionali molto prima di esprimerlo come token, quindi pianifica anche a orizzonte lungo
3. A livello internazionale: LeCun e Chollet non la sostengono più; Bengio, Hinton e altri non l'hanno mai sostenuta
4. Evidenza funzionale: i LLM provano o disprovano teoremi matematici; se l'uccello vola, serve una nuova teoria che lo spieghi

²

Sanfilippo invita a porsi in modo scientifico: né il pappagallo stocastico né la tesi opposta (sostenuta anche da Hinton) si possono provare, ma le evidenze, che non sono prove, puntano sempre più contro il primo. Ricorda gli scambi su X e Facebook in cui Hinton rispondeva a LeCun che un modello solo statistico non poteva fare ciò che si vedeva, e si parlava ancora di GPT-3. ²

Interpolare i buchi della conoscenza

Sanfilippo non sostiene che gli LLM sappiano già estrapolare, cioè inventare da zero cose che non esistono: potrebbe essere, ma servirebbe una prova chiara. Il sapere umano però è pieno di buchi interpolabili da ciò che già si conosce, e gli LLM scoprono novità combinando idee di campi diversi dove nessuno era andato a guardare (idraulica e tecnologia dei materiali, transistor esistenti e fisica dei sistemi RF). Amici ricercatori di informatica gli raccontano di ottenere con i modelli di frontiera risultati superiori allo stato dell'arte su temi come i CRDT, a volte senza nemmeno capire del tutto le idee proposte. ²

La critica all'accademia italiana

Sanfilippo, che non è laureato in informatica, spiega perché si permette di contraddire chi insegna, per esempio, al Politecnico di Milano: nelle discipline con molte incognite una persona capace di ragionamento critico può arrivare a modelli migliori di un cattedratico. Chi si è formato negli anni '90 e 2000 addestrando reti di pochi milioni di parametri ha imparato a pensarle come oggetti interpolativi e statistici e non si stacca da quel modello. Chi la pensa diversamente rischia scontri con colleghi "boriosi e belligeranti", e secondo lui nelle università italiane mancano grandi luminari capaci di dire "ma non lo vedete quello che sta succedendo?". Vorrebbe che chi ha sbagliato ripetutamente perdesse credito scientifico e non venisse più invitato a parlare del tema. ²

Reazioni al video di Sanfilippo

• Paolo Caressa ha colto il punto centrale del video: l'analogia del mulinello come differenza tra sistema simulato e algoritmo di simulazione
• Le persone che Sanfilippo stima nel mondo italiano dell'AI e della linguistica hanno appoggiato la tesi, mentre il video ha fatto arrabbiare professori e assistenti
• Chi difende ancora quelle tesi è come in una "sabbia mobile ideologica": si infossa sempre di più
• A livello internazionale i ricercatori si allontanano dal paper di Bender, perché aderirvi è un "suicidio accademico"; in Italia non succede, perché i ruoli accademici non hanno accountability pubblica
• Su Facebook alcuni critici del video avevano pubblicato, mesi prima, post come "Gary Marcus ha ragione come sempre" e "la Bender ci aveva visto giusto"
• Lo ha colpito soprattutto che qualcuno abbia difeso le tesi dicendo che il paper di Bender "non è stato ben capito"; le reazioni mostrano che in Italia esiste ancora una compagine forte che crede al pappagallo stocastico, cosa che Sanfilippo avrebbe preferito non fosse vera

³

Autopsia sistematica (Enkk, ago 2026)

Enkk scompone la metafora in otto critiche e per ciascuna riporta evidenze o controevidenze dalla letteratura. ¹

Nella definizione di Bender individua tre nuclei: il testo generato non si basa su intento comunicativo, modello del mondo o modello della mente del lettore; siamo noi a leggerci un intento; il modello unisce forme linguistiche senza riferimento al significato. Nel post del 2026 Bender ripete che la sua critica non riguarda i modelli ma le azioni delle persone. ¹

Sulla percezione pubblica degli LLM Enkk indica cinque fattori: la propensione ad antropomorfizzare; la scarsa conoscenza dello strumento ("è quasi magia"); marketing, media e CEO che "intorpidiscono le acque" e spingono il pubblico dalla curiosità all'odio; la mancanza di un vocabolario, per cui si prendono in prestito termini della cognizione umana ("il modello sa"); la polarizzazione, con metafore usate come "scatolette" chiuse e poi come oggetti contundenti da tifoseria. Concorda con Walter Quattrociocchi che serva guardare la letteratura invece di fare tifo, ma non che la rilevanza "non venga dai social", e gli rimprovera gli attacchi generici ai "pop filosofi". ¹

1. Solo transizioni statistiche, senza stati interni → falso: Othello-GPT (ottobre 2022), la poesia in rima di Claude 3.5 Haiku (Anthropic, marzo 2025), i J-Space (luglio 2026). Questi meccanismi però sono usati in modo inconsistente: per certi prompt sì, per altri no. Togliendo il J-Space (ablazione), le risposte a scelta multipla restano intatte, mentre ragionamento multi-salto, traduzione e scrittura di sonetti crollano.
2. Non generalizzano → i modelli si sono irrobustiti e in alcuni domini mostrano segni di generalizzazione grazie a CoT, RLVR e harness, ma il trasferimento tra domini resta irregolare e difficile da misurare
3. Non ragionano → il processo di generazione non garantisce validità formale: c'è tensione tra plausibilità e rigore logico, e la garanzia richiede un verificatore esterno (vedi Plausibilità vs Validità Logica)
4. Nessun legame col mondo → il legame esiste, ma ancoraggio (grounding) e coerenza interna del world model restano incompleti
5. Non hanno memoria → problema reale e strutturale, mitigato ma non risolto: -39% in media nelle conversazioni multiturno (paper di maggio 2025 su modelli ormai obsoleti), context rot, compattazione del contesto che perde dettagli
6. Sono congelati → strutturalmente vero, ma trascura l'in-context learning (GPT-3, "Language Models are Few-Shot Learners"; studio sul belief rate)
7. Non sono responsabili di ciò che dicono → vero, ma è una questione di responsabilità e uso, non di cognizione. L'AI Act europeo pone la responsabilità sull'utilizzatore, che deve conoscerne capacità e limiti e poterlo fermare; Enkk segnala un articolo sull'"assertion without asserter", un'affermazione di cui nessun soggetto risponde
8. Non hanno l'anima → posizione difficile da attaccare, perché manca una definizione condivisa di coscienza

I tre takeaway di Enkk: CoT, RLVR e harness sono stati fondamentali per il miglioramento dei modelli quasi ovunque; fragilità e differenze tra domini restano; i lavori peer reviewed arrivano lentamente e i ricercatori non hanno accesso ai pesi dei modelli di frontiera, a volte nemmeno ai modelli (come nel caso di Mythos), quindi bisogna fidarsi delle case produttrici. Il danno maggiore della metafora, secondo lui, è che è riduttiva: lascia pensare che questi strumenti non servano a niente, e la visione si scontra poi con i rischi per il lavoro e la cybersecurity e con i progressi in matematica. ¹

Come postilla, Enkk spiega la tendenza dei modelli a parlare come umani con il Persona Selection Model di Anthropic: il modello recita il ruolo di un buon assistente. ¹

Vedi anche: Reti Neurali vs Algoritmi, Gradienti Concordi, Grounding e World Model, Context Rot, In-Context Learning, Persona Selection Model, Modelli Mentali LLM a Confronto

Il teorema dell'approssimazione universale

Le reti neurali possono in teoria approssimare qualsiasi funzione matematica, ma è solo un teorema di esistenza: non garantisce che il gradient descent trovi le configurazioni migliori. Secondo Sanfilippo c'è però un'evidenza fortissima che approssima funzioni molto affini a quella modellata dal cervello umano. ²

Vedi anche: Reti Neurali vs Algoritmi, Gradienti Concordi, Salvatore Sanfilippo (antirez)

Fonti e Riferimenti