Grounding e World Model

Due temi distinti ma vicini: grounding (ancoraggio al mondo esterno) e world model (coerenza interna della rappresentazione del mondo). Secondo Enkk un legame col mondo esiste, ma ancoraggio e coerenza interna restano incompleti.¹

Grounding fragile

• Rimuovendo l'immagine da cui fare la diagnosi, i modelli scelgono comunque la risposta corretta tra le opzioni invece di dire "non so" (la plausibilità rimpiazza l'informazione mancante) — Nature Medicine
• "Epistemia" (Loru et al., con Quattrociocchi): LLM e umani danno giudizi finali simili sull'affidabilità delle testate, ma con processi e scale di valori diversi. Rimuovendo l'articolo e lasciando solo l'URL, gli LLM giudicano comunque → grounding fragile¹

World model: evidenze pro e contro

Pro: - Anthropic (apr 2026): rappresentazioni interne di emozioni, allineate con teorie psicologiche umane. Modificandole cambia l'output; gli autori precisano che non implica esperienza soggettiva - J-Space (lug 2026): concetti strumentali interni (es. "ragno" per rispondere "8"); per Enkk però troppo limitati per parlare davvero di world model

Contro: - Ragionamento spaziale su labirinti generati (lavoro recente, solo comportamentale): evidenze contro world model persistenti e indipendenti dal formato¹

Per Enkk la letteratura su questo è ancora limitata: gli studi meccanistici sui grandi modelli li possono fare solo le aziende che li producono, perché hanno l'hardware e i pesi; gli altri ricercatori non possono guardare gli stati interni di Gemini, e bisogna fidarsi dei lavori dei laboratori di frontiera. Quando manca l'informazione, il modello "non può che andare di plausibilità" (vedi Plausibilità vs Validità Logica). ¹

LLMs can't jump (Zahavi/Google DeepMind)

Position paper (senza esperimenti). Manca abduzione: proporre ipotesi che spiegano risultati inattesi. Induzione ✅, deduzione ↗ (anche grazie ai verifier), abduzione ❌. Causa secondo Zahavi: assenza di esperienza diretta del mondo; soluzione proposta: modelli multimodali (video e foto insieme al testo).¹

Il world model testuale secondo Sanfilippo

Salvatore Sanfilippo (antirez) dubita che servano gli approcci alternativi di LeCun (JEPA e simili), visti i progressi degli LLM autoregressivi. ²

• La multimodalità serve: Black Forest Labs, con Flux 3, predicendo il fotogramma successivo dei video si fa un'idea del mondo fisico e usa queste conoscenze con un adapter per guidare i movimenti di una mano robotica. Un world model fisico predittivo serve a chi deve agire nel mondo attraverso i sensi
• Per la matematica e la programmazione probabilmente non serve. Osservando il mondo fisico non si ricava la legge di gravitazione, e nemmeno la fisica newtoniana di base: anche l'Homo sapiens ha dovuto passare per lo studio astratto. Il world model che gli LLM costruiscono dai token è quindi necessario e altrettanto importante
• Più che fare pretraining su architetture diverse, per Sanfilippo è più promettente il reinforcement learning su simulazioni accurate del mondo fisico (corpi sotto forze, collisioni, sistemi caotici, ray tracing). Il massimo sarà addestrare nativamente il Transformer su token e immagini insieme, con rappresentazioni condivise
• Prevede che i sostenitori degli approcci alternativi non ammetteranno mai di aver avuto torto: quando gli LLM addestrati anche su input sensoriali diventeranno più potenti, diranno di averlo sempre detto

²

Nella prima puntata di ZIP Sanfilippo ed Enkk concordano che, per scrivere un buon testo, nel pretraining il modello deve estrapolare dal testo un modello del mondo, parzialmente diverso da quello umano, che nasce prima di tutto dall'esperienza fisica. Le rappresentazioni delle emozioni trovate da Anthropic somigliano ai modelli psicologici umani: per Enkk i modelli rappresentano la nozione di emozione senza provarla, e la costruiscono perché è utile alla predizione; Anthropic lo verifica con test di ablazione, aumentando e riducendo la magnitudo di queste rappresentazioni. ³

Vedi anche: Pappagallo Stocastico (Stochastic Parrot), Salvatore Sanfilippo (antirez), Enkk, Anthropic

Fonti e Riferimenti