Plausibilità vs Validità Logica

Terza critica dell'autopsia del Pappagallo Stocastico (Stochastic Parrot) di Enkk: "anche quando l'output di un LLM è corretto, il processo che lo produce non è un vero ragionamento", dove "vero" significa simbolico, formale, basato sulla logica. Lo stato delle evidenze secondo Enkk: il processo con cui gli LLM generano testo non garantisce validità formale, e per ottenere quella garanzia serve un verificatore esterno. ¹

Logica formale in breve

La logica formale fornisce regole astratte che, applicate in modo ferreo, danno deduzioni inattaccabili. Esempio con il modus tollens: se Roberto è un gatto è un mammifero (P→Q), se è un mammifero è un vertebrato (Q→R), Roberto non è un vertebrato (¬R); quindi Roberto non è un mammifero (¬Q) e non è un gatto (¬P). La logica riguarda il meccanismo deduttivo, non la verità delle premesse: "tutti i cactus hanno le ali, Mimmo è un cactus, quindi Mimmo ha le ali" è valido. ¹

Umani e LLM

Anche gli umani sbagliano: "tutti i gatti sono mammiferi, Sergio è un mammifero, quindi Sergio è un gatto" suona sensato ma non è valido. La differenza è sottile: un umano allenato può decidere di mettere da parte la plausibilità e ragionare simbolicamente, mentre in un LLM il "motore di plausibilità" resta il motore principale. Esempio: alla domanda "tutti i mammiferi sono vertebrati?" AI Overview risponde "no, non tutti i vertebrati sono mammiferi", cioè sull'implicazione inversa. ¹

Per entrambi la garanzia vera arriva da un verificatore o risolutore automatico, deterministico. Negli LLM questi strumenti stanno nell'Agentic Harness: con chain of thought lunghe e un motore simbolico, il modello diventa un fornitore di strade logiche possibili che il solver verifica, scartandone alcune. È così che i modelli sono diventati forti in matematica, e la parte LLM è necessaria: un solver puro fa più fatica, e la capacità di trattare il linguaggio naturale conta. Mitchell, una delle quattro autrici del paper originale, avverte che l'AI intesa come sistema più ampio, con regole deterministiche, non è un pappagallo stocastico. ¹

Evidenze

• Geometria interna (2025, modelli piccoli ma recenti): plausibilità e validità sono in tensione anche nelle rappresentazioni interne, e le CoT riducono l'impatto della plausibilità
• SemEval 2026, Task 11: conflitto tra validità logica e plausibilità delle premesse, anche multilingua e con distrattori; 250 partecipanti e 3.000 soluzioni. I modelli open delle generazioni precedenti soffrono la plausibilità, soprattutto in zero-shot; quelli recenti, anche piccoli, molto meno. Conta la generazione del modello (il tipo di training), non la dimensione. La strategia più affidabile resta estrarre la struttura logica e passarla a un verificatore deterministico; aiutano anche fine-tuning, dati sintetici e activation steering. Multilinguismo e distrattori restano problemi
• Metacognizione: secondo una survey i modelli non sono ancora capaci di metacognizione robusta, e la letteratura sul tema è piccola e frammentata

¹

Valutazione

Le nuove generazioni riducono la distanza tra ragionamento plausibile e formale, e per Enkk a fare la differenza è il tipo di training; nella sezione sulla generalizzazione indica RLVR (Reinforcement Learning from Verifiable Rewards) e gli harness come i due motivi dell'irrobustimento dei modelli dal 2025. Enkk ha l'impressione che un LLM non diventerà mai affidabile quanto un umano logico ben allenato, ma i modelli possono sempre "giocarsi la carta del validatore". La stessa tensione torna nel suo modello mentale: "una risposta può risultare perfettamente credibile senza essere corretta" (vedi Modelli Mentali LLM a Confronto). Quando manca l'informazione, come nel grounding, il modello "non può che andare di plausibilità". ¹

Fonti e Riferimenti