Reti Neurali vs Algoritmi

Distinzione argomentata da Salvatore Sanfilippo (antirez): le reti neurali non sono algoritmi, ma sistemi computazionali simulati da algoritmi. Gli algoritmi servono o a simulare il sistema (inferenza) o a trovarne i pesi come problema di ottimizzazione (training). ¹

L'analogia del fluido

• Scrivi un programma che simula le particelle di un fluido → emerge un vortice, un mulinello
• Il mulinello non è scritto nell'algoritmo: emerge all'interno del sistema simulato
• L'algoritmo calcola lo stato t+1 dallo stato t; quello che accade dentro fa parte del sistema

¹

Applicazione alle reti neurali

• L'algoritmo di inferenza simula una versione semplificata delle reti neurali animali, come si può simulare un computer quantistico su un computer normale senza che questo diventi quantistico
• Un algoritmo di inferenza generale resta sempre identico; al cambiare del modello e dei pesi la computazione cambia completamente
• Sono i pesi e l'architettura a determinare ciò che la rete è capace di fare, non l'algoritmo che la esegue
• Se si simulasse in un computer ogni neurone e sinapsi di un cervello umano, nessuno direbbe "il tuo cervello è un algoritmo"

¹

Layer come filtri

Una rete si può modellare come un'unica funzione, ma per sviluppare un'intuizione sul training aiuta di più vederla come una composizione di funzioni: ogni layer è una specie di filtro, e insieme creano una capacità di ragionamento bayesiano. L'informazione parte dai layer bassi in termini sintattici e diventa sempre più fatta di idee fino al layer di output. Le due viste sono matematicamente equivalenti. ¹

La forma della scatola

Gli LLM sono modelli predittivi per la struttura stessa che un essere umano ha imposto: input e logit di output. Per Sanfilippo il fatto che la scatola abbia questa forma non dice nulla su ciò che c'è dentro: anche un essere umano chiuso in quella scatola potrebbe esprimersi solo dando valori ai logit di output. ¹

Il moscerino della frutta: il confronto con Enkk

Nella prima puntata di ZIP Enkk sostiene la posizione opposta: per lui non bisogna dimenticare che gli LLM sono "prima di tutto un software" che ha l'obiettivo di produrre il prossimo token, "dei fottuti algoritmi", e che una simulazione per definizione non è l'oggetto reale (la palla da biliardo simulata non fa rumore davvero). Sanfilippo risponde che si possono vedere come la simulazione di un paradigma computazionale diverso da quello degli algoritmi: si è vicini a simulare l'intero cervello del moscerino della frutta, che in uno spazio 3D si posa sulla frutta simulata e si comporta come un moscerino. "Quello è un algoritmo o è un cazzo di moscerino? Io credo che sia un cazzo di moscerino." Precisa però di non credere che gli LLM attuali siano coscienti: il fatto che girino dentro un computer non basta a escluderlo, ma leggere nel paper di Anthropic un vero discorso interiore è uno sbaglio. ²

Implicazione

L'algoritmo di simulazione non informa in alcun modo su ciò che avviene dal punto di vista computazionale nel sistema simulato. Sanfilippo spera che questa idea liberi da una visione meccanica delle reti neurali basata sul fatto che sono eseguite da un algoritmo. ¹ Paolo Caressa ha indicato proprio l'analogia del mulinello come il punto centrale del video, e Sanfilippo concorda. ³

Vedi anche: Pappagallo Stocastico (Stochastic Parrot), Gradienti Concordi, Salvatore Sanfilippo (antirez)

Fonti e Riferimenti