Gradienti Concordi

Una delle teorie in competizione per spiegare perché le reti neurali molto overparametrizzate generalizzano invece di memorizzare gli esempi, anche vedendo un numero esiguo di esempi per parametro. Per Salvatore Sanfilippo (antirez) è la più interessante; la rimanda a un paper approfondito in un suo video precedente. ¹

Come funziona

• Quando abbastanza esempi di training sono concordi nella direzione dei gradienti, tirano tutti i pesi nella stessa direzione
• Man mano che la rete impara, la derivata dell'errore cambia → la rete apprende dettagli più sottili della funzione a diversi livelli di complessità
• Facendo la media nei microbatch, i gradienti concordi indicano la direzione per generalizzare, invece di far vincere direzioni che creerebbero overfitting

¹

Quando funziona

• Il linguaggio umano e le idee espresse nei testi del pretraining formano un corpus sensato e logico, con idee fondamentali alla base → gradienti concordi che spingono nelle direzioni corrette
• Quando i dati non hanno una struttura rappresentabile da una generalizzazione → non ci sono gradienti concordi

¹

Perché è importante

Spiega perché i grandi LLM, molto overparametrizzati e con pochi esempi per parametro, riescono comunque a generalizzare: secondo Sanfilippo ne sono una prova che non può essere negata. ¹

Vedi anche: Pappagallo Stocastico (Stochastic Parrot), Reti Neurali vs Algoritmi, RLVR (Reinforcement Learning from Verifiable Rewards)

Fonti e Riferimenti