RLVR (Reinforcement Learning from Verifiable Rewards)

Fase di training, introdotta all'inizio del 2025, in cui l'LLM viene fatto esercitare su miliardi di problemi la cui soluzione si può controllare in automatico. Da allora i modelli sono diventati fortissimi in compiti specifici e verificabili: programmazione, un po' di ragionamento, uso agentico del computer e dei tool. ¹

Perché è il turning point

• Salvatore Sanfilippo (antirez): RLHF e SFT non facevano altro che far emergere capacità già create nel pretraining. Con il reinforcement learning da un segnale originato dalla verifica della risposta "abbiamo svoltato": per questo GPT 5 è riuscito a saturare un modello più grande che, addestrato con le tecniche note, era solo più grande e più lento. Il trend di GPT 5.4, 5.5, Claude Fable e GPT 5.6 è dovuto a questa novità, anche per la massa di dati nuovi che i modelli vedono. ²
• Enkk: "gli fanno fare miliardi di problemi, ma non problemi a caso. Problemi di cui sappiamo le soluzioni, o meglio, di cui le soluzioni posso controllare in automatico." Senza l'RL i modelli "sarebbero rimasti quello che erano, cioè un giochino". ¹
• Nella stessa puntata di ZIP si osserva che il post-training sta prendendo una parte sempre più importante e potrebbe competere con il pretraining, anche se dei training set non si sa più nulla. ²

Scaling e costi

Secondo Sanfilippo, prima del reinforcement learning sembrava esserci un plateau, perché quasi tutto il training stava nel pretraining; con il modello che impara facendo esperimenti si è sbloccata una nuova capacità di scaling, e modelli più grandi riescono a saturare il potenziale dei loro pesi. Il reinforcement learning moderno si basa quasi tutto su GRPO: si generano tante risposte, si raggruppano tra migliori e peggiori e da lì viene il segnale di rinforzo. È meno parallelizzabile del pretraining, più legato alla CPU, e richiede molta memoria perché vanno conservate le attivazioni di ogni token prodotto. Sempre secondo Sanfilippo, ora che il reinforcement learning scala bene, i dati degli utenti servono poco ("la maggior parte è monnezza totale"): i dati di qualità si ottengono con partnership con le aziende. ³

Sulla distillazione, nella puntata di ZIP si ricorda che i modelli distillati da DeepSeek R1 miglioravano sui benchmark specifici ma non sono mai diventati importanti nell'inferenza locale: la conoscenza trasferita resta superficiale. ²

Limiti

Secondo Enkk, sui lavori creativi i modelli "fanno proprio cagare", perché non si può verificare in automatico se una cosa è bella creativamente: la correttezza si può misurare e quindi rinforzare, la creatività no. RLVR funziona anche perché si possono costruire e correggere in automatico miliardi di problemi sintetici, mentre "scrivi un bel libro" non è un prompt che l'LLM può risolvere. Per lo stesso motivo è molto più difficile insegnare a scrivere codice bello che codice funzionante. RLVR è l'ultima fase del training e modifica i pesi: non avviene durante l'uso, anche se i feedback degli utenti vengono probabilmente raccolti per il training successivo. ¹

RLVR e generalizzazione

Nell'autopsia del Pappagallo Stocastico (Stochastic Parrot) Enkk indica CoT con RLVR (l'ondata partita da o1 di OpenAI) e harness come le due ragioni dell'accelerazione dal 2025. Il segnale di rinforzo è molto preciso perché le soluzioni sono note ed esatte. ⁴

• Robustezza alle perturbazioni: nel 2024 Apple perturba un dataset di matematica elementare (numeri, soggetti, oggetti) e i modelli peggiorano molto, tranne o1-preview, il primo con una CoT seria. Ad aprile 2026 un Robust Reasoning benchmark riscrive in sei modi problemi delle Olimpiadi di matematica: GPT 5.4 e Gemini 3.1 Pro perdono solo il 3% e l'8%, i modelli piccoli il 53% e il 47%
• Generalizzazione tra domini: difficile da misurare, perché ogni dataset di valutazione può diventare dati di training e "ha una data di scadenza", e molti compiti reali (es. l'efficacia di una campagna di marketing) non si possono trasformare in benchmark. Chollet ha saturato con i modelli i primi due ARC-AGI; nel terzo ha vietato gli harness, e lì le performance faticano, ma Enkk dubita che abbia senso misurare senza qualcosa che esiste
• Codice vs mestieri: sul codice ci sono tracce di generalizzazione su benchmark sempre più complessi; su APEX Agents (compiti reali di analisti, consulenti e avvocati d'impresa) la crescita è molto meno portentosa e disomogenea tra mestieri
• Trasferimento: un lavoro del 2025 su modelli molto piccoli fa RL su sei domini vicini (tabelle, logica, matematica) e trova un trasferimento irregolare, che regge soprattutto verso capacità già presenti e cala sui problemi più difficili o meno familiari

Enkk pensa che RLVR abbia "ancora cose da dare" e che resti da vedere se l'allenamento su task specifici e verticali porti a una genuina generalizzazione; secondo Dario Amodei è così. ⁴

Effetti collaterali

Un modello che diventa più forte in matematica e programmazione può creare nuove capacità di ragionamento e generalizzarle ad altri domini. Anthropic aveva dichiarato di non aver fatto training sulla sicurezza su un modello che voleva rendere un programmatore più forte, e di aver ottenuto quel miglioramento come effetto collaterale. ²

Fonti e Riferimenti