Opus 5

Modello di Anthropic che, secondo Salvatore Sanfilippo (antirez), rimette l'azienda quantomeno nei giochi, da cui con Opus 4.7/4.8 era uscita. Funziona, ma peggio di Claude Fable e di GPT 5.6 Sol. ¹ Opus 4.8 era per lui "uno dei peggiori modelli" degli ultimi mesi. ²

Problemi

• Comunicazione: risponde con un gergo incomprensibile mentre sbaglia. Il modo in cui l'LLM comunica è l'interfaccia attraverso cui capisci il programma che stai scrivendo: se il modello non è in grado di parlare con te, è un gran casino ¹
• Benchmark: non offre i risultati che i benchmark mostrano, e Anthropic ha "al solito" un problema di bench maxing. Il salto dall'8% al 30% su ARC-AGI-3 non è significativo: il benchmark crea artificialmente un problema di rappresentazione, che sparisce se il modello fa reinforcement learning su test simili ¹
• Post-training problematico: Sanfilippo ipotizza un RLHF fatto con una demografia sbagliata di esperti o, più probabilmente secondo lui, SFT su tracce di pensiero scritte a mano da specialisti che si esprimono male. Il modello impara dai peggiori invece che dai migliori dal punto di vista espressivo ¹

vs GPT 5.6 Sol

Sanfilippo l'ha provato due giorni. In tutte le cose che ci ha fatto, GPT 5.6 Sol è superiore: nei risultati (su un task di velocizzazione di Laguna su Strix Halo ha scritto kernel molto migliori), nella capacità di lavorare molte ore in autonomia e nel raccontare cosa ha fatto. Opus 5 torna a essere una scelta possibile, ma funziona peggio di Sol. ¹

Fonti e Riferimenti