Dario Amodei

CEO e cofondatore di Anthropic. ⁶

Figura di riferimento di Anthropic: è lui a dichiarare potenzialmente pericoloso il modello Mythos. Nel luglio 2023 ha testimoniato al Senato degli Stati Uniti sui rischi dei modelli AI, in particolare di quelli open weight, paventando rischi biologici e falsificazione delle informazioni nel giro di 2-3 anni. ^{1 2}

Posizioni e critiche

• Conflitto di interessi: Salvatore Sanfilippo (antirez) dice che Amodei ha un conflitto di interessi "grande quanto un elefante", perché i modelli open source stanno intaccando la potenziale riuscita della sua azienda; questo però non rende sbagliato tutto ciò che dice. ¹
• Anti-distillazione: Anthropic dichiara che, se rileva tentativi di distillazione dei suoi modelli, fa prompting e steering per renderli inutili alla distillazione. ³
• Doppio standard: nella puntata di ZIP si nota che Anthropic si lamenta della distillazione ma ha usato i dati di internet senza chiedere per produrre i propri modelli. ³
• "Sociopatici" al comando: Enkk nomina Amodei, insieme a Sam Altman ed Elon Musk, tra le sei o sette persone che "hanno le manopole del potere" sull'AI e che definisce "sociopatici": "abbiamo dato in mano a persone che non hanno mai avuto un amico il compito di costruire l'amico che tutti dovremmo avere". ⁴
• Generalizzazione via RLVR: secondo Enkk, per Amodei l'allenamento su task specifici e verticali con RLVR (Reinforcement Learning from Verifiable Rewards) porterà a una genuina generalizzazione; Enkk preferisce aspettare e vedere. ⁵

La replica di Sanfilippo

Secondo Sanfilippo la previsione di Amodei sui rischi biologici e sulla falsificazione delle informazioni non si è verificata, ma le sue preoccupazioni sugli LLM aperti hanno una parte di verità. Tuttavia: ¹ - Si applicano anche alla sua stessa azienda e a tutte le altre, non solo ai modelli open: i pesi di un modello chiuso possono trapelare. ¹ - I problemi di sicurezza (es. Mythos, nella sicurezza informatica) sono emersi prima con i modelli chiusi di frontiera. ¹ - Si possono creare modelli open sicuri rimuovendo le conoscenze pericolose da pretraining e post-training. ¹ - Amodei descrive l'open source come il lavoro di tanti piccoli programmatori, contrapposto a entità che spendono milioni per addestrare modelli; per Sanfilippo già nel 2023 l'open source era pieno di grandi attori con molti capitali. ¹ - Amodei ha previsto giusto che i modelli open si sarebbero sviluppati profondamente; ha sbagliato i tempi dei rischi, perché a tre anni di distanza i modelli non sono la minaccia che descriveva: secondo Sanfilippo immaginava che le cose andassero più veloci. ¹

L'argomentazione completa è in Sicurezza dei Modelli di Frontiera.

Fonti e Riferimenti