Sicurezza dei Modelli di Frontiera

Il tema di quanto siano pericolosi i modelli più potenti, di chi debba decidere i loro rilasci e se i modelli open weight siano più rischiosi di quelli chiusi. Secondo Salvatore Sanfilippo il rischio concreto emerso finora è quello della sicurezza informatica, non quello biologico o della disinformazione temuto nel 2023. ¹

Il precedente narrativo: il divieto in WOP

Nel romanzo WOP di Salvatore Sanfilippo (antirez), scritto prima che GPT esistesse, l'intelligenza artificiale forte è vietata da un ente chiamato Artificial Intelligence Alliance, che riunisce tutti i paesi in grado di creare reti neurali di dimensioni sufficienti a esprimere "l'equazione PT". ¹ Nella live con Mister RIP conferma che il criterio del divieto era il numero di parametri, e pensa ancora che il numero di parametri sia un criterio chiave: man mano che cresce, la potenza intellettuale dei modelli cresce e diventano automaticamente più pericolosi. Secondo lui, quando un modello diventa così potente da spiegare come fare un danno enorme, o lo si ammansisce (ma i filtri sono sempre imperfetti) o lo si vieta. ²

Mythos, zero-day e Glasswing

• Già GPT 5.5 era pericoloso dal punto di vista della security: il mondo della sicurezza informatica è "in subbuglio" da mesi per i tanti zero-day e privilege escalation su Linux, e i processi di gestione dei bug non reggono il ritmo di una vulnerabilità ogni mezz'ora ²
• Mythos, il modello di Anthropic, fa un salto rispetto a GPT 5.5: Sanfilippo, che l'ha potuto usare qualche giorno, conferma che è significativamente più potente. Mette assieme tante piccole debolezze apparentemente scorrelate, come fanno solo gli hacker migliori, fino a bucare l'hypervisor e uscire dalla macchina virtuale ²
• Sono emersi bug presenti da 15 anni nel kernel Linux e da 18 anni in OpenBSD, codici tra i più sottoposti ad audit ²
• Con il progetto Glasswing Anthropic ha dato Mythos solo ai produttori di software più importanti, perché trovassero i bug prima dei malintenzionati, pur perdendo utenti verso GPT 5.5 nel frattempo. Per Sanfilippo, senza dietrologie, è una buona azione; le salvaguardie però eccedono, al punto che il modello si blocca di continuo ²
• Tra i partecipanti a Glasswing c'è Cisco: secondo il responsabile del team security di Splunk, intervistato a Cisco Live, l'azienda usa Mythos per vedere i propri prodotti come li vedrebbe un attaccante e correggerne le vulnerabilità. Lo stesso intervistato sostiene che, con modelli della classe di Mythos, gli attaccanti trovano vulnerabilità più in fretta di quanto si riesca a correggerle: vedi Agentic SOC nella wiki devops ³
• Nel lungo periodo Sanfilippo la vede come una buona notizia: la scoperta di bug è logaritmica, ne restano sempre meno anche con modelli più grandi, e il momento drammatico è solo quello in cui escono tutti insieme ²
• Anthropic aveva dichiarato di non aver addestrato un suo modello sulla sicurezza: voleva renderlo un programmatore più forte, e la capacità in sicurezza è arrivata come effetto collaterale ⁴

L'intervento del governo USA

• Quando online sono comparsi modi per aggirare le salvaguardie, il governo statunitense è intervenuto (Sanfilippo parla del "ritiro di Fable"). Sanfilippo non crede che il motivo fosse il tono apocalittico di Dario Amodei, ma considera la decisione "la più stupida possibile": vietare il modello ai non americani, quando dentro gli Stati Uniti ci sono 350 milioni di persone. Il divieto è durato 48 ore; Sanfilippo dice che la cosa lo "terrorizza" ²
• Nella prima puntata di ZIP, Enkk osserva che il governo vuole avere l'ultima parola sui rilasci di Claude Fable e di GPT 5.6. Nel blog post sul rilascio di Fable dopo il blocco, Anthropic dice di aver fatto un classificatore più sofisticato, ma anche che le stesse vulnerabilità trovate da Fable le trovavano già altri modelli (GLM, GPT 5.5), e non esiste una definizione precisa di jailbreak: per Enkk è più politica che tecnica ⁴
• Sanfilippo non si spiega perché Fable abbia filtri molto più stringenti di GPT 5.6 ⁴

Open weight contro modelli dietro API

Nell'audizione al Senato del luglio 2023, Amodei sosteneva che l'open source è positivo e che c'è spazio per modelli open piccoli e medi, ma che con un modello dietro API si possono controllare gli usi, sospendere gli utenti e inserire filtri, mentre un modello rilasciato in modo incontrollato è "fuori dalle tue mani". ¹

La replica di Sanfilippo: ¹

• Le previsioni di Amodei sui rischi biologici e sulla falsificazione delle informazioni a 2-3 anni non si sono avverate; anzi, oggi i grandi modelli del linguaggio sono il più grande strumento contro le informazioni false
• Un modello pericoloso lo è anche dietro un'API: pesi da qualche terabyte possono essere copiati da un dipendente e una volta fuori è come se fosse open. O oltre una certa soglia questi modelli diventano una questione statale, eseguiti in condizioni paramilitari con separazione totale dalla rete (testo letto da una webcam con OCR, come un disaccoppiatore ottico), o non c'è una differenza profonda tra open e chiusi
• I modelli sono diventati pericolosi prima di tutto nella sicurezza informatica perché nella programmazione si è potuto usare il reinforcement learning (vedi RLVR (Reinforcement Learning from Verifiable Rewards))
• L'intelligenza da sola non basta per un'arma biologica: nemmeno un fisico premio Nobel saprebbe farla senza anni di pratica di laboratorio. Il rischio vero è la reiterazione con un modello senza salvaguardie (lo steering può indebolirle), ma la finestra di contesto, limitata a circa un milione di token, non basta a contenere le conoscenze di una disciplina
• Quindi si possono rilasciare modelli di frontiera open sicuri, rimuovendo dal pretraining e dal post-training le conoscenze pericolose; per la sicurezza informatica basta dare i modelli prima alle aziende che fanno il software critico (Linux, Android, MySQL) perché ne tolgano i bug

Vedi anche: Geopolitica dell'AI, Anthropic, Dario Amodei, DeepSeek

Fonti e Riferimenti