DeepSeek

Lab AI cinese che rilascia modelli open weight e ricerca di qualità altissima. DeepSeek V4 Flash (284 miliardi di parametri, MoE) è il modello a cui è dedicato Dwarf Star, che supporta anche la versione Pro. ^{1 2}

Modello principale: DeepSeek V4 Flash

• 284 miliardi di parametri, 140 GB non compresso. ¹
• Mixture of Experts: 256 esperti per layer, se ne attivano 6 per ogni token, più un esperto condiviso sempre attivo in tutti i 43 layer. ¹
• Ha fatto quantization-aware training ed è profondamente resistente alla quantizzazione. ²
• In Dwarf Star con quantizzazione asimmetrica: 80 GB di RAM, 32-35 token/s in generazione e 400-500 token/s in lettura su un Mac M5 Max. ¹
• Con tensor parallelism su 2 M5 Max: 50 token/s, prefill 600 token/s. ²
• Su DGX Spark, quantizzato a 2 bit, la generazione era ferma a 15 token/s; con Fable si è arrivati a circa 17,5. ³

Perché la Cina rilascia modelli open weight

Secondo Salvatore Sanfilippo (antirez): ¹ - I cinesi hanno capito che gli LLM diventeranno una commodity: oggi i margini sono negativi. - DeepSeek ha un quarantesimo della capacità computazionale di OpenAI ma riesce comunque a produrre i suoi modelli, segno che la differenza è soprattutto di scaling. - Hanno scelto di fare i "paladini della libertà", sia della ricerca sia degli LLM open weight. - Rilasciano non solo i pesi ma anche paper di rottura (attention di V4, pipeline di reinforcement learning di V3/R1) che i laboratori americani possono leggere. - Un altro indizio che non esista una ricetta segreta: OpenAI e Anthropic si alternano in testa, e Anthropic è tornata competitiva con Claude Fable, molto più grande e più lento. Per Sanfilippo è ancora scaling, sbloccato dal reinforcement learning. - Mr. RIP obietta che la teoria della commodity non va d'accordo con modelli così potenti da essere bloccati dal governo; Sanfilippo risponde che l'AI generativa finirà venduta con un piccolo ricarico sul costo dell'energia.

Il quadro più ampio è in Geopolitica dell'AI.

Voci su restrizioni

Secondo indiscrezioni riportate da Reuters, il governo cinese starebbe suggerendo ai produttori di non rilasciare al resto del mondo i prossimi modelli di livello Mythos. Enkk e Sanfilippo la leggono come una postura più che come una posizione sostenibile: per la Cina rilasciare open weight è stato fondamentale per competere con gli Stati Uniti. ²

Fonti e Riferimenti