GPU per AI locale

Il panorama delle GPU per AI locale si sta diversificando. Secondo Donato Capitella, oggi 32 GB di VRAM sono il minimo su una GPU discreta per far girare modelli utili per agenti locali come la famiglia Qwen 3.6. ¹

In alternativa alla GPU discreta, sistemi a memoria unificata come l'ASUS GX10 offrono 128 GB per unità (CPU ARM + GPU Blackwell). ²

Opzioni per 32 GB VRAM

Intel Arc Pro B70 (32 GB GDDR6, 608 GB/s)

• Architettura Battlemage Xe2 a 4 nm, 32 Xe Core con Xe Matrix Extensions
• Software: oneAPI con SYCL + Level Zero; vLLM tramite il fork Intel LLM Scaler (ottimizzato)
• Pro: hardware capace, "molto potenziale" secondo Capitella
• Contro: backend SYCL di llama.cpp incompleto, niente quantizzazioni AWQ sul fork vLLM

¹

Intel B60 e MaxSun Dual B60 (24-48 GB)

• Alex Ziskind colloca la B60 (24 GB) a circa $650, la B70 (32 GB) a circa $1.000 e la MaxSun Dual B60 (due B60 su una scheda, 48 GB) a circa $1.750, contro circa $2.500 per una NVIDIA RTX Pro 4000 da 24 GB
• La MaxSun richiede la bifurcation dello slot PCIe; il suo argomento è la densità: quattro schede danno 192 GB per circa $7.000, contro $24.000 con le RTX Pro 5000, che restano però più veloci nella generazione dei token
• Dettagli e benchmark in Intel B60 nella wiki ai-llm

³

AMD Radeon RX 9070 GRE (12 GB VRAM)

• 48 CU, target di potenza 220 W, prezzo italiano di lancio €579 (Prodigeek la ritiene interessante solo sotto i €500)
• Recensita come scheda da gaming 1440p (oltre 100 fps di media)
• Con 12 GB resta lontana dai 32 GB indicati come minimo per modelli locali utili

^{4 1}

Opzioni per 128+ GB memoria unificata

ASUS GX10 (128 GB per unità)

• NVIDIA GB10 Grace Blackwell, CPU ARM + GPU Blackwell
• 2 unità in cluster = 256 GB totali via ConnectX-7 (cavo QSFP112)
• $3.500/unità; con due unità il costo raddoppia, più circa $100 per il cavo di collegamento

²

Altre macchine GB10

• Il DGX Spark di NVIDIA usa la stessa piattaforma GB10; secondo Alex Ziskind la sua doppia ConnectX-7 vale da sola circa $1.500, e le future RTX Spark consumer (stesso chip, Windows on ARM) avranno probabilmente un semplice Ethernet a 10 Gbit. Vedi DGX Spark nella wiki ai-llm ⁵

Considerazioni chiave

1. Il software stack conta: la stessa GPU può avere performance molto diverse con vLLM vs llama.cpp a seconda del supporto backend. La B70 e l'AMD Radeon AI Pro R9700 hanno hardware simile (32 GB, circa 600 GB/s), ma su llama.cpp l'AMD è molto avanti mentre sul vLLM di Intel (LLM Scaler) la B70 supera l'R9700 su alcuni modelli: secondo Capitella le due schede potrebbero dare prestazioni molto simili, la differenza è il supporto software ¹
2. 32 GB è il minimo su GPU discreta: Qwen 3.6 27B in quantizzazione Q4 K XL entra nei 32 GB della B70 ¹
3. Memoria unificata: alternativa per modelli più grandi (ASUS GX10, 128 GB per unità); la dimensione del modello in memoria è spesso il vero vincolo, e la dimensione dei file del modello non basta a stimarla: serve spazio anche per la KV cache del contesto (MiniMax M2.7 non partiva su 256 GB finché non è stato usato in AWQ 4-bit) ²
4. Cluster multi-nodo: possibile via NCCL/Ray, ma GPU-Direct RDMA non è supportato sui sistemi GB10 ²

Voci correlate

• Intel Arc Pro B70 — GPU 32GB Intel con software immaturo
• ASUS GX10 — workstation 128GB NVIDIA per unità
• AMD Radeon RX 9070 GRE — GPU gaming, non per AI seria
• vLLM — serving layer per inference
• llama.cpp — inference engine universale
• Inferenza Locale (wiki ai-llm) — perché e con quale hardware far girare i modelli in locale, compresi Mac e DGX Spark

Fonti e Riferimenti