Inferenza Locale

Esecuzione di modelli LLM su hardware locale (Mac, GPU consumer, mini PC) invece di API cloud. Secondo Salvatore Sanfilippo (antirez) con l'inferenza locale si comprano libertà e privacy; nella stessa conversazione con Enkk si aggiunge la stabilità nel tempo, perché i modelli cloud possono essere ritirati da un giorno all'altro. ¹

Vantaggi

• Privacy: con un modello open weight sul proprio hardware non spedisci i dati a nessuno ²
• Stabilità: i modelli cloud possono essere ritirati (es. perché "Trump ha deciso" così, o come i vecchi modelli Flash 2.0 di Google), costringendo a cambiare un setup che funzionava ¹
• Non è una questione di costo: all'obiezione "con quei soldi potevi comprare token per n anni" Sanfilippo risponde che l'inferenza locale non compete con le API sul prezzo, ma offre libertà e privacy ¹
• Stesse capacità dei modelli online: anche i modelli cloud sono statici; un modello locale, che nel prompt di sistema vede la data, può fare ricerche online tramite tool esattamente come quelli online ²
• Hardware "vecchio" riabilitato: Dwarf Star ha reso di nuovo utilizzabile un server con 8 schede L40S che vLLM e SGLang non supportavano più ¹
• Sovranità: per Manolo Remiddi i servizi cloud addestrano sui dati degli utenti, li profilano e mancano di trasparenza; l'inferenza locale è un percorso verso un'AI di cui fidarsi, sempre accesa 24/7 ³
• Sostenibilità economica per le aziende: Enkk prevede grande movimento verso i modelli locali, perché un'azienda media che non ti dava un monitor da 150 dollari non ti darà "un trillion token" da usare liberamente; alcune aziende stanno già facendo passi indietro. Chi riuscirà a sviluppare qualcosa on premise "godrà parecchio", mentre le aziende molto grandi useranno contratti enterprise ⁴

Strategia ibrida cloud + locale

Remiddi rifiuta la scelta binaria "100% cloud" o "100% locale": oggi l'AI locale è potente ma non perfetta, e i modelli di frontiera sono ancora economici (i prezzi saliranno). La sua ricetta: usare un modello cloud per il lavoro di alto livello (architettura del software, revisione, bug che il modello locale non risolve) e far costruire la maggior parte del codice al modello locale. L'architettura va pensata modulare, a blocchi autosufficienti che stiano nel contesto del modello locale. ³ Salvatore Sanfilippo (antirez) invece non crede alla divisione "pianificazione con il modello più potente, implementazione con quello più scarso": vedi Coding Agent. ⁵

Hardware

• Sweet spot: 128 GB di RAM, secondo Manolo Remiddi: abbastanza per un modello grande con contesto ampio e velocità sufficiente; 512 GB (Mac Studio) secondo lui non servono perché i modelli enormi girano troppo lenti (per esempio MiniMax da circa 250B quantizzato) ³
• NVIDIA contro Mac, sempre secondo Remiddi: le macchine NVIDIA sono più stabili perché l'AI è sviluppata su sistemi NVIDIA; i Mac a memoria unificata hanno tanta memoria veloce ma un'infrastruttura meno solida. Con più budget la sua scelta sarebbe la RTX 5090 (32 GB, $4-5.000 l'una): con una sola si usa un modello da 27B con contesto decente, mentre quattro (128 GB) costerebbero circa $20.000 più il resto del computer e l'elettricità. La sua macchina da 128 GB con l'hardware del DGX Spark, pagata $3.200, oggi costa circa $1.000 in più, e non si svaluta perché i nuovi modelli la rendono più veloce e più capace. Per chi ha poco budget: un mini PC da $300-400, poi un Mac Mini; un laptop è sconsigliato perché il sistema deve restare acceso 24/7 ³
• Apple Silicon: M5 Max (costa 6-7.000; DeepSeek V4 Flash compresso in 80 GB gira a 32-35 tok/s) ², M3 Ultra 512 GB (800 GB/s di banda, ma non più acquistabile). Secondo Sanfilippo i prossimi Mac potrebbero arrivare a 1,2 TB/s, vicino alle schede NVIDIA di fascia alta, e Apple potrebbe vendere computer da 15-20.000 che le persone comprerebbero "senza battere ciglio" come mini server. Enkk aggiunge che Apple non ha concorrenti perché NVIDIA sa che con GPU consumer con tanta VRAM si darebbe la zappa sui piedi ¹
• NVIDIA: DGX Spark (128 GB, banda memoria ~250 GB/s) ¹, RTX Spark (consumer, Windows on ARM, fino a 128 GB) ⁶
• Intel B60: 24 GB di VRAM a $650; quattro schede MaxSun Dual B60 (48 GB, $1.750 l'una) danno 192 GB per $7.000, contro $24.000 con le NVIDIA RTX Pro 5000 ⁷
• Intel Arc Pro B70 (32 GB, 608 GB/s): secondo Donato Capitella 32 GB sono il minimo su una GPU discreta per modelli utili agli agenti locali, ma il backend SYCL di llama.cpp non usa ancora i matrix core; vedi Intel Arc Pro B70 e GPU per AI locale nella wiki homelab ⁸
• ASUS Ascent GX10 (GB10, 128 GB, circa $3.500): Techno Tim ne ha collegate due via ConnectX-7 per arrivare a 256 GB e far girare MiniMax M2.7 in AWQ 4-bit a circa 41 tok/s; il verdetto è che l'AI locale è pratica ma non effortless e non sostituisce i coding agent cloud. Vedi ASUS GX10 nella wiki homelab ⁹
• AMD: GEEKOM A9 Max con Ryzen AI 9 HX 470. Su Linux bare metal con il driver open source RADV il prefill di prompt lunghi è circa 3× più veloce che su Windows. Il decode era dimezzato da un solo banco di RAM (single channel): con il dual channel è circa raddoppiato. Dettagli in Prefill e Decode ¹⁰

Software

• Dwarf Star: engine pensato come prodotto "alla Apple": scarichi, lanci, funziona ²
• Ollama su Windows ignora la GPU integrata AMD e gira su CPU: meglio llama.cpp con backend Vulkan ¹⁰
• vLLM e SGLang hanno disatteso l'hardware vecchio: considerano solo dalla B200 in poi ¹
• Per i serving engine visti dal lato homelab vedi llama.cpp e vLLM nella wiki homelab

Modelli

• DeepSeek V4 Flash (284B parametri, 140 GB, quantizzato in modo asimmetrico in 80 GB) ²
• GLM 5.2 (resistentissimo alla quantizzazione, funziona bene anche a 2 bit) ¹
• Laguna S2.1 (con Speculative Decoding e min_p Sampling), interessante per chi ha 64 GB di RAM ¹¹
• Qwen 3.6 35B (3B attivi): circa 70 tok/s su una macchina con lo stesso hardware del DGX Spark, con un rallentamento lineare al crescere del contesto. È il modello che Remiddi usa con Hermes Agent. Il denso Qwen 27B, che usa tutti i parametri, è più intelligente ma gira a circa 10 tok/s, "usabile ma frustrante"; Gemma 4 (4B attivi) va a circa 50 tok/s. Con contesti da 200.000 token si possono tenere 2-3 istanze in parallelo, per esempio una per Hermes e una per OpenCode ³

Fonti e Riferimenti