ASUS GX10

L'ASUS Ascent GX10 è un compact AI workstation basato sulla piattaforma NVIDIA GB10 Grace Blackwell: ARM CPU + Blackwell GPU + 128 GB di memoria unificata in un box desktop piccolo e pesante. Secondo Techno Tim in questo tipo di AI locale la domanda non è tanto "posso farlo girare?" quanto "quanto è grande il modello e ci sta in memoria?". Prezzo (una delle versioni più economiche della piattaforma GB10): ~$3.500 per unità (più ~$100 per il cavo di collegamento se se ne usano due). ¹

Specifiche

• GPU: NVIDIA Blackwell (GB10 Grace Blackwell) ¹
• RAM: 128 GB memoria unificata (CPU/GPU condivisa) ¹
• Networking: 10GbE + NVIDIA ConnectX-7 (QSFP112) per clustering ¹
• Magneti integrati per stacking magnetico tra unità ¹

Setup di Techno Tim

• Uso remoto: il GX10 fa da macchina di sviluppo AI in background; NVIDIA Sync semplifica SSH e VS Code remoto (il server VS Code gira sul GX10, l'editor resta sul computer principale e il terminale è una shell sul GX10) ¹
• Storage: i modelli (40-60 GB, alcuni oltre 200 GB) stanno su una share NFS del NAS e vengono caricati in memoria attraverso la porta 10GbE ¹
• Serving: tra le opzioni citate (Ollama come punto di partenza più facile, llama.cpp leggero e adatto a molto hardware, Docker Model Runner) sceglie vLLM, avviato da un playbook Ansible che genera il file compose ¹
• Agente: OpenCode, scelto perché open source, usabile da terminale, compatibile con modelli diversi ed eseguibile anche come web app servita dal GX10 ¹
• Osservabilità: temperature, utilizzo e salute in Grafana e Prometheus, consumo tramite smart plug in Home Assistant ¹

Il compito di test è un "Homelab service tracker" (web app per censire servizi come Proxmox, TrueNAS, Grafana, Plex, Pi-hole), con un prompt dettagliato su stack, scope, data model, test e definition of done, e la richiesta di procedere una feature alla volta. Tim precisa che non è un benchmark scientifico ma un test pratico, e che i due run confrontano workflow più che modelli. ¹

Test: 1 GX10 (128 GB)

• Modello: Qwen3.6-35B-A3B-FP8
• Stack: vLLM + OpenCode (agentic coding)
• Risultato: ha costruito un'app funzionante ma non autonomo — loop di tool calls, steering necessario; filtro e salvataggio (errore 405) non funzionavano finché Tim non gli ha chiesto di consultare la documentazione sul web invece della propria memoria. Ha anche interrotto il workflow remoto uccidendo il processo node sbagliato. Tim non attribuisce tutti i problemi al modello: parte può dipendere da OpenCode o dall'interazione tra i componenti
• Consumo: ~50W idle con il modello caricato (circa $4-5 al mese se lasciato acceso 24/7), fino a ~125W sotto carico

¹

Test: 2 GX10 cluster (256 GB)

• Connessione: ConnectX-7 QSFP diretto, NCCL ~130 Gbps invece dei ~200 attesi (GPU-Direct RDMA non supportato su GB10)
• Modello: MiniMax M2.7 AWQ 4-bit. Trovare un modello adatto è stato difficile: molti nuovi modelli o stavano su un solo GX10 o erano troppo grandi anche per due. La versione originale di MiniMax M2.7 si caricava e poi andava in crash, perché oltre ai pesi serve memoria per la KV cache; Tim è passato a una quantizzazione AWQ 4-bit di terzi, più piccola e probabilmente un po' meno accurata
• Performance: da 26-28 token/sec a ~41 token/sec dopo il debugging (container vLLM in modalità privileged), dopo aver visto su Spark Arena risultati di altri utenti attorno ai 38-40 token/sec; ci sono voluti circa due giorni
• Risultato: molto più capace — ha usato un CLI generator (create-next-app), filtro/delete funzionavano subito; in seguito ha anche ridisegnato la UI come Windows XP
• Consumo: ~330W totali sotto carico; a circa 300W costanti sarebbero circa $20 al mese

¹

Durante la compilazione di NCCL una macchina ha smesso di rispondere via SSH con tutti i core al 100%, tornando raggiungibile a compilazione finita; Tim ha riprodotto il problema, ASUS no. ¹

Conclusioni

• 1 GX10 rende l'AI locale pratica per coding agent
• 2 GX10 rendono possibili modelli più grandi
• Nessuna versione è effortless — richiede tuning, debugging Docker, lettura log
• Non è un sostituto dei cloud coding agents né un modo per risparmiare su un abbonamento LLM; non è veloce come certi agenti cloud
• Quando qualcosa si rompe non è ovvio quale layer sia la causa: modello, serving, agente, storage, rete o monitoring; e il panorama dei modelli cambia di settimana in settimana
• Uso realistico: lasciare l'agente lavorare in background sul debito tecnico (vecchi progetti, un'app Android/iOS rimossa dagli store perché non aggiornata), producendo modifiche da rivedere
• Target: developer, ricercatori, appassionati AI che vogliono l'ecosistema NVIDIA e poter spostare il lavoro su infrastrutture NVIDIA più grandi; non adatto a chi non vuole passare tempo su terminale, log, Docker e tuning di vLLM
• Per molti 1 GX10 è il punto di equilibrio; 2 hanno senso solo per spingersi su modelli più grandi

¹

Voci correlate

• vLLM — serving layer usato per servire i modelli sul GX10
• llama.cpp — alternativa a vLLM per inference locale
• GPU per AI locale — panoramica delle opzioni hardware per AI locale
• OpenAI Codex — coding agent cloud, il tipo di strumento che il GX10 non sostituisce
• DGX Spark (wiki ai-llm) — la macchina NVIDIA sulla stessa piattaforma GB10, con la variante consumer RTX Spark
• Intel B60 (wiki ai-llm) — l'alternativa con GPU discrete Intel economiche e più VRAM per dollaro

Fonti e Riferimenti