vLLM

vLLM è un inference engine e serving layer per LLM. Rispetto a llama.cpp, può offrire performance migliori soprattutto con alta concorrenza, ma al costo di minore compatibilità (molte architetture e quantizzazioni non sono supportate su tutti i backend). ¹

Caratteristiche

• Model serving: pensato per esporre modelli come backend a cui altri tool si collegano, non solo come chat locale ²
• Kernel ottimizzati: Intel mantiene un fork (LLM Scaler) con kernel su misura per il proprio hardware ¹
• Multi-nodo: supporta cluster via NCCL/Ray (es. ASUS GX10 con 2 nodi) ²
• Eager mode: necessario sulla B70 con il fork LLM Scaler, perché i CUDA graph compilati non sono stabili ¹

Fork vendor

• Intel LLM Scaler: fork Intel (che copre anche ComfyUI) con kernel personalizzati per Intel Arc Pro B70, con un aggiornamento specifico per la B70 a maggio. Prestazioni eccellenti (Llama 3.1 8B: 2.054 tok/s; Qwen 3.5 9B: 2.236 tok/s) ma versione di vLLM non recente, niente AWQ (alcune GPTQ sì), alcuni modelli non supportati (es. Gemma 4). ¹
• NVIDIA: vLLM supporta nativamente CUDA. ⁶

Alex Ziskind, che usa LLM Scaler anche sulla B60, lo descrive come circa un mese indietro rispetto al vLLM originale, con supporto ai modelli in continuo miglioramento: vedi Intel B60 nella wiki ai-llm. ³

Hardware non più supportato

Nella prima puntata di ZIP si osserva che vLLM e SGLang hanno abbandonato l'hardware più vecchio e considerano solo le GPU dalla B200 in poi: un server con 8 schede L40S è tornato utilizzabile solo con Dwarf Star. Vedi Inferenza Locale e Dwarf Star nella wiki ai-llm. ⁴

Uso su ASUS GX10 cluster

Sul ASUS GX10 a 2 nodi, vLLM è configurato come Ray cluster con un head node e un worker. Il modello viene caricato da una share NFS sul NAS e servito come endpoint locale. Le prestazioni con MiniMax M2.7 AWQ 4-bit erano inizialmente di 26-28 tok/s; avviare il container vLLM in modalità privileged le ha portate a ~41 tok/s. ²

Voci correlate

• llama.cpp — alternativa più leggera e compatibile
• Intel Arc Pro B70 — GPU con fork LLM Scaler specifico
• ASUS GX10 — hardware che usa vLLM in cluster
• Model Shelf — gestione dei modelli scaricati (anche safetensors per vLLM) ⁵

Fonti e Riferimenti