llama.cpp

llama.cpp è un inference engine LLM leggero e multi-piattaforma per AI locale. Supporta molte architetture di modelli e formati di quantizzazione out-of-the-box. Il suo vantaggio principale è l'ecosistema unificato: se un modello è supportato, gira su qualsiasi backend. ¹

Il formato dei modelli usato da llama.cpp è GGUF. ⁵

Backend supportati

• CUDA (NVIDIA) — l'ecosistema più maturo
• ROCm (AMD) — in costante miglioramento
• SYCL (Intel) — implementazione incompleta su Intel Arc Pro B70: i matrix core (Xe Matrix Extensions) non sono ancora utilizzati, causando un gap prestazionale enorme vs AMD
• Vulkan — API generica per la massima compatibilità; un backend specifico per la GPU può in teoria dare performance migliori

¹

Su una iGPU AMD il sistema operativo pesa quanto il backend: su Windows Ollama ignora l'iGPU e gira su CPU, mentre llama.cpp con Vulkan usa la GPU; su Linux bare metal Ollama, llama.cpp Vulkan (RADV) e llama.cpp ROCm nel decode stanno entro pochi punti percentuali. Vedi Prefill e Decode nella wiki ai-llm. ²

Toolboxes e Cockpit

Per la Intel Arc Pro B70, Donato Capitella ha creato: - Intel B70 AI Toolboxes — container Docker/Podman (via toolbox o distrobox) con backend preconfigurati (SYCL, Vulkan, più uno per vLLM); toolbox li rende usabili come una shell locale, con accesso alla home e allo stesso stack di rete dell'host - llama toolboxes cockpit — UI per gestire toolboxes e modelli, installabile con pipx - Server mode del cockpit — bypassa toolbox/distrobox, usa direttamente Podman/Docker con configurazione precompilata anche per la multi-token prediction (MTP), che sul backend SYCL risulta per ora più lenta che senza MTP

¹

Tra le alternative per il serving

Techno Tim lo descrive come un'opzione leggera che funziona bene su molto hardware, accanto a Ollama (il punto di partenza più facile) e a Docker Model Runner; per il suo test sull'ASUS GX10 ha però scelto vLLM, pensato come backend di serving. ³

Integrazione con Model Shelf

I modelli gestiti da Model Shelf possono essere caricati direttamente da llama.cpp con il path esatto fornito dal tool. La skill per Claude Code inclusa fornisce anche il comando CLI pronto per llama.cpp e llama-server, che punta al file del modello. ⁴

Voci correlate

• vLLM — alternativa più performante per alta concorrenza
• Intel Arc Pro B70 — GPU con backend SYCL ancora incompleto
• Model Shelf — gestione dei modelli GGUF per llama.cpp
• GPU per AI locale — panoramica hardware per inference

Fonti e Riferimenti