Intel Arc Pro B70

La Intel Arc Pro B70 è una GPU da 32 GB pensata per i carichi di AI locale, con 32 GB di VRAM GDDR6 e 608 GB/s di bandwidth. È costruita sull'architettura Battlemage Xe2 (4nm) con 32 Xe Core dotati di Xe Matrix Extensions (equivalenti dei Tensor Core NVIDIA). Secondo Donato Capitella si rivolge allo stesso pubblico dell'AMD Radeon AI Pro R9700, a prezzo simile o leggermente inferiore. ¹

Formati supportati

BF16, FP8, INT8, INT4 — permette di eseguire diverse quantizzazioni nativamente. ¹

Software stack

• SYCL + Level Zero (ecosistema oneAPI) — equivalente Intel di CUDA/ROCm ¹
• llama.cpp: backend SYCL e Vulkan (ma implementazione SYCL incompleta — matrix core non utilizzati) ¹
• vLLM: fork Intel LLM Scaler con kernel ottimizzati per la B70 ¹
• Llama Toolboxes Cockpit — UI creata dall'autore per gestire toolboxes e modelli ¹
• AI Toolboxes — container Docker/Podman preconfigurati ¹
• Linux: toolbox è nativo su Fedora, su Ubuntu/Arch serve Distrobox ¹

Benchmark

llama.cpp (SYCL backend)

• Qwen 3.6 27B (Q4): ~731 token/sec in prompt processing, ~20 token/sec in generazione ¹
• Problema: il backend SYCL non usa i matrix core (nel codice c'è un to-do) → gap enorme vs AMD R9700: su un modello MoE l'R9700 arriva a quasi 3.000 token/sec in prompt processing, la B70 a circa un terzo ¹
• Il backend SYCL ha anche problemi di utilizzo della memoria: oltre i 16K di contesto la B70 dà problemi, mentre sull'R9700 si riesce a usare un contesto più ampio ¹
• Multi-token prediction (MTP) attiva su SYCL: più lenta che senza, probabilmente perché il backend non è ancora ottimizzato per MTP ¹

vLLM (LLM Scaler fork)

• Qwen 3.5 9B: 2.236 token/sec — l'R9700 non ci si avvicina ¹
• Llama 3.1 8B: ~2.054 token/sec, parità con AMD ¹
• Limitazione: vLLM non aggiornato, niente AWQ (alcune GPTQ sì), alcuni modelli non supportati (es. Gemma 4), esecuzione obbligata in eager mode ¹
• Secondo Capitella la scarsa resa dell'R9700 su questi modelli dipende soprattutto dal suo supporto in vLLM, non dall'hardware ¹

Workflow con llama.cpp

Capitella avvia llama-server dentro il toolbox con flash attention, il modello, la dimensione di contesto e i template Jinja; il server ascolta sulla porta 8080 e dal laptop lo raggiunge con un port forwarding SSH, usando la web UI di llama.cpp. Il model manager del cockpit scarica da Hugging Face le quantizzazioni Unsloth nella home dell'host (fuori dal toolbox), e i toolbox vengono aggiornati automaticamente a ogni nuova release di llama.cpp. ¹

Il progetto LLM Scaler supporta anche ComfyUI per la generazione di immagini e video. ¹

Verdetto

Hardware con molto potenziale, ma il software è ancora immaturo. Il backend SYCL di llama.cpp è l'ostacolo principale. Con un migliore supporto software, potrebbe diventare una delle migliori opzioni per AI locale a 32GB. ¹

Confronto con la B60

Alex Ziskind colloca la B70 a circa $1.000 per 32 GB, sopra la B60 (24 GB, circa $650), e la confronta con una e due B60 sul fork LLM Scaler: su Qwen 3 4B FP8 una B70 fa 92 token/sec e batte due B60 in tensor parallelism, su un MoE 30B INT4 fa 45 token/sec contro 44,5 della B60, mentre su Qwen 3.5 27B INT4 (28,3 token/sec) due B60 la superano. Nella generazione video con LTX2, limitata dal calcolo, la B70 impiega 167 secondi contro circa 225 delle B60. Dettagli in Intel B60 nella wiki ai-llm. ²

Voci correlate

• vLLM — serving layer con kernel ottimizzati Intel (LLM Scaler fork)
• llama.cpp — backend SYCL/Vulkan per inference
• GPU per AI locale — confronto con altre GPU per AI locale
• AMD Radeon RX 9070 GRE — GPU gaming AMD da 12 GB, sotto la soglia dei 32 GB per AI locale

Fonti e Riferimenti