Speculative Decoding

Tecnica di ottimizzazione per l'inferenza LLM in cui si fa drafting di token candidati che probabilmente sono la continuazione, poi li si verifica con il modello reale. Se la verifica riesce abbastanza spesso ed è abbastanza poco costosa, la generazione va molto più veloce. ¹

Implementazione in Dwarf Star

• Salvatore Sanfilippo (antirez) ha implementato il decoding speculativo in Dwarf Star per Laguna S2.1, con DFlash, che per Laguna è l'equivalente di DSpark ¹
• Performance su M5 Max: Laguna S2.1 a 4 bit genera 70 token/s con 550 token/s di prefill ¹
• Sul lavoro di ottimizzazione dei kernel CUDA fatto con Fable (tensor parallelism e speculative decoding con DSpark, la novità di DeepSeek), GPT 5.6 ha trovato in pochi minuti soluzioni migliori, con uno speed-up del 10% ²

Vantaggi e limiti

Il guadagno dipende dal rapporto tra costo della verifica e percentuale di token accettati. Per migliorare la generazione sul DGX Spark Sanfilippo cerca un modo di verificare i token abbastanza economico rispetto alla percentuale di accettazione, prima ancora di MTP. ³ È una delle tecniche usate per rendere più veloce l'Inferenza Locale.

Fonti e Riferimenti