Laguna

Modello implementato in Dwarf Star da Salvatore Sanfilippo (antirez). La branch Laguna S 2.1 continua a crescere ma non è ancora stata mergiata. ¹

Laguna S2.1

• Implementata con Speculative Decoding (DFlash): drafting di token verificati col modello reale
• Performance su M5 Max: 70 token/s (generazione), 550 token/s (prefill) in 4-bit
• Promettente ma non ancora matura: con il thinking abilitato produce troppo testo, quindi secondo Sanfilippo ha spazio di utilizzo soprattutto con il thinking disabilitato
• Sanfilippo ipotizza che una futura Laguna 2.2 possa risolvere gran parte dei problemi di stabilità; chi vuole usarla già oggi ha la branch disponibile
• Casi d'uso: chi ha 64 GB di RAM e vuole Inferenza Locale; aziende che vogliono un manuale esplorabile via chatbot senza pagare molto per l'inferenza

¹

Stabilità e min_p

• Laguna aveva allucinazioni (riferimenti inesistenti nella domanda dell'utente), più con Q2/Q3, meno con Q4
• Stesso problema con l'implementazione di llama.cpp e con l'API di Laguna
• Soluzione: min_p Sampling a 0.05 — le allucinazioni spariscono completamente anche con Q2/Q3
• Ipotesi di Sanfilippo: a volte i token migliori sono molto concentrati e subito dopo ce ne sono altri con score molto minore, che il sampler pesca ogni tanto rovinando l'output. Più che indagare il singolo caso, conviene trovare un assetto stabile di temperatura, min_p e quanti (con Q2/Q3 forse temperatura 0,7 invece di 1)

¹

Early stop adattivo del thinking

Sanfilippo vuole reimplementare l'early stop adattivo del thinking (già fatto su una branch Qwen rimasta sul suo computer): man mano che il pensiero si allunga, chiude il blocco think se il token di chiusura compare tra il secondo e il quinto candidato nei logit di uscita. "Con questa roba qui è la svolta." ¹

Fonti e Riferimenti