Generazione Video AI

Come funzionano i modelli open di generazione video, secondo quanto racconta Salvatore Sanfilippo (antirez) dopo aver implementato H3 (MiniMax). ¹

Come differisce dalla generazione immagini

Nei modelli di sintesi immagini il denoising avviene in più step secondo uno scheduler. Nei modelli video come H3:

• Il denoising non procede frame per frame: avviene simultaneamente su tutti i frame, e ogni step si applica a tutti
• Cross-attention tra frame: i frame si influenzano a vicenda durante la generazione
• Ne risulta una grandissima coerenza tra i diversi frame e anche con l'audio del video

¹

Dense vs Sparse Attention

• Dense: è quella dell'implementazione di riferimento di H3
• Sparse: un ricercatore di MiniMax ha detto in un AMA su Reddit che stanno provando la sparse attention; per la coerenza potrebbe bastare ancorarsi ai frame un po' prima e un po' dopo, come una indexed attention senza la parte del modello che assegna lo scoring degli indici
• Sanfilippo usa la dense perché, avendo un kernel molto efficace, va più veloce

¹

GPU-bound vs Memory-bound

A differenza dei LLM durante la generazione, dove il problema è spostare tanti dati, il modello video è GPU-bound e non memory-bound: dal punto di vista implementativo somiglia al prefill dei LLM. Per questo è un caso d'uso in cui la DGX Spark dovrebbe funzionare bene, anche se con l'implementazione pubblica, non abbastanza ottimizzata, funziona male. ¹

Lo conferma un test di Alex Ziskind con LTX2 (text-to-video in ComfyUI) sulle GPU Intel: la B70, con più potenza di calcolo, genera in 167 secondi contro circa 225 di una B60, e la VRAM in più non aiuta. Vedi Intel B60 e Prefill e Decode. ²

Input multi-modali

H3 ha tre encoder (video, audio e immagini), quindi gli si possono dare primo e ultimo frame oppure un video di esempio. Un workflow possibile: si fa un video con Blender e gli si dà come primo frame una versione fotorealistica del primo frame renderizzato, chiedendogli di riprodurre il movimento del video in quello stile. ¹

Vedi anche: H3 (MiniMax), Speculative Decoding, Inferenza Locale, Salvatore Sanfilippo (antirez)

Fonti e Riferimenti