H3 (MiniMax)

Modello di generazione video e audio rilasciato da MiniMax. Secondo Salvatore Sanfilippo (antirez) è molto potente, probabilmente il più potente disponibile in open source. ¹

Architettura

• Cross-attention tra frame: il denoising avviene simultaneamente su tutti i frame, non uno dopo l'altro. Questo dà grandissima coerenza tra i frame e con l'audio.
• 3 encoder: video, audio, immagini → accetta primo e ultimo frame, o un video di esempio come guida di movimento (es. un render Blender, con un primo frame reso fotorealistico)
• Dense attention nell'implementazione di riferimento; un ricercatore di MiniMax ha detto in un AMA su Reddit che stanno provando la sparse attention (frame vicini come ancora, tipo indexed attention senza indexing)
• GPU-bound, non memory-bound: diversamente dai LLM in generazione, il limite è la computazione, non lo spostamento dei dati

¹

Implementazione Metal (Sanfilippo)

• Sanfilippo ha implementato H3 per Metal
• Richiede molta RAM: con 96 GB gira; con 64 GB secondo lui potrebbe essere possibile (il passaggio della trascrizione non è chiaro)
• Con un Mac M5 Max genera un video in circa 10 minuti
• Sulla DGX Spark, che essendo il modello GPU-bound dovrebbe andare bene, l'implementazione pubblica funziona male: la sua implementazione Metal è molto più veloce, perché quella pubblica non è ottimizzata abbastanza
• Piano: implementare lo SSD streaming, con cui questo modello potrebbe funzionare bene
• Disponibile su GitHub

¹

Implicazioni

Modello pesantemente non censurato: - Deep fake "in maniera pesantissima", con la voce e tutto - Accetta riferimenti fotografici multipli richiamabili nel prompt ("picture one", "picture two") - Video tipo OnlyFans, modelle fake su Instagram, ma anche molti più corti e pubblicità fatti con l'AI - Non ha fatto training specifico su immagini pornografiche, quindi non conosce i dettagli anatomici espliciti, ma un certo grado di pornografia si può ottenere - La difesa è culturale: il modello è open, tutti lo possono usare e "non c'è modo di infilare il gatto dentro il sacco". Davanti a un video provocatorio di una persona conosciuta bisogna pensare che possa essere falso, ma il vero punto d'arrivo, citando Valentina Nappi, è annullare lo stigma, così che vero o falso non faccia più differenza - Secondo Sanfilippo la democratizzazione dell'AI ha sia effetti negativi sia positivi

¹

Vedi anche: Generazione Video AI, Salvatore Sanfilippo (antirez), DGX Spark, Speculative Decoding, Inferenza Locale

Fonti e Riferimenti