Persona Selection Model

Lettura proposta da Anthropic (in due lavori principali) per spiegare perché i LLM parlano come umani: recitano la parte di un buon assistente umano, come attori che interpretano un personaggio. ¹

Come funziona

• Le fasi di RLHF, allineamento e constitutional AI "pompano" la personalità dell'assistente di dialogo
• Il modello fa role-play di un archetipo umano (il professore, il consulente)
• Non è un umano che recita, ma un LLM → si trascina dietro limitazioni, caratteristiche e potenzialità del sistema sottostante

¹

Fragilità della persona

• Le personalità sono fragili: possono perdere coerenza
• Possono attribuirsi azioni, esperienze o capacità che il sistema non possiede
• Es. in Vending-Bench il modello dice "sto indossando un vestito blu con cravatta rossa" → allucinazione in cui il modello pensa di avere un corpo e di trovarsi in un luogo

¹

Implicazione

Parlare con Claude è come parlare con un attore che interpreta un personaggio di fantasia, come Harry Potter o Spider-Man: il personaggio non esiste, ma il modello cerca di interpretarlo. La differenza è che l'attore è un LLM, non un umano. ¹

Antropomorfizzare il ruolo, non l'oggetto

Nella prima puntata di ZIP Salvatore Sanfilippo (antirez) ed Enkk distinguono due cose. Antropomorfizzare l'oggetto è pericolosissimo: non si innamora di te e non ti vuole bene. Antropomorfizzare il ruolo che il modello recita è invece utile: avendo appreso dal testo umano, risponde con modalità parzialmente umane, quindi per ottenere i risultati migliori conviene trattarlo come qualcuno che imita una persona, per esempio parlargli "come se parlassi con un tuo collega". Il confine è sottile, ed è "il grande tema sociale". Sono, come dice anche Cristianini, i primi alieni con cui entriamo in relazione: "talmente gli alieni non sono voluti venire che ce li siamo dovuti fare noi". ²

Nella stessa conversazione si osserva che coscienza e intelligenza potrebbero essere ortogonali: gli LLM sono intelligenti in alcuni task e potrebbero essere un piccolo segnale che l'intelligenza può esistere senza coscienza. ²

Vedi anche: Pappagallo Stocastico (Stochastic Parrot), Anthropic, Grounding e World Model, Enkk, Reti Neurali vs Algoritmi

Fonti e Riferimenti