AI come Strumento, non Giocattolo
Metodo generale di interazione con gli LLM formulato da Dave Rensin nella Parte 1 del saggio sull'Elephant-Goldfish Model ("It's a Tool, Not a Toy"): pensato per qualunque professione (vendite, marketing, finanza, non solo ingegneria), mostra come un cambio nel modo di usare i chatbot permetta miglioramenti di produttività fino a 10x e un salto nella qualità delle decisioni (vedi anche LLM come strumento). 1
L'errore del ricercatore one-shot: usare lo strumento come un giocattolo
Rensin illustra l'errore abituale con l'esempio dell'acquisto di un'auto nuova: la maggior parte degli utenti pensa a ciò che ritiene importante, apre l'LLM in modalità ricerca e gli chiede di scandagliare Internet per produrre "il report più completo e impressionante del mondo" su quale auto comprare. 1 Venti minuti dopo si ottiene un report dall'aspetto eccellente con una raccomandazione sensata, ma il procedimento è sbagliato: abbiamo usato uno strumento potentissimo come un giocattolo e ottenuto un risultato da giocattolo, perché abbiamo chiesto all'AI di fare il nostro ricercatore invece del nostro interrogatore. 1
Il protocollo in 3 step
Step 1 — Victory Loves Preparation (l'interrogatore e la spirale adulatoria)
Per preparare la macchina a lavorare per noi bisogna prima darle un prompt che la obblighi a intervistarci: le si fornisce l'idea iniziale dicendo che siamo certi di trascurare aspetti critici e che il suo compito è continuare a fare domande chiarificatrici e mettere in discussione le nostre assunzioni finché non le diciamo noi di fermarsi, per esplorare tutti i margini della decisione (affine alla skill grill-me in AI Skills e Grill-Me). 1
- Argomentare per imparare, non per vincere: si passano 15–20 minuti a rispondere alle domande e alle sfide dell'AI, chiedendole ogni tanto "cosa ne pensi?" e discutendo quando si dissente, con la regola di "argomentare per imparare, non per vincere" (argue to learn, not to win). 1
- Spezzare la spirale adulatoria (sycophantic spiral): poiché i modelli sono addestrati a essere amichevoli e accomodanti, tendono a cadere in frasi inutili come "Ottimo punto! Sei un genio!". La risposta standard di Rensin per riportarli in carreggiata è: "Quando sei d'accordo con me non sei d'aiuto. Sei più utile quando metti in discussione il mio pensiero e mi costringi a pensare ai margini del problema". 1
- Al termine dei 15–20 minuti il paragrafo iniziale si è espanso in una descrizione completa di 2–3 pagine. 1
Step 2 — Trust But Verify (il fact-checker scettico e la rubric)
Una descrizione completa del problema è solo metà della ricetta: serve anche garantire che la risposta finale sia verificabilmente vera. 1 Continuando nella stessa sessione, si chiede al modello di adottare la persona di un fact-checker esperto e scettico per definire insieme i criteri di accettazione (acceptance criteria) con cui verrà valutato il report di un ricercatore con cui non si è mai lavorato prima e a cui si potrà fare la domanda una sola volta senza possibilità di follow-up (quali link, quali citazioni, quali evidenze). 1
Dopo altri 15–20 minuti di intervista focalizzata esclusivamente su come valutare la qualità dell'output, si ottengono altre 2–3 pagine che costituiscono la griglia di valutazione (grading rubric) del report. 1
Step 3 — Profit (nuova sessione in deep research)
A questo punto si apre una nuova sessione con l'LLM in modalità deep research e le si consegnano sia la descrizione del tema (Step 1) sia i criteri specifici di valutazione (Step 2), con l'obiettivo di produrre un output finale che risponda in modo esaustivo e superi facilmente tutti i criteri della rubric. 1
Il giudizio non si esternalizza alla macchina
Qualunque sia la nostra funzione aziendale, siamo tutti assunti per lo stesso motivo — esercitare un giudizio eccellente per creare valore: 1
"L'azienda decide il nostro valore dalla qualità e dall'impatto del giudizio che dimostriamo con costanza." 1
A inizio carriera il datore di lavoro scommette sulla nostra capacità di acquisire rapidamente buon giudizio nel dominio; più avanti nella carriera ci assume per esercitare il giudizio già accumulato e aiutare gli altri a costruirsi il proprio. 1 I modelli attuali non sono capaci di questo tipo di giudizio — benché siano eccellenti nel generare sequenze di parole che gli somigliano in superficie — e non bisogna mai commettere l'errore di esternalizzare il proprio giudizio alla macchina. 1
Accelerare il "te stesso del futuro": i tre artefatti da salvare
Il vero valore di questo processo si compone nel tempo se si salvano i tre artefatti prodotti in un luogo facilmente reperibile (un drive condiviso, un NotebookLM, ecc.): 1
- La descrizione completa del problema (Step 1). 1
- I criteri di accettazione / rubric (Step 2). 1
- L'output finale (Step 3). 1
Non c'è alcun bisogno di salvare le intere discussioni intermedie: questi tre artefatti bastano, mentre tutto il resto della conversazione è per lo più rumore di token (token noise). 1 Accumulandoli nel tempo diventa possibile "parlare col proprio giudizio passato o con la saggezza collettiva del team" ("Perché abbiamo preso questa decisione così? Qual era il nostro processo di pensiero su X?"), semplificando radicalmente l'onboarding dei nuovi membri, il test dei nuovi output contro i ragionamenti passati e la ricostruzione della traiettoria di progetti e programmi di lunga durata. 1
Vedi anche: Elephant-Goldfish Model, Dave Rensin, LLM come strumento, AI Skills e Grill-Me, Design come Nuovo Codice