LLM Wiki (Karpathy)
Metodo per costruire una knowledge base che i LLM possono consultare, senza usare RAG. Pubblicato come nota su GitHub da Andrej Karpathy (tra i fondatori di OpenAI, ha guidato lo sviluppo delle prime versioni dell'Autopilot Tesla; sul suo canale YouTube ha programmato da zero una delle prime versioni di GPT). 1
Il problema del RAG classico
Il RAG tradizionale divide i documenti in chunk, li mette in un vector database e ogni query recupera i chunk più simili. Il problema: ogni interrogazione riparte da zero — il modello non sfrutta conoscenza già elaborata in precedenza. Secondo Alessio Garau il RAG sta già scomparendo e, per alcuni, sarà superato grazie alle context window enormi dei modelli attuali: il metodo di Karpathy nasce da qui. 1
L'idea centrale è che la wiki sia il "working knowledge layer" tra le fonti grezze e l'utente, e che l'LLM si faccia carico della parte faticosa del prendere appunti: mantenere e organizzare in modo sistematico la knowledge base. La qualità dipende dalle fonti: se ci si mette spazzatura, si ottiene una knowledge base di spazzatura. 1
Architettura
raw/— cartella con le fonti grezze. Il modello non può toccarlewiki/— pagine markdown create e aggiornate dall'LLM con sintesi, confronti e cross-linkindex.md— indice con link e descrizione di ogni pagina (il modello lo legge per orientarsi)log.md— log di ogni operazione (per recuperare info via grep)- file di istruzioni dell'agente (
CLAUDE.md, file di OpenCode,AGENTS.mdper Codex) — spiega all'agente come gestire la wiki
Le 3 fasi del workflow
- Ingest — butti una nuova fonte in
raw/, l'agente la legge, riassume, crea/aggiorna pagine wiki cross-linkate - Query — fai una domanda; l'agente legge
index.md, recupera le pagine rilevanti e risponde (la risposta può a sua volta arricchire la wiki) - Lint / health check — periodicamente chiedi all'agente di verificare contraddizioni, colmare lacune, creare pagine per concetti che le meritano
Implementazione con Obsidian
Karpathy consiglia Obsidian, una knowledge base gratuita basata su file markdown che mostra anche il grafo dei collegamenti tra le note. L'estensione Obsidian Web Clipper (Chrome, Firefox, Safari) salva una pagina web come markdown da mettere in raw/. Nella demo di Garau, con OpenCode e due articoli, l'agente crea pagine come "AI and Programmer Jobs" e "AI-assisted programming", aggiorna index e log, e la vista a grafo mostra già molte connessioni. Il setup funziona con qualsiasi agente, anche con modelli locali, senza skill né server MCP: basta descrivere a parole cosa si vuole. 1
Implementazione con Hermes Agent
Hermes Agent include già una skill llm-wiki bundled basata su questo paradigma. Vantaggio: collegato a Telegram, puoi inviargli PDF, documenti o file markdown da aggiungere alla wiki anche dal telefono. Vedi anche il video di Alessio Garau "Hermes Agent #2" per la dimostrazione pratica. 2
Nello stesso video Garau è scettico sui knowledge graph elaborati che circolano nei tutorial: navigare le note a mano con Obsidian ha senso, ma non vede un'utilità pratica nel grafo, almeno per il suo caso d'uso. 2
Limiti
Per Garau il limite attuale è la scalabilità: quando la knowledge base cresce molto, il retrieval diventa difficile. Karpathy consiglia di fare vibe coding per implementare ricerca personalizzata o adottare tool di vector search su markdown, che indicizzano, recuperano e ordinano i file per il modello. 1
"La fase di progettazione dell'output che vuoi ottenere è quasi più importante del modo in cui lo dici all'LLM." — Alessio Garau 1
Relazioni
- Implementato in Hermes Agent come skill bundled
- Alternativa al RAG per il knowledge management; funziona con qualsiasi agente (Codex, OpenCode, Claude Code) — vedi Coding Agent