Scalpel: guidare un LLM da una singola feature
Scalpel dimostra con numeri e controlli scientifici, non con screenshot, che una singola feature interpretabile dentro un modello linguistico ne controlla in modo causale un comportamento specifico. È ricerca di interpretabilità meccanicistica: capire come "ragiona" un modello per renderlo trasparente e controllabile invece che una scatola nera.
Star on GitHub
Un progetto di ricerca che rende un modello linguistico trasparente e controllabile: trova una "manopola" interpretabile al suo interno e dimostra, con misure rigorose, che girarla cambia il comportamento del modello in modo prevedibile.
Il problema
I modelli linguistici sono scatole nere. Rispondono, ma nessuno sa perché dicono una certa cosa. E questo diventa un problema serio quando l'AI entra in un processo aziendale reale: come ti fidi di un sistema che non puoi ispezionare né correggere? L'interpretabilità meccanicistica è il campo che prova a rispondere. Apre il modello, individua i "circuiti" interni e cerca di capire cosa rappresentano.
Scalpel affronta la domanda più concreta di tutte. Una singola feature interna controlla davvero, causalmente, un comportamento specifico? Non "sembra di sì" da un esempio, ma dimostrato con numeri e controlli.
Cosa fa Scalpel, in parole semplici
- Trova una manopola interpretabile. Usando uno Sparse Autoencoder, una tecnica che scompone lo stato interno del modello in feature leggibili da un umano, Scalpel individua la feature che corrisponde a un concetto, ad esempio "riferimenti ai cani". La conferma con le etichette pubbliche di Neuronpedia.
- La gira. Durante la generazione, aggiunge la direzione di quella feature allo stato interno del modello, con un'intensità regolabile. Può anche essere negativa, per sopprimere il concetto.
- Misura l'effetto, non lo racconta. Sweep dell'intensità, punteggio del concetto e, soprattutto, i controlli che rendono il risultato credibile.
I risultati
Curva dose-risposta. Aumentando l'intensità, il concetto cresce in modo pulito e prevedibile, con un picco alla dose ottimale. Spingendo oltre, il testo perde coerenza e la perplexity sale. Esiste un punto di equilibrio misurabile.
Il controllo che lo rende credibile. Una direzione casuale della stessa intensità produce effetto 0.000 a ogni livello: spingere a caso lo stato interno non crea mai il concetto. È questo che distingue un risultato scientifico da uno screenshot fortunato. L'effetto della feature è causale e specifico, non un artefatto della perturbazione.
Specificità. Girare la manopola del concetto target muove solo quello. Tre concetti non correlati restano piatti a zero mentre il target sale.
Tutto è riproducibile con un solo comando, con seed fissi, test automatici e CI. E c'è una nota di onestà intellettuale nel README: contro una baseline forte (mean-difference) i risultati vengono riportati come misurati, non gonfiati.
Perché conta (anche per un'azienda)
Non è un esercizio accademico fine a sé stesso. Chi capisce come funzionano davvero questi modelli costruisce AI diversa.
- AI verificabile, non "magica". Sapere che un comportamento ha una causa interna precisa significa poterlo ispezionare, spiegare e, se serve, correggere. È il contrario della scatola nera.
- Controllo e compliance. Trasparenza e controllabilità sono esattamente ciò che chiedono l'AI Act e i clienti enterprise. La ricerca sull'interpretabilità è la base tecnica di quella promessa.
- Competenza reale. È la differenza tra chi usa l'AI e chi la capisce. E si vede nel prodotto finale.
Approfondisci
Codice, metodo, risultati e notebook riproducibile sono open source (MIT).
Ricerca Rayo Consulting · github.com/dylanpatriarchi/scalpel