Interpretabilità: perché capire come ragiona un modello è la base di un'AI affidabile

In sintesi

• I modelli linguistici sono scatole nere: rispondono, ma nessuno sa perché dicono una certa cosa. È un problema serio quando l'AI entra in un processo aziendale reale.
• L'interpretabilità meccanicistica prova ad aprire la scatola: individuare i "circuiti" interni del modello e capire cosa rappresentano.
• Con Scalpel, un progetto di ricerca open source di Rayo, isoliamo una singola feature interna e dimostriamo che "girarla" cambia il comportamento del modello in modo prevedibile, con una curva dose-risposta.
• La prova che rende il risultato scientifico e non un fortunato screenshot: una direzione casuale della stessa intensità produce effetto 0,000 a ogni livello. L'effetto è causale e specifico.
• Trasparenza e controllabilità non sono filosofia: sono ciò che chiedono l'AI Act e i clienti enterprise. La ricerca sull'interpretabilità è la base tecnica di quella promessa.

C'è una domanda che raramente viene fatta a voce alta nelle aziende che stanno adottando l'AI, ma che è sotto tutte le altre: come ti fidi di un sistema che non puoi ispezionare? Un modello linguistico produce una risposta, spesso ottima, ma se gli chiedi perché ha risposto così non c'è un log da leggere, non c'è una regola da guardare. C'è una rete di miliardi di numeri. È una scatola nera.

Finché l'AI scrive una bozza di email il rischio è gestibile. Quando l'AI entra in un processo che tocca decisioni economiche, dati dei clienti o documentazione regolata, la scatola nera diventa un problema di governance. Non puoi spiegare a un cliente, a un auditor o al tuo stesso team una decisione che non capisci nemmeno tu.

L'interpretabilità meccanicistica è il campo di ricerca che prova a rispondere a questa domanda. Non "quanto è bravo il modello", ma "cosa succede dentro mentre risponde". In Rayo ci abbiamo lavorato con un progetto che abbiamo chiamato Scalpel, e in questo articolo spiego cosa abbiamo trovato e perché conta anche per chi non farà mai ricerca sull'AI.

Dalla scatola nera alla manopola

L'idea di partenza è semplice da raccontare, difficile da dimostrare: se un modello "sa" parlare di un certo concetto, da qualche parte al suo interno deve esserci qualcosa che rappresenta quel concetto. Non una singola cellula, ma una direzione precisa nello spazio interno del modello.

Il problema è che lo stato interno di un modello è un groviglio: ogni "neurone" partecipa a mille cose diverse contemporaneamente. Per districarlo usiamo uno strumento chiamato Sparse Autoencoder (SAE): una tecnica che scompone lo stato interno del modello in tante feature separate e, idealmente, leggibili da un umano. È come prendere un accordo musicale confuso e separarlo nelle singole note che lo compongono.

Nel nostro caso, lo SAE ricostruisce il 99,9% dell'informazione interna del modello: significa che questa scomposizione non butta via quasi niente, è una rappresentazione fedele. Tra le migliaia di feature così ottenute, ne abbiamo cercata una che corrispondesse a un concetto concreto e semplice, "riferimenti ai cani", e l'abbiamo confermata contro un database pubblico di etichette (Neuronpedia). Abbiamo trovato la feature giusta: si accende quando il testo parla di cani, resta spenta praticamente ovunque.

A quel punto abbiamo la nostra manopola. La domanda vera è la successiva.

Girare la manopola: la curva dose-risposta

Trovare una feature che sembra rappresentare i cani non basta. Correlazione non è causalità. La domanda rigorosa è: se giro questa manopola, il comportamento del modello cambia davvero, e in modo proporzionale?

Così durante la generazione del testo abbiamo aggiunto la direzione di quella feature allo stato interno del modello, con un'intensità regolabile. E abbiamo misurato, non raccontato. Aumentando l'intensità, il concetto "cane" compare nel testo in modo pulito e crescente: quasi assente a bassa intensità, presente in modo netto alla dose ottimale, dove l'effetto misurato arriva a 0,61 su una scala da 0 a 1. Spingendo oltre quel punto il testo comincia a perdere coerenza, un segnale che c'è un punto di equilibrio misurabile, non un interruttore acceso/spento.

Questa è una curva dose-risposta, lo stesso concetto che si usa in farmacologia: più principio attivo, più effetto, fino a un limite. Il fatto che esista una curva pulita, e non un salto casuale, è già un forte indizio che stiamo davvero controllando qualcosa di reale nel modello.

Il controllo che trasforma una demo in scienza

Qui arriva la parte che mi interessa di più, e che distingue un lavoro serio da uno screenshot fortunato su un social.

Si potrebbe obiettare: "certo che il testo cambia, stai perturbando lo stato interno del modello, cambierebbe con qualsiasi spinta". È l'obiezione giusta. E per rispondere serve un controllo: prendere una direzione completamente casuale, della stessa identica intensità, e spingere il modello nello stesso modo.

Il risultato è netto: la direzione casuale produce effetto 0,000 a ogni livello di intensità. Spingere a caso lo stato interno, con la stessa forza, non crea mai il concetto "cane". Questo è il numero che rende tutto il resto credibile: dimostra che l'effetto della nostra feature non è un artefatto della perturbazione, ma è causale e specifico di quella direzione precisa.

Abbiamo aggiunto altri due controlli. Il primo è la specificità: girando la manopola "cane", altri tre concetti non correlati (gatto, oceano, musica) restano piatti a zero mentre il target sale. Muoviamo solo ciò che vogliamo muovere. Il secondo è l'onestà intellettuale: abbiamo confrontato la nostra feature con un metodo alternativo più grezzo, che in certi casi risulta persino più forte del nostro. L'abbiamo riportato così com'è, misurato e non gonfiato. Una feature interpretabile vale non perché è la più potente in assoluto, ma perché è una direzione reale, specifica e leggibile, e questo l'abbiamo dimostrato.

Perché tutto questo riguarda la tua azienda

A prima vista sembra un esercizio da laboratorio: cani, gatti, un modello giocattolo. Ma il metodo è il punto, non l'esempio. Chi capisce come funzionano davvero questi sistemi costruisce un'AI diversa da chi si limita a usarli.

AI verificabile, non "magica". Sapere che un comportamento ha una causa interna precisa significa poterlo ispezionare, spiegare e, quando serve, correggere. È l'opposto della scatola nera che devi prendere per buona.

Controllo e compliance. Trasparenza e controllabilità sono esattamente ciò che chiedono l'AI Act e i clienti enterprise quando ti domandano perché il sistema ha deciso in un certo modo. La ricerca sull'interpretabilità è la base tecnica su cui queste risposte diventano possibili, invece che promesse vaghe.

Competenza reale, e si vede. C'è una differenza concreta tra chi usa l'AI e chi la capisce fin dentro i meccanismi. Nel prodotto finale, nei guardrail, nel modo di gestire gli errori, nella capacità di dire cosa il sistema può e non può fare, quella differenza è tutto.

Non stiamo dicendo che oggi si possa aprire qualsiasi modello di frontiera e leggerne ogni pensiero: la ricerca è agli inizi e i modelli reali sono molto più complessi di un caso "cane". Ma la direzione è chiara, ed è quella giusta. Un'AI di cui fidarsi non è un'AI che promette di essere affidabile: è un'AI che si può ispezionare.

Approfondisci

Scalpel è un progetto di ricerca open source (licenza MIT): codice, metodo, risultati e notebook riproducibile sono pubblici. Trovi la scheda completa del progetto, con i grafici e i controlli, nel nostro Lab, e tutto il codice su GitHub.

Se stai valutando come portare l'AI in un processo dove trasparenza e auditabilità contano, parliamone: è esattamente il tipo di problema su cui lavoriamo.