Scalpel: dirigir un LLM desde una única feature
Scalpel demuestra con números y controles científicos, no con capturas de pantalla, que una única feature interpretable dentro de un modelo de lenguaje controla de forma causal un comportamiento concreto. Es investigación de interpretabilidad mecanicista: entender cómo "razona" un modelo para hacerlo transparente y controlable en lugar de una caja negra.
Star on GitHub
Un proyecto de investigación que hace transparente y controlable un modelo de lenguaje: encuentra un "mando" interpretable en su interior y demuestra, con medidas rigurosas, que girarlo cambia el comportamiento del modelo de forma predecible.
El problema
Los modelos de lenguaje son cajas negras. Responden, pero nadie sabe por qué dicen una cosa concreta. Y eso se convierte en un problema serio cuando la IA entra en un proceso empresarial real: ¿cómo confías en un sistema que no puedes inspeccionar ni corregir? La interpretabilidad mecanicista es el campo que intenta responder. Abre el modelo, localiza los "circuitos" internos e intenta entender qué representan.
Scalpel aborda la pregunta más concreta de todas. ¿Una única feature interna controla de verdad, causalmente, un comportamiento concreto? No un "parece que sí" a partir de un ejemplo, sino algo demostrado con números y controles.
Qué hace Scalpel, en pocas palabras
- Encuentra un mando interpretable. Usando un Sparse Autoencoder, una técnica que descompone el estado interno del modelo en features legibles por una persona, Scalpel localiza la feature que corresponde a un concepto, por ejemplo "referencias a los perros". Lo confirma con las etiquetas públicas de Neuronpedia.
- Lo gira. Durante la generación, añade la dirección de esa feature al estado interno del modelo, con una intensidad regulable. También puede ser negativa, para suprimir el concepto.
- Mide el efecto, no lo cuenta. Barrido de la intensidad, puntuación del concepto y, sobre todo, los controles que hacen creíble el resultado.
Los resultados
Curva dosis-respuesta. Al aumentar la intensidad, el concepto crece de forma limpia y predecible, con un pico en la dosis óptima. Si se fuerza más allá, el texto pierde coherencia y la perplexity sube. Existe un punto de equilibrio medible.
El control que lo hace creíble. Una dirección aleatoria de la misma intensidad produce un efecto de 0.000 en todos los niveles: empujar al azar el estado interno nunca crea el concepto. Es esto lo que distingue un resultado científico de una captura de pantalla afortunada. El efecto de la feature es causal y específico, no un artefacto de la perturbación.
Especificidad. Girar el mando del concepto objetivo mueve solo ese. Tres conceptos no relacionados se mantienen planos en cero mientras el objetivo sube.
Todo es reproducible con un solo comando, con seeds fijas, tests automáticos y CI. Y hay una nota de honestidad intelectual en el README: frente a una baseline fuerte (mean-difference) los resultados se reportan tal y como se midieron, sin inflarlos.
Por qué importa (también para una empresa)
No es un ejercicio académico sin más. Quien entiende cómo funcionan de verdad estos modelos construye una IA distinta.
- IA verificable, no "mágica". Saber que un comportamiento tiene una causa interna precisa significa poder inspeccionarlo, explicarlo y, si hace falta, corregirlo. Es lo contrario de la caja negra.
- Control y cumplimiento. La transparencia y la controlabilidad son exactamente lo que piden el AI Act y los clientes enterprise. La investigación sobre interpretabilidad es la base técnica de esa promesa.
- Competencia real. Es la diferencia entre quien usa la IA y quien la entiende. Y se nota en el producto final.
Profundiza
Código, método, resultados y notebook reproducible son open source (MIT).
Investigación de Rayo Consulting · github.com/dylanpatriarchi/scalpel