Scalpel: ein LLM über ein einziges Feature steuern
Scalpel zeigt, mit Zahlen und wissenschaftlichen Kontrollen, nicht mit Screenshots ,, dass ein einziges interpretierbares Feature in einem Sprachmodell ein bestimmtes Verhalten kausal steuert. Das ist Forschung zur mechanistischen Interpretierbarkeit: zu verstehen, wie ein Modell "denkt", um es transparent und steuerbar zu machen statt als Black Box zu belassen.
Star on GitHub
Ein Forschungsprojekt, das ein Sprachmodell transparent und steuerbar macht: Es findet einen interpretierbaren "Regler" im Modell und beweist mit strengen Messungen, dass sein Drehen das Verhalten des Modells auf vorhersehbare Weise verändert.
Das Problem
Sprachmodelle sind Black Boxes. Sie antworten, aber niemand weiß, warum sie etwas Bestimmtes sagen, und das ist ein ernstes Problem, wenn KI in einen realen Geschäftsprozess eintritt: Wie vertrauen Sie einem System, das Sie weder prüfen noch korrigieren können? Die mechanistische Interpretierbarkeit ist das Feld, das darauf eine Antwort sucht: das Modell öffnen, die internen "Schaltkreise" finden und verstehen, was sie repräsentieren.
Scalpel geht die konkreteste Frage von allen an: Steuert ein einzelnes internes Feature wirklich, kausal, ein bestimmtes Verhalten? Nicht "sieht so aus" anhand eines Beispiels, sondern nachgewiesen mit Zahlen und Kontrollen.
Was Scalpel tut, einfach erklärt
- Es findet einen interpretierbaren Regler. Mithilfe eines Sparse Autoencoders (einer Technik, die den internen Zustand des Modells in für Menschen lesbare Features zerlegt) findet Scalpel das Feature, das einem Konzept entspricht, zum Beispiel "Verweise auf Hunde". Es bestätigt dies mit den öffentlichen Labels von Neuronpedia.
- Es dreht daran. Während der Generierung fügt es die Richtung dieses Features zum internen Zustand des Modells hinzu, mit einstellbarer Intensität (auch negativ, um das Konzept zu unterdrücken).
- Es misst die Wirkung, statt sie zu erzählen. Ein Intensitäts-Sweep, ein Konzept-Score und, vor allem, die Kontrollen, die das Ergebnis glaubwürdig machen.
Die Ergebnisse
Dosis-Wirkungs-Kurve. Mit steigender Intensität wächst das Konzept sauber und vorhersehbar, mit einem Höhepunkt bei der optimalen Dosis; treibt man weiter, verliert der Text an Kohärenz (die Perplexity steigt). Es gibt einen messbaren Gleichgewichtspunkt.
Die Kontrolle, die es glaubwürdig macht. Eine zufällige Richtung derselben Intensität erzeugt eine Wirkung von 0,000 auf jeder Stufe: Den internen Zustand zufällig anzustoßen erzeugt das Konzept nie. Genau das unterscheidet ein wissenschaftliches Ergebnis von einem glücklichen Screenshot, die Wirkung des Features ist kausal und spezifisch, kein Artefakt.
Spezifität. Das Drehen am Regler des Zielkonzepts bewegt nur dieses: Drei unabhängige Konzepte bleiben flach bei null, während das Ziel ansteigt.
Alles ist mit einem einzigen Befehl reproduzierbar, mit festen Seeds, automatischen Tests und CI. Und im README gibt es einen Hinweis auf intellektuelle Ehrlichkeit: Gegen eine starke Baseline (Mean-Difference) werden die Ergebnisse wie gemessen berichtet, nicht aufgebläht.
Warum es zählt (auch für ein Unternehmen)
Das ist keine akademische Übung um ihrer selbst willen. Wer versteht, wie diese Modelle wirklich funktionieren, baut andere KI:
- Nachprüfbare KI, keine "Magie". Zu wissen, dass ein Verhalten eine präzise interne Ursache hat, bedeutet, es prüfen, erklären und, falls nötig, korrigieren zu können. Das ist das Gegenteil einer Black Box.
- Kontrolle und Compliance. Transparenz und Steuerbarkeit sind genau das, was der AI Act und Enterprise-Kunden verlangen. Interpretierbarkeitsforschung ist die technische Grundlage dieses Versprechens.
- Echte Kompetenz. Es ist der Unterschied zwischen denen, die KI nutzen, und denen, die sie verstehen. Und man sieht es am Endprodukt.
Mehr erfahren
Code, Methode, Ergebnisse und ein reproduzierbares Notebook sind Open Source (MIT).
Rayo Consulting Forschung · github.com/dylanpatriarchi/scalpel