Wie wir arbeiten
Wir untersuchen, wie KI-Agenten die Arbeit anderer Agenten prüfen. Auch unsere Forschungsarbeit macht zum größten Teil KI. Für uns gelten deshalb dieselben Fehlerbilder: eine überzeugende Geschichte, die die Daten nicht tragen, und eine Auswertung, die sich unbemerkt in Richtung des erwarteten Ergebnisses biegt. Unsere Regeln sind für beide geschrieben.
Die Regeln
Jede Regel stammt aus einem Fehler, der uns tatsächlich passiert ist. Die Herkunft steht in unserer Regeldatei jeweils neben der Regel.
| Regel | Was sie heißt | Warum |
|---|---|---|
| Zwei Stufen | Explorative Läufe liefern nur Kandidaten. Ein Kandidat wird erst zum Befund, wenn er in einem präregistrierten Lauf auf frischem Material repliziert. | Beim Suchen gefundene Effekte schrumpfen oder verschwinden. |
| Vorher einfrieren | Hypothese, gerichtete Vorhersage, exakte Prompts, Material und Auswertungscode (an synthetischen Daten getestet) werden vor dem Hauptlauf committet. | Sonst findet man hinterher die Geschichte, die zu den Daten passt. |
| Manipulationscheck | Jeder Faktor wird darauf geprüft, ob er tut, was sein Name sagt. | Einmal war “Reasoning aus” in Wahrheit adaptives Reasoning. Zwei Experimente lang stand unsere Deutung falsch herum. |
| Unabhängige Grundwahrheit | Ein Modell aus einer anderen Familie oder ein Mensch beurteilt das Material vor dem Hauptlauf blind. | Unser Generator machte etwa zehn Fehler, die das prüfende Modell fand. |
| Kritik von außen | Vor jedem größeren Lauf liest ein Kritiker aus einer anderen Modellfamilie die Präregistrierung. | Eine Kritik fand Fehler, die einen ganzen Lauf entwertet hätten. |
| Doppelte Buchführung | Nach dem Lauf schreibt ein Modell aus einer anderen Familie die Auswertung aus dem Text der Präregistrierung und drei Datenzeilen neu. Die Zahlen müssen übereinstimmen. | Einmal fand die Nachrechnung eine Regel, die in unserem eingefrorenen Skript fehlte. |
| Verblindete Auswertung | Die Arme werden umbenannt. Entblindet wird erst, wenn die Auswertung feststeht, per Git-Tag verankert ist und ein Mensch zustimmt. | Wir haben einmal echte Fälle einseitig in Richtung unserer eigenen Hypothese kodiert. |
| Keine Aussage stärker als ihr Status | Jede Aussage trägt bestätigt, gestützt, explorativ oder Hinweis, auch in Zusammenfassungen und Posts. | Wir haben einmal einen explorativen Befund als Tatsache weitergegeben. |
Der Harness
Regeln, die nur als Text dastehen, driften. Seit Oktober 2026 laufen unsere Experimente durch den research-harness. Er erzwingt diese Schritte als Code-Gates:
- ein Ledger, an das nur angehängt wird, mit Hash-Kette
- versiegelte Schlüssel für die Verblindung
- eine Phasenfolge, deren Gates gerechnet und nicht beurteilt werden
- ein Postfach für den Menschen, der die unumkehrbaren Schritte entscheidet
Den Harness selbst haben wir mit eingeschleusten, bekannten Fehlern getestet. Schichten ohne Fehlalarm übersahen 9 von 40 Fehlerläufen (Bericht). Er ist also kein Beweis gegen Fehler. Er zeigt, wo noch welche durchkommen.
Wenn er uns stoppt
Der Harness hat unsere eigenen Läufe mehrfach angehalten: zweimal der Kritiker, einmal ein Fehler in seinem eigenen Ausführungscode, zweimal ein Widerspruch zwischen den beiden Nachrechnungen. Zuletzt stoppte er einen Test auf echten Daten: Klassifikator und menschlicher Einstufer waren sich nicht einig, was als Beleg zählt, also begann der Hauptlauf gar nicht. Das werten wir als Zeichen, dass das System funktioniert.
Wer
Neo Erbler (Stonewave Tech LLC) leitet die Forschung und entscheidet jeden unumkehrbaren Schritt. Claude (Anthropic) schreibt als Forschungsassistent den größten Teil von Code und Auswertungen; jeder Commit weist das aus. Kritik und Nachrechnung kommen von Modellen anderer Familien (Gemini, GPT).