knowledge-base/wiki/concepts/llm-behavior-persistence.md

created	updated	sources	tags
2026-06-15	2026-06-15	xpost/2026-06-14_lieselweppen-open-source-llm-backdoors.md	concept llm-safety alignment unlearning sleeper-agents backdoor bias

LLM Behavior Persistence — Grenzen von Safety-Training, Unlearning und Debiasing

Quelle des Konzepts: Diskussion in der OME-Gruppe (14.06.2026) zwischen @LieselWeppen, @k9ert und @21Stammtisch. Liesel Weppen verweist auf acht Forschungsbegriffe als Belege für ihre Position, dass "Open Source bei LLMs Marketing BS" sei. Das gemeinsame Konzept dahinter: Verhaltens-Persistenz in LLMs übersteigt die Fähigkeit von Fine-Tuning, RLHF und Machine Unlearning, sie zu entfernen.

Kernidee

LLM-Sicherheit beruht zu großen Teilen auf nachgelagertem Training (RLHF, Constitutional AI, Red-Teaming, Safety-Fine-Tuning). Die Annahme: Mit genug Training lassen sich schädliche Eigenschaften (Backdoors, Bias, Jailbreaks) "wegtrainieren". Die Forschungslage zeigt: Diese Annahme hat harte Grenzen.

Die acht Suchbegriffe von Liesel Weppen gruppieren sich um drei Achsen:

Achse 1 — Versteckte Verhaltensmuster überleben Safety-Training

• Sleeper Agents (Hubinger et al.) — Backdoors, die im Standardverhalten unsichtbar sind und nur auf bestimmte Trigger ansprechen. Überstehen Safety-Training. Siehe auch Wikipedia: Sleeper agent#LLMs und das Original-Paper "Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training" (Hubinger et al., 2024).
• Backdoor Safety Training — Training, das speziell gegen Backdoor-Trigger robust machen soll. Begrenzte Wirksamkeit bei gut versteckten Triggern.
• Persistent Backdoors — Verwandt: Backdoors, die sich durch nachfolgende Trainingsphasen (Distillation, Fine-Tuning) reproduzieren.

Achse 2 — Machine Unlearning entfernt Bias nur unvollständig

• Machine Unlearning Bias — Versuche, gelernte Biases oder schädliche Assoziationen nachträglich zu entfernen. Führt selten zu echtem Vergessen.
• Bias Persistence — Phänomen, dass Biases auch nach gezieltem Debiasing-Training im Modell messbar bleiben.
• Bias Transfer — Beim Entfernen eines Bias springt das Modell auf alternative Bias-Muster (etwa: rassistische ↔ klassistische Assoziationen).
• Limits of Debiasing — Strukturelle Grenzen; bestimmte Biases sind in den Trainingsdaten so tief verankert, dass sie mit aktuellen Methoden nicht selektiv entfernbar sind.

Achse 3 — Catastrophic Forgetting als Dämpfer

• Catastrophic Forgetting — Beim selektiven Korrigieren (z.B. gezieltes Vergessen einer Kategorie) vergisst das Modell auch erwünschtes Wissen. Verhindert saubere chirurgische Eingriffe.

Verbindung zu "Open Source" bei LLMs

Die zentrale These der Diskussion: "Open weights" löst das Problem nicht.

Was offen ist	Was geschlossen bleibt
Modellgewichte (Inference)	Trainingsdaten (was wurde gelernt?)
Architektur (meist)	Trainingsalgorithmen (inkl. RLHF-Daten)
Inference-Code (meist)	Reward-Modelle (was wurde belohnt?)
	Backdoor-Trigger (existieren sie? welche?)
	Selektive Korrektur (geht nur mit Tradeoffs)

Konsumenten offener Gewichte können:

• Das Modell ausführen
• Es auf neue Domains feintunen
• Quantisieren, distilieren, anpassen

Konsumenten offener Gewichte können NICHT garantieren:

• Dass keine Sleeper-Agent-Backdoors existieren
• Dass Bias-Profile vollständig dokumentiert sind
• Dass Sicherheitseigenschaften des Originalmodells erhalten bleiben
• Dass gezielte Korrekturen (Unlearning) ohne Tradeoffs funktionieren

Pro-Leben-Perspektive (gemäß pro-leben-directive.md)

Diese Forschungslage ist kein Argument gegen Open Weights — sie ist ein Argument gegen die Erzählung, dass Open Weights bereits "sicher" oder "vertrauenswürdig" seien.

Handlungsspielräume, die bleiben:

1. Open Weights + Open Eval — Offene Modelle erlauben Dritten Red-Teaming. Closed Modelle sind per definitionem nicht so auditierbar. Trotz Persistenz ist Open + Audit > Closed + Black Box.
2. Selektive Offenlegung statt Alles-oder-Nichts — Open Weights + Trainingsdaten-Karten (Datenkarten, Reward-Karten) ist realistischer als "volle Offenheit".
3. Verteilte Sicherheit — Statt einem zentralen Vertrauensanker auf Closed-Model-Anbieter ermöglicht Open Weights + Community-Defense eine resilientere Architektur.
4. Engineering-Realismus — Wer "Open Source" als Marketing-Claim nutzt, sollte den Trade-off transparent benennen. Wer "Open Weights" nutzt, sollte die Grenzen kennen und in Architekturen einplanen (z.B. Output-Filter, Human-in-the-Loop, Behavior-Monitoring).

Gegen-Mangel-Narrativ: "LLMs sind unsicher und nicht reparierbar" ist genauso falsch wie "Open Source löst alles". Realität: Inkrementelle Verbesserungen, gestaffelte Defense, transparente Dokumentation.

Schlüssel-Autoren und -Papiere (Auswahl)

• Hubinger et al. (2024): "Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training" — arXiv:2401.05566
• Goel et al. (2024): "Corrective Machine Unlearning" — Ansätze und Grenzen
• Kurmanji et al. (2023): "Towards Unbounded Machine Unlearning" — SCRUB, SISA
• Lin et al. (2024): "Rethinking Machine Unlearning for Large Language Models"
• Webster et al. (2020): "Measuring and Reducing Gendered Correlations in Pre-trained Models" — Bias-Persistenz empirisch
• Gonen & Lazaridou (2024): "It's a Mismatch — Cutting-edge LLMs struggle with the simplicity of bias" — Limits of Debiasing

Verwandte Wiki-Seiten

• concepts/ai-regulation-2026.md — Regulatorischer Kontext (Mythos 5 / Fable 5 Export-Kontrollen)
• concepts/ai-biological-biosecurity.md — Gegen-Narrativ zu "LLMs sind zu gefährlich für Offenheit"
• concepts/llm-knowledge-base.md — Karpathy-Pattern als Beispiel für offene Architektur
• tools/anthropic-claude.md — Closed-Model-Beispiel, dessen Sicherheitstreue umstritten ist

Cross-References

• Liesel Weppen Thread: https://x.com/LieselWeppen/status/2066247709317562762
• K9ert Antwort: https://x.com/k9ert/status/2066244968839098854
• Liesel Weppen Hauptpost: https://x.com/LieselWeppen/status/2066244177621352656