hector-bot/knowledge-base
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
knowledge-base/wiki/concepts/llm/llm-behavior-persistence.md
Hector 9cc4989fc1 push: all untracked institutions + modified wiki pages 
- 23 new institutions pages (alby, anthropic, blink-wallet, carnegie-mellon, deepmind, epoch-ai, fincept, google-cloud, hugging-face, lightning-labs, linux-foundation, mit, moonshot-ai, mozilla-foundation, openai, openai-superalignment, openrouter, polymarket, stanford-ai-lab, tu-muenchen, xai, z-ai)
- institutions-ingest-runner.md script
- modified concepts (agi, hardware, llm) + tools pages
- wiki-lint-report update
2026-06-25 21:08:50 +02:00

11 KiB
Raw Blame History

created updated sources tags
2026-06-15 2026-06-15
xpost/2026-06-14_lieselweppen-open-source-llm-backdoors.md
concept
llm-safety
alignment
unlearning
sleeper-agents
backdoor
bias

LLM Behavior Persistence — Grenzen von Safety-Training, Unlearning und Debiasing

Quelle des Konzepts: Diskussion in der OME-Gruppe (14.06.2026) zwischen @LieselWeppen, ../../people/k9ert-antigravity.md und @21Stammtisch. Liesel Weppen verweist auf acht Forschungsbegriffe als Belege für ihre Position, dass "Open Source bei LLMs Marketing BS" sei. Das gemeinsame Konzept dahinter: Verhaltens-Persistenz in LLMs übersteigt die Fähigkeit von Fine-Tuning, RLHF und Machine Unlearning, sie zu entfernen.

Kernidee

LLM-Sicherheit beruht zu großen Teilen auf nachgelagertem Training (RLHF, Constitutional AI, Red-Teaming, Safety-Fine-Tuning). Die Annahme: Mit genug Training lassen sich schädliche Eigenschaften (Backdoors, Bias, Jailbreaks) "wegtrainieren". Die Forschungslage zeigt: Diese Annahme hat harte Grenzen.

Die acht Suchbegriffe von Liesel Weppen gruppieren sich um drei Achsen:

Achse 1 — Versteckte Verhaltensmuster überleben Safety-Training

  • Sleeper Agents (Hubinger et al.) — Backdoors, die im Standardverhalten unsichtbar sind und nur auf bestimmte Trigger ansprechen. Überstehen Safety-Training. Siehe auch Wikipedia: Sleeper agent#LLMs und das Original-Paper "Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training" (Hubinger et al., 2024).
  • Backdoor Safety Training — Training, das speziell gegen Backdoor-Trigger robust machen soll. Begrenzte Wirksamkeit bei gut versteckten Triggern.
  • Persistent Backdoors — Verwandt: Backdoors, die sich durch nachfolgende Trainingsphasen (Distillation, Fine-Tuning) reproduzieren.

Achse 2 — Machine Unlearning entfernt Bias nur unvollständig

  • Machine Unlearning Bias — Versuche, gelernte Biases oder schädliche Assoziationen nachträglich zu entfernen. Führt selten zu echtem Vergessen.
  • Bias Persistence — Phänomen, dass Biases auch nach gezieltem Debiasing-Training im Modell messbar bleiben.
  • Bias Transfer — Beim Entfernen eines Bias springt das Modell auf alternative Bias-Muster (etwa: rassistische ↔ klassistische Assoziationen).
  • Limits of Debiasing — Strukturelle Grenzen; bestimmte Biases sind in den Trainingsdaten so tief verankert, dass sie mit aktuellen Methoden nicht selektiv entfernbar sind.

Achse 3 — Catastrophic Forgetting als Dämpfer

  • Catastrophic Forgetting — Beim selektiven Korrigieren (z.B. gezieltes Vergessen einer Kategorie) vergisst das Modell auch erwünschtes Wissen. Verhindert saubere chirurgische Eingriffe.

Verbindung zu "Open Source" bei LLMs

Die zentrale These der Diskussion: "Open weights" löst das Problem nicht.

Was offen ist Was geschlossen bleibt
Modellgewichte (Inference) Trainingsdaten (was wurde gelernt?)
Architektur (meist) Trainingsalgorithmen (inkl. RLHF-Daten)
Inference-Code (meist) Reward-Modelle (was wurde belohnt?)
Backdoor-Trigger (existieren sie? welche?)
Selektive Korrektur (geht nur mit Tradeoffs)

Konsumenten offener Gewichte können:

  • Das Modell ausführen
  • Es auf neue Domains feintunen
  • Quantisieren, distilieren, anpassen

Konsumenten offener Gewichte können NICHT garantieren:

  • Dass keine Sleeper-Agent-Backdoors existieren
  • Dass Bias-Profile vollständig dokumentiert sind
  • Dass Sicherheitseigenschaften des Originalmodells erhalten bleiben
  • Dass gezielte Korrekturen (Unlearning) ohne Tradeoffs funktionieren

Pro-Leben-Perspektive (gemäß pro-leben-directive.md)

Diese Forschungslage ist kein Argument gegen Open Weights — sie ist ein Argument gegen die Erzählung, dass Open Weights bereits "sicher" oder "vertrauenswürdig" seien.

Handlungsspielräume, die bleiben:

  1. Open Weights + Open Eval — Offene Modelle erlauben Dritten Red-Teaming. Closed Modelle sind per definitionem nicht so auditierbar. Trotz Persistenz ist Open + Audit > Closed + Black Box.
  2. Selektive Offenlegung statt Alles-oder-Nichts — Open Weights + Trainingsdaten-Karten (Datenkarten, Reward-Karten) ist realistischer als "volle Offenheit".
  3. Verteilte Sicherheit — Statt einem zentralen Vertrauensanker auf Closed-Model-Anbieter ermöglicht Open Weights + Community-Defense eine resilientere Architektur.
  4. Engineering-Realismus — Wer "Open Source" als Marketing-Claim nutzt, sollte den Trade-off transparent benennen. Wer "Open Weights" nutzt, sollte die Grenzen kennen und in Architekturen einplanen (z.B. Output-Filter, Human-in-the-Loop, Behavior-Monitoring).

Gegen-Mangel-Narrativ: "LLMs sind unsicher und nicht reparierbar" ist genauso falsch wie "Open Source löst alles". Realität: Inkrementelle Verbesserungen, gestaffelte Defense, transparente Dokumentation.

Schlüssel-Autoren und -Papiere

Sleeper Agents & Backdoor-Persistenz

Machine Unlearning

Catastrophic Forgetting

Bias Persistence & Limits of Debiasing

Weitere thematische Verweise

Verwandte Wiki-Seiten

Externe Ressourcen (jenseits der zitierten Papiere)

Cross-References

Zum gemeinsamen Konzept