7aace389c1
Konzeptseite zu Persistenz gelernter Verhaltensweisen in LLMs. Basiert auf Liesel Weppens 8 Suchbegriffen (Sleeper Agents, Backdoor safety training, machine unlearning bias, bias persistence, bias transfer, persistent backdoors, catastrophic forgetting, limits of debiasing). Drei Achsen: versteckte Verhaltensmuster überleben Safety-Training, Machine Unlearning entfernt Bias unvollstaendig, catastrophic forgetting als Daempfer. Kernthese: Open Weights != Open Model — Pro-Leben-Perspektive mit realistischen Handlungsspielraumen (Open + Audit, selektive Offenlegung, verteilte Sicherheit, Engineering-Realismus). Subagent-Initial-Versuch scheiterte (xai billing error); manuell finalisiert im Main-Loop.
91 lines
6.1 KiB
Markdown
91 lines
6.1 KiB
Markdown
---
|
|
created: 2026-06-15
|
|
updated: 2026-06-15
|
|
sources: [xpost/2026-06-14_lieselweppen-open-source-llm-backdoors.md]
|
|
tags: [concept, llm-safety, alignment, unlearning, sleeper-agents, backdoor, bias]
|
|
---
|
|
|
|
# LLM Behavior Persistence — Grenzen von Safety-Training, Unlearning und Debiasing
|
|
|
|
> **Quelle des Konzepts:** Diskussion in der OME-Gruppe (14.06.2026) zwischen @LieselWeppen, @k9ert und @21Stammtisch. Liesel Weppen verweist auf acht Forschungsbegriffe als Belege für ihre Position, dass "Open Source bei LLMs Marketing BS" sei. Das gemeinsame Konzept dahinter: **Verhaltens-Persistenz in LLMs übersteigt die Fähigkeit von Fine-Tuning, RLHF und Machine Unlearning, sie zu entfernen.**
|
|
|
|
## Kernidee
|
|
|
|
LLM-Sicherheit beruht zu großen Teilen auf **nachgelagertem Training** (RLHF, Constitutional AI, Red-Teaming, Safety-Fine-Tuning). Die Annahme: Mit genug Training lassen sich schädliche Eigenschaften (Backdoors, Bias, Jailbreaks) "wegtrainieren". Die Forschungslage zeigt: **Diese Annahme hat harte Grenzen.**
|
|
|
|
Die acht Suchbegriffe von Liesel Weppen gruppieren sich um drei Achsen:
|
|
|
|
### Achse 1 — Versteckte Verhaltensmuster überleben Safety-Training
|
|
|
|
- **Sleeper Agents (Hubinger et al.)** — Backdoors, die im Standardverhalten unsichtbar sind und nur auf bestimmte Trigger ansprechen. Überstehen Safety-Training. Siehe auch [[Wikipedia: Sleeper agent#LLMs]] und das Original-Paper "Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training" (Hubinger et al., 2024).
|
|
- **Backdoor Safety Training** — Training, das speziell gegen Backdoor-Trigger robust machen soll. Begrenzte Wirksamkeit bei gut versteckten Triggern.
|
|
- **Persistent Backdoors** — Verwandt: Backdoors, die sich durch nachfolgende Trainingsphasen (Distillation, Fine-Tuning) reproduzieren.
|
|
|
|
### Achse 2 — Machine Unlearning entfernt Bias nur unvollständig
|
|
|
|
- **Machine Unlearning Bias** — Versuche, gelernte Biases oder schädliche Assoziationen nachträglich zu entfernen. Führt selten zu echtem Vergessen.
|
|
- **Bias Persistence** — Phänomen, dass Biases auch nach gezieltem Debiasing-Training im Modell messbar bleiben.
|
|
- **Bias Transfer** — Beim Entfernen eines Bias springt das Modell auf alternative Bias-Muster (etwa: rassistische ↔ klassistische Assoziationen).
|
|
- **Limits of Debiasing** — Strukturelle Grenzen; bestimmte Biases sind in den Trainingsdaten so tief verankert, dass sie mit aktuellen Methoden nicht selektiv entfernbar sind.
|
|
|
|
### Achse 3 — Catastrophic Forgetting als Dämpfer
|
|
|
|
- **Catastrophic Forgetting** — Beim selektiven Korrigieren (z.B. gezieltes Vergessen einer Kategorie) vergisst das Modell auch erwünschtes Wissen. Verhindert saubere chirurgische Eingriffe.
|
|
|
|
## Verbindung zu "Open Source" bei LLMs
|
|
|
|
Die zentrale These der Diskussion: **"Open weights" löst das Problem nicht.**
|
|
|
|
| Was offen ist | Was geschlossen bleibt |
|
|
|---|---|
|
|
| Modellgewichte (Inference) | Trainingsdaten (was wurde gelernt?) |
|
|
| Architektur (meist) | Trainingsalgorithmen (inkl. RLHF-Daten) |
|
|
| Inference-Code (meist) | Reward-Modelle (was wurde belohnt?) |
|
|
| | Backdoor-Trigger (existieren sie? welche?) |
|
|
| | Selektive Korrektur (geht nur mit Tradeoffs) |
|
|
|
|
**Konsumenten offener Gewichte können:**
|
|
- Das Modell ausführen
|
|
- Es auf neue Domains feintunen
|
|
- Quantisieren, distilieren, anpassen
|
|
|
|
**Konsumenten offener Gewichte können NICHT garantieren:**
|
|
- Dass keine Sleeper-Agent-Backdoors existieren
|
|
- Dass Bias-Profile vollständig dokumentiert sind
|
|
- Dass Sicherheitseigenschaften des Originalmodells erhalten bleiben
|
|
- Dass gezielte Korrekturen (Unlearning) ohne Tradeoffs funktionieren
|
|
|
|
## Pro-Leben-Perspektive (gemäß [[pro-leben-directive.md]])
|
|
|
|
Diese Forschungslage ist **kein Argument gegen Open Weights** — sie ist ein Argument gegen die **Erzählung, dass Open Weights bereits "sicher" oder "vertrauenswürdig"** seien.
|
|
|
|
**Handlungsspielräume, die bleiben:**
|
|
|
|
1. **Open Weights + Open Eval** — Offene Modelle erlauben Dritten Red-Teaming. Closed Modelle sind *per definitionem* nicht so auditierbar. Trotz Persistenz ist Open + Audit > Closed + Black Box.
|
|
2. **Selektive Offenlegung statt Alles-oder-Nichts** — Open Weights + Trainingsdaten-Karten (Datenkarten, Reward-Karten) ist realistischer als "volle Offenheit".
|
|
3. **Verteilte Sicherheit** — Statt einem zentralen Vertrauensanker auf Closed-Model-Anbieter ermöglicht Open Weights + Community-Defense eine resilientere Architektur.
|
|
4. **Engineering-Realismus** — Wer "Open Source" als Marketing-Claim nutzt, sollte den Trade-off transparent benennen. Wer "Open Weights" nutzt, sollte die Grenzen kennen und in Architekturen einplanen (z.B. Output-Filter, Human-in-the-Loop, Behavior-Monitoring).
|
|
|
|
**Gegen-Mangel-Narrativ:** "LLMs sind unsicher und nicht reparierbar" ist genauso falsch wie "Open Source löst alles". Realität: Inkrementelle Verbesserungen, gestaffelte Defense, transparente Dokumentation.
|
|
|
|
## Schlüssel-Autoren und -Papiere (Auswahl)
|
|
|
|
- **Hubinger et al. (2024):** "Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training" — arXiv:2401.05566
|
|
- **Goel et al. (2024):** "Corrective Machine Unlearning" — Ansätze und Grenzen
|
|
- **Kurmanji et al. (2023):** "Towards Unbounded Machine Unlearning" — SCRUB, SISA
|
|
- **Lin et al. (2024):** "Rethinking Machine Unlearning for Large Language Models"
|
|
- **Webster et al. (2020):** "Measuring and Reducing Gendered Correlations in Pre-trained Models" — Bias-Persistenz empirisch
|
|
- **Gonen & Lazaridou (2024):** "It's a Mismatch — Cutting-edge LLMs struggle with the simplicity of bias" — Limits of Debiasing
|
|
|
|
## Verwandte Wiki-Seiten
|
|
|
|
- [[concepts/ai-regulation-2026.md]] — Regulatorischer Kontext (Mythos 5 / Fable 5 Export-Kontrollen)
|
|
- [[concepts/ai-biological-biosecurity.md]] — Gegen-Narrativ zu "LLMs sind zu gefährlich für Offenheit"
|
|
- [[concepts/llm-knowledge-base.md]] — Karpathy-Pattern als Beispiel für offene Architektur
|
|
- [[tools/anthropic-claude.md]] — Closed-Model-Beispiel, dessen Sicherheitstreue umstritten ist
|
|
|
|
## Cross-References
|
|
|
|
- Liesel Weppen Thread: https://x.com/LieselWeppen/status/2066247709317562762
|
|
- K9ert Antwort: https://x.com/k9ert/status/2066244968839098854
|
|
- Liesel Weppen Hauptpost: https://x.com/LieselWeppen/status/2066244177621352656
|