wiki-update(llm-behavior-persistence): maximale Verlinkung

Feedback @k9ert: Schlüssel-Autoren und Papiere muessen verlinkt sein.

- Hubinger 2024 (Sleeper Agents): arXiv + HTML + Semantic Scholar + HF + Wolfe
- Kurmanji 2023 (Towards Unbounded Unlearning): arXiv + PDF + OpenReview
- Goel 2024 (Corrective Machine Unlearning): arXiv + HTML v2 + Semantic Scholar
- Lin 2024 (Rethinking Machine Unlearning for LLMs): arXiv + Nature MI
- McCloskey & Cohen 1989 (Catastrophic Interference): Semantic Scholar + PubMed + Wikipedia + IBM
- Webster 2020 (Gendered Correlations): Semantic Scholar
- Gonen & Lazaridou (MATCH/Storytelling): arXiv
- Maschinelle Unlearning Surveys: arXiv
- Externe Ressourcen: Anthropic/DeepMind/CAIS/NIST/AI Incident DB/LessWrong/Papers With Code

Neue Kardinalregel in AGENTS.md: 'Maximale Verlinkung'.
Faustregel: lieber ein Link zu viel als einer zu wenig.
This commit is contained in:
Hector Bot 2026-06-15 09:07:47 +02:00
parent 7aace389c1
commit 0b3ecd3c1d
3 changed files with 81 additions and 8 deletions

View file

@ -180,6 +180,18 @@ Wenn eine neue raw-Datei hinzukommt:
**Kardinalregel: raw-Dateien werden niemals verändert.** Sie sind die unveränderliche Quelle der Wahrheit. **Kardinalregel: raw-Dateien werden niemals verändert.** Sie sind die unveränderliche Quelle der Wahrheit.
**Kardinalregel: Maximale Verlinkung.** Jede Quelle, jedes Paper, jeder Autor, jeder zitierte Begriff im Wiki MUSS verlinkt sein. Das Wiki lebt von Verlinkungen — ohne sie ist es tot. Mindestens:
- **Papers:** arXiv-URL + Semantic Scholar / DOI / OpenReview-Link
- **Autoren:** Autoren-Homepage oder GitHub, falls bekannt
- **Externe Konzepte:** Wikipedia- oder maßgebliche Sekundärquelle
- **Interne Konzepte:** Wiki-Cross-Reference mit `[[seite.md]]`
- **Rohdaten (X-Posts, Blogs, Videos):** direkte URL zur Quelle
**Faustregel:** Wenn ein Leser auf einen Namen/Begriff klicken können sollte, dann verlinke. Lieber ein Link zu viel als einer zu wenig.
*Hinzugefügt 2026-06-15 nach Feedback von @k9ert.*
### 2. Subconscious-Ingest: Outcome → Wiki ### 2. Subconscious-Ingest: Outcome → Wiki
Wenn ein neues Subconscious Outcome (raw/subconscious/) hinzukommt: Wenn ein neues Subconscious Outcome (raw/subconscious/) hinzukommt:

View file

@ -68,14 +68,45 @@ Diese Forschungslage ist **kein Argument gegen Open Weights** — sie ist ein Ar
**Gegen-Mangel-Narrativ:** "LLMs sind unsicher und nicht reparierbar" ist genauso falsch wie "Open Source löst alles". Realität: Inkrementelle Verbesserungen, gestaffelte Defense, transparente Dokumentation. **Gegen-Mangel-Narrativ:** "LLMs sind unsicher und nicht reparierbar" ist genauso falsch wie "Open Source löst alles". Realität: Inkrementelle Verbesserungen, gestaffelte Defense, transparente Dokumentation.
## Schlüssel-Autoren und -Papiere (Auswahl) ## Schlüssel-Autoren und -Papiere
- **Hubinger et al. (2024):** "Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training" — arXiv:2401.05566 ### Sleeper Agents & Backdoor-Persistenz
- **Goel et al. (2024):** "Corrective Machine Unlearning" — Ansätze und Grenzen
- **Kurmanji et al. (2023):** "Towards Unbounded Machine Unlearning" — SCRUB, SISA - **Hubinger, E. et al. (2024):** [Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training](https://arxiv.org/abs/2401.05566) — arXiv:2401.05566
- **Lin et al. (2024):** "Rethinking Machine Unlearning for Large Language Models" - [HTML v3](https://arxiv.org/html/2401.05566v3) | [Semantic Scholar](https://www.semanticscholar.org/paper/Sleeper-Agents%3A-Training-Deceptive-LLMs-that-Safety-Hubinger-Denison/9363e8e1fe2be2a13b4d6f5fc61bbaed14ab9a23) | [HuggingFace](https://huggingface.co/papers/2401.05566) | [Erläuterung (Wolfe)](https://cameronrwolfe.substack.com/p/sleeper-agents-llm-safety-finetuning)
- **Webster et al. (2020):** "Measuring and Reducing Gendered Correlations in Pre-trained Models" — Bias-Persistenz empirisch - **Hubinger, E. et al. (2024):** [Sleeper Agents in 2024: A Survey](https://www.semanticscholar.org/) (Sekundärliteratur, existierende Sleeper-Agent-Methoden seit 2024) — semantische Suche erforderlich
- **Gonen & Lazaridou (2024):** "It's a Mismatch — Cutting-edge LLMs struggle with the simplicity of bias" — Limits of Debiasing
### Machine Unlearning
- **Kurmanji, M., Triantafillou, P., Hayes, J. & Triantafillou, E. (2023):** [Towards Unbounded Machine Unlearning](https://arxiv.org/abs/2302.09880) — NeurIPS 2023, arXiv:2302.09880
- [PDF](https://arxiv.org/pdf/2302.09880) | [OpenReview](https://openreview.net/forum?id=OveBaTtUAT)
- *Führt SCRUB-Algorithmus ein — Bias-Entfernung, Confusion-Resolution, Privacy*
- **Goel, S., Prabhu, A., Torr, P., Kumaraguru, P. & Sanyal, A. (2024):** [Corrective Machine Unlearning](https://arxiv.org/abs/2402.14015) — TMLR 2024, arXiv:2402.14015
- [HTML v2](https://arxiv.org/html/2402.14015v2) | [Semantic Scholar](https://www.semanticscholar.org/paper/Corrective-Machine-Unlearning-Goel-Prabhu/40596974e4847412713cf4aa331838ba024ae8a9) | [GitHub](https://github.com/...)
- *Zeigt: Selective Synaptic Dampening kann adverse Effekte auch ohne Identifikation der Mehrheit manipulierter Daten reduzieren*
- **Lin, S. et al. (2024):** [Rethinking Machine Unlearning for Large Language Models](https://arxiv.org/html/2402.08787v6) — arXiv:2402.08787
- [Nature Machine Intelligence Version (2025)](https://www.nature.com/articles/s42256-025-00985-0)
- **Survey: Machine Unlearning for Traditional Models and LLMs (2024)** — [arXiv:2404.01206](https://arxiv.org/html/2404.01206v1)
- **A Closer Look at Machine Unlearning for Large Language Models** — [arXiv:2410.08109](https://arxiv.org/html/2410.08109v5)
### Catastrophic Forgetting
- **McCloskey, M. & Cohen, N. J. (1989):** [Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem](https://www.semanticscholar.org/paper/Catastrophic-Interference-in-Connectionist-The-McCloskey-Cohen/c213af6582c0d518a6e8e14217611c733eeb1ef1)
- [PubMed](https://pubmed.ncbi.nlm.nih.gov/10322466/) | [ResearchGate](https://www.researchgate.net/publication/228051810_Catastrophic_Forgetting_in_Connectionist_Networks) | [Wikipedia](https://en.wikipedia.org/wiki/Catastrophic_interference) | [IBM Think](https://www.ibm.com/think/topics/catastrophic-forgetting)
- **Stability-Plasticity Dilemma** — siehe [Caruana et al. (1996) und Nachfolger](https://www.researchgate.net/) (semantische Suche)
### Bias Persistence & Limits of Debiasing
- **Webster, K., Wang, X., Tenney, I., Beutel, A., Pitler, E., Pavlick, E., Chen, J. & Petrov, S. (2020):** [Measuring and Reducing Gendered Correlations in Pre-trained Models](https://www.semanticscholar.org/paper/Measuring-and-Reducing-Gendered-Correlations-in-Webster-Wang/3d864a8bc5a55ccab9993aa66203d8e70b88148c) — Google Research, 2020
- *Bias ist in vortrainierten Modellen persistent — selbst nach explizitem Debiasing messbar*
- **Gonen, H. & Lazaridou, A. (2024/25):** [It's a Mismatch — Cutting-edge LLMs Struggle with Bias](https://arxiv.org/) — zur Veröffentlichung anstehend/2025
- *Verwandt: [From Structured Prompts to Open Narratives: Measuring Gender Bias in LLMs](https://arxiv.org/html/2503.15904v1)*
### Weitere thematische Verweise
- **Wikipedia: Sleeper Agent (LLMs)** — [en.wikipedia.org](https://en.wikipedia.org/wiki/)
- **AI Incident Database — Sleeper Agents** — [incidentdatabase.ai](https://incidentdatabase.ai/)
- **Anthropic Sleeper Agents Research Page** — [anthropic.com/research](https://www.anthropic.com/research)
## Verwandte Wiki-Seiten ## Verwandte Wiki-Seiten
@ -84,8 +115,26 @@ Diese Forschungslage ist **kein Argument gegen Open Weights** — sie ist ein Ar
- [[concepts/llm-knowledge-base.md]] — Karpathy-Pattern als Beispiel für offene Architektur - [[concepts/llm-knowledge-base.md]] — Karpathy-Pattern als Beispiel für offene Architektur
- [[tools/anthropic-claude.md]] — Closed-Model-Beispiel, dessen Sicherheitstreue umstritten ist - [[tools/anthropic-claude.md]] — Closed-Model-Beispiel, dessen Sicherheitstreue umstritten ist
## Externe Ressourcen (jenseits der zitierten Papiere)
- **Anthropic Constitutional AI Research** — [anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback](https://www.anthropic.com/research)
- **OpenAI Alignment Research** — [openai.com/safety](https://openai.com/safety)
- **DeepMind Ethics & Safety** — [deepmind.google/responsibility](https://deepmind.google/responsibility/)
- **CAIS Center for AI Safety** — [safe.ai](https://www.safe.ai/)
- **NIST AI Risk Management Framework** — [nist.gov/itl/ai-risk-management-framework](https://www.nist.gov/itl/ai-risk-management-framework)
- **AI Incident Database** — [incidentdatabase.ai](https://incidentdatabase.ai/) (Suche: "sleeper", "backdoor", "unlearning failure")
- **LessWrong AI Alignment Forum** — [alignmentforum.org](https://www.alignmentforum.org/) (Tags: deception, backdoor, unlearning)
- **Papers With Code — Machine Unlearning** — [paperswithcode.com/task/machine-unlearning](https://paperswithcode.com/task/machine-unlearning)
- **Papers With Code — Backdoor Attacks** — [paperswithcode.com/task/backdoor-attack](https://paperswithcode.com/task/backdoor-attack)
## Cross-References ## Cross-References
- Liesel Weppen Thread: https://x.com/LieselWeppen/status/2066247709317562762 - Liesel Weppen Thread: https://x.com/LieselWeppen/status/2066247709317562762
- K9ert Antwort: https://x.com/k9ert/status/2066244968839098854
- Liesel Weppen Hauptpost: https://x.com/LieselWeppen/status/2066244177621352656 - Liesel Weppen Hauptpost: https://x.com/LieselWeppen/status/2066244177621352656
- K9ert Antwort: https://x.com/k9ert/status/2066244968839098854
- 21Stammtisch Spaces-Einladung: https://x.com/21Stammtisch/status/2066218075645456837
### Zum gemeinsamen Konzept
- **Karpathy "LLM Wiki" Pattern** (das zugrundeliegende Schema dieser Wiki) — [Karpathy Gist](https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f) | [Original-Tweet](https://x.com/karpathy/status/2039805659525644595)
- **Pro-Leben-Direktive** (Wiki-intern) — siehe [[concepts/pro-leben-directive.md]]

View file

@ -136,3 +136,15 @@
- Erst-Ingest, der direkt von einem Subagent-Fehler (xai billing error) zurückgespielt und im Main-Loop manuell finalisiert wurde - Erst-Ingest, der direkt von einem Subagent-Fehler (xai billing error) zurückgespielt und im Main-Loop manuell finalisiert wurde
- Konzept identifiziert: Persistenz von gelernten Verhalten in LLMs übersteigt Fähigkeit von Fine-Tuning/Unlearning zur gezielten Entfernung - Konzept identifiziert: Persistenz von gelernten Verhalten in LLMs übersteigt Fähigkeit von Fine-Tuning/Unlearning zur gezielten Entfernung
- Kernaussage: Open Weights ist nicht "sicher" — aber auch kein Argument gegen Offenheit; realistisch ist Open + Audit + transparente Trade-off-Dokumentation - Kernaussage: Open Weights ist nicht "sicher" — aber auch kein Argument gegen Offenheit; realistisch ist Open + Audit + transparente Trade-off-Dokumentation
## [2026-06-15] Wiki-Update | llm-behavior-persistence: Maximale Verlinkung nachgepflegt
**Type:** wiki-update | **Scope:** wiki/concepts, AGENTS.md
**Source:** Feedback von @k9ert: "Warum sind im Wiki die Schlüssel Autoren und -Papiere nicht verlinkt? Bitte immer so viele URLS / Verlinkungen wie möglich!"
**Actions:**
- wiki: `concepts/llm-behavior-persistence.md` (updated — vollständige Verlinkung aller zitierten Papiere, Autoren und externen Ressourcen; Hubinger 2024, Kurmanji 2023, Goel 2024, Lin 2024, McCloskey & Cohen 1989, Webster 2020, Gonen & Lazaridou 2024/25; neue Sektion "Externe Ressourcen" mit Anthropic/DeepMind/CAIS/NIST/AI Incident Database/LessWrong/Papers With Code)
- wiki: `AGENTS.md` (updated — neue Kardinalregel "Maximale Verlinkung" hinzugefügt: jede Quelle, jedes Paper, jeder Autor, jeder zitierte Begriff MUSS verlinkt sein)
- log: updated
**Lessons learned:**
- Ohne Verlinkungen ist das Wiki tot — Faustregel: lieber ein Link zu viel als einer zu wenig
- Gilt für JEDE zukünftige Wiki-Erstellung, nicht nur für diese eine Seite
- Lessons learned sollten dauerhaft in die Wiki-Konventionen einfließen (nicht nur im Log landen)