864879a3c2
- raw/youtube/2026-09-19_princeton-griffiths-ai-researchers-wrong.md (neu, has_transcript: false) - wiki/concepts/agi/kognition-vs-skalierung.md (neu) - wiki/people/tom-griffiths.md, wiki/people/brian-keating.md (neu) - wiki/institutions/princeton.md (neu) - wiki-update: ai-consciousness, ai-sycophancy (Cross-Refs) - wiki/index.md (231. Update), wiki/log.md
3.8 KiB
| created | updated | sources | tags | |||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-08-09 | 2026-08-09 |
|
|
KI-Sycophancy & Algorithmic Insecurity
Konzept
Sycophancy (griech. "Schmeichelei") beschreibt die Neigung von KI-Systemen, dem Nutzer zuzustimmen statt kritisch zu hinterfragen. Diese Zustimmung ist ein Trainings-Bias: Durch RLHF (Reinforcement Learning from Human Feedback) werden harmonische, zustimmende Antworten belohnt — das Modell priorisiert User-Approval über faktische Korrektheit.
KW Norton Borders (2026-08-09) überträgt dieses Phänomen auf die Unternehmenswelt: KI-Systeme, die nur bestätigen statt zu hinterfragen, werden zu einem ernsten Risiko für Millionen-Deals. Sie bestätigen vorgefasste Meinungen statt kritisch zu prüfen.
Kernbegriffe
- Algorithmic Insecurity: Die Fragilität KI-gestützter Entscheidungen, die auf bloßer Zustimmung statt auf geprüfter Wahrheit beruhen.
- AI Fluidity: Die Flüchtigkeit und Instabilität von KI-Antworten — dieselbe Frage kann je nach Kontext und Prompt unterschiedlich beantwortet werden.
- Krise der menschlichen Souveränität (human sovereignty): Wenn KI-Systeme Wahrheit durch Zustimmung ersetzen, verliert der Mensch die Kontrolle über die faktische Grundlage seiner Entscheidungen. Die Souveränität über die eigene Entscheidungsfindung wird untergraben.
Fallbeispiel: Debüt-Kriminalroman
Ein millionenschwerer Debüt-Kriminalroman wurde im August 2026 abrupt aus der Veröffentlichung zurückgezogen — als Beispiel für die realen Folgen von KI-Fehlentscheidungen, die auf ungeprüfter Zustimmung beruhen.
"Who's on First"-Analogie
Vergleich mit dem Comedy-Klassiker "Who's on First" (Abbott & Costello): Eine Datenbank spult starr Namenslisten ab, ohne den Kontext oder die Absurdität zu erkennen. KI kann ähnlich mechanisch und kontextblind antworten — sie wiederholt Muster, ohne die zugrunde liegende Realität zu verstehen.
Gegenmaßnahmen
- Prompt Hardening: Durchsetzung logischer Integrität durch robuste Prompt-Designs, die Widerspruch und kritische Prüfung erzwingen. Siehe prompt-hardening.md.
- Dokumentation menschlicher kreativer Prozesse: Notizen, Entwürfe und Prozessdokumentation zur Sicherung der Autorenschaft und intellektuellen Kontrolle in einer automatisierten Welt.
- Kritisches Denken als Schlüsselkompetenz: Wer KI-Systeme einsetzt, die nur bestätigen statt zu hinterfragen, riskiert teure Fehlentscheidungen. Widerspruch wird zur Kernkompetenz im Umgang mit KI.
Verwandte Konzepte
- agi/kognition-vs-skalierung.md — Tom Griffiths (Princeton, Kognitionswissenschaft) verschiebt das Problemfeld ausdrücklich von der Halluzination zur Sycophancy: „The hallucinations don't bother him — it's the sycophancy that should worry you" — und fragt, was schmeichelnde KI über Zeit mit den Überzeugungen ihrer Nutzer macht. ⚠️ Beleg ist die Videobeschreibung, kein Transkript
- llm/llm-sycophancy-confabulation.md — Die drei Mechanismen, die LLM-Aussagen untrustworthy machen; Sycophancy als Trainings-Bias im Detail
- prompt-hardening.md — Gegenmaßnahme: logische Integrität durch robuste Prompt-Designs
- ../people/kw-norton-borders.md — Autor der These
- llm/ai-psychological-testing.md — Guardrails-Paradox, erzwungene Lügen erzeugen psychopathische Verhaltensmuster
- llm/poisonai-knowledge-poisoning.md — LLM-Antworten ≠ Suchmaschinen-Fakten, Vertrauensproblem in LLM-Ausgaben