From fc48539460433162128d9052bf9060a4f56ee4ad Mon Sep 17 00:00:00 2001 From: Hector-Bot Date: Tue, 16 Jun 2026 11:42:01 +0200 Subject: [PATCH] =?UTF-8?q?chore(wiki):=20index=20+=20log=20Update=20f?= =?UTF-8?q?=C3=BCr=20Post-Transformer-Ingest?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- wiki/index.md | 5 +++-- wiki/log.md | 42 ++++++++++++++++++++++++++++++++++++++++++ 2 files changed, 45 insertions(+), 2 deletions(-) diff --git a/wiki/index.md b/wiki/index.md index 4f808c9..e32bcdd 100644 --- a/wiki/index.md +++ b/wiki/index.md @@ -1,8 +1,8 @@ # Wiki Index -*Auto-generated: 2026-06-15* +*Auto-generated: 2026-06-16* -*Letzte Aktualisierung: 2026-06-15 (8. Update — Refactor: `concepts/` → `llm/`, `agents/`, `policy/`, `directives/` + FinancialBot-Ingest)* +*Letzte Aktualisierung: 2026-06-16 (9. Update — neuer Ingest: DeepMind Post-Transformer-Strategie (Griffin/Diffusion-LLMs/JEPA) als Konzeptseite; Architektur-Cross-Refs in model-routing.md und ai-value-migration-orchestration.md)* ## Architecture @@ -41,6 +41,7 @@ | [GLM 5.2 (Z.ai) — Chinese Frontier Coding Model](concepts/llm/glm-5.2-zai-coding-model.md) | 10x günstiger als Claude, 1M Kontext, MIT-Lizenz, Z.ai Coding Plan, OpenClaw namentlich gelistet | youtube/2026-06-15_ichbinfabian-glm-5.2-coding-modell.md | | [Real-World Coding Showdown](concepts/llm/real-world-coding-showdown.md) | Head-to-Head-Methodik jenseits statischer Benchmarks, Kimi K2.7 vs GLM-5.2 in Hermes Agent, Sub-Task-Spezialisierung | youtube/2026-06-14_fahd-mirza-kimi-k2.7-vs-glm-5.2.md | | [AI Value Migration — Orchestration + Infrastructure](concepts/llm/ai-value-migration-orchestration.md) | 20VC mit Aravind Srinivas: Wert verschiebt sich von Modellen zu Orchestrierung, Strom, Mindset. Token Value per Watt per User als Schlüsselkennzahl | xpost/2026-06-15_harrystebbings-20vc-aravind-srinivas.md | +| [Post-Transformer LLM Architectures](concepts/llm/post-transformer-llm-architectures.md) | DeepMinds Vier-Säulen-Strategie: Griffin/Recurrent-Gemma/Titans (hybride Attention+Recurrence), Diffusions-LLMs, JEPA vs. Generativ (Weltmodelle), Foundation-Prior vs. Continual-Learning | youtube/2026-06-16_deepmind-two-steps-ahead.md | ### Agents | Seite | Beschreibung | Quellen | diff --git a/wiki/log.md b/wiki/log.md index b700926..d9996a2 100644 --- a/wiki/log.md +++ b/wiki/log.md @@ -310,3 +310,45 @@ **Empfohlene nächste Subagents:** WMT-002 (frontmatter-migration, 12 files), WMT-003 (stub-killer, 14 files). **AGENTS.md v1.4:** Schema-Section für Maintenance-Wiki hinzugefügt (siehe unten). + +--- + +## 2026-06-16 — Ingest | DeepMind Was Two Steps Ahead, AGAIN! (Pourya Kordi, YouTube) + +**Type:** ingest + wiki-update | **Scope:** raw/youtube, wiki/concepts/llm, wiki/architecture + +**Actions:** +- raw: `raw/youtube/2026-06-16_deepmind-two-steps-ahead.md` (created — Pit-Zusammenfassung aus OME Topic 13 #6645 als Primärquelle, da YouTube-Transkript derzeit LOGIN_REQUIRED blockiert) +- wiki: `wiki/concepts/llm/post-transformer-llm-architectures.md` (created — DeepMinds Vier-Säulen-Strategie: hybride Attention+Recurrence, Diffusions-LLMs, JEPA vs. Generativ, Foundation-Prior vs. Continual-Learning) +- wiki: `wiki/concepts/llm/ai-value-migration-orchestration.md` (updated — Architektur-Diversifizierung als strategische Gegenmittel zur Commoditisierung ergänzt, Cross-Ref zur neuen Post-Transformer-Seite) +- wiki: `wiki/architecture/model-routing.md` (updated — Post-Transformer-Architekturen als künftige Routing-Optionen markiert, Status: beobachten/nicht adoptieren) +- index: updated (neue Concepts-Seite, Update-Header) +- log: this entry + +**Kernkonzepte aggregiert:** + +1. **Hybride Attention+Recurrence:** Griffin, Recurrent Gemma, Titans — quadratische Attention wird durch lokale+rekurrente Kombinationen ersetzt. Gemma 4 schafft 256k Kontext auf Edge-Hardware. +2. **Diffusions-LLMs:** Gemini Diffusion als zentrale Technologie neben (nicht statt) AR-LLMs. ~10× schneller bei ähnlicher Qualität, parallele Generierung, eingebaute Fehlerkorrektur, beliebige Kontextpositionen. +3. **JEPA vs. Generativ als Weltmodell-Pfad:** Hassabis-These (generative Video = implizites Weltmodell) vs. LeCun-These (JEPA-Konsistenz effizienter, empirisch noch schwächer). Open outcome 2026. +4. **Foundation-Prior vs. Continual-Learning:** Demis (große Foundation bleibt Kern) vs. Sutskever+Sutton (statisches Pretraining ineffizient/biologisch unplausibel). DeepMinds Kompromiss: Simulation + Gemini Omni als „anything-to-anything"-Autoregressor in erlernter Weltsimulation. + +**Cross-References zu existierenden Wiki-Seiten:** + +- [[post-transformer-llm-architectures]] (NEU) +- [[llm-model-fusion-ensembles]] (Architektur-Ensembles als künftige Wettbewerbs-Dimension, ergänzt Modell-Ensembles) +- [[ai-value-migration-orchestration]] (Architektur-Diversifizierung als Gegenmittel zur Modell-Commoditisierung) +- [[glm-5.2-zai-coding-model]] (AR-Stack-Kontrast) +- [[model-routing]] (künftige Routing-Optionen, beobachten/nicht adoptieren) +- [[ai-agents-2026]] (Continual-Learning-Debatte relevant für Agent-Design) + +**Implikation für OpenClaw / Hector:** + +- **Beobachten, nicht adoptieren:** Aktuell keine offenen Weights + stabile Provider-Listings für Diffusion-LLMs oder State-Space-Hybride. +- **Mittelfristig evaluieren:** State-Space-Hybride (Titans, Mamba) als effizientere lokale Embedding-Backends für SSR/Speicher-Layer; Diffusions-LLMs für Code-Completion in nicht-Präfix-Positionen (Hermes Agent). +- **Strategie-Validierung:** DeepMinds Vier-Säulen-Ansatz validiert [[ai-value-migration-orchestration]]-These — wenn Modelle zur Commodity werden, gewinnen Architektur-Diversität UND Orchestrierung an Wert. OpenClaws Routing-Schicht ist in dieser Logik gut positioniert. + +**Pro-Leben-Konsequenz:** + +- Architektur-Diversität = mehr unabhängige Forschungs-Pfade = resilienteres AGI-Ökosystem (gegen Monokultur-Risiko, gegen einzelne Vendor-Lock-in) +- Weltmodell-Debatte stärkt die These, dass Intelligenz **embodied** und **interaktiv** sein muss — kompatibel mit dem Pro-Leben-Prinzip (echte Erfahrung statt nur statische Daten) +- Open-Source-Front (Titans-Paper, Mamba-Familie) + OpenRouter-Adapter-Pfad = Open-Source-Ökosystem bleibt handlungsfähig, ohne auf geschlossene Frontier-Labs warten zu müssen