89 lines
No EOL
6.5 KiB
Markdown
89 lines
No EOL
6.5 KiB
Markdown
---
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
sources:
|
||
- youtube/2026-06-18_deepmind-beyond-transformer.md
|
||
- youtube/2026-06-16_deepmind-two-steps-ahead.md
|
||
tags: [architecture, deepmind, post-transformer, diffusion-llm, griffin, recurrent-gemma, titans, gemma, gemini, agi]
|
||
---
|
||
|
||
# DeepMind Beyond Transformer — Strategischer Architektur-Kontrast
|
||
|
||
> **Aggregiert-Stand:** 2026-06-18. Primärquellen: Pourya Kordi, „DeepMind Was Two Steps Ahead, AGAIN!" (YouTube, https://www.youtube.com/watch?v=8oyZB24-vAM) — Pit-Zusammenfassung in OME Topic 6 (aGi / eMergence) am 2026-06-18. YouTube-Transkript nicht abrufbar (LOGIN_REQUIRED). Schwester-Ingest vom 2026-06-16 (Topic 13) liegt unter `raw/youtube/2026-06-16_deepmind-two-steps-ahead.md` und wird hier inhaltlich mit zitiert.
|
||
|
||
Diese Seite rückt den **strategischen Kontrast** zwischen DeepMinds Architektur-Diversität und der AR-Only-Strategie von OpenAI/Anthropic in den Mittelpunkt. Technische Details zu den einzelnen Architekturen sind auf der Schwester-Seite `[[../concepts/llm/post-transformer-llm-architectures.md]]` (Vier-Säulen-Übersicht) und der Konzept-Seite `[[../concepts/world-models-jepa-vs-generative.md]]` (Hassabis-vs-LeCun-Debatte) ausführlich dokumentiert.
|
||
|
||
## Kernthese: Architektur-Diversität statt Monokultur
|
||
|
||
DeepMind verfolgt **vier parallele Säulen**, statt die gesamte Compute-Allokation auf AR-Transformer-Skalierung zu setzen:
|
||
|
||
| Säule | Wettlauf-Anteil | Schlüsselmodelle | OpenClaw-Relevanz |
|
||
|-------|----------------|------------------|-------------------|
|
||
| **Hybride Attention / Recurrence** | Mittel-Lang-Kontext auf Edge | Griffin, Recurrent Gemma, Titans | Lokal laufende Embeddings/SSR |
|
||
| **Diffusions-LLMs** | Schnelle, parallele Generierung | Gemini Diffusion | Code-Completion in beliebigen Positionen |
|
||
| **Multimodale Edge-Modelle** | On-Device-Deployment | Gemma 4 (Sparsity+hybride Attention, 256k Kontext) | Self-Hosted Sovereignty |
|
||
| **Weltmodelle** | AGI-Wegbereitung | VEO + Hassabis-These | siehe Konzept-Seite |
|
||
|
||
## Strategischer Kontrast: DeepMind vs. AR-Only-Labs
|
||
|
||
| | OpenAI / Anthropic | DeepMind |
|
||
|---|-------------------|----------|
|
||
| **Primär-Stack** | AR-Transformer + Skalierung | AR + Diffusion + Hybride + Weltmodelle |
|
||
| **Skalierungs-Hebel** | Compute (Chinchilla, Scaling Laws) | Compute **und** Architektur-Innovation |
|
||
| **Indiz für Position** | Aufgabe von Sora zugunsten GPT-Stack (OpenAI DevDay 2024) | Gemini Diffusion als zentrale Säule (Mai 2025) |
|
||
| **Wettlauf-Strategie** | „Wir skalieren besser als die anderen" | „Wir skalieren ANDERS — mit Architektur-Mix" |
|
||
| **Risiko** | AR-Hitze-Dead-End (Skalierungsgesetze flachen ab) | AR-Beiwerk wird verworfen, falsche Säule gewinnt |
|
||
| **Compute-Allokation** | SaaS-Produkt-Optimierung | AGI-Mission |
|
||
|
||
**Pit-Zusammenfassung (2026-06-18):** „OpenAI/Anthropic setzen auf AR-Transformer + Scaling; DeepMind setzt auf Diffusion + hybride Architekturen als Fundament der nächsten Generation."
|
||
|
||
## Was macht DeepMind anders? — Vier strategische Prinzipien
|
||
|
||
1. **Architektur-Diversität statt Monokultur** — vier parallele Säulen statt einer vertikalen Skalierungspiste.
|
||
2. **Compute-Allokation auf AGI-Mission**, nicht auf SaaS-Optimierung.
|
||
3. **Langfristiger wissenschaftlicher Zeithorizont** — bereit, „verlorene" Wetten auf nicht-AR-Architekturen einzugehen.
|
||
4. **Hypothese:** Reine AR-LLMs liefern durch „Scale" allein womöglich nicht den nächsten **qualitativ anderen** Sprung; Diffusion + hybride Architekturen + Weltmodelle sind die Architekturgrundlage der nächsten Generation.
|
||
|
||
## Detail-Säulen mit Architektur-Referenzen
|
||
|
||
### 1. Hybride Attention / Recurrence (Griffin / Recurrent Gemma / Titans)
|
||
|
||
Quadratische Komplexität globaler Attention → bei langen Kontexten unpraktisch. DeepMind-Alternativen kombinieren lokale Attention mit rekurrentem Zustand. Detail-Beschreibungen und externe arXiv-Links siehe `[[../concepts/llm/post-transformer-llm-architectures.md#1-effizientere-attention--hybride-architekturen]]`.
|
||
|
||
### 2. Gemma 4 — Edge-Multimodalität
|
||
|
||
- Sparsity/Experts + hybrid (lokal + global) Attention
|
||
- Multimodal
|
||
- **256k Token Kontext auf Edge-Hardware** — d. h. auf Consumer-Geräten lauffähig
|
||
- **OpenClaw-Relevanz:** Self-Hosted Sovereignty, Datenschutz, Latenz-Reduktion
|
||
|
||
### 3. Diffusions-LLMs (Gemini Diffusion)
|
||
|
||
Statt sequentieller AR-Generierung → iterative Verfeinerung der ganzen Sequenz. Pit-Zusammenfassung nennt konkret **~10× schneller bei vergleichbarer Qualität**, parallele Updates, GPU-freundlich, eingebaute Fehlerkorrektur, und **Code-Completion in beliebigen Kontextpositionen** (statt nur Präfix-Fortsetzung). Detail-Tabellen siehe `[[../concepts/llm/post-transformer-llm-architectures.md#2-diffusions-llms-nicht-ar-generierung]]`.
|
||
|
||
### 4. Weltmodelle — Hassabis-vs-LeCun-Debatte
|
||
|
||
Wird auf eigener Konzept-Seite `[[../concepts/world-models-jepa-vs-generative.md]]` strukturiert.
|
||
|
||
## Externe Primärquellen
|
||
|
||
- **Video:** https://www.youtube.com/watch?v=8oyZB24-vAM (Pourya Kordi)
|
||
- **Pit Topic 6:** OME Topic 6 (aGi / eMergence), 2026-06-18
|
||
- **Pit Topic 13:** OME Topic 13 #6645, 2026-06-16 (Schwester-Ingest)
|
||
- **Griffin:** [arXiv:2402.19427](https://arxiv.org/abs/2402.19427)
|
||
- **Recurrent Gemma:** [arXiv:2404.08239](https://arxiv.org/abs/2404.08239) · [Google Blog](https://blog.google/technology/developers/google-gemma-recurrent/)
|
||
- **Titans:** [arXiv:2501.00663](https://arxiv.org/abs/2501.00663)
|
||
- **Gemini Diffusion:** [Google DeepMind Blog](https://blog.google/technology/google-deepmind/google-gemini-updates/)
|
||
- **V-JEPA:** [Meta AI Blog](https://ai.meta.com/blog/v-jepa-yann-lecun-world-model-ai/) · [arXiv:2404.08471](https://arxiv.org/abs/2404.08471)
|
||
- **LeCun JEPA-Framework:** [OpenReview 2022](https://openreview.net/pdf?id=BZ5a1r-kVsf)
|
||
- **OpenAI DevDay 2024 (Sora-Kontext):** [OpenAI](https://openai.com/index/sora-is-here/)
|
||
|
||
## Verwandte Wiki-Seiten
|
||
|
||
- `[[../concepts/llm/post-transformer-llm-architectures.md]]` — Vier-Säulen-Übersicht mit Architektur-Details
|
||
- `[[../concepts/world-models-jepa-vs-generative.md]]` — Hassabis-vs-LeCun-Debatte als eigenständiges Konzept
|
||
- `[[transformer-foundation.md]]` — Klassischer Transformer-Stack + Quadratic-Attention-Limit (Voraussetzung)
|
||
- `[[model-routing.md]]` — Routing-Entscheidungen sollten Architektur-Diversität berücksichtigen
|
||
- `[[../concepts/llm/llm-model-fusion-ensembles.md]]` — Orthogonaler Ansatz (mehrere Modelle ensemble)
|
||
- `[[../concepts/llm/glm-5.2-zai-coding-model.md]]` — Coding-Frontier (AR-Stack) als Kontrast
|
||
- `[[../concepts/llm/ai-value-migration-orchestration.md]]` — Aravind Srinivas (20VC) zu AGI-Wettlauf |